전자상거래/이커머스 방식이 주요 쇼핑방식으로 자리매김하면서 경쟁 상품으로부터 마케팅 인사이트를 얻는 것이 마케터들의 중요한 업무 중 하나가 되었습니다.
다음은 웹사이트 데이터 크롤링/스크래핑 도구 octoparse를 활용하여 마동석 님께서 홍보하고 있는 해외직구 사이트 알리 익스프레스에서 상품 리스트 정보를 가져오는 방법에 대해 자세히 알려드리겠습니다. 코딩을 모르시는 분들도 주머니 사정이 힘든 분들도 부담 없이 무료로 사용할 수 있는 스킬이니 다 함께해봅시다.
스크래핑할 웹 사이트 URL을 입력
octoparse 클라이언트 검색창에 스크래핑할 웹 사이트 URL을 입력하고 시작 버튼을 누릅니다. 이번 예제에서 사용한 URL 링크입니다.
음료 용기 – AliExpress 에서 음료 용기 구매하고 무료로 배송받자 version
자동 인식 기능 및 데이터 정리
로딩 완료 후 웹 사이트 데이터를 자동 인식하는 버튼을 클릭합니다.
잠시 후 자동 인식이 완료되면 다음과 같은 화면이 나타납니다. 화면에서 초록색으로 표기된 부분은 octoparse가 수집한 데이터입니다. 검색 결과가 여러 페이지로 된 경우 페이지네이션을 꼭 먼저 체크해야 됩니다. 체크 버튼을 누르면 내장 브라우저에서 대응하는 다음 페이지 버튼이 어느것인지 확인할 수 있습니다. 이번 예제의 경우 ->버튼을 제대로 찾았기에 별다른 설정 없이 워크플로우 생성을 클릭합니다.
워크플로우는 다음과 같은데요. 수요에 따라 각 단계를 클릭하면서 구체적인 옵션을 조절할 수 있습니다.
데이터 미리보기에서 각 데이터 필드 이름을 클릭하면 각 데이터 필드가 웹사이트 어느 구역 데이터인지 한눈에 볼 수 있습니다. 지금 데이터 필드를 보시면 이미지가 여러 개 수집된 걸 확인할 수 있습니다. 하지만 상품 게시 정보만 필요하다면 타이틀 이미지 하나면 충분하죠. 이런 경우 우리는 빨간 부분으로 표시된 세로 보기를 클릭합니다.
그 다음 필요 없는 데이터 필드를 선택하고 삭제 아이콘을 누릅니다.
작업 실행 및 데이터 내보내기
데이터 필드가 정렬되면 실행 버튼을 클릭합니다.
작업 실행 모드를 선택해 줍니다. 클라우드 실행을 선택하면 디바이스를 끈 상태에서도 작업을 실행할 수 있습니다. 여기서 스탠다드 모드와 부스트 모드의 차이점은 추출 속도입니다. 저는 로컬 디바이스 스탠다드 모드로 시작하겠습니다.
작업 실행이 완료되면 아래와 같이 알림이 뜹니다. 수요에 따라 수집한 데이터를 바로 내보낼 수 도 있고 잠시 후 내보낼 수도 있습니다. 저는 바로 내보내도록 하겠습니다.
다음 데이터 내보내기 형식을 선택합니다. 보시다시피 엑셀이나 구글 시트, 데이터베이스 외에도 다른 여러 형식으로 출력이 지원됩니다. 저는 가장 일반적인 엑셀로 출력하겠습니다.
데이터 내보내기가 완료되면 아래와 같은 알림창이 뜹니다. 저는 바로 엑셀 파일을 열어 확인해 보겠습니다. 파일이 어느 폴더에 저장됐는지 궁금한 분들은 두번째 옵션을 클릭해 주시면 됩니다.
이번에 작업한 크롤러의 경우 상품 리스트가 다음과 같습니다. 모두 2973줄의 같은 키워드를 공유하는 경쟁 상품들이 있네요. 다만 같은 사이트에서 같은 키워드를 검색했다 하더라도 시간이나 지역 등 변수에 따라 검색 결과에 차이가 있을 수 있습니다.
마무리
이커머스 거물 알리 익스프레스가 한글화하면서 국내 기존 이커머스 생태계 및 스마트 스토어 자영업자에게 큰 영향을 주게 됩니다. 알리 익스프레스 뿐만 아니라 쿠팡, 11번가, 지마켓, 네이버 쇼핑 등 이커머스 플랫폼에서 요즘 트렌드 상품이 무엇인지 가격책정을 어떻게 할 것인지를 octoparse 스크래핑을 이용하여 남들보다 더 빠르게 최신 데이터를 가져올 수 있습니다.
