사용방법
- Step 1: "시작!" 클릭하기.
- Step 2: 시작 URL 입력하기 - 스크래퍼가 추출해야 하는 웹 페이지 URL 목록.
- Step 3: 스크래핑 최대 깊이 입력하기 - 시작 URL에서 몇 번 클릭하여 나오는 웹 페이지까지 추출할지 입력해주세요. 0이면 스크래퍼는 세부 페이지로 이동하지 않고 시작 URL만 크롤링합니다.
- Step 4: 최대 페이지 수 입력하기 - URL당 스크래핑할 웹 페이지 총 수에 대한 제한.
- Step 5: 도메인 밖 이동 허용 여부 입력하기 - Yes이면 스크래퍼는 시작 URL 페이지와 동일한 도메인의 세부 페이지만 크롤링합니다. 예를 들어, 스크래퍼가 https://domain-a.com/some-page에서 https://www.domain-b.com/some-page를 찾으면 다른 도메인에 있기 때문에 이 페이지를 크롤링하지 않습니다.
- Step 6: 다음 적합한 실행 방식을 선택해 주세요.
샘플 데이터
Start_URL | Domain | Depth | Referrer_URL | Current_URL | Emails | Phones | Uncertain_Phones | Twitter | YouTube | Facebook | LinkedIn | Instagram | Tiktok |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
https://www.octoparse.com | www.octoparse.com | 1 | https://www.octoparse.com | https://www.octoparse.com/privacy-policy | https://twitter.com/Octoparse | https://www.youtube.com/channel/UCweDWm1QY2G67SDAKX7nreg | https://www.linkedin.com/company/octopus-data-inc. | ||||||
https://www.octoparse.com | www.octoparse.com | 1 | https://www.octoparse.com | https://www.octoparse.com/ | https://twitter.com/Octoparse | https://www.youtube.com/channel/UCweDWm1QY2G67SDAKX7nreg | https://www.linkedin.com/company/octopus-data-inc. | ||||||
https://www.octoparse.com | www.octoparse.com | 1 | https://www.octoparse.com | https://www.octoparse.com/download | https://twitter.com/Octoparse | https://www.youtube.com/channel/UCweDWm1QY2G67SDAKX7nreg | https://www.linkedin.com/company/octopus-data-inc. |
알림
- 본 스크래퍼는 이메일&SNS스크래퍼에서 업그레이드된 버전으로 해당 웹 페이지 뿐만 아니라 세부 페이지의 연락처 정보까지 추출할 수 있습니다.
- 입력하신 URL에 대응하는 웹 페이지에 페이스북, 인스타그램 링크 정보는 없어야 합니다.
- 웹사이트 소스 HTML의 공개된 SNS 링크만 수집 가능합니다.
- 크롤러/스크래퍼 맞춤 제작 서비스가 필요하시면 언제든 챗봇으로 지원팀에 연락 주세요. 해당 템플릿 사용에 문제가 발생하거나 새로운 크롤러 템플릿을 맞춤 제작하고 싶으면 언제든 연락 주세요.
스크래핑은 합법인가요?
개인 프라이버시 데이터가 아닌 공개 데이터에 대한 웹 스크래핑은 합법행위입니다. 그러니 웹 스크래핑이 합법적이냐 문제가 아니라 웹 스크래핑이란 기술을 이용하여 어떤 데이터를 수집하느냐에 달렸습니다. 문서, 블로그, 도움말 등 저작권의 보호를 받는 콘텐츠는 저작권 소유자 동의 없이 함부로 재발행해서는 안됩니다. 더 자세한 내용은 다음 문서에서 알아보시거나 전문 법률 자문을 받으세요.