2019년 3월, 유펜솔루션(스파이더킴)은 금오공과대학교 산학협력단과 서비스 계약을 체결하고, 아마존 홈 앤드 비즈니스 서비스의 고객 리뷰를 수집하는 크롤링 서비스를 제공해 드렸습니다.
고객사 필요에 의해, 아마존 홈 앤드 비즈니스 서비스의 특정 서비스 URL을 입력하고 실행 버튼을 누르면, 해당 서비스의 고객 리뷰를 크롤링하여 엑셀파일에 결과물을 출력하는 GUI 툴로 제작해 드렸습니다.
수집되는 상세 데이터 항목들은 아래와 같습니다
- 평점
- 리뷰 작성일자
- 리뷰 작성자 ID
- 서비스 제공사
- 서비스 명칭 및 옵션
- 리뷰 본문 전체
아래 이미지는 리뷰 수집 크롤러 GUI의 실행 화면입니다. 원하는 서비스의 URL을 입력하고 “수집”버튼을 누르면 크롤러가 리뷰를 수집하기 시작합니다.
아마존 홈 앤드 비즈니스 서비스의 웹 사이트 구조 상 리뷰는 최근 순으로 최대 1,000건만 노출되지만, 금번 크롤러 GUI에는 크롤러가 URL을 심화적으로 추적하는 알고리즘을 설계하여
(1) 기본 1,000건 수집
(2) 1,000건 이상 추적 수집
을 모두 구현하였습니다. 존재하지만 노출되지 않는 리뷰까지 추적 수집할 수 있다는 점과, 고객사의 필요에 맞게 수집의 범위를 조절할 수 있다는 점이 장점입니다.
아래의 결과 화면과 같이 수집된 리뷰는 한 서비스 당 하나의 엑셀파일로 자동생성 / 자동정리 됩니다. 1,000건 수집은 short로, 1,000건 이상 수집은 long으로 파일명이 구분되는 것도 편리한 기능 중 하나입니다.
아마존 홈 앤드 비즈니스 서비스는, 상품 이외에 주문형 서비스, 의뢰형 서비스까지 이커머스 영역 내에서 작동할 수 있도록 기획된 아마존의 신개념 프로젝트입니다. 많은 고객들이 아마존에서 서비스를 이용하고 어떤 댓글을 남겼을 지, 그 분석결과가 정말 기대됩니다.
금오공과대학교 산학협력단의 분석과 연구를, 스파이더킴이 편리한 크롤링 서비스로 응원합니다!
=========================
웹크롤링, 웹스크래핑, 웹데이터 수집, 빅데이터에서 최고의 서비스를 제공합니다.
지금 바로 홈페이지를 방문하셔서, 문의 요청해 주십시오!
댓글