글로벌 뷰티 그룹 OO사에서 국내 주요 이커머스 사이트에 등록되어 있는 자사 제품의 가격을 모니터링 하기 위해 웹 크롤링을 의뢰하셨습니다.
뷰티제품과 같은 생활 소비재의 경우 여러 중간 홀세일러를 통해 다양한 이커머스 사이트에서 판매가 되고 있기 때문에 유통 중인 모든 제품의 가격을 일일이 모니터링 하는 것은 불가능 합니다.
OO사에서는 이번 프로젝트를 시작하여 스파이더킴에서 전달해드리는 데이터를 통해 주1회 가격 정보를 파악하고 이를 업무에 활용하고 계십니다.
주기적으로 가격 데이터를 수집하고 분석하면,
적정 소비자 가격이 얼마인지,
유통처 카테고리에 따라 가격이 어떻게 형성되어 있는지,
MRP(Minimum Retail Price)를 어기고 있는 업체는 없는지
등을 쉽게 파악할 수 있습니다. 가격 정보 외에도 이커머스 사이트에서 확인할 수 있는 제품 평점, 상품평 등의 정보를 수집, 분석하여 고객들의 반응을 모니터링 하는 것도 가능합니다.
스파이더킴은 이번 프로젝트에서
웹 크롤링의 기술적 난제들(IP 차단, 수집속도 개선, 데이터 수집 대상 사이트 서버 과부하 방지 등)을 해결하였습니다.
데이터 수집을 위한 크롤러 개발 후, 단 일주일 만에 지속적이 데이터 수집 및 공급 시스템 납품을 완료했습니다.
데이터 수집 대상 사이트에 대한 수동 및 자동 모니터링 시스템을 추가 개발하여 변경 사항 자동 감시 시스템을 구축하였습니다.
데이터 수집 시스템을 클라우드 기반으로 개발하여 대규모 데이터 추출 작업을 안정적이고 빠르게 처리 할 수 있도록 하였습니다.
이처럼 여러 기업에서 가격 정보를 분석하기 위해 웹 크롤링 의뢰를 주고 계십니다. 진행하고 싶은 웹 크롤링 프로젝트가 있으시다면 편하게 문의를 남겨주시기 바랍니다 : )
Comments