웹 크롤링하는 한과장
'나도 오픈마켓에서 쏠쏠한 수입을 얻을 수는 없을까?'
웹 크롤링을 활용한 시장조사
무더운 여름, 한 주의 평균 기온이 32도를 넘어가는 가운데
한과장은 오픈마켓에서 판매할 아이템으로 손선풍기를 생각해낸다.
도매로 구매해서 온라인 오픈마켓에서 판매하려고 하는 한과장이 선택한 손선풍기는
평균 정도의 기능에 귀여운 디자인이며 3가지 정도의 파스텔 색상 옵션이 있다.
“오픈마켓에 어떻게 진입해야 승산이 있을까?”
오픈마켓에 진입하기 전, 판매량이 높은 상품들에 대한 시장조사를 시작하는 한과장.
디자인과 기능이 정해져 있는 상태에서 시장 경쟁력을 갖기 위해서는 가격이 중요하다!
특정 오픈마켓에서 판매량 순위로 확인된 손선풍기는 총 24,888개 상품
2천개가 넘는 상품의 가격을 확인하고 비교할 생각을 하니 머리가 아파온다...
손선풍기를 팔기 위해 가격을 하나하나 엑셀에 넣고 있을 시간이 없다
"24,888개 가격 데이터를 빠르게 수집, 비교할 방법은 없을까?"
스파이더킴 웹 크롤러를 활용해보자
1
한과장은 스파이더킴 웹 페이지에 들어가 원하는 가격 데이터가 있는 URL을 입력해본다.
‘URL만 넣으면 데이터가 웹 크롤링 된다고?...’
2
URL을 입력하니 가격 데이터가 있는 화면 옆에 웹 크롤링을 위한 툴바(Tool bar)가 생성되었다.
시작페이지 선택! 웹 크롤링을 원하는 가격들을 선택하니 가격 크롤링이 자동적으로 완료되었다.
3
‘한 페이지에는 100개 상품의 가격들이 들어가 있으니 다른 페이지들도 한번에 크롤링하자!’
"웹 크롤링으로 단 10분만에 해결!!"
한과장은 페이지 추가를 선택하여 24,888개 상품의 가격 모두를 크롤링하는데 성공했다.
하루 종일 상품 가격을 엑셀에 넣고 있었을 생각을 하니 아찔하다;;
여유롭게 파이썬으로 평균값, 최빈값 그리고 분포를 확인해본다.
평균값 47,543원, 최빈값 9,900원
데이터를 확인해보니 평균 값은 47,543원이지만 9,900원의 상품이 가장 많고
1만원 초반에 대부분의 ‘손선풍기’ 가격이 분포되어있다.
한과장이 선택한 선풍기는 디자인이 좀 귀여우니
1만원초반 혹은 중반으로 진입해도 가능성이 있을 것 같다 !
웹 크롤링으로 일이 효율적으로 빠르게 진행되니 기분이 좋아졌다
올 여름에는 손선풍기 열심히 팔아서 아이스크림 많이 먹어야지 :)
더 알아보기
Comments