2019년 2월, 유펜솔루션(스파이더킴)은 개인 고객께서 의뢰 주신 내용을 발전적으로 구현하여, 구글 플레이 (Google Play)와 앱 스토어 (App Store)의 댓글 수집 크롤러를 GUI로 제작하여 제공해 드렸습니다.
먼저 간단하게 용어를 설명 드릴까요?
- 크롤러 (Crawler) : 크롤링을 하여 웹페이지 상의 데이터를 수집하는 봇 프로그램
- GUI (Graphic User Interface) : 사용자가 그래픽을 통해 컴퓨터 작업을 할 수 있도록 제작한 툴
고객의 목적은 구글 플레이, 앱스토어 웹사이트에 등재되어 있는 수 많은 앱 중에서, 특정 앱에 달린 유저들의 댓글을 수집하는 것이었습니다. 고객께서는 원하는 앱의 댓글을, 원하는 시기에 수집하고 싶다는 말씀을 해 주셨고, 이를 위해서는 크롤러를 GUI로 제작하여 드리는 것이 가장 좋은 방법이라고 제안하여 드렸습니다.
구글 플레이, 앱 스토어의 특정 앱의 URL을 입력하고 실행 버튼을 누르면, 전체 댓글이 최근 순으로 자동 소팅되어 엑셀에 수집되는, 정말 신박한 툴이 아닐 수 없습니다. 고객께서는 GUI를 PC에 설치하시고, 원하는 앱의 URL을 입력하여 크롤러를 작동시키기만 하면 됩니다.
수집되는 댓글의 상세 항목은 아래와 같습니다.
- 댓글 입력 날짜
- 사용자
- 평점
- 댓글 제목
- 댓글 본문
아래 이미지는 댓글 수집 크롤러 GUI의 시작 화면의 모습입니다. 매우 간결하고 직관적인 디자인입니다.
아래 이미지처럼 구글 플레이, 앱 스토어 특정 앱의 URL을 입력하고, 확인 버튼과 시작 버튼을 누르면 크롤러가 댓글을 수집하기 시작합니다. 속도도 매우 빨라, 한 앱의 전체 댓글을 수집하는 데에 20여 초를 넘지 않습니다.
수집된 댓글은 한 앱 당 하나의 엑셀파일로 지정된 폴더에 저장됩니다. 엑셀파일의 파일명은 사이트 이름, 앱 이름, 국가 약자로 자동 형성됩니다.
특히 이번 크롤러는 VPN으로 접속 국가 (IP)를 변경하면, 해당 국가의 유저들이 작성한 댓글을 자동으로 수집하는 기술이 구현되었습니다. 특정 앱에 대한 각 국 유저들의 평가를 다양한 언어로 파악할 수 있습니다.
연구 목적이나 비즈니스 목적에서, 댓글의 쉽고 빠른 수집은 매우 중요할 것입니다. 구글 플레이와 앱 스토어 외의 다른 주요 사이트 댓글의 수집도 스파이더킴과 상의해 주세요!
=========================
데이터 수집/정제/분석/시각화에서 최고의 서비스를 제공합니다.
지금 바로 홈페이지를 방문하셔서, 문의 요청해 주십시오!
Comments