[고객 사례] 트위터 트윗 크롤링 : 가습기살균제, 라돈침대

2019년 5월, 한 연구자 님께서 스파이더킴 (주식회사 유펜솔루션)에 연락을 주시고 프로젝트를 의뢰하여 주셨습니다.

연구 주제는 "가습기살균제"와 "라돈침대", 데이터 수집 대상 사이트는 트위터입니다.

<좌> 경향신문 기사에서 가습기살균제 관련 사진 인용 <우> 한겨레신문 기사에서 라돈침대 관련 사진 인용

트위터에 두 검색어를 각각 적용하여 나온 검색 결과를 최신순으로 정렬시키고,

· 게시자의 트위터 아이디

· 게시 일자와 시각

· 트윗 본문

· 개별 트윗의 세부 URL

을 수집하여 엑셀파일로 보고 드렸습니다.

<가습기살균제 검색 결과 트윗 크롤링 : 엑셀파일>

<라돈침대 검색 결과 트윗 크롤링 : 엑셀파일>

트위터의 API가 수집 목적에 부합하는 결과물을 보여 주지 않아, API를 사용하지 않고 단독적인 크롤링을 시행하였습니다.

연구자님의 최초 의뢰대로, "가습기살균제"의 경우 2011년 1월 1일부터 2019년 4월 30일까지, "라돈침대"의 경우 2018년 4월 1일부터 2019년 4월 30일까지 게시된 트윗들이 잘 수집되었습니다. 해당 기간 내 "가습기살균제"의 경우 총 59,794건, "라돈침대"의 경우 총 4,648건의 트윗 모두 수집되었습니다.

트윗 본문을 잘 정제하여 아래와 같은 워드 클라우드를 만들어 보았습니다. 가습기살균제는 최다빈도 단어 500개, 라돈침대는 최다빈도 단어 1000개를 활용하였습니다.

<가습기살균제 트윗 본문으로 구성한 워드 클라우드>

<라돈침대 트윗 본문으로 구성한 워드 클라우드>

사회적으로 큰 이슈가 되었던 두 단어, 두 사건에 대한 연구에, 많은 분들이 올려주신 트윗들과 크롤링 기술이 큰 도움이 되기를 기원합니다. 연구자님, 좋은 연구결과를 기대하겠습니다!

=========================

데이터 수집/정제/분석/시각화에서 최고의 서비스를 제공합니다.

지금 바로 홈페이지를 방문하셔서, 문의 요청해 주십시오!