top of page

[데이터 분석] Yelp 스크래핑을 통한 버블티 산업 탐구


버블티는 대만에서 시작되어 2000년대 초반부터 전 세계적으로 인기가 높아졌습니다. 시장은 오늘날까지도 빠른 성장세를 이어가고 있습니다. 미국에서 이 시장에 대한 통찰력을 얻기 위해 이 프로젝트는 미국 내 인구가 많은 상위 10개 도시에 있는 Yelp.com의 관련 사업장을 폐기했습니다.



코드 세부 사항에 대한 자세한 내용은 내 Github 저장소를 참조하세요.


1. 소개

이 프로젝트의 목적은 수년에 걸쳐 미국 주요 도시에서 버블티 산업이 어떻게 성장하고 있는지 탐구하는 것입니다. 이 프로젝트는 다음 질문에 답하는 것을 목표로 합니다.

  1. 실제로 산업이 성장하고 있나요?

  2. 가장 큰 플레이어는 누구입니까?

  3. 투자할 가치가 있는 지역은 어디입니까?


2. 데이터

두 가지 데이터 세트가 사용되었습니다.

  • 버블티 사업: Yelp.com을 스크랩하여 데이터를 얻습니다.

  • 인구밀도가 가장 높은 도시 : 미국 인구조사국에서 제공한 대도시 통계 지역(MSA) 데이터를 참조하여 획득

Scrapy를 사용하여 Yelp에서 자격을 갖춘 모든 버블티 검색 결과를 얻었습니다. 스크래핑 과정에서 유효한 버블티 사업을 정의하는 데 사용된 기준은 다음과 같습니다.

  • `버블티`라는 라벨이 붙어 있습니다.

  • 후기가 1개 이상

미국 인구조사국에 따르면 인구 기준 상위 10개 도시는 뉴욕, 로스앤젤레스, 시카고, 휴스턴, 피닉스, 필라델피아, 샌안토니오, 샌디에이고, 댈러스, 산호세입니다.


스크랩된 데이터를 정리한 후 선택한 도시 내에서 약 1,200개의버블티 판매장이 식별됩니다.


참고로, 폐기 과정에서 몇 가지 문제가 있었습니다. CAPTCHA는 짧은 시간 내에 너무 많은 데이터가 폐기될 때 문제가 되는 것으로 입증되었습니다. 또한 같은 크롤러 코드를 사용하면 빠진 필드가 있었습니다. CAPTCHA를 우회하기 위해 감지 및 차단을 방지하기 위해 각 크롤링에서 더 적은 수의 결과를 생성하도록 코드가 조정됩니다. 얻은 데이터의 완전성을 보장하기 위해 같은 페이지에서 크롤링 재실행을 두 번 이상 수행했습니다.




3. 데이터 탐색

성장 추세 - 전체

위 그래프에서 볼 수 있듯이, 2020년까지 코로나19 사태까지 15년간 사업체 수는 증가세를 보이고 있습니다.


성장 추세 - 도시별

도시 수준에서도 유사한 성장 추세를 관찰할 수 있다.





​​도시 통계 비교

특정 도시가 다른 도시보다 나은지 확인하기 위해 도시별 평점과 후기 수가 표시됩니다. 전반적으로 평점은 매우 일관적입니다(높은 3~낮은 4). 그러나 산호세와 로스앤젤레스가 다른 도시에 비해 업체 위치당 후기가 훨씬 많다는 사실은 그곳에서 더 많은 방문객을 유치할 수 있음을 나타냅니다. 반면 샌안토니오는 방문객이 적기 때문에 다른 대도시에 비해 고객이 적을 수 있습니다.




상점이 가장 많은 우편번호

버블티 매장 수가 가장 많은 우편번호를 자세히 살펴보면 다음과 같은 비즈니스 영역이 더 많은 수의 아시아인과 연관되는 경향이 있음을 알 수 있습니다.

  • 77036: 휴스턴의 차이나타운

  • 95035: 밀피타스

  • 95122: 이스트 산호세

  • 10013: 로어 맨해튼

  • 95014: 쿠퍼티노

  • 77072: 아시안 레스토랑이 많은 휴스턴 지역

  • 10003 : 동쪽마을 좌측부분

  • 75075 : 아시아 레스토랑이 많은 휴스턴 지역


전국 매장의 20%를 차지하는 가장 큰 플레이어




그래프에서 볼 수 있듯이, 현재 상위 20개 체인은 본 연구 범위에서 전체 매장 수의 20%를 차지하고 있습니다.


최고의 버블티 체인 확장

"신규 비즈니스" 수치는 Yelp에서 각 비즈니스의 첫 번째 검토 날짜를 기준으로 추정됩니다.




4. 결론

소개의 질문에 대답하려면 다음을 수행하십시오.


1. 실제로 산업이 성장하고 있나요?

  • 전반적으로 그렇습니다. 하지만 2020년에는 급격히 하락했습니다.

2. 가장 큰 플레이어는 누구입니까?

  • Kungfu tea

  • Gong cha

  • Share tea

3. 투자하기 가장 좋은 지역은 어디입니까?

  • 현재로서는 결론을 내릴 수 없습니다. 즉, 다음 단계를 고려해야 합니다.


5. 향후 작품

다음 사항은 프로젝트의 현재 상태를 개선하기 위한 잠재적인 향후 작업입니다.

  • 도시 위치 확장

- 미국 내 상위 0개 도시에서 상위 50개 도시로 범위를 확장하여 다른 잠재적인 위치가 더욱 명확해질 수 있습니다.

  • 매장이 인기를 얻는 데는 어떤 부분이 기여됐나요?

- 특정 위치에 대한 후기 수가 많음

- 나이/인종/소득을 포함한 해당 지역의 주민과 방문자의 인구통계

- 주변 업체/시설

  • 웹스크래핑 프로세스 개선

- 추가 서비스를 사용하여 주기적으로 IP 교환

  • 데이터 수집 방법 변경

- 웹스크래핑 대신 Yelp에서 제공하는 API를 활용




6. 참고자료
  • Moreh, Jack. “재무 그래프 - 자본 시장.” stockvault.net. 페이지 링크

  • “전 세계 버블티 시장 규모는 2022년 22억 9천만 달러로 평가되었으며, 2023년 24억 6천만 달러에서 2030년 40억 8천만 달러로 성장할 것으로 예상됩니다.” Fortune Business Insights. 페이지 링크

  • 미국 인구조사국. “수도권 및 소도시 통계 지역 인구 총계: 2020-2022.” census.gov. 페이지 링크


(본포스팅은 https://nycdatascience.com/blog/student-works/exploring-the-bubble-tea-industry-by-scraping-yelp-com/ 의데이터를유펜솔루션이재구성하였습니다.)




Comments


bottom of page