웹크롤링으로 수집된 데이터 시각화 하기
고객으로부터 강남구 소재의 모든 주유소 데이터를 전달 받고 이에 대한 시각화 요청을 받았습니다. 활용도와 가치를 높이기 위해 이 데이터를 시각화 해보았습니다.
주유소 데이터를 지도 상에서 시각화하는 것이 필요하다는 생각이 들었습니다. 그런데, 데이터에 지리 정보 (X좌표, Y좌료)가 없네요. 네이버 지도 API를 결합시켜 데이터를 지도 상에서 표현해야 하겠습니다.
지도에 데이터를 표현하기 위한 작업
네이버 개발자 센터, 네이버 지도 API 페이지로 이동하여 아래와 같이 활용법을 숙지합니다.
아래처럼 API 클라이언트 ID와 secret 키를 발급받습니다.
발급받은 API키를 바탕으로 x,y 좌표를 출력하는 함수를 만듭니다.
아래와 같이 원데이터에서 주소 데이터를 리스트로 받은 다음, 위에서 만든 함수를 활용하여
위도, 경도를 추출 한뒤 새로운 컬럼으로 만들어 추가합니다.
새롭게 정리한 데이터프레임을 바탕으로 드디어 지도에 표시하는 것이 가능합니다.
Folium 라이브러리의 활용
지도 시각화를 위한 라이브러리로는 folium을 활용하였습니다.
일반적으로 사용되는 구글맵(ggmap) 라이브러리에 대한 대안으로도 충분히 이용가능한 패키지입니다.
시각화 예시
제작한 소스를 토대로 아래와 같이 html 형식의 반응형 시각화 파일을 만들었습니다.
밋밋하던 엑셀 데이터 파일이 이렇게 한 눈에 들어오는 멋진 시각화 보고서로 바뀌었네요!
최종 완성된 시각화 파일은 html 파일로 아래와 같이 올려 두었습니다.
아래의 기준으로 주유소가 지도 위에 보기 좋게 표현됩니다! 레이어를 선택하여 각 기준별 현황을 볼 수 있습니다.
- 휘발유 가격 상위 5 주유소, 휘발유 가격 하위 5 주유소
- 고급휘발유 취급 또는 비취급, 등유 취급 또는 비취급, 셀프 주유 가능 또는 불가능
- 차량 통행이 많은 세 도로인 봉은사로, 논현로, 언주로에 위치한 주유소
- 주유소 브랜드 (GS칼텍스, 현대오일뱅크, SK에너지, S-Oil) 별 분포
결론
지금까지 서울시 강남구 소재 주유소 현황 시각화 작업을 소개해드렸습니다.
데이터를 텍스트 형식으로 수집한 이후 시각화 작업까지 이루어진다면,
전달하고자 하는 데이터의 의미와 그 안에 담긴 인사이트를 훨씬
더 쉽게 얻을 수 있습니다.
조만간 또 다른 시각화 사례로 찾아뵙도록 하겠습니다!
========================= 웹크롤링, 웹스크래핑, 웹데이터 수집, 빅데이터에서 최고의 서비스를 제공합니다. 지금 바로 홈페이지를 방문하셔서, 문의 요청해 주십시오!
Comments