Q1. 항공사들이 가장 알고 싶어하는 정보는 무엇일까요?
바로 경쟁사의 항공권 가격입니다.
항공사는 기본적으로 빈 좌석을 최소화하는 것을 목표로 합니다. 비행기 좌석은 재고로 쌓아둘 수 없기 때문에 빈 좌석은 항공사에서 그대로 손실로 처리하기 때문이죠.
Q2. 빈 좌석을 최소화시키는 최고의 방법은 무었일까요?
바로 경쟁사의 항공권 가격을 실시간으로 모니터링하는 것입니다.
상대가 제시하는 가격을 알 수만 있다면, 고객의 구매율을 높이는 적정한 가격 설정이 가능하겠죠?
수많은 경쟁사 사이트와 온라인 여행사 사이트에서 대규모의 데이터를 실시간으로 수집하고 모니터링할 수 있는 시스템을 설계하는건 쉽지 않은 일인데요.
최근 유펜솔루션이 맡은 다음의 사례를 통해 항공업에서의 데이터 활용에 대한 인사이트를 많이 많이 얻어가시길 바랍니다.
◆도전 과제
고객사는 경쟁 업체 모니터링 및 가격 정보 활동을 강화하기 위해 경쟁업체 사이트와 그외 여러 온라인 여행사 웹 사이트에서 항공료 데이터를 수집하려고 했습니다. 각각의 대상 사이트에서 필요한 데이터의 유무는 확인했지만, 고객사는 이 데이터에 어떤 프로그래밍 방식으로 접근하여 어떻게 가격 예측 모델 엔진을 공급하고, 추가 분석을 수행할 수 있는지에 대한 기술적 인프라와 전문지식이 부족했습니다.
◆해결 방법
고객사로부터 세부 사항(대상 웹 사이트, 수집할 데이터가 있는 웹사이트의 URL, 추출할 데이터 등)을 전달 받은 후 대상 사이트 목록에서 각 사이트에 대한 여러개의 크롤러를 설정했습니다. 데이터 수집 빈도는 고객의 요구 사항에 따라 하루에 4번으로 설정하였고, 수집할 데이터는 출발지, 도착지, 출발편명, 요금, 좌석 등급 등 수 십개를 지정하였습니다. 데이터 수집 대상 사이트 목록의 모든 사이트가 서로 다른 Html 문서 구조를 갖고 있었기 때문에 각 대상 사이트별로 각각의 자체 크롤러를 개발해야 했습니다. 유펜솔루션은 3일 만에 크롤러 개발을 위한 초기 설정을 완료할 수 있었고, 약 100K의 레코드가 포함된 첫 번째 데이터 셋을 클라이언트에게 바로 전달하였습니다.
◆성과
유펜솔루션은,
- 웹 크롤링의 기술적 난제들(IP 차단, 수집속도 개선, 데이터 수집 대상 사이트 서버 과부하 방지 등)을 해결하였습니다.
- 데이터 수집을 위한 크롤러 개발 후, 단 일주일 만에 지속적인 데이터 수집 및 공급 시스템 납품을 완료했습니다.
- 데이터 수집 대상 사이트에 대한 수동 및 자동 모니터링 시스템을 추가 개발하여 변경 사항 자동 감지 시스템을 구축하였습니다.
- 데이터 수집 시스템을 클라우드 기반으로 개발하여 대규모 데이터 추출 작업을 안정적이고 빠르게 처리 할 수 있도록 하였습니다.
- 크롤러로 수집한 데이터를 바탕으로 비연관 데이터 제거, 공백 제거, 포맷 변환 등 구조화된 정제 데이터를 전달 하였습니다.
유펜솔루션이 귀사의 도약과 성공을 응원합니다!
Comments