[크롤링] KBO 경기 데이터 수집 및 전처리
·
프로젝트/크보패스
1. kbo_service.py의 역할kbo_service.py는 KBO 공식 홈페이지의 경기 일정 데이터를 수집하고,서비스에서 사용할 수 있는 형태로 정제하는 파일이다.이번 프로젝트에서는 경기 일정 데이터가 모든 기능의 시작점이 되기 때문에, 단순히 크롤링으로 데이터를 가져오는 것에서 끝내지 않고 날짜, 시간, 팀, 점수, 구장 정보를 구조화하는 과정이 필요했다. 전체 흐름은 다음과 같다.KBO 일정 페이지 접속 → 월별 경기 일정 크롤링 → 날짜/시간/경기/구장 데이터 추출 → 경기 문자열 파싱 → 구장 데이터 매핑 → 시즌 전체 일정 수집 → 중복 제거 → 구조화된 데이터 반환2. 초기 크롤링 데이터 형태초기 크롤링 단계에서는 KBO 경기 데이터가 다음과 같은 형태로 수집되었다.{ 'date'..
[개요] 위치 기반 추천 서비스를 위한 데이터 수집부터 정제까지
·
프로젝트/크보패스
1. 프로젝트 시작이번 프로젝트에서는 다양한 데이터를 활용하여 위치 기반 추천 서비스를 구현하는 과정을 진행하고 있다.단순히 데이터를 수집하는 것에서 끝나는 것이 아니라, 실제 서비스에서 활용 가능한 형태로 가공하고,이를 기반으로 새로운 가치를 만들어내는 흐름을 구성하는 것이 목표였다.평소 야구를 좋아하기도 했고, 관광과 관련된 공모전을 준비하게 되면서 두 가지를 연결한 서비스를 만들어보면 좋겠다는 생각이 들었다.이에 따라 이번 프로젝트를 기획하게 되었으며, 야구 관람 경험과 주변 관광 요소를 결합하는 방향으로 접근하였다.특히 이번 작업에서는 다음과 같은 흐름을 중심으로 데이터를 처리하였다.데이터 수집 → 데이터 정제 → 위치 기반 확장 → AI 기반 재구성2. 글을 쓰게 된 이유이번 프로젝트는 공모전을..