부동산 시세 수집 자동화, 한눈에 보기
- 문제부동산 시세 수집 자동화, 어떤 문제가 있었나요?
- 담당 단지 시세를 확인하려고 매일 다섯 개 플랫폼을 직접 조회하고 엑셀에 기록하던 중개 현장이었습니다. 5시간을 들여도 관리할 수 있는 단지는 20개가 한계였습니다.
- 방법어떻게 바꿨나요?
- 사이트별 수집 모듈과 공통 매물 구조를 나눠서, 사이트마다 다른 표기를 먼저 정규화한 뒤 합치도록 했습니다. 한 사이트의 화면이 바뀌어도 그 모듈만 손보면 되고 전체 결과가 멈추지 않습니다.
- 결과무엇이 달라졌나요?
- 하루 시세 수집 93% 단축, 모니터링 단지 5배, 급매물 확인 12배 빨라짐.
이런 경우였습니다
담당 단지 시세를 확인하려고 매일 다섯 개 플랫폼을 직접 조회하고 엑셀에 기록하던 중개 현장이었습니다. 하루 2.5시간을 들여도 관리할 수 있는 단지는 20개가 한계였습니다. 급매물이 올라와도 조회 타이밍을 놓치면 이미 다른 곳이 선점한 뒤였습니다.
원인
같은 매물이 여러 채널에 중복으로 올라오고 가격과 설명이 수시로 바뀌는 구조가 원인이었습니다. 사이트마다 주소·면적·가격 표기 방식이 달라서, 모아 적는 것만으로는 지금 무엇이 최신인지 판단할 수 없었습니다. 시황 보고서는 데이터를 취합하는 데만 반나절이 들었습니다.
필요했던 것
필요했던 것은 페이지를 긁어오는 수집기가 아니라, 서로 다른 사이트의 자료를 같은 매물 기준으로 정리하고 변화 이력을 남기는 모니터링 장치였습니다. 한 곳이 실패해도 나머지 결과를 버리지 않고 품질 상태를 확인할 수 있어야 했습니다.
가능했던 이유
담당자가 매일 하던 판단이 규칙으로 적을 수 있는 종류였습니다. 어느 사이트를 몇 시에 보는지, 어떤 단지를 담당하는지, 어느 정도 변동부터 확인이 필요한지가 이미 정해져 있었습니다. 수집 대상 화면도 공개된 조회 화면이었습니다.
쉬운 방법이 통하지 않은 이유
쉬운 길은 수집한 값을 그대로 쌓는 것이었습니다. 그렇게 하면 같은 매물이 여러 건으로 늘어나고, 자료가 비어 있을 때 매물이 실제로 내려간 것인지 수집이 실패한 것인지 구분할 수 없습니다. 가격 급등락이 단위 오류인지 실제 변동인지도 알 수 없습니다.
그래서 이렇게 만들었습니다
- 1
사이트별 수집 모듈과 공통 매물 구조를 나눠서, 사이트마다 다른 표기를 먼저 정규화한 뒤 합치도록 했습니다. 한 사이트의 화면이 바뀌어도 그 모듈만 손보면 되고 전체 결과가 멈추지 않습니다. 한 곳에서만 오류가 났을 때 나머지 수집 결과는 유지되고 실패한 사이트의 상태만 표시되는지 확인했습니다.
- 2
중복 후보는 주소·면적·동·층 기준으로 묶으면서 원본 등록 채널을 함께 남겼습니다. 같은 주소라도 면적과 층이 다르면 확정 병합하지 않고 비교 가능한 후보로 구분했습니다. 자동 병합은 화면을 깔끔하게 만들지만, 한 번 잘못 묶이면 되돌릴 근거가 사라집니다.
- 3
현재값만 저장하지 않고 사이트별 스냅샷을 보존해, 이전 값과 비교해 신규·변경·삭제 후보를 판정하도록 했습니다. 전주 대비 5% 이상 변동은 대시보드에 표시하고, 급격한 변동과 급매물은 담당자에게 바로 알립니다.
- 4
수집 성공 여부와 데이터 변화를 따로 표시했습니다. 사이트별 수집 상태와 마지막 성공 시각을 함께 보여주면, 자료가 없을 때 사람이 무엇을 확인해야 하는지 바로 알 수 있습니다. 이상값으로 보이는 변동은 알림을 보내기 전에 검토 상태로 분리했습니다.
