기업 고객 데이터 추출, 가공, 통합 프로젝트
고객 문제
사실 모든 회사는 얼마냐 심각한지 정도의 문제이지 대부분 내부 데이터 관리의 문제를 가지고 있습니다. 특히 고객 데이터가 잘 관리되고 있다면, 그것은 분명 내부의 누군가/내부 조직이 의지를 가지고 설계하고 관리하고 운영하는 것이 필요합니다. 마지막으론, 타 조직 구성원들이 이를 어렵지만 따라주어야 합니다. 이는 결코 쉬운 일이 아닙니다. 데이터가 관리 가능한 수준으로 쌓여있지 않다면, 당연하지만 데이터 활용도를 높이긴 어렵습니다. 필요할 때 필요한 데이터를 조회하거나 추출해야하는데, 이게 불가능하기 때문입니다. 그리고 이 문제를 방치하고 시간이 지날수록, 계속해서 데이터 문제를 해결하기 위한 난이도는 더욱 어려워지게 됩니다. 의뢰하신 기업 고객도 이와 비슷한 문제를 가지고 있었습니다.
N년간 다양한 회사 내부 저장 공간(여러 다른 SW 시스템, 장부 등)에, 다양한 데이터 형태로 고객 관련 데이터가 흩어져 있음. 이유는 다음과 같습니다.
- 회사가 운영되어오면서 시스템과 도구 변경이 이루어졌지만 그에 따라 적절한 데이터 이관이 이뤄지지 않음.
- 동시에 다양한 운영 시스템/도구를 사용하다보니 복수의 저장소에 동일한 데이터가 저장되기도 하지만, 이벤트 종류에 따라 한 쪽 저장소에만 고객 데이터가 저장되기도 함.
흩어져있는 데이터를 보면, 각 고객 데이터에 고유키가 없을 뿐더러, 심지어 중복된 데이터가 많았습니다. 중복된 데이터들끼리의 칼럼과 데이터 형식도 달랐구요. 각기 다른 데이터 저장소에서 동일한 고객 데이터임에도 불구하고 한 쪽에선 이메일이 누락되어있다면, 다른 쪽에선 대표자 분 모바일 번호가 누락되어있다든지 등의 사례도 존재했습니다.
이런 상황에선 각 데이터 소스(저장소)에서 고유키를 생성해서 병합(merge)한다고 해결될 문제는 아니었습니다.
고객 의뢰 사항
흩어져있는 고객 데이터를 하나의 데이터 저장소에 통합하여 관리하고 싶음.