지난번에 분석 기획이랑 조직 구조를 봤으니 오늘은 그 다음 단계인 데이터 분석 방안 수립과 작업 계획 쪽을 봤다. 이름만 보면 그냥 “계획 세우는 법” 정도로 가볍게 생각했는데, 막상 펼쳐보니 표준 방법론 세 개를 통째로 외워야 해서 오히려 지난번보다 부담이 컸다.

먼저 나온 게 KDD였다. Fayyad가 1996년에 제안한 절차라고 하는데, 데이터셋 선택 → 전처리 → 변환 → 데이터마이닝 → 결과 평가, 이렇게 다섯 단계로 흘러간다. 여기서 헷갈렸던 건 “데이터마이닝”이 KDD 전체 과정의 이름이 아니라 그 안의 한 단계 이름이라는 점이었다. 나는 그냥 같은 말인 줄 알았는데 아니었다.

그다음이 CRISP-DM. 이건 이름부터 산업 표준(Cross Industry Standard Process for Data Mining)이라고 박혀 있어서 그런지 단계 수도 KDD보다 많고 더 촘촘했다. 비즈니스 이해에서 시작해서 데이터 이해, 데이터 준비를 거쳐 모델링, 평가, 전개까지 가는데, 특히 마음에 들었던 건 각 단계가 일방통행이 아니라 필요하면 이전 단계로 되돌아갈 수 있다는 부분이었다. 실무에서 데이터 준비하다가 “어 이거 애초에 비즈니스 이해가 잘못됐네” 싶은 순간이 분명 있을 것 같은데, 그런 상황을 방법론 자체가 인정하고 있다는 느낌이었다.

마지막은 SAS에서 만든 SEMMA. Sample, Explore, Modify, Model, Assess의 앞글자를 딴 거라 외우기는 오히려 제일 쉬웠다. 표본 추출하고 탐색하고 변수를 다듬고 모델을 만들고 평가하는 흐름인데, 상대적으로 통계적 모델링에 초점이 맞춰져 있다는 설명이 인상적이었다.

방법론 다음으로 나온 게 분석 과제를 어떻게 발굴하느냐는 얘기였다.

  1. 하향식 접근법: 문제가 이미 정형화되어 있고 데이터도 조직 안에 잘 갖춰진 경우에 쓰는 전통적인 방식. 원인을 찾고 해결방안을 도출한 다음 우선순위를 정한다.
  2. 상향식 접근법: 애초에 “문제가 뭔지 정의하는 것” 자체가 어렵다는 걸 인정하고 시작하는 방식. 비지도 학습이나 프로토타이핑처럼 일단 데이터를 들여다보면서 시행착오로 문제를 좁혀나간다.
  3. 통합 방식: 실제로는 이 둘을 딱 나눠서 쓰는 게 아니라, 상향식으로 발산시키고 하향식으로 수렴시키는 과정을 반복한다고 한다.

이 부분을 읽으면서 지난번에 봤던 분석 기획 4분면(최적화/통찰/솔루션/발견)이랑 자연스럽게 연결됐다. 문제도 방법도 아는 “최적화” 영역은 하향식이 잘 맞고, 둘 다 모르는 “발견” 영역은 상향식으로 갈 수밖에 없겠다는 생각이 들었다. 그때는 그냥 따로따로 외웠는데 오늘 보니 두 개가 한 세트였다.

마지막으로 작업 계획 수립에서는 WBS(작업 분할 구조도) 얘기가 나왔다. 프로젝트를 상위 업무부터 하위 세부 업무까지 계층적으로 쪼개서 일정과 담당자를 배정하는 도구인데, 이건 개발 프로젝트에서 하던 것과 크게 다르지 않아서 상대적으로 수월하게 넘어갔다.

오늘 헷갈렸던 건 역시 KDD랑 CRISP-DM 단계 순서를 서로 바꿔 외우는 것이었다. 내일은 데이터 수집과 저장(적재) 계획 쪽을 이어서 볼 예정이다.