예를 들어 블로그 방문자의 평균 체류 시간을 알아보겠다고 해놓고 댓글을 남긴 사람만 조사하면 어떨까. 이 사람들은 전체 방문자와 다를 수 있다. 단순무작위추출은 모집단의 대상에게 같은 선택 기회를 주는 방식이고, 층화추출은 의미 있는 집단으로 나눈 뒤 각 층에서 무작위로 뽑는다. 반면 군집추출은 집단 자체를 먼저 뽑는다. 이름이 비슷해서 외울 때마다 층은 ‘각 층에서’, 군집은 ‘집단을 골라’라고 짧게 되뇌게 된다. 편한 사람만 모은 표본으로 모집단 전체를 자신 있게 말하는 건 위험하다.

이제 가설검정. 먼저 귀무가설(H0)과 대립가설(H1)을 세우고, 데이터를 보기 전에 유의수준 α를 정한다. 귀무가설이 맞다고 가정할 때 지금 관측한 결과만큼 또는 그보다 극단적인 결과가 나올 확률이 p값이다. p=0.03을 보고 ‘대립가설이 참일 확률 97%’라고 읽으면 오답이다. 조건을 거꾸로 뒤집은 셈이다. α=0.05라면 p=0.03은 귀무가설을 기각할 근거가 되지만, 결과가 실무적으로도 크고 중요하다는 뜻까지 주지는 않는다.

오류도 자꾸 반대로 기억한다. 1종 오류는 사실인 귀무가설을 기각하는 것, 2종 오류는 거짓인 귀무가설을 기각하지 못하는 것이다. ‘기각하지 못함’을 ‘귀무가설이 참이라고 증명함’으로 번역하지 않는 것도 중요하다. 시험 지문에서 이 두 표현을 바꿔치기하면 또 낚일 것 같다.

오늘 나한테 물어본 질문은 두 개다. “층화와 군집 중 어디서 표본을 뽑지?”와 “p값의 확률은 무엇을 참이라고 가정하지?” 두 번째 답에서 잠깐 멈칫했다. 다음에는 숫자만 보지 말고 가정과 표본 설계부터 확인해봐야겠다.

참고: Penn State의 표본추출 설명, NIST의 p값 설명, Penn State의 가설검정 오류 설명

예를 들어 월 지출액이 50, 55, 60, 65, 200만 원이면 평균은 86만 원이고 중앙값은 60만 원이다. 평균은 전부 더해서 개수로 나눈 값이라 200에 꽤 세게 끌려간다. 중앙값은 크기순으로 세웠을 때 한가운데 값이라 이런 극단적인 값에 덜 흔들린다. 그렇다고 무조건 중앙값만 쓰면 되는 것도 아니다. 평균에는 모든 관측값이 반영되고, 중앙값은 가운데 위치를 보여준다. 자료의 모양과 요약 목적을 먼저 봐야 한다는 얘기다. 최빈값은 가장 자주 나타난 값인데, 위 예시처럼 모두 한 번씩만 나오면 하나의 대표적인 최빈값을 고르기 어렵다.

중심만 보면 또 놓치는 게 있다. 60점 근처에 점수가 모여 있는 반과 20점부터 100점까지 널뛰는 반이 평균은 같을 수 있다. 범위는 최댓값에서 최솟값을 빼서 퍼진 정도를 빨리 보여주지만 양 끝 값에 민감하다. 분산은 각 값이 평균에서 얼마나 떨어졌는지를 제곱해 모은 것이고, 표준편차는 그 분산에 제곱근을 씌워 원래 자료와 같은 단위로 돌아온 값이다. 시험 문제에서 표본분산은 보통 관측값 개수 n이 아니라 n-1로 나눈다는 점도 다시 체크했다. 모분산과 표본분산을 섞어 쓰면 계산을 다 맞혀놓고 마지막에 틀릴 수 있다.

사분위수도 이제 좀 감이 온다. Q1과 Q3 사이의 사분위범위(IQR)는 가운데 50%가 놓인 폭이다. 상자그림에서 상자가 길면 가운데 값들부터 꽤 퍼져 있다는 뜻이고, 평균과 표준편차만 봤을 때 놓치기 쉬운 한쪽 꼬리나 튀는 값도 함께 살펴볼 수 있다. 다만 사분위수 계산법은 도구에 따라 조금씩 다를 수 있으니 결과를 비교할 때는 기준을 확인해야겠다.

오늘의 암기 문장은 ‘중심은 평균·중앙값·최빈값, 퍼짐은 범위·분산·표준편차·IQR’이다. 이름을 외우는 건 쉬운데 실제 데이터 앞에서 뭘 먼저 볼지 고르는 건 아직 버벅인다. 다음엔 이 요약값에서 한 걸음 더 나가 표본으로 전체를 추측하는 추론통계로 넘어가야지.

가장 당황스러웠던 건 체르노프 페이스였다. 데이터를 사람 얼굴 모양으로 그려서 눈 크기, 입 모양, 얼굴 폭 같은 걸 각각 변수 하나씩에 대응시킨다는데, 처음 읽었을 땐 이게 통계 교재에 나올 내용이 맞나 싶었다. 근데 생각해보니 사람은 원래 얼굴 표정 차이를 아주 예민하게 구분해내니까, 숫자 표보다 오히려 패턴을 직관적으로 잡아내기엔 나름 말이 되는 방식이더라. 이거 말고도 산점도 행렬(변수 쌍마다 산점도를 격자로 늘어놓는 것), 별그림, 평행좌표그래프, 히트맵까지 다 다변량 관계를 시각화하는 도구인데, 결국 목적은 다 똑같다. 변수 두 개짜리 산점도로는 못 보는 전체 구조나 군집을 어떻게든 한 화면에 욱여넣어서 보자는 거였다.

시공간 데이터는 결이 좀 달랐다. 여기서는 위치(공간) 속성이랑 시간 속성을 같이 가진 데이터를 다루는데, 이걸 수집 방식에 따라 이산적 변화랑 연속적 변화로 나눈다는 게 오늘 새로 배운 부분이다. 수집 주기가 들쭉날쭉해서 값이 생길 때마다 추가되는 게 이산적 변화, 일정한 주기로 꾸준히 쌓여서 하나의 함수처럼 이어지는 게 연속적 변화라고 하는데, 말로만 보면 헷갈려서 “센서가 5분마다 자동으로 찍는 온도 데이터”랑 “사고가 날 때만 기록되는 신고 데이터”를 예로 놓고서야 구분이 좀 됐다. 시각화 쪽에서는 지역별로 색을 다르게 칠하는 코로플레스 지도, 지역 크기를 값에 비례해서 왜곡시키는 카토그램, 지도 위에 크기가 다른 원을 얹는 버블플롯맵이 나왔다. 다변량 탐색이 “그래프를 여러 개 겹쳐 보자” 쪽이라면 이쪽은 “지도 위에 숫자를 얹어 보자” 쪽이라 접근 자체가 다르게 느껴졌다.

오늘 공부하고 나서 스스로 산점도 행렬이랑 히트맵 차이를 설명할 수 있나 물어봤는데, 둘 다 “변수 간 관계를 보여준다”는 말만 반복하다가 막혔다. 산점도 행렬은 실제 값들의 분포 자체를 보여주는 거고, 히트맵은 그걸 상관계수 같은 하나의 값으로 요약해서 색으로 보여주는 거라 목적이 다른데, 아직 입에 붙지가 않는다. 다음엔 여기서 이어서 기술통계 쪽으로 넘어갈 예정인데, 오늘 나온 용어들은 그림으로 한 번 더 직접 그려봐야 안 까먹을 것 같다.

EDA는 본격적으로 모형을 만들기 전에, 그래프나 통계적인 방법으로 데이터를 여러 각도에서 들여다보면서 특징을 파악하는 과정이다. 가설을 검증하려는 게 아니라 일단 데이터가 어떻게 생겼는지 감을 잡는 단계라는 게 핵심이라고 한다. 그런데 오늘 새로 알게 된 게, EDA에는 이른바 ‘4R’이라는 네 가지 주제가 있다는 거였다. 저항성(Resistance), 잔차 해석(Residual), 자료 재표현(Re-expression), 현시성(Representation). 처음엔 그냥 통계 용어를 억지로 R로 맞춘 건가 싶었는데, 하나씩 뜯어보니 나름 결이 있었다. 저항성은 일부 이상한 값에 흔들리지 않고 데이터의 전체적인 구조를 볼 수 있어야 한다는 얘기고, 재표현은 로그를 씌우거나 하는 식으로 데이터를 다루기 쉬운 형태로 바꾸는 걸 말한다는데, 이 네 개를 시험 문제에서 서로 헷갈리게 섞어 낼 것 같다는 불길한 예감이 든다.

기초통계량 쪽은 그나마 익숙한 이름들이었다. 평균, 중위수, 최빈값 같은 대푯값이랑, 범위·분산·표준편차 같은 산포도, 그리고 분포의 생김새를 나타내는 왜도랑 첨도까지. 왜도는 분포가 한쪽으로 치우친 정도, 첨도는 분포가 얼마나 뾰족한지를 나타낸다는 건 알겠는데, 막상 왜도가 양수일 때 어느 쪽으로 치우친 건지 헷갈려서 몇 번을 다시 찾아봤다. 오른쪽 꼬리가 길면 양의 왜도라는 걸 오늘 그림까지 그려보고서야 확실히 외웠다.

상관분석 부분에서는 하마터면 잘못 외울 뻔한 게 있었다. 자료를 찾다 보니 상관계수 범위를 0에서 1 사이라고 설명해 놓은 곳이 있었는데, 곰곰이 생각해보니 이상했다. 음의 상관관계도 분명히 존재하는데 범위가 0~1일 리가 없지 않은가. 다시 찾아보니 상관계수는 -1부터 1까지고, -1이나 1에 가까울수록 관계가 강한 거고 0에 가까우면 관계가 약한 거였다. 자료를 하나만 믿고 넘어갔으면 그대로 오답 암기할 뻔했다. 검색해서 나오는 정리글도 은근히 틀린 게 섞여 있으니 숫자 하나하나는 원문 개념으로 다시 확인해야겠다는 생각이 들었다.

시각화 도구는 생각보다 종류가 많았다. 히스토그램이랑 산점도, 상자그림(박스플롯)처럼 익숙한 것 말고도 파레토도, 트리맵, 모자이크 플롯, 히트맵 같은 이름도 나왔는데 이건 전부 외우기보다는 “언제 어떤 그림을 쓰는지” 감만 잡아두는 걸로 오늘은 마무리하려고 한다. 변수가 하나면 히스토그램이나 상자그림, 두 변수 관계를 보려면 산점도, 이런 식으로 짝을 지어서 기억하는 게 나을 것 같다.

오늘 느낀 건 이 파트가 암기보다는 개념 사이의 미묘한 차이를 묻는 문제가 나올 확률이 높겠다는 거다. 다음번엔 다변량이나 시공간 데이터 같은 좀 더 복잡한 탐색으로 넘어갈 예정인데, 오늘 헷갈렸던 왜도 방향이랑 4R 용어는 다시 한번 정리해서 눈에 익혀둬야겠다.

파생변수부터. 말은 거창한데 결국 기존 변수를 가공해서 새로운 의미를 담은 변수를 만드는 거다. 생년월일에서 나이를 뽑아내거나, 구매 날짜에서 요일·계절 같은 시간 관련 변수를 만드는 게 제일 기본적인 형태고, 연속형 변수를 구간으로 나누는 구간화(binning)도 여기 들어간다. 예를 들어 나이를 그대로 쓰지 않고 10대/20대/30대로 묶어버리는 식이다. 그리고 여러 변수를 요약해서 하나로 합치는 요약변수라는 것도 있는데, 한 달치 구매 횟수를 다 더해서 “월평균 구매빈도” 같은 변수를 만드는 게 그 예다. 처음엔 그냥 “새 열 하나 추가하는 거네” 정도로 가볍게 생각했는데, 실제로는 도메인 지식이 있어야 제대로 된 파생변수가 나온다는 걸 느꼈다. 기계적으로 조합만 한다고 의미 있는 변수가 되는 게 아니더라.

변수 선택은 오늘 좀 헷갈렸던 부분이다. 변수가 많다고 무조건 좋은 게 아니라, 오히려 불필요한 변수가 많으면 차원의 저주 때문에 모형 성능이 떨어지고 계산량도 늘어난다는 게 핵심 이유였다. 그래서 필요한 변수만 골라내는 게 변수 선택인데, 방법이 크게 세 가지로 나뉜다. 필터(filter) 방법은 상관관계나 카이제곱 검정처럼 통계적 지표로 변수를 미리 걸러내는 방식이고, 래퍼(wrapper) 방법은 실제로 모형을 반복해서 돌려보면서 성능이 좋아지는 조합을 찾는 방식이다. 전진선택법, 후진제거법, 단계적선택법이 다 여기 속한다. 그리고 임베디드(embedded) 방법은 모형을 학습하는 과정 자체에 변수 선택이 녹아있는 경우인데, LASSO처럼 페널티를 줘서 불필요한 변수의 계수를 아예 0으로 만들어버리는 게 대표적이다.

문제는 래퍼랑 임베디드 방법이 자꾸 헷갈린다는 거다. 둘 다 모형 성능을 기준으로 삼는 것 같은데, 래퍼는 변수 선택과 모형 학습이 별개의 반복 과정으로 분리되어 있고 임베디드는 학습 과정 안에 아예 포함되어 있다는 차이라고 한다. 말로 정리하니 구분이 가는데, 막상 문제로 “다음 중 임베디드 방법에 해당하는 것은?” 이렇게 나오면 또 헷갈릴 것 같다.

변수 변환도 잠깐 짚었다. 값의 범위가 너무 다른 변수들을 표준화나 정규화로 맞춰주는 스케일링, 그리고 분포가 한쪽으로 치우친 변수에 로그를 씌워서 좀 더 정규분포에 가깝게 만드는 로그변환. 둘 다 이름만 알고 있었는데 오늘 보니 “왜” 하는지도 같이 물어볼 것 같아서 이유까지 챙겨봤다.

내일은 본격적으로 데이터 탐색, EDA 쪽으로 넘어갈 예정이다. 오늘 배운 필터/래퍼/임베디드 구분은 예제 문제 몇 개 더 풀어보면서 감을 잡아야 할 것 같다.

결측값부터. 무작정 다 지우면 되는 줄 알았는데, 그게 아니었다. 결측이 왜 생겼는지에 따라 완전무작위결측(MCAR), 무작위결측(MAR), 비무작위결측(MNAR)으로 나뉘고, 이 구분에 따라 처리 방법이 달라진다는 걸 오늘 처음 제대로 이해했다. 그냥 랜덤하게 빠진 거면 삭제해도 큰 문제가 없는데, 특정 조건에서 몰아서 빠진 거라면 삭제했을 때 데이터가 한쪽으로 쏠려버릴 수 있다는 얘기다.

대치 방법도 종류가 생각보다 많았다. 평균이나 중앙값, 최빈값으로 채우는 단순대치는 제일 쉽지만 분산을 줄여버리는 부작용이 있고, 이상치가 있는 분포라면 평균보다 중앙값이 낫다고 한다. 여러 번 대치값을 뽑아서 결과를 합치는 다중대치법은 훨씬 정교하다는데, 개념은 알겠는데 왜 굳이 여러 번 반복해서 합치는 건지 스스로 설명해보라고 하니 좀 막혔다. 불확실성 자체를 반영하려고 그런다는 건데, 말로는 이해했지만 손으로 계산하라면 못 할 것 같다.

이상값 쪽은 그나마 익숙했다. IQR로 사분위 범위 벗어나는 값 잡아내는 방법이랑, 평균에서 표준편차 몇 배 떨어졌는지로 보는 Z-score나 ESD 방식. 그런데 오늘 새삼 깨달은 건, 통계적으로 이상하게 튀는 값이라고 해서 무조건 지우면 안 된다는 점이다. 입력 실수로 잘못 들어간 값이면 고치거나 빼는 게 맞지만, 진짜로 드물게 일어난 사건이라면 그것도 엄연한 데이터라서 따로 변수를 만들거나 모형을 강건하게 만드는 쪽으로 접근해야 한다더라. 시험 문제로 나오면 “이상값은 무조건 삭제한다”를 정답으로 고르고 싶어지는데, 함정일 수도 있겠다 싶다.

오늘 느낀 건, 이 파트가 단순 암기보다는 “왜 이렇게 처리하는가”를 묻는 문제가 나올 것 같다는 거다. 다음엔 파생변수 만들기랑 변수 선택 쪽으로 넘어갈 예정인데, 오늘 헷갈렸던 다중대치법 부분은 예제 하나 정도 직접 풀어보고 넘어가야 할 듯하다.

일단 데이터 유형 구분부터 다시 짚었다. 정형데이터는 필드가 고정된 형태로, 엑셀이나 RDBMS처럼 스키마가 이미 정해져 있는 것들이다. 반정형데이터는 XML, HTML, JSON처럼 스키마 정보를 데이터 자체에 함께 들고 다니는 경우고, 비정형데이터는 아예 정해진 구조가 없는 영상이나 SNS 댓글, 위치 데이터 같은 걸 말한다. 이 셋을 나누는 기준 자체는 예전에 한 번 본 적이 있어서 그런지 크게 안 헷갈렸는데, 문제는 그다음이었다.

수집 방법이 데이터 유형별로 다르게 나뉘어 있다는 걸 오늘 처음 제대로 봤다. 정형데이터는 ETL, FTP, API 같은 방식으로 가져오고, 비정형데이터는 크롤링, RSS, Open API, 그리고 Flume이나 Scribe, 카프카(Kafka) 같은 도구를 쓴다고 나온다. 크롤링이랑 Open API 차이도 헷갈렸는데, 정리하자면 크롤링은 웹 페이지 자체를 긁어오는 거고 Open API는 애초에 서비스 쪽에서 열어둔 창구로 데이터를 요청해서 받는 거라, 후자가 훨씬 안정적이고 합법적인 방식에 가깝다고 보면 될 것 같다.

오늘 가장 새로 알게 된 개념은 ETL과 CDC의 차이였다. ETL은 추출(Extract)-변환(Transform)-적재(Load) 순서로 데이터를 옮기는 건데, 이게 보통 배치(batch) 단위로, 그러니까 정해진 시간마다 한 덩어리씩 옮기는 방식이라고 한다. 반면 CDC(Change Data Capture)는 원천 데이터베이스에서 바뀐 부분만 실시간으로 감지해서 타깃 쪽에 계속 복제해주는 방식이다. “실시간이냐 배치냐”라는 기준 하나로 이 둘을 구분하면 되는 건데, 처음 볼 땐 그냥 둘 다 “데이터 옮기는 기술” 정도로만 뭉뚱그려 이해하고 있었어서 시험에 나오면 확실히 틀렸을 것 같다.

저장 쪽에서는 데이터 웨어하우스(DW), 데이터 마트(DM), 데이터 레이크 세 개를 비교하는 내용이 나왔다. 데이터 레이크는 원본 그대로 쌓아두는 곳이고, 데이터 웨어하우스는 정제된 데이터만 담아두는 전사 차원의 저장소, 데이터 마트는 그중에서도 특정 부서나 주제에 맞게 떼어낸 작은 단위라는 설명이었다. 회사 전체 창고가 DW라면 마트는 그 창고에서 필요한 코너만 따로 빼놓은 매대 같은 느낌이랄까, 이렇게 비유해두니 셋의 관계가 좀 더 그림처럼 그려졌다.

수집 도구 이름도 여러 개 나왔는데 Sqoop, Flume, Fluentd, Logstash 정도가 자주 언급되는 편이었다. 다 외우기보다는 “정형은 Sqoop 계열, 로그성 비정형은 Flume·Logstash 계열”이라는 큰 갈래만 잡아두는 쪽으로 방향을 잡았다. 이름 하나하나를 다 구분해서 외우려니 끝이 없어서, 일단은 큰 흐름 위주로 가고 나중에 기출 풀면서 세부적으로 채워 넣어야겠다.

내일은 데이터 전처리 쪽, 결측값이랑 이상값 다루는 부분으로 넘어갈 예정이다.

먼저 분석 기획이 뭔지부터. 그냥 “어떤 데이터로 뭘 분석할지 정하는 것”이라고 막연히 생각했는데, 교재에서는 분석 대상(What)과 분석 방법(How) 두 축으로 나눠서 설명하더라. 문제도 알고 방법도 아는 경우는 “최적화”, 문제는 모르는데 방법은 아는 경우는 “통찰”, 문제는 아는데 방법을 모르면 “솔루션”, 둘 다 모르면 “발견” 영역이라는 식으로 4분면을 그려서 구분하는데, 이 매트릭스가 시험에 자주 나온다고 해서 몇 번을 다시 그려봤다.

그다음이 분석 마스터플랜 수립이었다. 여기서 핵심은 우선순위를 정하는 기준인데, 크게 두 가지를 본다.

• 시급성: 전략적 중요도가 현재 기준인지 미래 기준인지
• 난이도: 데이터 수집·시스템 구축 비용과 범위가 얼마나 큰지

이 두 축으로 사분면을 그려서 “시급성 높고 난이도 낮은” 과제부터 먼저 착수하는 게 일반적인 로드맵 전략이라고 한다. 당연한 얘기 같으면서도 막상 실무에서는 난이도 낮은 과제를 자꾸 미루고 화려한 과제부터 손대다가 실패하는 경우가 많다고 하니, 왜 이걸 이론으로까지 정리해뒀는지 이해가 갔다.

가장 낯설었던 건 분석 조직 구조 유형이었다. 세 가지로 나뉘는데,

1. 집중형: 전사 분석 조직이 하나로 모여서 전략적 우선순위를 정하고 수행까지 담당하는 형태
2. 기능형: 별도 분석 조직 없이 각 부서가 각자 필요한 분석을 알아서 수행하는, 가장 흔한 형태
3. 분산형: 분석 조직 인력을 각 부서에 배치하되, 전사 차원의 우선순위는 함께 맞춰가는 형태

집중형은 신속하고 강력하게 추진할 수 있는 대신 현업 부서와 소통이 끊기기 쉽고, 기능형은 반대로 현장 밀착도는 높지만 전사 관점의 우선순위가 흐트러지기 쉽다고 한다. 이걸 보면서 회사 조직도를 볼 때 왜 어떤 팀은 데이터팀이 따로 있고 어떤 팀은 부서마다 분석 담당자만 있는 구조인지 조금 이해가 됐다.

마지막으로 분석 준비도라는 개념도 처음 봤다. 조직이 분석을 제대로 할 준비가 됐는지를 분석 업무 파악, 인력·조직, 분석 기법, 분석 데이터, 분석 문화, IT 인프라 이렇게 여섯 영역으로 쪼개서 점검하는 프레임워크였다. 하나라도 기준 미달이면 “준비도 미흡”으로 분류된다고 하니, 데이터 분석이 툴 하나 잘 다룬다고 되는 일이 아니라는 걸 새삼 느꼈다.

오늘 나한테 설명해보려니 마스터플랜 우선순위 사분면이랑 조직 구조 세 가지가 자꾸 헷갈렸다. 내일은 데이터 분석 방안 수립과 작업 계획 쪽을 이어서 볼 예정이다.

먼저 나온 게 KDD였다. Fayyad가 1996년에 제안한 절차라고 하는데, 데이터셋 선택 → 전처리 → 변환 → 데이터마이닝 → 결과 평가, 이렇게 다섯 단계로 흘러간다. 여기서 헷갈렸던 건 “데이터마이닝”이 KDD 전체 과정의 이름이 아니라 그 안의 한 단계 이름이라는 점이었다. 나는 그냥 같은 말인 줄 알았는데 아니었다.

그다음이 CRISP-DM. 이건 이름부터 산업 표준(Cross Industry Standard Process for Data Mining)이라고 박혀 있어서 그런지 단계 수도 KDD보다 많고 더 촘촘했다. 비즈니스 이해에서 시작해서 데이터 이해, 데이터 준비를 거쳐 모델링, 평가, 전개까지 가는데, 특히 마음에 들었던 건 각 단계가 일방통행이 아니라 필요하면 이전 단계로 되돌아갈 수 있다는 부분이었다. 실무에서 데이터 준비하다가 “어 이거 애초에 비즈니스 이해가 잘못됐네” 싶은 순간이 분명 있을 것 같은데, 그런 상황을 방법론 자체가 인정하고 있다는 느낌이었다.

마지막은 SAS에서 만든 SEMMA. Sample, Explore, Modify, Model, Assess의 앞글자를 딴 거라 외우기는 오히려 제일 쉬웠다. 표본 추출하고 탐색하고 변수를 다듬고 모델을 만들고 평가하는 흐름인데, 상대적으로 통계적 모델링에 초점이 맞춰져 있다는 설명이 인상적이었다.

방법론 다음으로 나온 게 분석 과제를 어떻게 발굴하느냐는 얘기였다.

1. 하향식 접근법: 문제가 이미 정형화되어 있고 데이터도 조직 안에 잘 갖춰진 경우에 쓰는 전통적인 방식. 원인을 찾고 해결방안을 도출한 다음 우선순위를 정한다.
2. 상향식 접근법: 애초에 “문제가 뭔지 정의하는 것” 자체가 어렵다는 걸 인정하고 시작하는 방식. 비지도 학습이나 프로토타이핑처럼 일단 데이터를 들여다보면서 시행착오로 문제를 좁혀나간다.
3. 통합 방식: 실제로는 이 둘을 딱 나눠서 쓰는 게 아니라, 상향식으로 발산시키고 하향식으로 수렴시키는 과정을 반복한다고 한다.

이 부분을 읽으면서 지난번에 봤던 분석 기획 4분면(최적화/통찰/솔루션/발견)이랑 자연스럽게 연결됐다. 문제도 방법도 아는 “최적화” 영역은 하향식이 잘 맞고, 둘 다 모르는 “발견” 영역은 상향식으로 갈 수밖에 없겠다는 생각이 들었다. 그때는 그냥 따로따로 외웠는데 오늘 보니 두 개가 한 세트였다.

마지막으로 작업 계획 수립에서는 WBS(작업 분할 구조도) 얘기가 나왔다. 프로젝트를 상위 업무부터 하위 세부 업무까지 계층적으로 쪼개서 일정과 담당자를 배정하는 도구인데, 이건 개발 프로젝트에서 하던 것과 크게 다르지 않아서 상대적으로 수월하게 넘어갔다.

오늘 헷갈렸던 건 역시 KDD랑 CRISP-DM 단계 순서를 서로 바꿔 외우는 것이었다. 내일은 데이터 수집과 저장(적재) 계획 쪽을 이어서 볼 예정이다.

오늘은 가장 기본, “빅데이터가 대체 뭔데”부터 다시 짚었다. 지난번엔 이 부분을 너무 당연하게 여기고 넘어갔던 게 화근이었던 것 같다.

빅데이터 특징을 설명할 때 가장 많이 나오는 게 3V다. 규모(Volume), 다양성(Variety), 속도(Velocity). 요즘은 정확성(Veracity)과 가치(Value)까지 더해 5V로 확장해서 설명하는 경우도 많다. 그냥 외우면 금방 까먹으니까 나름대로 예를 붙여봤다. Volume은 하루에도 몇 테라바이트씩 쌓이는 로그, Variety는 정형 데이터 말고도 사진·영상·SNS 텍스트가 섞여 들어오는 상황, Velocity는 실시간으로 밀려드는 스트리밍 데이터 정도로 생각하니 얼추 맞는 것 같다.

데이터 유형 구분도 다시 정리했다. 크게 정형, 반정형, 비정형으로 나뉜다.

• 정형 데이터: 스키마가 고정된 형태 (엑셀 표, RDB 테이블)
• 반정형 데이터: 스키마는 있지만 고정적이지 않은 형태 (XML, JSON, 로그 파일)
• 비정형 데이터: 형태가 정해져 있지 않은 데이터 (이미지, 동영상, 자유 텍스트)

처음엔 반정형과 비정형을 자꾸 헷갈렸다. “JSON은 그냥 텍스트 아닌가?” 싶었는데, 태그나 키-값 구조처럼 어느 정도 규칙이 있느냐 없느냐로 구분한다고 생각하니 좀 낫더라. 남한테 설명할 수 있나 스스로 물어봤는데, 반정형 예시를 대다가 살짝 막혔다. 아직 완전히 내 것은 아닌 듯하다.

오늘 느낀 팁 하나는, 이런 개념 문제는 암기보다 예시를 스스로 만들어보는 쪽이 훨씬 오래 남는다는 거다. 내일은 분석 기획과 조직 구성 쪽을 볼 예정인데, 실무 냄새가 나서 좀 더 재밌게 볼 수 있을 것 같다.