오늘은 탐색적 데이터분석, 흔히 EDA라고 부르는 파트를 공부했다. 이름은 하도 많이 들어봐서 익숙한데, 막상 “EDA가 정확히 뭐냐”고 물으면 “그래프 그려보는 거요” 정도로만 대답할 수 있었다는 걸 오늘 깨달았다. 그래서 이번엔 개념부터 다시 잡고 넘어가기로 했다.

EDA는 본격적으로 모형을 만들기 전에, 그래프나 통계적인 방법으로 데이터를 여러 각도에서 들여다보면서 특징을 파악하는 과정이다. 가설을 검증하려는 게 아니라 일단 데이터가 어떻게 생겼는지 감을 잡는 단계라는 게 핵심이라고 한다. 그런데 오늘 새로 알게 된 게, EDA에는 이른바 ‘4R’이라는 네 가지 주제가 있다는 거였다. 저항성(Resistance), 잔차 해석(Residual), 자료 재표현(Re-expression), 현시성(Representation). 처음엔 그냥 통계 용어를 억지로 R로 맞춘 건가 싶었는데, 하나씩 뜯어보니 나름 결이 있었다. 저항성은 일부 이상한 값에 흔들리지 않고 데이터의 전체적인 구조를 볼 수 있어야 한다는 얘기고, 재표현은 로그를 씌우거나 하는 식으로 데이터를 다루기 쉬운 형태로 바꾸는 걸 말한다는데, 이 네 개를 시험 문제에서 서로 헷갈리게 섞어 낼 것 같다는 불길한 예감이 든다.

기초통계량 쪽은 그나마 익숙한 이름들이었다. 평균, 중위수, 최빈값 같은 대푯값이랑, 범위·분산·표준편차 같은 산포도, 그리고 분포의 생김새를 나타내는 왜도랑 첨도까지. 왜도는 분포가 한쪽으로 치우친 정도, 첨도는 분포가 얼마나 뾰족한지를 나타낸다는 건 알겠는데, 막상 왜도가 양수일 때 어느 쪽으로 치우친 건지 헷갈려서 몇 번을 다시 찾아봤다. 오른쪽 꼬리가 길면 양의 왜도라는 걸 오늘 그림까지 그려보고서야 확실히 외웠다.

상관분석 부분에서는 하마터면 잘못 외울 뻔한 게 있었다. 자료를 찾다 보니 상관계수 범위를 0에서 1 사이라고 설명해 놓은 곳이 있었는데, 곰곰이 생각해보니 이상했다. 음의 상관관계도 분명히 존재하는데 범위가 0~1일 리가 없지 않은가. 다시 찾아보니 상관계수는 -1부터 1까지고, -1이나 1에 가까울수록 관계가 강한 거고 0에 가까우면 관계가 약한 거였다. 자료를 하나만 믿고 넘어갔으면 그대로 오답 암기할 뻔했다. 검색해서 나오는 정리글도 은근히 틀린 게 섞여 있으니 숫자 하나하나는 원문 개념으로 다시 확인해야겠다는 생각이 들었다.

시각화 도구는 생각보다 종류가 많았다. 히스토그램이랑 산점도, 상자그림(박스플롯)처럼 익숙한 것 말고도 파레토도, 트리맵, 모자이크 플롯, 히트맵 같은 이름도 나왔는데 이건 전부 외우기보다는 “언제 어떤 그림을 쓰는지” 감만 잡아두는 걸로 오늘은 마무리하려고 한다. 변수가 하나면 히스토그램이나 상자그림, 두 변수 관계를 보려면 산점도, 이런 식으로 짝을 지어서 기억하는 게 나을 것 같다.

오늘 느낀 건 이 파트가 암기보다는 개념 사이의 미묘한 차이를 묻는 문제가 나올 확률이 높겠다는 거다. 다음번엔 다변량이나 시공간 데이터 같은 좀 더 복잡한 탐색으로 넘어갈 예정인데, 오늘 헷갈렸던 왜도 방향이랑 4R 용어는 다시 한번 정리해서 눈에 익혀둬야겠다.