지난번엔 평균과 분산으로 손에 든 데이터를 설명했다. 오늘은 그 작은 표본으로 보이지 않는 모집단까지 이야기하려니 갑자기 발밑이 흔들린다. 추론통계는 계산기보다 먼저 “누구를 어떻게 뽑았나?”를 물어야 하는 분야인 것 같다.

예를 들어 블로그 방문자의 평균 체류 시간을 알아보겠다고 해놓고 댓글을 남긴 사람만 조사하면 어떨까. 이 사람들은 전체 방문자와 다를 수 있다. 단순무작위추출은 모집단의 대상에게 같은 선택 기회를 주는 방식이고, 층화추출은 의미 있는 집단으로 나눈 뒤 각 층에서 무작위로 뽑는다. 반면 군집추출은 집단 자체를 먼저 뽑는다. 이름이 비슷해서 외울 때마다 층은 ‘각 층에서’, 군집은 ‘집단을 골라’라고 짧게 되뇌게 된다. 편한 사람만 모은 표본으로 모집단 전체를 자신 있게 말하는 건 위험하다.

이제 가설검정. 먼저 귀무가설(H0)과 대립가설(H1)을 세우고, 데이터를 보기 전에 유의수준 α를 정한다. 귀무가설이 맞다고 가정할 때 지금 관측한 결과만큼 또는 그보다 극단적인 결과가 나올 확률이 p값이다. p=0.03을 보고 ‘대립가설이 참일 확률 97%’라고 읽으면 오답이다. 조건을 거꾸로 뒤집은 셈이다. α=0.05라면 p=0.03은 귀무가설을 기각할 근거가 되지만, 결과가 실무적으로도 크고 중요하다는 뜻까지 주지는 않는다.

오류도 자꾸 반대로 기억한다. 1종 오류는 사실인 귀무가설을 기각하는 것, 2종 오류는 거짓인 귀무가설을 기각하지 못하는 것이다. ‘기각하지 못함’을 ‘귀무가설이 참이라고 증명함’으로 번역하지 않는 것도 중요하다. 시험 지문에서 이 두 표현을 바꿔치기하면 또 낚일 것 같다.

오늘 나한테 물어본 질문은 두 개다. “층화와 군집 중 어디서 표본을 뽑지?”와 “p값의 확률은 무엇을 참이라고 가정하지?” 두 번째 답에서 잠깐 멈칫했다. 다음에는 숫자만 보지 말고 가정과 표본 설계부터 확인해봐야겠다.

참고: Penn State의 표본추출 설명, NIST의 p값 설명, Penn State의 가설검정 오류 설명