한 달 정도 벼락치기로 준비했다가 지난 시험에서 떨어졌다. 어느 정도 예상은 했지만 막상 결과를 받아보니 허탈했다. 그래서 이번엔 제대로 각 잡고 다시 공부해보기로 했고, 그 과정을 여기에 하루하루 기록해보려 한다. 남 보여주려는 글이라기보다는 나중에 내가 다시 읽어볼 노트에 가깝다.

오늘은 가장 기본, “빅데이터가 대체 뭔데”부터 다시 짚었다. 지난번엔 이 부분을 너무 당연하게 여기고 넘어갔던 게 화근이었던 것 같다.

빅데이터 특징을 설명할 때 가장 많이 나오는 게 3V다. 규모(Volume), 다양성(Variety), 속도(Velocity). 요즘은 정확성(Veracity)과 가치(Value)까지 더해 5V로 확장해서 설명하는 경우도 많다. 그냥 외우면 금방 까먹으니까 나름대로 예를 붙여봤다. Volume은 하루에도 몇 테라바이트씩 쌓이는 로그, Variety는 정형 데이터 말고도 사진·영상·SNS 텍스트가 섞여 들어오는 상황, Velocity는 실시간으로 밀려드는 스트리밍 데이터 정도로 생각하니 얼추 맞는 것 같다.

데이터 유형 구분도 다시 정리했다. 크게 정형, 반정형, 비정형으로 나뉜다.

  • 정형 데이터: 스키마가 고정된 형태 (엑셀 표, RDB 테이블)
  • 반정형 데이터: 스키마는 있지만 고정적이지 않은 형태 (XML, JSON, 로그 파일)
  • 비정형 데이터: 형태가 정해져 있지 않은 데이터 (이미지, 동영상, 자유 텍스트)

처음엔 반정형과 비정형을 자꾸 헷갈렸다. “JSON은 그냥 텍스트 아닌가?” 싶었는데, 태그나 키-값 구조처럼 어느 정도 규칙이 있느냐 없느냐로 구분한다고 생각하니 좀 낫더라. 남한테 설명할 수 있나 스스로 물어봤는데, 반정형 예시를 대다가 살짝 막혔다. 아직 완전히 내 것은 아닌 듯하다.

오늘 느낀 팁 하나는, 이런 개념 문제는 암기보다 예시를 스스로 만들어보는 쪽이 훨씬 오래 남는다는 거다. 내일은 분석 기획과 조직 구성 쪽을 볼 예정인데, 실무 냄새가 나서 좀 더 재밌게 볼 수 있을 것 같다.