빅 데이터

평소 무한도전을 즐겨 보는 이라면 또는 즐겨보지 않더라도 이번에 방영한 식스맨 프로젝트에 대해선 들어본 적이 있을 것이다. 식스맨 프로젝트는 5인체제의 무한도전에 제 6의 멤버를 영입하기 위한 프로젝트이다. 제 6의 멤버가 되고자 하는 이들에겐 다방면으로 뛰어난 능력이 필요로 했는데 이 자격을 검증하고자 많은 정보가 사용되었다. 그 중 우리는 ‘빅 데이터’라는 것에 대해 알아보고자 한다.

빅 데이터란?
다양한 종류의 대규모 데이터를 수집, 저장, 관리, 분석할 수 있는 역량을 넘어서는 대량의 데이터 집합 및 이러한 데이터로부터 가치를 추출하고 결과를 분석하는 기술을 의미한다.
빅 데이터 기술의 발전은 다변화된 현대 사회를 더욱 정확하게 예측하여 효율적으로 작동케 하고 개인화된 현대 사회 구성원 마다 맞춤형 정보를 제공, 관리, 분석 가능케 하며 과거에는 불가능했던 기술을 실현시키기도 한다.

과거에도 빅 데이터가 있었나?
결론부터 말하자면 '아니다'이다. 데이터의 양적인 측면만 봐도 그렇다. 미국의 저장장치업체 EMC가 IDC에 의뢰해 발표한 ‘디지털 유니버스 보고서 : 빅데이터, 더욱 길어진 디지털 그림자, 이머징 마켓의 놀라운 성장1)’ 이란 연구보고서의 결과를 보자. 전 세계적으로 2012년 한 해동안 생성된 데이터의 양은 2.8제타바이트(ZB)로, 이전까지 생성된 데이터 양을 모두 합친 것보다 많다. 우리는 지금 과거의 데이터 환경과는 전혀 다른 ‘빅데이터’ 시대를 살고 있는 것이다.

빅 데이터는 누가 조사하는 걸까?
빅데이터를 다루는 일이 중요해지면서, 이를 맡아 진행하는 전문가도 덩달아 주목받고 있다. 기업은 자신들이 보유하고 있는 데이터를 분석해 특정한 결과를 얻어내고 싶어하는데, 이를 위해 데이터를 수집하고 정리하고 분석해 보기 편하게 자료를 만드는 전문가의 역할이 중요해졌다.
소위 말하는 ‘데이터 과학자(Data Scientist)’는 이런 작업을 도와주는 사람이다. 빅데이터는 쌓아두기만 하면 가치가 없다. 활용해야 가치가 생긴다. 빅데이터 전문가인 데이터 과학자는 통계학, 컴퓨터과학, 러닝머신 등 기본적인 데이터 분석에 대한 이해뿐만 아니라 프로그래밍 실력과 특정 도메인에 대한 비즈니스 지식도 필요하다.

빅 데이터가 선거에도 사용되었다고?
2008년 미국 대통령 선거에서 당시 오바마 캠프는 인종, 종교, 나이, 가구형태, 소비수준과 같은 기본 인적 사항으로 유권자를 분류하는 것을 넘어서서 과거 투표 여부, 구독하는 잡지, 마시는 음료 등 유권자 성향까지 전화나 개별 방문을 또는 소셜 미디어를 통해 유권자 정보를 수집하였다. 이를 바탕으로 ‘유권자 지도’를 작성한 뒤 ‘유권자 맞춤형 선거 전략’을 전개하는 등 오바마 캠프는 비용 대비 효과적인 선거를 치를 수 있었다.
우리나라 제19대 총선때도 중앙선거관리위원회는 대한민국 제19대 총선부터 소셜 네트워크 등 인터넷 상의 선거 운동을 상시 허용하였다. 이 가운데 여론 조사 기관들은 기존 여론조사 방식으로 예측한 2010년 제5회 지방 선거 및 2011년 재보궐선거의 여론조사 결과와 실제 투표 결과와의 큰 차이를 보완하고자 빅 데이터 기술을 활용한 SNS 여론 분석을 시행했다. 그러나 SNS 이용자의 대다수가 수도권 20~30대에 쏠려 있기에, 빅 데이터를 이용한 대한민국 제19대 총선에 대한 SNS 분석은 수도권으로 한정되어 일치하는 한계를 드러내기도 했다.

사진 출처 - 무한도전 中, 엔하위키 미러

곽승연 기자
kwaksy@hwangryong.com