페이스북은 빅데이터를 어떻게 처리하는가 - 매달 25억건의 콘텐츠, 500TB의 데이터를 처리 SNS



오늘 (미국시간 8/22)페이스북은 본사에서 소수의 저널리스트들을 초대하고 자사가 처리하는 빅데이터의 실태에 대해서 흥미로운 수치를 밝혔다. 예를 들어 페이스북의 시스템은 매달 25억건의 콘텐츠, 500TB 이상의 데이터를 처리한다고 한다. 또 '좋아요'는 매달 27억번, 업로드되는 사진도 매달 3억장으로, 30분마다 105TB의 데이터가 스캔된다고 한다. 또한 Prism이란 프로젝트도 소개되었다. 

이러한 빅데이터 처리의 중요성에 대해서 설명해준 것은 엔지니어링 담당 부사장인 Jay Parikh이다. '빅데이터란 것은 단순한 양을 의미하는 것이 아니다. 그 데이터에서 중요한 정보를 추출하고 비지니스 상의 의사결정에 활용할 수 있어야 빅데이터라 할 수 있는 것이다. 활용할 수 없다고 한다면 아무리 많은 n데이터를 모았다고 해도 빅데이터라고는 할 수 없다'고 Parikh는 말한다. 페이스북은 거대한 데이터를 몇 분 내에 처리할 수 이는 새로운 프로젝트의 출시, 유저의 반응의 조사, 그에 따른 디자인의 변경 등을 대부분 실시간으로 실행할 수 있다고 한다. 

이번에 페이스북은 100PB(페타바이트)이상의 데이터가 단일한 Hadoop 디스크 클래스터에 저장되어 있음도 밝혔다. Parikh은 '우리는 세계최대의 단일 Hadoop 시스템을 운용하고 있다고 생각한다'고 밝혔다. 내가 '(원조격인) 야후의 클래스터보다도 크냐?'고  묻자 Parikh는 자랑스럽게 '그렇다' 라고 답하곤 윙크를 건냈다. 

'중소기업들 입장에서는 엄청난 데이터양이라고 생각할 수도 있겠지만 몇년이 아니라 몇달 사이에 100PB정도의 데이터량에는 아무도 놀라지 않을 것이다. 처리속도는 날이 갈수록 빨라지고 있으며 세상은 점점 거대한 데이터를 원한다'고 Parikh는 말한다. 

이러한 빅데이터는 페이스북 자신과 동시에 광고주를 위해서도 활용된다고 한다. '우리는 다양한 측면에서 광고효과를 측정한다. 성별, 연령, 관심사 등의 유저 데이터와 광고가 어떻게 관련되는지를 상세하게 측정하고 있으므로 〔예를 들어 〕어떤 광고가 캘리포니아에서 특히 효과가 좋았다고 파악되면 우리는 그 광고의 캘리포니아에서의 표시횟수를 늘려서 비용대비효과를 높이는 등의 대응을 할 수 있다.'

페이스북은 시스템의 개량함에 있어서 실 데이터가 아니라 과거의 데이터 세트를 통한 시뮬레이션을 시도할 수 있다. '유저 인터페이스를 이렇게 바꿀 경우 노출횟수대비 클릭수가 어떻게 변할 것인가 등, 서비스 실시 전에 다양한 모델을 테스트할 수 있게 되었다' 라고 한다. 또 극히 일부의 유저에 대해서만 새로운 기능을 공개하는 Gatekeeper라는 테스트 시스템도 준비하고 있다. 

그 다음 프로젝트 Prism의 설명이 이어졌다. 현재 페이스북에서는 실제 서비스용 유저 데이터베이스를 단일한 데이터센터에서 처리하고 있다고 한다. 다른 데이터센터는 매우 긴 데이터와 백업에 이용된다. 메인 데이터베이스의 처리용량이 부족해지면 별도의 데이터센터의 용량을 늘려서 모든 데이터를 이전시킨다고 한다. 이러한 거대 데이터의 이동은 리소스의 낭비를 낳는다. 

Parikh에 따르면 프로젝트 Prism에서는 데이터를 복수의 데이터센터로 분산하면서도 마치 단일한 데이터베이스에 있는 것 처럼 다룰 수 있는 시스템의 구축을 목표로 하고 있다고 한다. 결국 실제 서비스용 데이터를 캘리포니아, 버지니아, 오리건, 노스캐롤라이나, 스웨덴의 각 데이터센서에 분산해서 저장할 수 있도록 하는 것이다. 

또 Parikh은 프라이버시 문제에 대해서도 언급하면서 페이스북 사원이 특권을 남용해서 유저데이터에 부당한 목적으로 접속하는 것을 방지하기 위해서 수많은 보호조치를 취한다고 밝혔다. 모든 데이터 접속은 로그가 남고, 누가 언제 어디서 어떤 데이터를 열람했는가 검증할 수 있게 되어 있다. 유저데이터의 접속허가가 주어지는 것은 그러한 데이터를 필요로 하는 프로덕트의 개발팀 멤버로 제한된다. 또 유저데이터의 정당한 이용의 범위에 대해서 집중적인 교육을 듣는 것이 의무화되어 있다. 정당한 목적없이 유저데이터에 접속한 사원은 즉시 해고된다. Parikh는 '예외란 전혀 없다. 우리는 이 점에 대해서 가장 엄격한 입장을 취하고 있다'고 보증했다. 

[原文へ]

(翻訳:滑川海彦 Facebook Google+


핑백

덧글

댓글 입력 영역



통계 위젯 (블랙)

191110
1377
4633869

이 이글루를 링크한 사람 (블랙)

610