잘 나가는 안드로이드 개발사들은 어떻게 어플을 테스트하나? 스마트폰 관련

몇 주 전에 나는 홍콩의 개발사인 Animoca가 자사의 안드로이드 어플을 어떻게 테스트하는지에 관한 기사를 올렸다  어플 다운로드수 7천만건 이상을 기록한 이 회사에서는 모든 어플을 400종류의 디바이스에서 테스트하고 있다. 위 사진은 이 회사의 본사에서 촬영한 것으로 그들이 사용 중인 안드로이드폰과 태블릿 중 아주 일부분이다. 

두말할 것도 없이 내 기사는 많은 안드로이드 서포터의 분노를 샀다. 내 기사가 장래의 안드로이드 개발자들을 소극적으로 만든다고 지적하는 리플도 있었다. 안드로이드의 파편화나 수백가지 디바이스, 화면 사이즈, 해상도, OS버젼을 지원해야 하는 상황에 개발자들이 안드로이드를 기피하지 않을까 하는 것이었다.  

그래서 나는 다른 모바일 게임 개발자들은 안드로이드 상의 품질관리를 어떻게 하고 있는지 알아보았다. 결과를 보도록 하자.  

Red Robot LabsBenchmark Capital가 출자。EA, Playdom 및 Crowdstar 출신의 베테랑 창립팀. 다운로드 건수3500만 이상, 현재 구글 플레이 스토어 매출 27위 어플을 보유 중)

Red Robot은 사내에 약 12대의 디바이스를 보유하고 품질보증 팀은 2명으로 구성된다. 그 외에 영국을 거점으로 하는 Testology라는 회사에 의뢰해서 추가로 35기종을 커버하고 있다. 

'나는 공통 감각이란 필터를 이용한다'고 공동창립자인 Pete Hawley는 말한다. 그는 EA출신으로 게임업계에서 15년 동안 일했다. 그는 80/20룰에 따라서 유저의 대부분을 커버하는 소수의 기종을 구분한다. 우선 구글이 발표한 안드로이드의 각 버전 및 화면 사이즈, 해상도별 출하대수를 파악한다. 다음으로 자사의 게임유저가 어떤 기종을 사용 중인가 분석한다. 마지막으로 플레이어들의 요구와 support ticket을 본다. 

Hawley는 지원할 디바이스를 선별하는 것이 좋은 방법이라고 말한다. 특히 아시아에 수많은 로엔드 단말기가 존재하는 상황에서는 말이다.

'쉐어가 작은 옛날 기종이나 오래된 OS는 지원하지 않겠다 말하는 것도 중요하다'고 그는 말한다. '전체적으로 봐서 모든 단말기, 통신사, OS를 지원하는 것은 생각만큼 엄청난 것은 아니었다. 따라서 80%를 잘 커버하는 것은 그리 큰 일은 아니다'

다음 표는 작년 가을 Red Robot의 디바이스 분포도다 (잘개 쪼개진 파이 모습이다)

Pocket Gems(Sequoia CapitalRedpoint Ventures가 출자. 7000만 다운로드 이상, 안드로이드에서는 비교적 신규업체이나 작년의 iOS게임 매출 TOP 10에 2건이 올랐다. 구글 플레이에서는 매출 35위)

Pocket Gem의 품질보증 테스트는 전 미국공군대령인 Ray Vizzone 가 이끌고 있다. 그들은 40대가 약간 넘는 디바이스를 사용하여 다음의 동영상에서 설명하는 매트릭스에 따라서 평가하고 있다. 태블릿과 스마트폰 양쪽을 포함하고 다음으로 고해상도와 저해상도 기종이 포함되도록 확인하고 있다. 또한 주요 그래픽칩(GPU)5종, Adreno, PowerVR、Tegra, Mali, 및 Vivante가 포함되도록 한다.  

이 회사의 품질보증 프로세스는 초고속 스타일이다. 이는 게임업계가 최근 수년간 근본적으로 변화했기 때문이다. Zynga가 소셜게임업계에서 해왔던 것과 마찬가지로 오늘날의 모바일 게임은 손에 잡히는 완성품이라기보다 서비스에 가깝다. 따라서 몇일 마다 신선한 컨텐츠로 계속해서 업데이트를 해야 한다. 

샌프란시스코를 거점으로 하는 이 회사 입장에서 품질보증테스트는 풀타임 체제로 미국 내 및 해외팀이 관여한다. 미국팀이 주간테스트를 설계하고 실시한 후, 같은 40기종의 안드로이드기를 갖춘 해외팀에게 넘긴다. 이 팀이 또 철야를 해서 호환성 테스트를 실시하여 발견한 버그를 문제추적 시스템에 입력하면 그것이 다음날 미국팀에 전달된다. 

Pocket Gem은 모든 기능을 3가지 그룹으로 나눠서 테스트한다. 1)신기능 테스트, 2)종합 테스트, 3)출하 후보테스트 개발팀이 게임의 새로운 기능을 개발 중인 동안에도 QA팀은 디자인 테스트 준비를 진행하고 있으므로 완성되는 대로 바로 확인할 수 있다. 기능이 안정되면 게임에 통합되어 다음 테스트에 들어간다. 

'종합 테스트 중에 버그가 발견되어 수정되면 제품 매니저와 테스트 책임자가 리스크 평가를 실시하고 출하를 향해서 언제 코드를 동결할지를 판단한다 '고 공동창립자인 Harlan Crystal은 설명한다. '이 판단이 내려지면 전체 반복 테스트가 시작된다' 

마지막 공정에는 메모리, 성능, 디바이스 호환 테스트 등이 포함된다. '이 공정에서 치명적인 버그가 발견되지 않으면 신께 별탈없기를 기도하고 출하한다'고 그는 말한다. 

Pocket Gems Android QA Process

Storm8(3억 다운로드 이상。자기 자금만으로 설립. 안드로이드 매출 TOP에 게임 3개랭크. 설립자들은 페이스북의 초기멤버)

Storm8은 30에서 50가지의 디바이스를 사용해서 테스트하고 하이엔드, 미들, 로엔드로 기종을 나누고 있다. 일부러 각 카테고리의 디바이스를 구입한다. 게임을 공개한 후 그들의 어플은 다양한 KPI(Key Performance Indicators: 중요성능지표)를 Storm8의 서버로 전송한다. 

'이렇게 해서 특정 종류의 디바이스, 나아가서는 특정기종을 위한 미세조정이 필요할지를 파악하고 디바이스의 극한성능까지 활용할 수 있다'고 CEO인 Perry Tam은 말한다.

Animoca(7000만 다운로드 이상, IDG-Accel 및 Intel Capital가 출자)。

최초 기사가 실린 후  Animoca는 긴 기사를 써서 왜 이렇게 많은 디바이스에서 품질보증 테스트를 해야하는지를 설명했다. 주된 이유는 이 회사는 중국 본토 및 아시아 각지에 막대한 유저를 보유 중인데 이 지역에는 로엔드나 비호환 안드로이드 기종이(같은 OS지만 공식 안드로이드 앱 스토어 에서 어플 호환을 인정받지 못한 기종)많이 존재하기 때문이라고 한다. 

'만일 우리가 90%호환 정도로 충분하다고 시도했다간 다운로드 700만건을 잃게 된다' 고 이 회사는 설명한다. '우리의 결단으로 수백만명이 불쾌해 할 것이고 어플 매출이 10%는 떨어질 것이다' 

Animoca는 결코 젊은 회사가 아니라는 점에 주목하시라. 이 회사는 Outblaze라는 디지털 미디어를 10년 이상 다뤄온회사의 모바일 게임전문 자회사이다. 이 때문에 호환성과 품질보증 테스트에 관해서는 풍부한 경험을 갖고 있다.

이 회사의 CEO인 Yat Siu는 자사가  플랫폼에서 좋은 실적을 거두고 있는 이유 중 하나는 '포괄성'이라고 말한다. Animoca는 현재 미국 매출 TOP50에 들어가는 게임은 없지만 아시아시장에서의 인기와 연간 공개되는 어플 수에서 강점을 드러내고 있다.  

결론:제군들! 이래도 안드로이드 개발이 두렵다면 피처폰 시절은 더욱 비참했음을 회상해 보시라(적어도 Rovia의 Peter Vesterbacka는 그렇게 말했다. 그가 말하길 J2ME/Brew시절과 비교하면 안드로이드는 오히려 편하다! 그들은 초히트작인 앵그리 버드를 만들 때 까지 50가지 이상의 게임을 만들어야 했다) 

당시 얼마나 고생했는가 참고를 위해서 JAMDAT가 2005년 IPO때 사용한 슬라이드를 보도록 하자. JAMDAT는 피처폰 시절의 대표적인 모바일게임 인수극의 주역으로 Electronic Arts가 6.8억 달러에 인수했다 이 회사는 5년에 걸쳐서 40개국 이상의 90곳 이상의 통신사와 관계를 맺고 400기종을 지원하는 것은 당연했다. 

안드로이드의 파편화는 고통의 씨앗이라 생각할 수도 있겠지만 당신의 선배격인 모바일 어플회사들은 눈 속에서 7마일의 고개를 넘으며 400기종의 QA테스트를 실시하고 100곳의 통신사 사람들과 비지니스를 구축했었다.

또 Red Robot이 이용 중인 Testology나 uTest등 모바일 QA테스트를 전문으로 하는 회사를 이용하는 것도 간단한 방법이다. 그래도 거대규모의 개발사는 역시 거의 모든 것을 사내에서 하고 싶어하겠지만 말이다.  

[原文へ]

(翻訳:Nob Takahashi)


핑백

덧글

  • 2012/06/06 03:40 # 답글 비공개

    비공개 덧글입니다.
  • JOSH 2012/06/06 04:16 # 답글

    아.... 양쪽을 다 경험해본 입장에서는 정말 진심이 와닿는 기사네요....
    ..... 그런데 벌써 10년 넘었다고 피쳐폰 앱 개발때의 일은 거의 잊고 있다...
    인간이란.. =,.=
  • 드릴러 2012/06/06 07:43 # 삭제 답글

    개발자는 아니지만... 정말 끔찍하군요;
  • 오오 2012/06/06 08:08 # 답글

    근데 그 반대쪽에 있는 것은 피쳐폰이 아닌 아이폰이란 말이죠...

    하지만 곧 아이폰도 파편화가 시작될 조짐이...
댓글 입력 영역



통계 위젯 (블랙)

21460
576
4676219

이 이글루를 링크한 사람 (블랙)

609