가이드 목적

‌UX 디자인 전문 기업 라이트브레인(RightBrain)의 컨설팅 그룹에 입사 직후 조직과 구성원들의 전문성 함양을 위해 프로세스와 방법론 등 체계 구축에 대한 제안을 하였습니다. 사내를 둘러보니 기존에 테스트 룸으로 활용하기 위해 사내 회의실을 리모델링 해놓았지만 방치되고 있는 상태라 목적대로 활용해보고자 생각하였고, 각 그룹(컨설팅/UI/GUI)에서 여러 리서치 중 러닝커브가 낮은 UT(Usability Test)의 이해를 높이고 프로젝트에 적용해 볼 수 있도록, 가이드를 선 제작하고 교육하는 것으로 최종 결정하였습니다. 

준비

사내 테스트 룸은 관찰 룸에서 시선을 투과하여 볼 수 있는 미러 룸으로만 공간 리모델링만 되어 있는 상태입니다. 리서치 회사의 경우, 리서치(테스트 등) 룸에는 관찰 룸에서 컨트롤할 수 있는 CCTV가 설치되어 있고, 관찰 룸에는 음향 장비, 녹화 장비, 여러 대의 모니터링 디스플레이가 설치되어 있습니다. 이렇게 전문적인 장비와 시설을 구축하려면 몇 천만원 단위가 들어가는데, 비용을 많이 낮추면서도 유저 리서치나 테스트가 가능할 수 있는 장비 구축이 필요했습니다. 그래서 테스트에 필요한 비용 대비 효율적인 장비와 소프트웨어를 찾아 보았습니다.

화면 기록 Tool‌
Techsmith More(US$ 1,995.00)가 테스트 환경에 적합하고 전문적인 시스템을 갖추고 있어 선택했습니다. Recorder(테스트 룸에서 화면 기록), Observer(화면 기록을 관찰 룸 PC에서 관찰), Manager(마킹/텍스트 기록 분석) 등 3가지 프로그램으로 구성되어 있으며, 각 테스트/관찰 룸에 설치된 PC에서 같은 IP를 사용하면 프로그램간 연결됩니다. 기존 비디오 분석 방식은 녹화본에서 원하는 장면들을 찾거나 구간 반복해서 봄으로 많은 시간이 소요되었는데,  화면 기록 중 Observer에서 관찰 기록과 스크립트(구두의 인터뷰 내용 기록) 작성을 하면 Manager에서 해당 내용을 쉽게(마킹) 찾아볼 수 있어 많은 시간이 절약되었습니다.

마이크
다음으로 인터뷰시 음성 녹화를 위한 입력 장비인 마이크를 알아보았습니다. 보통 회의실에서 사용되는 단방향 마이크가 있어 테스트 해보니 매우 근접한 사람의 목소리만 입력되는 문제가 발생했습니다. 인터뷰시 유저 외 주변에 있는 진행자의 질문 등의 녹취도 중요(응답의 맥락을 이해)하여 음향 전문가 지인에게 정보를 얻어 공간 내 사방의 소리를 입력할 수 있는 무지향성 마이크(9만원)를 구매했는데, 가격 대비 테스트 룸(6~7평 공간) 내 곳곳의 소리가 모두 잘 입력되어서 만족할 수준이었습니다.

도큐멘트 카메라
PC에서 테스트 하는 경우는 More로 화면 기록을 하면 되지만, 모바일 디바이스일 때는 별도의 도큐멘트 카메라(10만원 내외)가 필요합니다.  More에 연결하여 사용하며, 최소 HD 해상도를 출력해줘야 온전한 화면을 기록할 수 있습니다. 아마존에서 HD 해상도의 도큐멘트 카메라(12만원 대)를 구입했습니다.

스피커
그 외 관찰 룸에서 인터뷰 내용을 듣기 위한 2wy 스피커를 준비하였습니다. 스피커는 테스트 룸의 바로 옆 공간인 관찰 룸에서 듣기 때문에, 우퍼가 있거나 울림이 큰 스피커는 배제해야 합니다. 옆 공간에서 인터뷰나 테스트하고 있는 유저가 알아챌 수 있기 때문에, 작은 볼륨에서도 소리가 명료한 해상도 높은 스피커가 좋습니다. 스피커 볼륨 세팅시, 테스트 룸에서 음악을 틀어놓고 관찰 룸 스피커에서 출력되는 소리를 테스트 룸에서 들어보며 적정 볼륨 수치를 찾아야 합니다.

이렇게 테스트 툴, 마이크, 도큐멘트 카메라, 스피커를 300만원 내로 구비하여, 몇 천만원의 장비 못지 않은 테스트 환경을 구축했습니다.

테스트 계획

먼저 기본적으로 사용성 테스트가 무엇인지, 테스트 룸 시설의 이해, More 사용법, 사용성 측정 요소, 분석 등 이론을 간단히 정리한 후 테스트 대상은 누구나 자주 사용하는 뮤직 서비스 중 마침 기능이 업데이트되어 사용성을 살펴보기 적합한 지니 앱을 선택하였습니다.

계획 단계에서는 개요(배경, 목적, 테스트 방향), 테스트 수행 방법과 절차, 평가 항목(태스크 성공률, 수행시간, 에러 빈도, 만족도 등), 시나리오(업데이트로 생긴 이슈들로 구성)에 대해 안내하는 내용으로 구성하였습니다.
리쿠르팅을 위한 세그멘테이션의 변수와 수준은 이용 브랜드(수준: 지니와 그 외)과 사용 빈도(수준: 상/중/하)로 정하였고, 빠른 리쿠르팅을 위해 사내에서 4명정도 모집하였습니다. 

평가 항목의 경우, rapid한 테스트에서는 배제하고 해당 태스크를 마친 즉시 인터뷰하거나 수행 중 유저가 소리 내어 말하게끔 think aloud 기법을 안내하여 정성 데이터를 얻는 것이 효율적입니다. 정량 측정시 별도 역할의 서포트가 필요하며, 훈련이 부족한 역할자일 때 측정의 오류가 발생할 수 있습니다. 시나리오는 진행 중 가이드 역할임으로, 해당 이슈와 유저에게 줄 태스크, 설계자의 의도와 차이를 살펴볼 예상 경로, 정신 없는 와중에도 무엇을 관찰하고 파악해야는지 조사 포인트, 정해진 시간 내 운영해야 함으로 태스크별 소요 시간 등 초보 진행자를 위한 시나리오 항목으로 구성하였습니다.

테스트 과정

진행자 역할 내용은 계획 단계에서 작성한 시나리오를 기반으로 실습 교육할 예정임으로, 본 가이드에서는 테스트 진행 전/중/후 시점별 More(툴)의 Recorder(테스트 룸에서 화면 기록), Observer(화면 기록을 관찰 룸 PC에서 관찰), Manager(마킹/텍스트 기록 분석) 등 3가지 프로그램의 셋팅 방법에 대해 안내하였습니다.

테스트 분석

테스트 과정이 완료되면, 아래와 같은 프로세스로 분석을 합니다.

1. Raw data 정리
: 분석의 시작은 Raw data를 전처리하는 것으로 more manager에 기록된 데이터를 정리합니다.

2. 평가 항목별 분석
: 전처리된 데이터를 기반으로 평가 항목(테스크 성공률, 수행시간, 에러 빈도, 만족도 등)별로 어떤 현상(fact)이 발생했는지 통계를 냅니다.

3. 디자인 분야별 분석
: 평가 항목별 통계 내용을 IA, 레이블, UI/GUI, 인터랙션 등 디자인 분야별로 재분석합니다.

4. 주요 이슈 상세분석
: 정량 데이터에서 나타난 현상의 원인을 찾기 위해 태스크 수행 후 인터뷰시 나왔던 유저의 의견, 니즈, 태도, 감정 등의 정성 데이터를 중심으로 상세 분석합니다.

5. 최종적인 결론 요약
: 지금까지 정리, 분석된 내용을 바탕으로 전체적인 관점에서 서비스의 나아갈 방향에 대해 제시합니다.

마지막으로 가이드 리포트를 제작하고, 각 그룹의 팀장/책임급을 중심으로 교육으로 완료하였습니다.

마치며..

선행 프로젝트(연구)에서 초기(신사업을 찾기)에 무엇을 모르는지도 모르는 상태에서 이슈를 찾거나, 중기에 시장이나 제품의 컨셉을 발견하거나 검증하는 리서치는 경험이 많은 전문 리서처의 역량이 필요합니다. 그러나 사용성 테스트는 기획자나 디자이너들이 몇 번의 경험으로 습득할 수 있고 쉽게 접근할 수 있습니다. 스티브 잡스의 명언(포커스 그룹에 의지해서 제품을 만드는건 매우 어려운 일이다. 사람들은 대부분의 경우 만들어서 보여주기 전에는 자신이 원하는 것이 무엇인지 모른다.)처럼 사람들을 관찰하고 인터뷰해서 사용자의 니즈를 추론할 수 있는 데이터를 얻기 위한 초기/중기 리서치보다 실재감 높은 디자인으로 사용자의 체감에 의해 구체적인 발견이 나오는 테스트가 계획하고 진행하고 분석하기도 수월하기 때문입니다.

앞으로는 급변하는 시장의 변화에 대응하기 위해 초기/중기 리서치를 진행하기보다 선 제품 빌드 후 rapid 테스트로 사용자 니즈에 맞춰 나가는 것이 효율/효과 측면에서 나은 프로세로 자리매김할 것으로 생각합니다. 사용성 테스트는 발 빠르게 시장이 원하고 쓰여지는 서비스를 개발하기 위해서 조직 측면이나 개인 디자이너들이 갖추어야 할 필수 역량으로 생각하여 이에 따라 본 프로젝트를 제안하였고 시발점이 되길 바랍니다.