시장 테스트 vs 사용자 리서치 패널: 어느 쪽이 그 국가의 수용 여부를 알려주는가?

사용자 리서치 패널이란

프로필에 맞춰 모집한 참가자 집단이 한 번의 세션에 참여합니다. 인터뷰, 사용성 테스트, 콘셉트 반응, 때로는 며칠간의 다이어리 스터디. User Interviews, Respondent, Prolific 같은 플랫폼이나 현지 에이전시 덕분에 모집이 빠르고, 며칠 안에 조사를 세팅할 수 있습니다. 결과물은 정성적입니다. 사람들이 무엇을 이해했고, 무엇에 혼란스러웠고, 무엇을 하겠다고 말하는지.

시장 테스트란

프로필에 맞춰 모집한 사용자 집단이 자기 생활 속에서 제품을 긴 기간, 보통 8주간 사용하고, 그동안 사용량이 추적되며 마지막에 피드백이 수집됩니다. 결과물은 우선 행동입니다. 누가 다시 돌아왔고, 얼마나 자주, 어떤 기능으로 돌아왔는지. 그에 대해 무슨 말을 했는지는 그다음입니다. Eldwin이 운영하는 형태가 이것입니다.

나란히 비교

왜 서로 대체할 수 없는가

패널은 첫 10분에 대해서는 뛰어나고 그 이후에는 눈이 멉니다. 웰니스·예방 헬스 제품은 신기함이 사라지고 제품이 누군가의 하루에 들어가거나 들어가지 못하는 3주차에 결판납니다. 아무리 잘 설계된 세션도 3주차를 관찰하지 못합니다. 시장 테스트는 관찰하지만, 첫 10분에는 그리 강하지 않습니다. 피드백이 도착할 즈음에는 온보딩 문제가 이미 테스터 몇 명을 앗아간 상태입니다.

문화적 효과도 있습니다. 세션에서 참가자들은 어느 나라에서나 각자의 방식으로 실제 느끼는 것보다 너그럽게 말하는 경향이 있습니다. 사용에 대해서는 예의를 차리기가 더 어렵습니다. 사람들은 화요일 저녁에 앱을 열거나 열지 않을 뿐입니다.

두 방법을 함께 쓰는 법

1. 먼저 패널, 짧게. 대상 국가에서 몇 차례 세션을 돌리면 명백한 것들이 잡힙니다. 혼란스러운 온보딩, 현지에서는 다른 뜻으로 읽히는 단어, 불쾌감을 주는 기능. 그 영향을 8주 동안 측정하기 전에 먼저 고치세요.
2. 그다음 시장 테스트. 명백한 문제가 해결된 상태에서, 8주 사용 테스트는 출시를 결정짓는 것을 측정합니다. 사람들이 제품을 손에 쥔 뒤에도 그 제품이 유지되는가.
3. 테스트가 “조정”이라고 하면 다시 패널. 특정 지점에서 사용이 떨어질 때, 몇 차례 세션이 추측보다 빠르게 이유를 설명해줍니다.

예산이 하나뿐일 때

결정이 “이 국가에 출시할까”라면 시장 테스트를 고르세요. 리텐션을 측정하는 유일한 방법입니다. 결정이 “우리 제품이 그곳 사람들에게 이해될까”라면 패널을 고르세요. 더 싸고 더 빠르며, 리텐션은 아직 질문이 아닙니다. 더 싸다는 이유로 패널을 고르고 사람들이 한 말에 기대어 출시하는 것이, 8주면 알 수 있었던 것을 알아내는 데 출시 예산을 쓰는 가장 흔한 길입니다.