市場テストとユーザーリサーチパネル：その国が製品を採用するかを教えてくれるのはどちらか

ユーザーリサーチパネルとは

プロファイルに合わせてリクルートした参加者のグループが、セッションに参加します。インタビュー、ユーザビリティテスト、コンセプトへの反応、ときには数日間の日記調査。User Interviews、Respondent、Prolific、あるいは現地の調査会社を使えば募集は速く、調査は数日で立ち上がります。得られるのは定性的な成果です。何を理解し、何に戸惑い、自分ならどうすると述べたか。

市場テストとは

プロファイルに合わせてリクルートしたユーザーのグループが、自身の生活のなかで製品を長めの期間——通常は8週間——使い、利用状況が追跡され、最後にフィードバックが集められます。得られるのは、まず行動のデータです。誰が戻ってきたか、どのくらいの頻度で、どの機能に。そのうえで初めて、その人が何を述べたかを見ます。これが Eldwin の実施している形式です。

並べて比べる

互換ではない理由

パネルは最初の10分について優れており、その後は盲目です。ウェルネス・予防ヘルスケア製品の勝負が決まるのは3週目、新奇性が消え、製品が誰かの一日に収まるか収まらないかが分かれるときです。どれほどうまく運営されたセッションも、3週目は観察しません。市場テストはそれを観察します。そして市場テストは、最初の10分についてはあまり得意ではありません。フィードバックが届くころには、オンボーディングの問題はすでに何人かのテスターを失わせています。

文化的な効果もあります。セッションでは、どの国の参加者も、それぞれの形で、感じているより優しくなりがちです。利用に対して礼儀を尽くすのは難しいことです。人は火曜の夜にアプリを開くか、開かないかのどちらかです。

二つをどう組み合わせるか

1. まずパネルを短く。対象国で数回のセッションを行えば、明らかな問題——分かりにくいオンボーディング、現地では別の意味になる言葉、不快感を与える機能——が見つかります。その影響を8週間かけて測る前に、それらを直してください。
2. 次に市場テスト。明らかな問題を直したうえで、8週間の利用テストが、ローンチを決める点を測ります。人の手に渡った後、製品は持ちこたえるのか。
3. テストが「調整」と出たら、再びパネル。特定の時点で利用が落ちるとき、数回のセッションは推測よりも速く理由を説明します。

予算が一つ分しかないとき

意思決定が「この国でローンチすべきか」なら、市場テストを選んでください。リテンションを測れるのはそれだけです。意思決定が「現地の人に製品が理解できるか」なら、パネルを選んでください。より安く速く、リテンションはまだ問いではありません。安いからパネルを選び、人が述べたことを根拠にローンチするのは、8週間で分かったはずのことを知るためにローンチ予算を使う、最もよくあるやり方です。