ABテスト

ABテストの結果を迅速に判断する6つのポイント

  • このエントリーをはてなブックマークに追加

ABテストに関連するセミナーを開催すると、ほぼ間違いなくあがる質問が

「ABテストの結果を判断するのに、どれくらいのサンプル数と期間が必要なのですか?」

というものです。ABテストは必ずしも明確に差がでるわけではありません。どちらが勝者か判断がつかず、結果的にずっと走らせたままという話しもよく聞きます。これらの経験から、皆さんこのような疑問をお持ちなのかと思いますが、まず最初にお答えしておくと、ABテストを判断するための決まったサンプル数と期間というものは存在しません。サイトの規模、ターゲット属性、ユーザーの平均検討期間などによって様々だからです。

一般的によく言われるのが、

・各バリエーションで100CV出るまで
・各バリエーションで1,000UUづつ

というのがよく言われたりしますが、大規模ECサイトになると100CV程度なら1日で到達してしまいますし、リピートユーザの多いサイトだと1ヶ月以上立ってからやっと優劣が判別するケースもありますので、断定はできません。


とはいえ結果が出るまでだた首を長くして待っているわけにもいきませんから、どこかで判断が必要になります。ABテストの結果を判断するにはいくつかの事前準備と見方がありますので、今回はそのプロセスについて順を追ってご紹介します。

 

事前に必要なサンプル母数を把握しておく

商品・サービス・サイト特性などにより違いますが、一般的にどれくらいのサンプル数が必要かという平均値を知っておくことは重要なポイントです。

平均値を知るには、Optimizely社が無償で提供しているサンプルサイズカリキュレーターが便利です。

サンプルサイズカリキュレーター

sample

このツールは、例えば上記の通り現在3%のコンバージョン率を20%あげたい場合、12,000人がテストのバリエーション毎に必要だということを事前に把握することができるツールです。これが実際のアクセス数とかけ離れたサンプル数が必要であれば、テスト内容やテスト対象ページを見直すきっかけにもなりますので、目安としてまずは必要サンプル数をシミュレーションしておくことをオススメします。

平均購買検討期間を考慮する

テストの実施期間は、それぞれの商品・サービス・ビジネスモデルに合わせて調整することが重要です。

例えば、旅行サイトでABテストをするとして、仮に2日間ABテストを走らせた結果、明確な差がついたとしても、そのタイミングで判断してしまって大丈夫でしょうか?数字に明確な差が出たとしても、実際のユーザが旅行という単価の高いアクションを、たった2日程度で検討から決定まで至る可能性は少ないため、2日程度で判断するのは非常に危険だと考えられます。

ではそれが水漏れや鍵トラブルなど緊急性を要するサイトだったとしたらどうでしょう?即日判断というのも十分考えられるユーザ属性です。

このように必要な実施期間はサンプル数だけを基準にするのではなく、ユーザの検討期間も考慮することが重要です。また多くのサイトは平日と土日で異なる行動パターンを起こすことが多いですから、基本的には最低でも1週間のテスト期間を設け、あとは検討期間に応じて基準となるテスト期間をサービス毎に設定することが重要です。

ここまでがABテスト実施前に把握しておくべきポイントです。
では次はテスト実施後に、テスト結果の優劣を判断する上でのポイントを解説します。

統計的有意性で判断する

ABテストという手法自体、同一条件による出し分けを行なった上で、一定の母数と期間の中で、統計的に優位なものを採用する手法ですから、まずは統計学を元に判断していくことが基本となります。自分で統計学を用いて計算するのはハードルが高いですが、Optimizelyにはスタンフォード大学の統計学者と共同で開発したABテスト専用の統計エンジンが搭載されています。

ABテストをOptimizelyにて実施すると以下のような形で自動的に統計的有意性を計算してくれます。

toukei

このエンジンを用いて計算された数字は統計学を用いてはじき出された一定の信ぴょう性を持てる数字になりますので、まずはこの数字をベースに判断していくとよいでしょう。

グラフの安定化度合で判断する

Optimizelyの統計エンジンは精度の高いものではありますが、ビジネスへの影響を考えた時、たとえば「シーズン需要が高まるタイミングなので出来るだけ早く判断して実装したい」というケースもあるでしょう。そういった場合、統計エンジンの評価がしっかり出るまで待っていられない状況もあります。

その場合は、少し感覚的な判断にはなってしまいますが、グラフの安定化を基準に判断するとよいでしょう。

以下はあるテストで3日間走らせた時のABテスト別のCV率変化をグラフにしたものです。

test_2_1

このようにどんなテストであっても初期段階では数字が安定しないため、グラフの形状に波が出来ます。この段階ではまだどちらのパターンが勝者となるかまったく読めないため、結果に一喜一憂したり、判断をしてしまうのは非常に危険です。

それでは次に2週間たったこのテストの結果をグラフで見てみましょう。

test_2_2

このように前半は波打っていた結果のグラフが後半になってきて安定した差になってきているのがわかります。これはどんなテストにも言えることですが、同一環境でABテストをしている以上、最終的にはこのように一定の差を維持したグラフ形状に安定してきます。

このような統計的に出来上がるグラフ形状をひとつの判断基準にすることも出来ます。但しこの場合の注意点としてどんなにグラフが安定していたとしても、冒頭に申し上げたとおり、平均検討期間を考慮し、最低でも1週間はテストを回しましょう。結果が安定していても1週間後に逆転するというのはよくあるケースです。

このように実際ABテストを走らせた後は、統計データとグラフによって総合的に判断していくことがポイントとなります。

しかし、実際ABテストを回していると、間違いなく起こるのが、「いくら走らせても結果に優劣がつかず判断がつかない」というケースです。このような場合に、「結果が出なかったので意味がなかったね」で終わってしまっては、時間を無駄にしただけです。

例え最終ゴールに数字的優劣がつかなくても、情報が得られるケースはありますので、次項目以降ではそのポイントをお伝えします。

中間指標で判断する

ABテストにおいて求めるゴールは、ECサイトであれば購入完了率、2ステップならお問合せや資料請求の完了などを最終ゴールとしてABテストを判断しているケースが多いかと思います。ではABテストでカンタンに最終CV率が上がるかというと、そうカンタンには上がりません。

最終ゴールのCV率をKPIとしてABテストを判断していると、おそらくかなり高い確率で結果が出ないという事態に陥ります。このような自体にならぬ様、ABテストでは複数のKPIを設定しておくことが重要です。

例えばECサイトのカート画面を変更するABテストを実施したとしましょう。最終CV率だけを追っている場合、以下の遷移率だけを追う形となります。

カート⇒購入完了ページ

ですが大抵のECサイトはカートからいきなり購入完了とは行かず、例えば以下のような流れを通ることが多いでしょう。

カート⇒ログインページ⇒レジ⇒確認ページ⇒購入完了ページ

このような場合ABテストのKPIは購入完了だけではなくログインページへの遷移率、レジへの遷移率なども合わせて追うべきです。購入完了だけを追っていては結果に優劣がつかない場合、「ダメだった」という結果しか残りませんが、中間指標を設定しておけば、「最終CVは上がらなかったものの、ログインページへの遷移率は増えた」という結果を得ることが出来ます。このような結果がわかれば、「次はログインページを改善しよう」という話しにもなりますが、最終CV率だけを追っていてはこのような判断ができません。

どんなABテストでも最終CV率と合わせて、次画面への遷移率、平均PV数など複数の指標でテスト結果を測定することをオススメします。

多角的に判断する

結果を総合的に見ると変わらないテストでも、違った角度から検証すると、結果の見え方が違う場合があります。テスト結果を多角的に検証するには、他の解析ツールと連携して分析すると効果的です。

以下はGoogle Analytics(グーグルアナリティクス)とOptimizelyを連携させ、ABテストの結果をGoogle Analyticsセグメント機能を使って分析した一例です。

var

上記の通り、総合的な結果としてはオリジナルが優っているものの、その要員はリピーターが全体CVを引き上げているからであって、新規に限って見ればバリエーションのほうが優勢であるということが見てとれます。

このような結果は特にリピーターの多いサイトの傾向として「慣れ」という要員が絡むために起こりやすい結果なのですが、もしこのテストを多面的に分析しなければ、結果が悪かったという結論しか出せずに終わってしまう可能性があります。

結果が悪かったり、差が出なかったテストでもこのように多面的に分析することで良質な検証データが得られることもありますので、単純に判断するのではなく仮説を持って様々な切り口から検証するようにしましょう。

まとめ

いかがでしょうか。ABテストはこのように実施前の準備と実施後の検証によって、同じテストでも得られるデータに大きな差が出ます。
このことを肝に銘じながらも、常にスピードを意識してABテストを回すことが成功の秘訣です。

 

The following two tabs change content below.
Optimizely Certified資格保持者。ABテスト実践回数は年間300回超、ABテストにおける最大CV上昇率は7.5倍(月80件の問合せを600件)。オウンドメディア「LPO研究所」運営、寄稿した記事の平均はてブ数350、最大1記事970はてブ。
  • このエントリーをはてなブックマークに追加

CVRに直結するABテストアイデアを出すための5つの方法

ABテストをやりたいけど、効果的なテストアイデアが出てこないというお悩みはありませんか?

  • スピーディーかつ効果的にテスト案を蓄積する方法
  • ◯◯を活用した仮説設計トレーニング手法
  • 実録・ABテスト改善事例

など効果的なアイデアを創出するための具体的手法から改善実例まで
ご紹介しています。効果的なABテストの実現に是非ご活用ください。


今すぐダウンロード

お問い合わせ