ABテスト

ABテストの前にAAテストをやるべき3つの理由

  • このエントリーをはてなブックマークに追加

Optimizelyは1行タグを設置してしまえば、その日からすぐにABテストが出来る非常にパワフルなツールです。

ですが我々がOptimizelyの導入をさせて頂く際は、いきなりABテストを実施するのではなく、まず「AAテスト」というものを実施することをオススメしています。

AAテストとは、オリジナルとバリエーションで一切の要素を変更することなく、同一の比率で出し分けて、結果をレビューする手法です。

なんでわざわざそんなことするの?と思う方もいらっしゃると思いますが、
AAテストをやるのは以下3つの理由があります。

  • ツールの動作・正確性をテストする
  • 統計的誤差の範囲を把握する
  • 連携ツールとの誤差を把握する

それでは一つづつ解説していきましょう。

ツールの動作・正確性をテストする

AAテストは全く同じものを出すわけですから、基本的に結果に優劣はつきません。
にも関わらず、例えばそれぞれのバリエーションでCV率に2倍以上の差が開いていたとしたらどうでしょう?

これは明らかにツールが正常動作していない、計測がしっかりできていない可能性が高いので、設定を見直す必要があります。

もしこれがいきなりABテストだったとしたら、結果の開きもテストによってもたらされたものだと勘違いしてしまうでしょう。
AAテストを実施することで、純粋にツールとしての動作・正確性だけを評価することが出来るのです。

統計的誤差の範囲を把握する

AAテストにおいて結果の優劣がつかないと申し上げましたが、実際まったく同じ数字になるかというとそういうわけではありません。


下記はあるサイトにおけるAAテストの結果です。

testreslt


このように全く同じものを出しているにも関わらず、結果に5%の誤差が出ています。
このテスト結果を時系列にグラフで見てみると以下の様な結果になっています。

testreslt2


テスト開始直後こそ波があるものの、比較的安定的に結果に差が出てきているように見えます。しかし実際はまったく同じページを出しているだけなのです。

これがもしABテストだったら「バリエーションの方が結果が出た!」とぬか喜びしてしまう可能性もあります。

実は、この5%の誤差という結果こそ、AAテストで得るべき数字なのです。

この5%という誤差は、今後ABテストを続ける上で、「統計的誤差として発生する数字の基準値」となります。

なぜこのような基準値を持っておく必要があるのでしょうか?
ABテストを続けていると必ず


結果にそこまで明確な差がなく、テストによっての結果なのか誤差の範疇なのか判断がつかない


という状況が必ず訪れます。
このようなときAAテストの数字を統計的誤差の基準値として持った上で、基準値よりも上回っていればテストにおける結果が出ているという判断基準にすることができます。

AAテストはテスト結果を判断するためのボーダーラインとしても活用出来るのです。

またAAテストは基本全てのサイトで実施することをオススメしているのですが、理由としては商品・サービス内容、顧客属性などによって統計的誤差の数字にかなり開きが出るためです。特にリピートユーザが多いサイトなどは、AAテストでも10%以上の差が出たりするケースもありますので、テストを実施するサイト毎に実施するのが望ましいでしょう。

連携ツールとの誤差を把握する

Optimizelyはダッシュボード上でスピーディにABテストの結果を確認することが出来ますが、他のアクセス解析ツールと連携することでさらに強力な分析を実現出来ます。

代表的な連携ツールは以下のようなツールになります。

  • Google アナリティクス
  • Adobe Analytics
  • Clicktale

このようなツールと連携することで、テスト結果をセグメント別に分析したり、ABテストの結果をヒートマップで分析し、行動の変化を読み取るといったことが可能になりますが、注意しなければいけないのが、アクセスのカウント方法やタイミングなどが各ツールによって異なるという点です。

また、タグマネージャーなどを使用している場合、各ツールのタグが発行されるタイミングによってテスト結果に影響を及ぼす可能性も否定できません。

このような誤差やエラーを事前に確認するために、AAテストの結果は連携させるツールでも確認することをオススメしています。

まとめ

ABテストはスピードが大事というのは言うまでもありませんが、信ぴょう性の乏しい数字でテストを続けることほど、危ないことはありません。高速にABテストを回すためにも事前の確認と環境整備をしっかりと行い、土台を整えた上でガンガンABテストを回していきましょう。

The following two tabs change content below.
Optimizely Certified資格保持者。ABテスト実践回数は年間300回超、ABテストにおける最大CV上昇率は7.5倍(月80件の問合せを600件)。オウンドメディア「LPO研究所」運営、寄稿した記事の平均はてブ数350、最大1記事970はてブ。
  • このエントリーをはてなブックマークに追加

CVRに直結するABテストアイデアを出すための5つの方法

ABテストをやりたいけど、効果的なテストアイデアが出てこないというお悩みはありませんか?

  • スピーディーかつ効果的にテスト案を蓄積する方法
  • ◯◯を活用した仮説設計トレーニング手法
  • 実録・ABテスト改善事例

など効果的なアイデアを創出するための具体的手法から改善実例まで
ご紹介しています。効果的なABテストの実現に是非ご活用ください。


今すぐダウンロード

お問い合わせ