結果に関する意思決定

優れたテストプログラムは、以前の実験結果のデータを今後の実験へのアクションに変換することに特に優れています。しかし多くのテスト担当者にとっては、その過程で本来の意図が見失われてしまい、「なぜこのような結果になったのか？」という疑問や、さらに重要な点として「次に何をすべきなのか？」という疑問が生じます。

体系的なアプローチがない状態では、オリジナルはすべてのバリエーションよりも優勢であるというテスト結果や、最終結果が出ない実験に対してどのように対処すべきかを理解することが困難になります。実験で明らかな優勢が判明しても、「なぜそうなったのか」を詳しく掘り下げずに効果的な「次の段階」の方針を立てることは困難です。

この記事では、結果のコンテキスト化に役立つさまざまなテクニックを説明し、優勢な実験、劣勢な実験、不確定な実験を効果的に繰り返し実施するための計画を説明します。

定義：優勢、劣勢、不確定

優勢なバリエーション、劣勢なバリエーション、不確定なバリエーションとはどのようなものでしょうか？

優勢：1 つ以上の実験のバリエーションで、第 1 目標に対して（ただし潜在的に他の目標に対しても同様の）統計的に有意な基準コンバージョン率との正の差（% の改善）が示されている場合です。

劣勢：実験のすべてのバリエーションが、第 1 目標およびその他の目標について、オリジナルよりも統計的に有意な負の差異を示す場合。

不確定：すべてのバリエーションのパフォーマンスが比較的同等であり、第 1 目標について統計的に有意な正の結果または負の結果が出ない場合。

優勢なバリエーション

まず最初に、実験の実行が完了し、明らかに成功したことがわかっている場合は、[開始] ボタンをクリックしてバリエーションを「ライブ」に設定し、今後のトラフィッ クの 100% をその目標の優勢なバリエーションに割り当てることができます。

注：
[開始] をクリックしても、実験に参加しておりオリジナルまたは別の劣勢なバリエーションをすでに表示した訪問者に対しては、さかのぼってその実験は変更されません。これは今後のトラフィックだけに適用されます。すべての訪問者に対して優勢なバリエーションを表示するには、実行中の実験を停止し、その実験を複製し、新しい実験の [トラフィックの割り当て] を設定して、優勢なバリエーション以外のすべてのバリエーションを停止します。

 

大きく優勢な結果を永久に公開した後で、次にテストすべき内容を選択することは、意外と非常に複雑になる場合があります。

 

すでにアイデアに優先順位を付け、優れたテストを実行している場合、簡単に得られる結果はすでに判明しています。次に検討すべき点を説明します。

拡張の機会：テストプログラムが複数のサイトにわたる場合、メッセージング、イメージ、コンテンツ優先付けなどのテストは、他のマーケティング領域、サイトの他の領域、または別のドメインに変換するのに適しています。

さらなる拡大へ向けた準備：事前に予測することは困難ですが、特定の優勢なテスト結果は、優勢な結果を得た上でさらに優れた結果を求めるための、確固とした根拠となります。これは、実験において、平均的な実験結果と比べ予期しない大きな増加が見られる場合、または実験が劇的な構造テスト（小規模で表面的なテストと比較した場合）である場合です。この場合、優勢なバリエーションをさらに洗練化してください。たとえば、ナビゲーションオプションの順序と数を変更した結果優勢となった場合、これにはボタンの色をさらに洗練するためのテストよりも、さらなる最適化の余地があります。

その他のテストのアイデアへ移る：多くのテストは他のテストに比べ、継続的なマイニングからリピートの低減が観測される傾向にあります。ローコントラストスペクトラムからハイコントラストスペクトラムへと移り変わるボタンの色は、ユーザーの行動にはあまり影響しません。

劣勢のバリエーション

劣勢のバリエーションは、チームにとって決してマイナスではありません。多くの場合、劣勢のバリエーションは優勢なバリエーションと同様に意思決定に活用できるものであり、長期的には散発的に発生する優勢なバリエーションよりも貴重な情報を得ることができます。

劣勢なテストのいくつかのオプションを次に示します。

• 一部を変えて再試行する：統計的に有意な結果を得ることができたら、結果がマイナスである場合でも、実験で訪問者に何らかの影響を与えることができることを実証したことになります。実験の実行を変更することで、そのマイナスな結果をプラスの結果に変換できるのでしょうか？これは、明確な代替アプローチ（画像、色、ヘッドライン、レイアウトなど）を使用したテストに特に当てはまります。
  
  
• 先へ進む：場合によっては、テストしようとした内容がすでにかなり「最適化」されていることがあります（ただしサイトを完全に最適化することは不可能です）。同じ内容を引き続きテストすると、マイナスの結果がさらに生成されるだけでなく、プラスの結果を引き出す可能性が明確にある対象をテストしないという機会コストも生じます。これは、すでに同じ実験のアイデアを複数回繰り返している場合や、サイト上の 1 つの領域で長期にわたりテストを実行する場合に、該当します。
  
  
• 劣勢が優勢となるとき：場合によっては、劣勢なバリエーションによって実際には有利なビジネス上の結果が引き出されることがあります。たとえば、コストのかかる再設計のプロトタイプをテストしている場合にそのテストが劣勢である場合は、プロジェクト全体への取り組みを回避できます。あるいは、モデルを使った商品の再撮影と、現在使用している商品写真を対比してテストする場合は、完全に撮影をやり直すことを回避できます。この場合、プロトタイピングとテストでは、コストのかかる投資を回避することで ROI を発生させることができます。

不確定な実験

選択した期間にわたって実験を実行した後で、実験の第 1 目標が 95% の統計的信頼性を達成できないことがあります。

ほとんどのユーザーにとって、不確定なテストは、最も分かりづらいテストの 1 つに違いありません。ただし一般的に、不確定なテストは「より大きく」という明確な方向を示しています。

ここまで組織として、グローバルの最大とローカルの最大という概念についてさまざまに検討、執筆してきました。つまり、小さな物事は最適化できるが（「ローカルの最大」に到達）、最終的に挑戦できるはずだったより大きな利益（「グローバルの最大」）を得ることができません。

実際に、多くのテスト実行は、結果に影響を与えるのに十分な劇的なものではありません。チームにとって最大の行き詰まりの原因の 1 つが、組織におけるより重要な変更をテストするためのリソースの欠落または不安です。

より大きな効果を得るための 2 つの方法を説明します。

• 同時に複数の要素をテストする：一度に複数の要素をテストする場合、実証的厳格さを犠牲にすることがありますが、最も重要なことは先へ進むことにあります。求めていた増加が得られたら、次になぜそのような結果となったのかを立証することに集中できます。
  
  
• 「劇的さ」の増加：バリエーションが明確に異なることがわかるようにします。環境を変更する際にはより強力に試すことで、比例的に強力な結果が生じます。

最後に、結果を次の 2 つの方法で掘り下げることができます

• 第 2 コンバージョン目標の追加：実験を停止し、複製して第 2 コンバージョン目標を追加した上で再実行することを検討します。これは、訪問者が第 1 コンバージョン目標を満たすために実行する必要がある中間ステップまたはファネルで、訪問者を間接的に誘導する要素であることがあります。第 2 コンバージョン指標は、訪問者がサイト内をどのように移動しているかを把握する優れた方法です。
  
  特定の目標が、相互に裏付けあっているかまたは相反しているかを調べます。わかりやすい例として、購入コンバージョン率と収益指標があります。この 2つの間に 1 対 1 の関係が成り立つことは非常に稀です。収益は変動しやすく （2 進数のコンバージョン率に対し浮動小数点変数）、場合によっては購入コンバージョンを改善する実験で、訪問者あたりの平均収益が低下することがあります（おすすめ商品を削除した場合など）。一方で訪問者あたりの収益がわずかながらも購買コンバージョン率より増加する場合、通常は、その実験が明確な優勢であることを明らかに示しています。
  
  
• 結果のセグメント化：セグメントとは、アナリストが全体的なパフォーマンス指標を詳しく分析するために最初に使用する最も重要なツールです。全体的なパフォーマンスは、平均母集団と考えることができますが、サブグループによって異なる目標とコンバージョン率が設定されていることがあります。セグメントを詳しく分析し、実験に対する反応が平均母集団とは異なるグループがあるかを調べます。実験に対する反応が異なるセグメントがある場合は、パーソナライズ方針の策定につながることがあります。

最後に：

• 大変な作業ですが、最初に、明確な目標の階層を設定してください。1 つの目標が増加したために別の目標が低下することがあるため、より「重要な」目標を達成するバリエーションのためのトレードオフをとる必要があることがあります。
• 実験に多数の劣勢または優勢なバリエーションまたは目標があるが、明確な目標の階層がないと、パフォーマンスがあまりに矛盾しているためにその実験は「不確定」と判断されます。
• 実験がファネル内でコンバージョンから離れた位置で発生する場合、プログラムの最終目標（ROI など）は、その実験を判断する最適な指標ではありません。たとえば e コマースサイトのホームページのテストでは、チェックアウト収益は最も影響のある目標ではありません。