よくある質問

Optimizely の統計エンジンでは、逐次テストと呼ばれる手法を使用することで、事前にサンプルサイズを計算する必要がなくなりました。この手法では、テストの実行時に証拠を収集して、有意な結果の決定と優勢および劣勢の表示を可能な限り迅速かつ正確に表示します。

優れたテストプログラムは、以前の実験結果のデータを今後の実験へのアクションに変換することに特に優れています。しかし多くのテスト担当者にとっては、その過程で本来の意図が見失われてしまい、「なぜこのような結果になったのか？」という疑問や、さらに重要な点として「次に何をすべきなのか？」という疑問が生じます。

体系的なアプローチがない状態では、オリジナルはすべてのバリエーションよりも優勢であるというテスト結果や、最終結果が出ない実験に対してどのように対処すべきかを理解することが困難になります。実験で明らかな優勢が判明しても、「なぜそうなったのか」を詳しく掘り下げずに効果的な「次の段階」の方針を立てることは困難です。

この記事では、結果のコンテキスト化に役立つさまざまなテクニックを説明し、優勢な実験、劣勢な実験、不確定な実験を効果的に繰り返し実施するための計画を説明します。