結果ページ

基本的に、結果ページでは、各バリエーションの達成の度合いが実験の目標ごとに測定され表示されます。目標を最も達成したバリエーションが、優れたバリエーションです。

エディターから：実験の現在の結果を表示するには、[オプション] > [結果の表示] をクリックします。

ホームページから：結果を表示する実験を選択し、右のサイドバーで [結果] をクリッ クします。その実験の結果ページが取得されます。

次に、その実験の結果ページが表示されます。結果ページには次の内容が表示されます。

• 実験結果の概要を示すパフォーマンスサマリー
• 実験の成功度の追跡に使用した各目標の目標モジュール（展開して詳細情報を表示できます）

パフォーマンスサマリー

パフォーマンスサマリーには次の内容が表示されます。

• ユニークビジター数：実験に接したユニークビジターの数（これはoptimizelyEndUserID Cookie を受信した訪問者に基づいています）
• 実行日数：実験が実行された日数および開始日
• バリエーションと目標：各バリエーションの訪問者数および目標のベースラインと比較したバリエーションの達成度合い

目標のモジュール

デフォルトでは、各目標モジュールには、各バリエーションのユニークコンバージョン、合計訪問者数、コンバージョン率、差の区間、改善、および統計的有意性が表示されます。また、目標モジュールで [合計] をクリックすることにより、合計コンバージョンと訪問者ごとのコンバージョンも表示できます。

緑色のバリエーションはベースラインと比較して明らかに優れていることがわかります。一方、オレンジ色のバリエーションは明らかに劣っていることがわかります。

各モジュールには次の内容が表示されます。

• 訪問者：このバリエーションに到達したユニークビジターの数（これはoptimizelyEndUserID Cookie を受信した訪問者に基づいています）。
• ユニークコンバージョン：この目標をトリガーしたユニークビジターの数。このモードでは、Optimizely はコンバージョンの重複を排除します。そのため、訪問者が目標を複数回トリガーした場合でも、カウントするのは 1 回のみです。
• コンバージョン率：このバリエーションを閲覧し、この目標をトリガーしたユニークビジターの割合。バリエーションがコンバージョン目標を達成した割合を測定します。
• 合計コンバージョン：[合計] をクリックすると、ユニークコンバージョンではなく合計コンバージョンを表示するように目標モジュールを切り替えることができます。
• 訪問者ごとのコンバージョン：[合計] をクリックすると、コンバージョン率ではなく訪問者ごとのコンバージョンを表示するように目標モジュールを切り替えることができます。
• 差の区間：この実験を実際に実装した場合に想定される有効値の範囲。
• 改善：観測対象のバリエーションのコンバージョン率と観測対象の基準コンバージョン率との相対的差異を割合で表したもの。たとえば、基準コンバージョン率が 5% で、バリエーションコンバージョン率が 10% の場合、改善は 100%となります。
• 統計的有意性（以前の「ベースラインより優勢である可能性」）：これは基本的に、オリジナルとバリエーションのコンバージョン率の差異が偶然ではなく、ページに加えられた変更によるものであることがどの程度信頼できるかを測定します。Optimizely では、統計的信頼性のためのデータが十分揃うまで、もっとデータが必要であることが結果ページに表示されます。Optimizely は、統計的有意性がプロジェクト設定で設定されたしきい値を超えた場合に、最も優れたバリエーションを宣言します。

表示される数字の詳細については、Optimizely の統計エンジンに関する記事を参照してください

また、結果ページから「優勢」なバリエーションを開始する場合は、結果からの操作に関する記事を参照してください。

Optimizely では、ユニークと合計の両方を表示できます。

デフォルトのユニーク指標セットは、1 つの目標についてコンバージョンしたユニークビジター数をキャプチャーしますが、合計は、ユニークビジターごとのコンバージョンの合計数を表示します。この指標セットを使用すると、ページ上の要素について、単に一度のコンバージョンではなくリピートのコンバージョンを簡単に計測することができます。目標においてリピートのコンバージョンが一般的、または望ましい場合（ソーシャル共有など）に、この機能を使用すると大きな知見が得られる可能性があります。

注：
5 秒以内に同じ目標が再度トリガーされた場合は、1 つのコンバージョンと見なします。これは、不注意によるコンバージョンの重複を 2 回としてカウントするのを避けるためです。

 

デフォルトの目標モジュールでは、最も古いものから最新のものへ、バリエーションが降順で表示されます。MVT など、10 以上のバリエーションがある実験では、テーブルは統計的有意性によって降順でソートされます。10 以上のバリエーションがあるこのシナリオでは、列見出しをクリックしてテーブルのソート順を変更することもできます。つまり、改善、コンバージョン、合計収益などによってソートすることができます。

 

ヒント：
表示される 1 つの目標はエンゲージメントです。エンゲージメントは、この実験が実行されているページを閲覧中にリンクをクリックしたか、フォームを送信した訪問者の割合です。実験を開始する前に、ビジネス目標に関連する独自の目標を追加することをお勧めします。その場合、これらの目標は結果ページに表示されます。

グラフと注釈

[グラフの表示] をクリックすると、一定期間のコンバージョン率のグラフが表示されます。

グラフは、グラフの下の領域をクリックしてドラッグすることにより、時間でフィルターできます。バリエーションをオフにして、関係者のためにより対象を絞った表示にすることもできます。非表示にするバリエーションの横にある色付きのボタンをクリックするだけです。

グラフを切り替えて、他の指標と訪問者のパターンを表示することができます。

グラフでは、さまざまな要素が実験結果にどのような影響を与えているかを確認できます。デフォルトのグラフ（コンバージョン率）は、実験期間中の累積コンバージョン率を示します。ただし、訪問者でフィルタリングすると、累積グラフではわからなかった平日/週末のトラフィックまたはトラフィックの異常な増加が明らかになることがあります。また、コンバージョンでフィルタリングすると、コンバージョン率グラフではわからなかった興味深いコンバージョンパターンが明らかになることがあります。

収益目標には、他の 2 つのオプションに対してフィルタリングするオプションがあります。

• 収益：これにより、実験の期間を通して 1 日あたりの収益をグラフで提供します。収益の急激な増加がいつ発生するか、収益目標がいつピークになるかを識別するのに役立ちます。
• 訪問者 1 人あたりの収益：実験中に記録された収益をその時点までの訪問者数で割った額。これは、2 つのバリエーション間で実験の期間の収益が増加傾向か減少傾向かを示す優れた指標となります。

実験結果に影響を与える次のような特定のイベントの記録に役立つことがあります。

• 実験に関連した変更（実験の一時停止、または実行中の実験への変更（これはお勧めしません）など）
• トラフィックの急増、再設計、マーケティングキャンペーン、サイトのダウンタイムなどの外的な変更

エンタープライズユーザーは、結果ページのグラフに変更を示す注釈を付けることができます。これらの注釈はアカウントのすべてのコラボレーターに表示されるため、結果に影響を与える可能性があるイベントに関する情報を共有するための効果的なツールとなります。結果のグラフに注釈を付けるには、次の操作を実行するだけです。

1.[グラフの表示] ボタンをクリックして目標モジュールを展開します。

2.グラフ上の注釈を追加する位置にカーソルを置き、プラスアイコンをクリックします。

3.注釈を記述し、[追加] をクリックして完了します。

4.これで、目標モジュールで [注釈の表示] をクリックするたびに、グラフに垂直方向の線が表示され、注釈があることが示されます。右側にすべての注釈のリストを含むパネルが表示され、最新の注釈が最初に表示されます。

5.注釈を削除するには、削除する注釈の下にある [削除] をクリックします。

データのフィルタリングとエクスポート

日付範囲の選択

結果ページの上部には、レポートの日付範囲を設定するフィルターが表示されます。日付範囲を変更すると、選択した期間の実験結果が表示されます。

24 時間の期間全体を選択するには、1 日目の午前 12 時から 2 日目の 12 時までを選択します。同じ日の午前 12 時から午後 12 時までを選択した場合は、12 時間の期間のみ結果が取得されます。

上記の画像では、7 月 16 日の 00:00 時から 7 月 17 日の 00:00 時までの 24 時間、結果が取得されます。

注：
Optimizely は、実験が指定された日付範囲を超えて実行された場合でも、その期間のデータを計算します。たとえば、同じ訪問者が 1 日目と 2 日目に実験にアクセスした場合、実験の存続期間に 1 人のユニーク訪問者が表示されます。具体的に 1日目をフィルターすると、このユーザーはユニーク訪問者としてカウントされます。同じ意味で、具体的に 2 日目をフィルターすると、ユーザーは両方の日に実験に参加したため、ユニーク訪問者としてカウントされます。

フィルターされた日付範囲とフィルターされていない日付範囲の比較

実験の実行期間全体とカスタム日付範囲の結果ページのグラフを比較すると、いくつかの違いがわかる可能性があります。これは、新しい日付範囲を要求するたびに、結果ページには時系列に従って 100 のデータポイントがロードされるためです。実験結果が 25 日間にわたる場合、1 日に約 4 つのデータポイントがあります。カスタム日付範囲ピッカーを使用して 1 日を選択した場合、その 1 日のデータポイントは 100個あり、細分性のレベルは高くなります。

さらに、結果の計算方法については、結果ページでは選択した日付範囲内のデータポイントのみ考慮されます。訪問者が同じ目標のために 8 月 1 日に 1 回、8 月 3 日に 1回コンバージョンした場合、実験の実行期間全体のグラフを見ると、コンバージョンポイントが 8 月 1 日であることがわかります。ただし、8 月 2 日からのカスタム日付範囲を選択すると、今度はコンバージョンが 8 月 3 日に加算されたことがわかります。

注：
日付範囲ピッカーを使用して日付範囲を選択する代わりに日付範囲を拡大した 場合、コンバージョンは 8 月 1 日のままです。つまり、拡大縮小しても、カスタム日付範囲を選択した場合のようにコンバージョン率が再計算されることはありません。

ベースラインバリエーションの選択

たとえば、バリエーションの結果を元のページと比較しないとします。そのバリエーションのパフォーマンスを特定のバリエーションと比較するとします。結果ページの 右上の [ベースライン：] の下のドロップダウンをクリックして、別のバリエーションをベースラインとして使用できます。

多変量テスト（MVT）では、このドロップダウンから、ベースラインとして使用する セクションとバリエーションの組み合わせを選択できます。このドロップダウンを使用して、チェックボックスをオフにすると結果から全セクションを非表示にすることもできます。

CSV のエクスポートとレポートの共有

結果ページの上部には、CSV（スプレッドシート）形式で結果をエクスポートしたり、現在表示されているレポートを共有する機能があります。[共有] をクリックする と、CSV をダウンロードまたは現在のビューへのリンクを生成するオプションを使用できます。

特定の訪問者の IP 範囲のフィルタリング

実験結果に影響を与えないように、特定の IP 範囲の訪問者（社員など）を除外することができます。詳細については、IP フィルタリング (英語だけ)に関する記事を参照してください。

結果のビュー

すべてのプランタイプでデフォルトのビューが表示されるため、結果を視覚化して解釈できます。エンタープライズプランのお客様は、カスタムビューを作成して共有することもできます。結果のビューは、組織の他の関係者が関心を持てるような形で結果データをパッケージ化し、共有するのに役立ちます。

画面の右欄に、使用可能なデフォルトのビューが表示されます。

• すべての目標 - バリエーションでソートされた、実験の各目標が表示されます。
• すべてのバリエーション - 目標でソートされた、実験の各バリエーションが表示されます。
• 第 1 目標 - 第 1 目標として選択した目標のみが表示されます。このビューを選択すると、ドロップダウンから第 1 目標を選択できます。

• 優勢と劣勢の目標 - 現在優勢または劣勢のバリエーション（未確定）がある目標のみが表示されます。

エンタープライズプランのお客様は、[ビューの追加] をクリックしてカスタムビューを作成することもできます。これには、特定の目標またはバリエーション、あるいはその両方を追加および比較できる追加（ ）ボタンのリストが表示されます。

ビューを保存すると、上で説明したフィルターを使用してビューをカスタマイズすることもできます（日付範囲または訪問者セグメントなど）。新しいカスタムビューを作成する場合は、これらの目標またはバリエーションに対して特定のセグメントを選択することもできます（上記のセグメンテーションのセクションを参照）。

ヒント：
カスタムビューは、カスタムディメンションと対にする場合に特に役立ちます。2つを連携すると、結果のセグメンテーションおよび結果の表示が可能になるためです。

ヒント：
結果のセグメンテーションを行い、全体ではなく特定の訪問者グループに対する実験の達成度合いを表示できます。訪問者グループ、ディメンション、または他のプラットフォームのデータに基づいてセグメンテーションを行う方法の詳細については、セグメンテーションに関する記事を参照してください。