OptimizelyXでのExperiment(実験)を設定する６つのSTEP

OptimizelyXでのExperiment(実験)を設定する６つのSTEP

Optimizelyは、貴社サイトでA/Bテストを手軽に行うことができるツールです。どのようにページを編集するのか、どのA/Bテストを実行するのか、誰に対して行うのか、何らかのキャンペーンを実行した際には、そのキャンペーンが成功しているのかを判断する指標を設定できます。

本記事では、OptimizelyでA/Bテストを行う上での手順をご紹介いたします。

前提：新規でExperiment(実験)を作成する

１.Experimentダッシュボードに遷移

２.”Create New"をクリック

３.ドロップダウンから"Experiment"を選び、名前を付けて保存します。

注：

A/Bテストを実行する前、スニペットの実行と、メトリックの設定を完了し、最低でも１ページ作成する必要があります。カスタムスニペットを使用する場合、複数のスニペットリストが提示される可能性があります。その場合はA/Bテストで使用したいスニペットを選んでください。

ページを追加する

次に、A/Bテストを実行するページを設定します。

＋をクリックすることで、A/Bテストを実行するページを追加できます。もしくは、"Create New Page"をクリックして新しいページを追加できます。

オーディエンスを追加する

次に、A/Bテストの対象となるオーディエンスを設定します。

＋をクリックすることで、オーディエンスを追加できます。もしくは、"Create New Audience"をクリックすることでも、新しいオーディエンスを追加できます。

異なるオーディエンスに対して、"AND"や"OR"の条件のもとA/Bテストを実行できるように設定します。例えば、「頻繁に旅行するユーザー」AND「旅行にお金を奮発するユーザー」にテストを実行すると設定した場合、両方の条件を兼ね備えているオーディエンスに対してのみテストを行います。もし「頻繁に旅行する」AND「旅行にお金を奮発する」OR ５xバイヤーズと設定した場合、条件のどちらかひとつを満たしたユーザーにのみ施策を実行します。

※以下は異なるユーザーに対してテストを行う流れになります。

１.対象を複数にするため＋ボタンを教えてください。

２.ドロップダウンで、どの対象を追加するのかを決定します。

Match any audience：対象となる項目のどれかに満たしているユーザーに施策を実行します。

Match all audience：対象となる項目全てを満たしたユーザーだけに施策を実行します。

Custom：ANDやORを使って施策を実行したいターゲットを設定します。

メトリック(目標)の追加

どの程度施策が成功したのかを測るために、メトリック(目標)を追加しましょう。メトリックは、バリエーションの変化を評価するための指標となります。Optimizelyでは、貴社のビジネスに合わせて、メトリックを自由に設定できます。

すでに作成されているメトリックや、新しいメトリックの作成方法をご紹介します。

＋をクリックして現存する事例を追加できます。

最初に追加するメトリック(Primary Metric)は、その施策に対してもっとも重要なメトリックになります。このメトリックにより、その施策が成功しているのかどうかを判断できます。また、変化により直接影響を受けたサイト内の箇所をたどることができます。

OtpmizelyのStatsエンジンにより、より早くPrimary Metricで設定した指標の統計的な有意性を判断できるようになります。2つ目以降のセカンダリーメトリックを追加する場合は、施策における下流の影響を計測することができます。2～５個目のセカンダリーメトリックは素早く統計的な有位性を判断できます。それ以降追加したセカンダリーメトリックは、自身が測りたい項目の統計的な有意性を判断するのに時間がかかってしまう恐れがあります。Statsエンジンは、セカンダリーメトリックを複数作ろうと、最初のメトリックが統計的判断をするスピードが遅くならないことを保証します。セカンダリーメトリックはビジネス上の意思決定をより深くデータベースにするお手伝いをします。

注：

施策のセットアップを完了するために、最低でもひとつはメトリックを設ける必要があります。だからといって心配はいりません。メトリックの変更や削除、追加はいつでもできます。

トラフィック割当の設定

Optimizelyはランダムに、トラフィックをオリジナルページとテスト案ページにそれぞれ割り当てます。

その際に、それぞれのバリエーションにどの程度トラフィックを割り当てるのかを設定できます。

テスト全体のトラフィック合計の割合も変更可能です。

サイドバーを使うことで、メトリックやオーディエンス、ページなどのExperiment（実験）に関する要素を変更できます。

バリエーションを作成する

一度Experiment（実験）のセットアップを完成させると、ビジュアルエディターを使ってバリエーションを作成できます。

1.編集したいバリエーションを選ぶ

2.ページビジュアルを変えるために、修正したい要素を選択します。そのとき、編集するために使う左側の青いレールの、ガイドをご覧になれます。

左の編集レールでは、以下のことが可能です。

a：jQueryセレクターを調整して最適化できます。
b：ページ要素の見た目や位置などのレイアウトを変える・並び替えができます。
c：デザインやイメージ、背景などを調整・入れ替えできます。
d：CSSインラインを追加できます。
e：同期から非同期までで起こる変化のタイミングを変えることができます。

3."Save"をクリックしてください。

4.バリエーションを作りたいときには上記のステップを繰り返してください。新しいバリエーションを作る場合は、"New Variation"をクリックしてください。

JSコードやCSSコードでページを変更したい場合は、[ >- ]アイコンをクリックしてください。

確認とパブリッシュ

ページやトラフィックの割当など、Experiment（実験）に関する要素がすべて決定したら、それが意図した通りに実行するかを今一度確認してください。

1."Preview"ボタンを押してバリエーションの変更部分を確認してください。

プレビューモードでページの変化を見れない場合は、スニペットがページで実行されていて、OptimizelyX内に設定されていることを確認してください。確認機能とトラブルシューティング機能は、先進的なQA機能により、自己学習して高機能になっていきます。

2.一度工程全てを見返したら、"Publish"をクリックしてオーディエンスにExperiment（実験）を実行してください。

お疲れ様です。これでOptimizelyX Web ExperimentationにてA/Bテストは無事実行されました。