メインコンテンツへスキップ

1. A/Bテストキャンペーンを設定する

1-1. キャンペーンタイプを選択する

基本情報とチャネル で A/Bテストキャンペーン を選択すると、A/Bテストの設定項目が表示されます。

1-2. メッセージとアクションを設定する

メッセージとアクション で、グループごとにタイトル、本文、画像を設定します。Notiflyは、指定した比率に応じてユーザーをランダムに割り当てます。 A/Bテストのメッセージとグループの比率
メッセージの有無による違いを調べるには、メッセージを送らない コントロールグループ を追加します。
成果分析設定 を開き、コンバージョンイベント で計測するイベントを1件以上指定します。

2. A/Bテストを終了する

キャンペーン一覧で A/Bテスト終了 を選び、採用するグループを指定します。メッセージを送るグループを選ぶと、キャンペーンは 通常キャンペーン に切り替わり、以降はそのグループのメッセージを送信対象者全員に使います。コントロールグループ を選ぶと、キャンペーンが終了します。 A/Bテストで採用するグループの選択

3. A/Bテストの結果を分析する

キャンペーン送信状況 では、日別の結果を確認できます。A/Bテスト結果 で、イベント名 から計測するイベントを、比較グループ から比較する2グループを選びます。 グループ別のA/Bテスト結果
  • 総イベント数/総ユーザー数 には、選んだイベントの発生回数と、グループごとの送信候補者数が表示されます。実際の送信対象者はこれより少ない場合があります。括弧内の値は、イベントの発生回数を総ユーザー数で割った値です。
  • 基準比改善率 は、ユーザー1人あたりのイベント発生回数が、基準グループに比べて何パーセント変化したかを示します。
  • p-value(p値)は、比較グループと基準グループの差が統計的に有意かを判断する指標です。0から1の範囲で、一般に0.05未満の場合に統計的に有意と判断します。
  • 信頼区間 は、基準グループに対する改善率の推定範囲です。95%信頼区間に0が含まれなければ、有意水準5%で統計的に有意な差があります。