1. A/Bテストキャンペーンを設定する
1-1. キャンペーンタイプを選択する
基本情報とチャネル で A/Bテストキャンペーン を選択すると、A/Bテストの設定項目が表示されます。1-2. メッセージとアクションを設定する
メッセージとアクション で、グループごとにタイトル、本文、画像を設定します。Notiflyは、指定した比率に応じてユーザーをランダムに割り当てます。
メッセージの有無による違いを調べるには、メッセージを送らない コントロールグループ を追加します。
2. A/Bテストを終了する
キャンペーン一覧で A/Bテスト終了 を選び、採用するグループを指定します。メッセージを送るグループを選ぶと、キャンペーンは 通常キャンペーン に切り替わり、以降はそのグループのメッセージを送信対象者全員に使います。コントロールグループ を選ぶと、キャンペーンが終了します。
3. A/Bテストの結果を分析する
キャンペーン送信状況 では、日別の結果を確認できます。A/Bテスト結果 で、イベント名 から計測するイベントを、比較グループ から比較する2グループを選びます。
- 総イベント数/総ユーザー数 には、選んだイベントの発生回数と、グループごとの送信候補者数が表示されます。実際の送信対象者はこれより少ない場合があります。括弧内の値は、イベントの発生回数を総ユーザー数で割った値です。
- 基準比改善率 は、ユーザー1人あたりのイベント発生回数が、基準グループに比べて何パーセント変化したかを示します。
- p-value(p値)は、比較グループと基準グループの差が統計的に有意かを判断する指標です。0から1の範囲で、一般に0.05未満の場合に統計的に有意と判断します。
- 信頼区間 は、基準グループに対する改善率の推定範囲です。95%信頼区間に0が含まれなければ、有意水準5%で統計的に有意な差があります。
