> ## Documentation Index
> Fetch the complete documentation index at: https://docs.notifly.tech/llms.txt
> Use this file to discover all available pages before exploring further.

# A/Bテスト

> ユーザーグループごとに異なるメッセージを送り、効果を比較します。

## 1. A/Bテストキャンペーンを設定する

### 1-1. キャンペーンタイプを選択する

**基本情報とチャネル** で **A/Bテストキャンペーン** を選択すると、A/Bテストの設定項目が表示されます。

### 1-2. メッセージとアクションを設定する

**メッセージとアクション** で、グループごとにタイトル、本文、画像を設定します。Notiflyは、指定した比率に応じてユーザーをランダムに割り当てます。

![A/Bテストのメッセージとグループの比率](https://mintcdn.com/notifly/BljWoGqDT6exoK9p/images/i18n/ja/campaigns/abtest-message.png?fit=max\&auto=format\&n=BljWoGqDT6exoK9p\&q=85\&s=40499b3f74ed5825345816a5d6bd7909)

> [!NOTE]
>
> メッセージの有無による違いを調べるには、メッセージを送らない **コントロールグループ** を追加します。

**成果分析設定** を開き、**コンバージョンイベント** で計測するイベントを1件以上指定します。

## 2. A/Bテストを終了する

キャンペーン一覧で **A/Bテスト終了** を選び、採用するグループを指定します。メッセージを送るグループを選ぶと、キャンペーンは **通常キャンペーン** に切り替わり、以降はそのグループのメッセージを送信対象者全員に使います。**コントロールグループ** を選ぶと、キャンペーンが終了します。

![A/Bテストで採用するグループの選択](https://mintcdn.com/notifly/BljWoGqDT6exoK9p/images/i18n/ja/campaigns/abtest-winner.png?fit=max\&auto=format\&n=BljWoGqDT6exoK9p\&q=85\&s=6cb55530afae3c07fbd5cf6a7944d80e)

## 3. A/Bテストの結果を分析する

**キャンペーン送信状況** では、日別の結果を確認できます。**A/Bテスト結果** で、**イベント名** から計測するイベントを、**比較グループ** から比較する2グループを選びます。

![グループ別のA/Bテスト結果](https://mintcdn.com/notifly/BljWoGqDT6exoK9p/images/i18n/ja/campaigns/abtest-report.png?fit=max\&auto=format\&n=BljWoGqDT6exoK9p\&q=85\&s=127023b865c5ff70fee22017a767e3ac)

* **総イベント数/総ユーザー数** には、選んだイベントの発生回数と、グループごとの送信候補者数が表示されます。実際の送信対象者はこれより少ない場合があります。括弧内の値は、イベントの発生回数を総ユーザー数で割った値です。
* **基準比改善率** は、ユーザー1人あたりのイベント発生回数が、基準グループに比べて何パーセント変化したかを示します。
* **p-value**（p値）は、比較グループと基準グループの差が統計的に有意かを判断する指標です。0から1の範囲で、一般に0.05未満の場合に統計的に有意と判断します。
* **信頼区間** は、基準グループに対する改善率の推定範囲です。95%信頼区間に0が含まれなければ、有意水準5%で統計的に有意な差があります。


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.