> ## Documentation Index
> Fetch the complete documentation index at: https://docs.notifly.tech/llms.txt
> Use this file to discover all available pages before exploring further.

# A/B 테스트

> 노티플라이의 A/B 테스트 기능을 활용하면 서로 다른 유저 그룹에게 다른 메시지를 보내어 그 효과를 비교할 수 있습니다.

## 1. A/B 테스트 캠페인 설정

### 1-1. 캠페인 타입 설정

기본 정보 및 채널에서 캠페인 타입을 'A/B 테스트 캠페인'으로 설정하시면 A/B 테스트를 위한 설정 항목이 추가됩니다.

### 1-2. 메시지 및 액션 설정

캠페인에 대해 서로 다른 유저 그룹별로 다른 메시지 내용을 설정할 수 있습니다. 각 그룹별로 메시지 제목, 내용, 이미지를 다르게 설정할 수 있습니다. 그룹의 비율에 따라 유저들이 랜덤하게 그룹에 할당됩니다.

<img src="https://mintcdn.com/notifly/DhnaXLaUPk9oQQlV/ko/user-guide/images/user-guide/campaigns/ko/assets/images/abtest_message-e7c99ba08b643229357d40a765cac072.png?fit=max&auto=format&n=DhnaXLaUPk9oQQlV&q=85&s=be0a4f9dd80c7cd97a7d4a450586b268" alt="AB test message" width="1476" height="1888" data-path="ko/user-guide/images/user-guide/campaigns/ko/assets/images/abtest_message-e7c99ba08b643229357d40a765cac072.png" />

<Info>
  A/B 테스트에서 "컨트롤 그룹"을 지정할 수 있습니다. 컨트롤 그룹은 메시지를 받지 않으며, 메시지 발송의 효과를 검증하는 데 유용합니다.
</Info>

## 2. A/B 테스트 종료

현재 진행 중인 캠페인에 대한 A/B 테스트를 종료할 수 있습니다. 캠페인 리스트에서 'A/B 테스트 종료'를 클릭하여 Winner 그룹을 설정하시면, 해당 그룹의 메시지가 전체 발송 대상에게 발송되는 '일반 캠페인'으로 전환됩니다.

<img src="https://mintcdn.com/notifly/DhnaXLaUPk9oQQlV/ko/user-guide/images/user-guide/campaigns/ko/assets/images/abtest_winner-b14c797a73407d1d3653ee6e38b54656.png?fit=max&auto=format&n=DhnaXLaUPk9oQQlV&q=85&s=52b2f87a67857a9b01ffaa8131e678d7" alt="AB test winner" width="789" height="288" data-path="ko/user-guide/images/user-guide/campaigns/ko/assets/images/abtest_winner-b14c797a73407d1d3653ee6e38b54656.png" />

## 3. A/B 테스트 분석

A/B 테스트 캠페인의 '캠페인 발송 현황' 대시보드에서 A/B 테스트 분석 결과를 확인하실 수 있습니다. 서로 다른 유저 그룹별로 지표를 비교하는 통계적 분석을 일별 스냅샷 형태로 제공합니다. 기준 그룹을 선택하고, 다른 그룹과 비교하여 전환율, 클릭 수, 전환 이벤트 수 등을 확인할 수 있습니다.

<img src="https://mintcdn.com/notifly/DhnaXLaUPk9oQQlV/ko/user-guide/images/user-guide/campaigns/ko/assets/images/abtest_report-9692eb5eb34cc072342c8a0f1a09af62.png?fit=max&auto=format&n=DhnaXLaUPk9oQQlV&q=85&s=a73ea91a0458f48fe26e39cb28c03d4d" alt="AB test report" width="2540" height="1636" data-path="ko/user-guide/images/user-guide/campaigns/ko/assets/images/abtest_report-9692eb5eb34cc072342c8a0f1a09af62.png" />

* **총 전환 이벤트 수**: 각 그룹의 전환 이벤트 수를 확인합니다.
* **총 유저 수**: 각 그룹에서 메시지 발송 대상의 후보에 해당된 유저 수 입니다. 실제 발송 대상은 이보다 적을 수 있습니다.
* **전환율**: 전환 이벤트 수 / 유저 수로 계산된 전환율을 확인합니다.
* **기준 대비 개선율**: 기준 그룹 대비 다른 그룹의 전환율을 %로 계산한 값입니다.
* **p-value**: 기준 그룹 대비 비교 그룹에 대한 지표 차이가 통계적으로 얼마나 유의미한지를 설명합니다. p-value는 0부터 1까지의 값을 나타낼 수 있으며, 일반적으로 0.05 미만인 경우 통계적으로 유의미하다고 판단합니다.
* **신뢰 구간**: 기준 그룹 대비 개선율이 나타낼 수 있는 값의 범위를 확인할 수 있습니다. 통계적으로 유의미한 경우, 신뢰 구간이 양수만을 포함하거나 음수만을 포함하게 됩니다.


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.