A/B 테스트 걸고 결과 읽기
랜딩을 복제한 변형을 만들어 방문자를 나눠 보내고, 어느 쪽이 유효접수를 더 많이 받는지 비교하는 방법입니다. 판정 배지 네 가지의 기준과 우승자 반영 시 주의점을 정리했습니다.
같은 광고 링크로 들어온 방문자를 둘 이상의 랜딩 버전에 나눠 보내고, 어느 버전이 유효접수를 더 많이 받는지 비교합니다. 첫 화면 이미지 하나만 바꿀 수도 있고, 폼 항목·버튼 문구·블록 구성까지 통째로 다르게 만들 수도 있습니다.
사용 가능
시작하기
- 왼쪽 메뉴 광고 → A/B 테스트를 엽니다.
- 테스트 이름을 적고(예: 상단 이미지 비교) 테스트 만들기를 누릅니다.
- 원본(A)을 그대로 복제한 변형(B)이 생깁니다.
- 변형 B 옆 이 변형 편집하기를 눌러 랜딩꾸미기에서 바꿀 부분을 고칩니다.
- 아래 변형 미리보기에서 A와 B를 나란히 확인합니다.
테스트를 만든 순간부터 실제 주소로 들어온 방문자가 나뉘어 배정됩니다. 광고 링크는 바꾸지 않아도 됩니다.
광고가 이미 돌고 있다면, 만든 직후 B는 아직 A와 똑같은 상태로 방문자에게 나갑니다. B를 다 고친 뒤 비교를 시작하고 싶다면 테스트를 만들자마자 일시중지해 두고, 편집이 끝나면 다시 시작하세요.
스크린샷 준비 중/l/[id]/abtest · 결과 표(변형·분배·방문·전환·전환율·대비·신뢰도)와 변형 관리 카드
나누는 방식
- 변형마다 분배 비중을 정합니다. A 1 : B 1이면 반반, A 3 : B 1이면 넷 중 하나가 B로 갑니다.
- 한 번 배정된 방문자는 다시 들어와도 같은 버전을 봅니다.
- **+ 변형 추가(원본 복제)**로 C, D를 더 만들 수 있습니다. 다만 변형이 많을수록 우연히 이긴 것처럼 보이는 버전이 나올 확률이 커져서, 화면에 그 위험이 함께 표시됩니다.
- 일시중지하면 모두 원본을 보고, 다시 시작하면 이어서 나눕니다.
- 미리보기에서는 나누지 않습니다. 실제 주소에서만 동작합니다.
무엇을 '전환'으로 세나
유효접수(처리분류가 불량·휴지통이 아닌 접수)를 전환으로 셉니다. 접수만 많고 불량이 많은 버전이 이기지 않게 하려는 기준입니다. 테스트 중에도 디비를 확인하며 불량을 찍어 주세요. → 처리분류
접수는 변형이 아니라 원본 랜딩의 디비내역에 모두 쌓입니다.
결과 표 읽기
| 칸 | 뜻 |
|---|---|
| 방문 / 전환 / 전환율 | 그 버전에 배정된 방문, 유효접수, 그 비율 |
| 대비 | 원본보다 전환율이 몇 % 높거나 낮은지 |
| 신뢰도 | 이 버전이 원본보다 나을 확률. 방문이 100회를 넘어야 계산합니다 |
| 신뢰구간 | 전환율 차이가 있을 법한 범위. 0을 걸치면 어느 쪽이 나은지조차 아직 모릅니다 |
판정 배지
| 배지 | 기준 |
|---|---|
| 데이터 수집 중 | 아래 어느 것에도 해당하지 않음 |
| 유력 | 양쪽 방문이 각각 30회 이상이고, 원본보다 나을 확률이 80% 이상 |
| 우승 확정 | 양쪽 방문이 각각 100회 이상이고, 원본보다 나을 확률이 95% 이상 |
| 열세 확정 | 양쪽 방문이 각각 100회 이상이고, 원본보다 나쁠 확률이 95% 이상 |
화면에는 "변형당 약 몇 명이 모여야 20% 차이를 가릴 수 있다"는 안내도 함께 나옵니다. 그 숫자에 못 미쳤는데 '유력'이 떴다면, 며칠 더 지켜보는 편이 안전합니다. 하루 이틀 만에 결과를 보고 멈추면 우연한 차이를 정답으로 착각하기 쉽습니다.
우승자 반영하기
이긴 변형 옆 우승자로 지정을 누르면:
- 원본 랜딩의 보이는 내용(블록·폼 모양·완료 처리·팝업·단계별 설정·외부 폼 등)이 그 변형 내용으로 바뀝니다.
- 원본에 넣어 둔 운영 설정(리드 단가·픽셀·문자 설정 등)은 그대로 남습니다.
- 테스트는 종료되고, 되돌릴 수 없습니다.
아직 '우승 확정'이 아니거나 오히려 '열세 확정'인 변형을 지정하려 하면 한 번 더 확인을 묻습니다.
알아 둘 것
- 광고 픽셀은 원본 랜딩에 넣은 것이 모든 변형에서 똑같이 동작합니다. 변형마다 따로 넣지 않아도 됩니다. 사용 가능
- 테스트를 지우면 변형에서 편집한 내용도 함께 사라집니다.
- 한 랜딩에서는 가장 최근 테스트 하나가 화면에 보입니다.
- 결과를 다른 데이터로 검산해 보고 싶다면 방문·전환 수만 넣으면 되는 계산기도 있습니다. → A/B 유의성 계산기
다음에 볼 글 → 광고 픽셀 설치 (매체별) 관련 기능 → A/B 테스트
관련 글·기능
글에 틀린 내용이 있으면 정정 요청을 남겨 주세요.
직접 만들어 보세요
베타 기간 · 결제 없음 · 랜딩 개수 무제한