A/B 테스트와 유의성 판정

첫 이미지를 바꿨더니 접수가 늘었다는 느낌은 자주 틀립니다. 요일, 광고 예산, 날씨만 달라도 하루 접수는 오르내립니다. A/B 테스트는 같은 기간에 방문자를 나눠 두 버전을 동시에 보여 주고, 차이가 우연으로 설명되는지 계산합니다.

사용 가능

#어떻게 동작하나

1. 변형 만들기 — 지금 랜딩을 통째로 복제한 변형이 생깁니다. 이미지, 문구, 폼 항목, 버튼, 팝업처럼 보이는 것은 무엇이든 바꿀 수 있습니다.
2. 나눠 보내기 — 비율(가중치)을 정하면 같은 주소로 들어온 방문자가 그 비율대로 나뉩니다. 한 번 배정된 방문자는 다시 와도 같은 버전을 봅니다.
3. 전환 세기 — 접수가 들어오면 그 방문자가 본 버전의 전환으로 셉니다. 접수 데이터는 모두 원본 랜딩의 디비 내역에 쌓이므로 광고주에게 넘길 목록이 둘로 갈라지지 않습니다.
4. 판정 보기 — 변형마다 배지가 붙습니다.
5. 이긴 쪽 적용 — 이긴 변형의 화면 구성을 원본에 반영합니다. 리드 단가, 픽셀, 문자 설정 같은 운영값은 원본 것을 그대로 지킵니다.

스크린샷 준비 중/l/[id]/abtest · 원본과 변형 2개, 방문·접수·전환율·판정 배지

#판정 배지 읽기

두 전환율의 차이를 2-비율 z검정으로 계산합니다.

표본이 작으면 화면에 "변형당 약 몇 명이 모여야 20% 차이를 가릴 수 있다"는 안내가 함께 뜹니다. 그 전에는 결론을 내리지 않는 편이 맞습니다.

#결과를 믿기 전에

• 중간에 자꾸 보고 멈추지 않기 — 배지가 "유력"으로 바뀐 날 바로 끝내면 우연을 잡을 가능성이 커집니다. 처음에 기간이나 방문 수를 정해 두세요.
• 변형을 너무 많이 두지 않기 — 동시에 비교하는 변형이 늘수록 우연히 "우승"이 나올 확률도 올라갑니다. 변형이 셋 이상이면 화면에 그 위험을 함께 표시합니다.
• 한 번에 하나만 바꾸기 — 이미지와 폼 항목을 같이 바꾸면 무엇 때문에 달라졌는지 알 수 없습니다.
• 접수 수와 쓸 수 있는 접수는 다릅니다 — 폼을 짧게 줄이면 접수는 늘어도 불량이 같이 늘 수 있습니다. 디비 내역에서 처리분류를 붙인 뒤 소재분석의 유효접수율도 같이 보세요. → 소재·UTM 분석
• 미리보기에서는 나뉘지 않습니다 — 방문자 나누기, 팝업, 픽셀은 실제 주소에서만 동작합니다.

#가입 없이 계산만 해 보기

다른 도구에서 돌린 테스트의 방문·접수 수만 있어도 같은 방식으로 판정해 볼 수 있습니다. 숫자는 브라우저 밖으로 나가지 않습니다. → A/B 유의성 계산기

#외부 폼 랜딩에서는

블록으로 만든 랜딩에 외부 폼(텐핑 등)을 붙였다면, 외부 폼이 보내 준 전환 신호도 방문자가 배정된 버전으로 함께 집계됩니다. 다만 디비풀이 받는 것은 전환 신호뿐이라, 외부 폼이 그 신호를 보내지 않으면 A/B 결과에도 잡히지 않습니다. 테스트를 켜기 전에 테스트 신청을 넣어 디비내역에 "외부 폼: 전환" 줄이 생기는지 먼저 확인하세요.

---

• 다음에 볼 글: A/B 유의성 계산기
• 관련 기능: 이미지 블록 랜딩 만들기