A/B 테스트 결과, 언제부터 믿어도 되나

A/B 테스트에서 가장 흔한 실수는 너무 빨리 결론을 내는 것입니다. 이틀 돌려 보니 B가 앞서서 B로 바꿨는데, 다음 주에는 원래대로 돌아오는 일이 자주 생깁니다. 차이가 진짜였던 게 아니라 우연이 컸던 것입니다.

#예시 하나로 보는 "우연의 크기"

아래는 설명을 위한 예시 숫자입니다(측정값 아님).

B가 3분의 1 더 좋아 보입니다. 그런데 두 비율의 차이를 통계적으로 검정해 보면(2-비율 z검정), "B가 낫다"고 말할 수 있는 신뢰도는 **약 78%**에 그칩니다. 흔히 쓰는 기준인 95%에 한참 못 미칩니다. 이 정도 차이는 같은 페이지를 두 번 돌려도 나올 수 있다는 뜻입니다.

직접 숫자를 넣어 보려면 A/B 유의성 계산기를 쓰세요. 로그인 없이 됩니다.

#몇 명이 필요한가 — 미리 계산합니다

얼마나 모아야 하는지는 지금 접수율과 잡아내고 싶은 차이에 달렸습니다.

예를 들어 지금 접수율이 3%이고, "20% 더 좋아진 것"(3% → 3.6%)을 가려내고 싶다면, 흔히 쓰는 기준(유의수준 95%, 검정력 80%)으로 변형마다 약 1만 4천 명의 방문이 필요합니다. 차이가 더 작으면 훨씬 더 많이 필요하고, 차이가 크면 덜 필요합니다.

랜딩 하나의 하루 방문이 수백 명이라면 이 숫자는 꽤 깁니다. 그래서 실무에서는 이렇게 합니다.

• 차이가 클 만한 것부터 시험합니다. 버튼 색보다 첫 이미지, 제목, 폼 길이처럼 방문자가 받는 인상이 크게 달라지는 것.
• 변형 수를 줄입니다. 원본 하나에 변형 하나가 가장 빨리 결론이 납니다.
• 정해진 표본에 못 미치면 "차이를 확인하지 못했다"고 기록합니다. "차이가 없다"와는 다른 말입니다.

#중간에 자주 들여다보면 틀립니다

매일 결과를 보다가 95%를 처음 넘는 날 멈추는 방식은 위험합니다. 우연은 위아래로 흔들리기 때문에, 자주 볼수록 한 번쯤 기준을 넘는 순간을 만날 확률이 커집니다. 그 순간에 멈추면 실제로는 차이가 없는데 승자를 고르게 됩니다.

방법은 간단합니다.

1. 시작 전에 필요한 표본을 정합니다.
2. 그 표본이 모일 때까지 결정하지 않습니다.
3. 요일 차이를 고르게 하려면 최소 1주 단위로 돌립니다.

#변형이 많을수록 가짜 승자가 늘어납니다

원본 하나에 변형 셋을 동시에 돌리면, 그중 하나가 우연히 기준을 넘을 확률이 변형 하나일 때보다 커집니다. 디비풀 A/B 화면은 변형이 여럿이면 이 위험을 함께 보여 줍니다.

#디비풀 A/B 화면의 배지 읽는 법

디비풀 A/B 테스트는 랜딩을 통째로 복제한 변형을 만들고, 방문자를 정한 비율로 나눕니다. 같은 방문자는 다시 와도 같은 변형을 봅니다. 접수는 원본 랜딩의 디비내역에 쌓입니다. 사용 가능

화면에는 배지 말고도 이런 정보가 함께 나옵니다.

• 차이의 범위(95% 구간) — 이 범위가 0을 걸치면 방향조차 확정할 수 없다는 뜻입니다.
• B가 나을 확률 — 사장님이 읽기 쉬운 숫자지만, 이것도 자주 들여다보면 똑같이 부풀려집니다.
• 필요 표본 안내 — 아직 모자라면 "변형당 약 몇 명이 더 필요하다"고 알려 줍니다.

스크린샷 준비 중/l/[id]/abtest · 변형별 배지, 차이 구간, 필요 표본 안내

"우승 확정"이 뜬 변형은 이긴 쪽 적용으로 원본에 반영할 수 있습니다. 이때 바뀌는 건 화면 내용(블록·폼·팝업 등)이고, 원본의 리드 단가·픽셀·문자 설정은 그대로 남습니다.

미리보기에서는 A/B 분배가 돌지 않습니다. 실제 주소로 들어온 방문만 셉니다.

#마지막 확인 — 접수가 아니라 유효접수로

A/B 화면은 접수를 전환으로 셉니다. 접수는 늘었는데 불량이 같이 늘었다면 이긴 게 아닙니다. 승자를 적용하기 전에 디비내역에서 변형별 처리분류 결과를 한 번 더 보세요. 사용 가능

---

다음에 볼 글: 광고 소재별 성과, 제대로 비교하는 법 관련 기능: A/B 테스트