전환율 차이, 우연인지 계산해 보기

결과 읽는 법

두 비율의 차이를 2-비율 z검정으로 봅니다. 우연일 확률(p값)은 “두 버전이 사실 똑같다면 이 정도 차이가 우연히 나올 확률”입니다. 5% 아래면 차이가 있다고 보고, 그 위면 더 모아야 합니다.

• 우승 확정 — 버전마다 방문 100명 이상이고, B가 낫다는 신뢰도가 95% 이상.
• 유력 — 버전마다 30명 이상이고 신뢰도 80% 이상. 아직 결론은 아닙니다.
• 열세 확정 — B가 확실하게 뒤지는 경우.
• 판정할 수 없음 — 위 어느 것도 아닐 때. 표본이 작으면 대부분 여기입니다.

자주 하는 실수

• 결과를 매일 보다가 좋아 보이는 날 멈추기 — 중간 확인을 자주 할수록 거짓 승자가 나올 확률이 커집니다.
• 방문 수가 아니라 접수 수만 비교하기 — 광고비가 다르게 들어간 두 소재는 이 계산기로 비교하면 안 됩니다. 같은 기간·같은 유입을 반씩 나눈 경우에 씁니다.
• 버전을 여러 개 동시에 비교하기 — 3개 이상이면 우연히 하나가 이겨 보일 확률이 커집니다.

더 자세한 이야기는 A/B 결과, 믿어도 되나에 적었습니다.