멋쟁이사자처럼 부트캠프 그로스마케팅 4기 14일차_260327

AB테스트를 중점적으로 다뤘다.

 

A/B 테스트를 빈번하게 시행하는 곳의 성장 속도가 그렇지 않은 곳보다 4.2배가 빠르다

 

그로스 해킹의 한계

• 사용자가 충분하지 않으면 A/B 테스트 등 실험으로 통계적 유의성을 확보하기 어렵다.
• 장기적 리텐션/이탈률은 실험만으로 판단하기 어렵다.
• 실험 결과가 계절, 시장 변화 등 외부 요인에 의해 쉽게 변동된다.
• 제품의 방향성(어떤 고객을 타겟으로 할지)이 실험적 최적화보다 더 큰 영향을 미친다.
• 모든 기업이 비슷한 실험과 기법을 사용하면서, 그로스해킹 전략이 더 이상 차별화되지 않는다.

그래서?

• 참신함과 창의적 콘텐츠의 중요성: 새로운 앱보다 새로운 콘텐츠/크리에이터/밈에 더 관심을 보인다.
• AI/자동화 도구의 활용
• 단기 지표에만 집중하지 않고, 장기적 리텐션/사용자 행동 지표를 함께 고려해야 한다.

A/B 테스트를 통해 최소한의 비용을 사용하여 실패확률을 낮추고 성공확률을 높인다!

 

A/B 테스트

• 기존 버전 A와 요소가 변경된 버전 B를 사용자들에게 무작위로 보여주고, 전환율 등의 데이터를 통해 더 나은 성과를 내는 방안을 과학적으로 결정하는 실험 방법
• 웹사이트 UI, 이메일 제목, 마케팅 문구 등 다양한 요소를 테스트
• 두 가지 버전 A안·B안 중 어느 것이 더 나은 성과를 내는지 통계적으로 증명하는 비교 실험
• 단 하나의 변수만 바꿔야 어떤 변경이 효과를 냈는지 인과관계를 파악할 수 있다.
• A/B 테스트의 목적은 B안이 이겼다는 결론을 내리는 것이 아니라, B안이 왜 더 잘 작동했는지 또는 왜 아무 차이가 없었는지를 이해하는 것

대조군 vs 실험군

• 대조군(Control) 은 현재 아무것도 바꾸지 않은 기존 버전으로 모든 비교의 기준점이 된다.
• 실험군(Treatment/Variant)은 우리가 가설을 갖고 변경한 버전으로 대조군과 단 하나만 달라야 한다.
• 두 그룹은 반드시 동시에 운영되어야 한다.
• 실무에서는 대체로 AB TEST 자체의 검증보단, 전환 향상 또는 KPI 달성을 위한 AB TEST를 진행
• GA4 utm을 사용해 A/B 테스트를 설계할 수 있다. (utm_content만 다르게)

AB TEST 실험 설계 체크리스트

• 실험 도중 Peeking(중간 확인 후 조기 종료)과 페이지 추가 수정은 절대 금지

 

무료 온라인 통계 계산기 https://abtestguide.com/calc 사이트를 통해 p-value(통계적 유의성) 검증

 

p-value

유의확률, 관측된 데이터가 우연히 발생했을 확률을 나타내는 지표 0.05(5%) 미만일 때 통계적으로 유의미하다고 간주

 

신뢰구간 (Confidence Interval)

다음에 다시 테스트해도 이 정도 범위 안에는 들어올 것이라는 확신의 영역

 

EDA(Exploratory Data Analysis 탐색적 데이터 분석)

*쿠폰의 악순환 해결방안 - 할인을 기획하는 단계에서 사용자에게 명분을 주는 것

 

• 데이터를 분석하기 전에 데이터의 구조, 분포, 특성, 이상 여부를 먼저 탐색하고 이해하는 과정
• 데이터가 핵심 가진 의미를 파악하여 숨겨진 문제를 발견하고, 가설을 수립하거나 수정하여 올바른 분석 방향을 설정하는 것이 목표
• 데이터에는 반드시 결측값, 이상값, 중복값이 존재하며, 데이터 정제 및 EDA를 통해 인사이트 도출을 해야 한다.
• 가설 도출 프로세스의 첫 번째 시작은 데이터 관찰이며, 이를 통해 근거 기반의 가설이 도출되어야 합니다.

데이터 타입