[케이스 제작 노트]
[질문 리스트]
Question A/B 테스트의 의사 결정 및 추가 확인할 데이터 찾기
질문 풀이 순서 : 테스트 목적 다시 짚어보기 → 테스트 결과 분석 → 추가 분석할 지표 찾기
테스트 목적 다시 짚어보기 → 테스트 결과 분석 → 추가 분석할 지표 찾기 .png&blockId=b99149a1-4745-4bdc-8005-00556398c7ee)
.png&blockId=5792e080-898a-424c-aedd-facd8dda9210)
테스트 목적 다시 짚어보기
A/b 테스트를 통해서 얻고자 하는 것이 무엇이고, 무슨 목적으로 진행하게 되었는지 다시 한번 짚어봐야한다.
쿠팡 이츠가 진행하게 된 이유 : gmv 높이기 → gmv에 영향을 주는 행동 찾기 → 유저 행동 퍼널 중에 [주문 탐색]부터 개선 테스트 → a/b테스트진행 [유저에게 주문을 유도하기 위해 홈 화면에 선택지 추가, 검색 창 강조]
그래서 A/b테스트를 통해 의사결정 진행해야할 지표는 [구매전환율] 특히 [검색기능을 통한 구매전환율] 이다.
테스트 결과 분석
구매전환율을 보려면 어느 단계, 어느 flow로 유저가 들어와서 구매까지 하게 되었는지를 꼭 확인해야한다.
하여 쿠팡이츠도 a/b테스트 결과를 단계 별로 확인한 것 같다.
테스트 결과에서의 지표를 확인해보면,
1.
홈 화면 → 검색 시도 : 그룹 a 대비 개선율 +25%
a.
이 지표를 보면 유저들이 개선 된 검색창을 사용하여 유도에 성공했다고 볼 수 있다.
b.
이 지표에서 필요한 비교 수치
i.
(3)번 지표와 전환율 말고 전체 홈 화면 유입 유저수와 검색 메뉴 클릭수,음식점 메뉴 클릭수를 비교하면 좋을 것 같다. ( 그래야 메뉴의 우위성을 따질 수 있기 때문! )
2.
검색 결과 페이지 → 음식점 페이지 +12.5%
a.
이 지표의 단순 결과만 보면 오 늘었다! 라고 볼 수 있다.
b.
이 지표가 중요한 이유는 구매 전환 플로우의 1차 목표인 음식점 페이지 전환율 값이기 때문이다.
i.
구매 전환 플로우 : 검색 → 음식점 페이지 → 메뉴 페이지 → 배달 카트에 담기 → 주문
c.
이 지표에서도 비교 수치
i.
홈화면→ 검색 결과 페이지 → 음식점 페이지 단계를 거치면서 이탈한 유저수를 비교해야 한다.
3.
홈 화면 → 음식점 페이지 +5%
a.
이 지표를 보면 홈 화면에서 음식점 페이지로 바로 넘어가는 전환율이 늘었다.
b.
검색을 통해서 늘은 것이 아니라 홈 화면에 노출된 음식점을 클릭하여 넘어간 수치이나, 홈화면의 전체 유입 유저수가 숫자로도 보면 좋을 것 같다. 95% 라는 전환율이 홈 화면에서 음식점 클릭하여 페이지 전환 된 수치이기 때문에 홈 화면에서 음식점 클릭이 95%로 월등하다는 수치가 아니다.
c.
이 지표에서 필요한 비교 수치
i.
홈 전체 유입 회원 수와 (1)번 지표(검색시도)와 음식점 페이지를 클릭한 수치를 비교해야한다.
4.
음식점 → 메뉴 페이지 전환율 -10%
a.
이 지표를 보면 음식점 페이지에서 메뉴 페이지로 전환 되는 비율이 -10% 줄었다.
b.
이 지표가 중요한 이유는 구매 전환 플로우의 2차 목표인 메뉴 페이지 전환율 값이기 때문이다.
i.
구매 전환 플로우 : 검색 → 음식점 페이지 → 메뉴 페이지 → 배달 카트에 담기 → 주문
c.
다만, 이 플로우는 음식점 페이지가 어느 경로에서 들어왔는지 명확하지 않다.
i.
검색 통해서 음식점 페이지로 온건지, 음식점 페이지를 바로 눌러서 들어온 건지 확인이 안된다.
ii.
전체 모수가 줄어서 줄어든 걸 수도 있다. 실험 전과 후 전체 유입 수치도 확인이 필요하다.
d.
이 지표에서 필요한 비교 수치
i.
검색 결과 페이지 → 음식점 페이지 → 메뉴 페이지로 전환된 수치를 알아야 한다.
ii.
음식점 페이지 직접 유입 → 메뉴 페이지 전환 수치랑 비교
5.
홈 화면 → 주문 완료 전환율 -1%
a.
이 지표를 보면 홈 화면에서 주문 완료로 전환된 비율이 1% 줄었다.
b.
이 지표가 중요한 이유는 구매 전환 플로우의 3차 마지막 단계이기 때문이다.
i.
구매 전환 플로우 : 검색 → 음식점 페이지 → 메뉴 페이지 → 배달 카트에 담기 → 주문
c.
다만, 이 지표도 홈화면에서 어느 경로에서 들어왔는지 명확하지 않다.
i.
검색 통해서 주문 완료가 된건지, 음식점 페이지로 바로 들어온 건지
d.
이 지표에서 필요한 비교 수치
i.
홈 화면 → 검색 결과 페이지 → 주문 완료 ( 중간 배달 카트, 중간 이탈 중략 )
ii.
홈 화면 → 음식점 페이지 → 주문 완료 ( 중간 배달 카트, 중간 이탈 중략 )
추가 분석할 지표 찾기
A/b 테스트 결과를 통하여 각 단계 별 전환율을 확인하였는데,
우리가 꼭 알아야 하는 지표는 홈화면에서 검색 기능 통해 결제 전환까지 가는 수치이다.
다만, 테스트 결과 값에서는 [검색기능]을 통해 인입 된 유저들이 결제 전환까지 살아 남았는지 알기 어려웠다.
홈 화면에서 검색 기능을 통한 결제 전환 플로우와 매장 페이지 결제 전환 플로우의 수치를 확인하여 비교해야한다.
•
주의할 점
◦
꼭 이탈률도 같이 확인하여 전체 모수와 페이지 진입 성공한 수치를 비교해야 한다.
◦
유저 특성 상 중간에 이탈했다가 다시 돌아와서 사용하는 유저들도 있을 수 있는데 이것은 배제하고 진행한다. ( 검색 기능을 통해 결제까지 달려가다가 중간에 앱을 껐다가 다시 홈으로 가서 매장 페이지 바로 찍는 경우도 있을 수 있다 )
•
확인하는 방법
◦
각 단계 별 페이지 클릭 수, 전환율, 이탈수, 이탈율을 기재하여 비교한다.
•
확인해야할 수치
1.
홈에서 검색 기능을 클릭한 고객이 많아야 한다. >> 검색 기능 클릭한 고객 전환률
a.
홈에서 검색 기능을 클릭한 수치 및 페이지 전환률
b.
비교수치 홈에서 음식점 페이지를 바로 클릭한 수치 및 페이지 전환률
2.
검색 기능을 클릭한 고객의 주문 결제까지 성공시켜야 한다. >> 주문 결제 성공률
a.
전체 결제 성공 고객 수 ÷ 검색 클릭하여 장바구니까지 들어온 고객 수
b.
비교수치 전체 장바구니 유입 고객 수 ÷ 검색 클릭하여 장바구니까지 들어온 고객 수
도비님의 꿀같은 피드백
