[케이스 제작 노트]
[질문 리스트]
Question 이번 A/B 테스트의 의사 결정을 위한 지표 설정
질문 풀이 순서 : 홈 화면 검색 개선하려는 이유→ 사용자 경험 파악을 통한 지표 도출 → 실험 설계와 A/B 테스트 통한 검증!
홈 화면 검색 개선하려는 이유→ 사용자 경험 파악을 통한 지표 도출 → 실험 설계와 A/B 테스트 통한 검증! 홈 화면 검색 기능 개선 이유를 찾자. •
쿠팡이츠 슬로건인 '맛있는 음식을 빠르고 편리하게' 에 걸맞게 고객 경험 만족도를 높이기 위해!
•
쿠팡이츠와 같은 서비스를 사용하는 목적은 집에서 내가 먹고 싶은 거 빨리 받기 위함인데,
쿠팡이츠의 고객들이 주문하기 위해 유입 되는 고객 경로는 크게 4가지일 것이다.
1) 내가 먹어보고 싶은 맛집 직접 검색
2) 쿠팡이츠 홈의 추천 메뉴 활용
3) 쿠폰 주는 프렌차이즈
4) 기존에 주문 이력이 있는 맛집
•
위 4가지 경로 중에 고객들이 (1)번 내가 먹어보고 싶은 맛집 직접 검색을 통해 결제까지 성공한 고객 수가 나머지 유입 경로보다 월등히 높았을 것이다.
(가령 다른 유입 메뉴보다 10% 이상 높았다 거나 하는 수치가 있을 것이다)
•
그래서 쿠팡이츠 PO는 직접 검색의 경험을 개선해주기 위해 검색 기능 개선을 하려 했을 것이다 왜냐면 결제 성공까지 이어진 고객이 이 기능 개선의 주요한 GOAL 이니까.
홈 화면 검색의 경험을 탐색해보자.•
의 유입 경로에서 선택 된 내가 아는 맛집 직접 검색의 고객 경험을 그려보자..png&blockId=54913364-b616-482b-ba2c-a966f5bf7334)
•
고객의 검색 기능 경험 순서에서 전환해 해당하는 아래 2가지 지표가 중요하다고 볼 수 있다.
◦
홈에서 검색 기능을 클릭한 고객이 많아야 한다. >> 검색 기능 클릭한 고객 전환률
▪
사유 : 홈에 진입하여 다른 메뉴를 클릭하지 않고, 검색 기능을 클릭한 수가 중요하다.
▪
홈 화면 내 다른 메뉴들과의 비교는 꼭 필요하다.
•
홈 진입한 고객 수 ÷ 검색 기능 클릭하여 화면 전환 된 고객 수
•
홈 진입한 고객 수 ÷ 메인 배너 클릭하여 화면 전환 된 고객 수
•
홈 진입한 고객 수 ÷ GNB 메뉴 클릭하여 화면 전환 된 고객 수
•
홈 진입한 고객 수 ÷ 추천 맛집 클릭하여 화면 전환 된 고객 수
•
홈 화면에 있는 추천 맛집 아래 메뉴들은 클릭 비율이 높지 않을 것 같아 비율이 높지 않다면 위 4가지 고객 수로만 우선 확인하면 좋을 것 같다.
◦
홈에 메뉴가 너무 많아요... 랜딩의 끝이 안보임... 최하단에 있는 [아직 뭘 먹을지 고민이신가요? ] 메뉴가 좀 위에 있음 좋겠다는 생각을 했어요. 일부러 내려가다 매장들 보라고 길게 넣으신건가? 라는 생각을 잠깐 했습니다..
랜딩의 끝이 안보임... 최하단에 있는 [아직 뭘 먹을지 고민이신가요? ] 메뉴가 좀 위에 있음 좋겠다는 생각을 했어요. 일부러 내려가다 매장들 보라고 길게 넣으신건가? 라는 생각을 잠깐 했습니다.. ▪
보조 지표 : 홈 진입 고객 수는 실험 전과 후를 꼭 비교하자!
•
사유 : 실험 기간 동안 줄어들 가능성도 있음
◦
검색 기능을 클릭한 고객의 주문 결제까지 성공시켜야 한다. >> 주문 결제 성공률
▪
사유 : 검색 기능을 통해 유입 된 고객들은 언제든지 이탈할 수 있다.
•
하지만 앞서 번에서 확인한 대로 (1)번 내가 먹어보고 싶은 맛집 직접 검색을 통해 결제까지 성공한 고객 수가 나머지 유입 경로보다 높기 때문에 결제 성공까지 전환 된 고객 수를 확인해야 한다.
번에서 확인한 대로 (1)번 내가 먹어보고 싶은 맛집 직접 검색을 통해 결제까지 성공한 고객 수가 나머지 유입 경로보다 높기 때문에 결제 성공까지 전환 된 고객 수를 확인해야 한다. ▪
주의 사항 :
•
단 이 수치를 확인하는 과정에서는 수많은 이탈 요소들이 있음을 잊지 말자!
•
그래서 수치를 확인할 때 성공률 말고 실패 수도 확인하면 좋을 것 같다! 이전 페이지 인입 수와 최종 페이지 전환 수와 차이 나는 수치 또는 실패 수를 비교해보자!
▪
1차 성공률 : 메뉴를 장바구니에 담은 고객 수
•
홈 화면 메뉴를 통해 장바구니까지 들어온 고객 수 비교
◦
전체 장바구니 유입 고객 수 ÷ 검색 클릭하여 장바구니까지 들어온 고객 수
◦
전체 장바구니 유입 고객 수 ÷ 추천 맛집 클릭하여 장바구니까지 들어온 고객 수
◦
전체 장바구니 유입 고객 수 ÷ 메인 배너 클릭하여 장바구니까지 들어온 고객 수
◦
전체 장바구니 유입 고객 수 ÷ 기존 주문 내역 클릭하여 장바구니까지 들어온 고객 수
▪
2차 성공률 : 주문 결제 성공한 고객 수
•
홈 화면 메뉴를 통해 최종 주문 결제 성공한 고객 수 비교
◦
전체 결제 성공 고객 수 ÷ 검색 클릭하여 장바구니까지 들어온 고객 수
◦
전체 결제 성공 고객 수 ÷ 추천 맛집 클릭하여 장바구니까지 들어온 고객 수
◦
전체 결제 성공 고객 수 ÷ 메인 배너 클릭하여 장바구니까지 들어온 고객 수
◦
전체 결제 성공 고객 수 ÷ 기존 주문 내역 클릭하여 장바구니까지 들어온 고객 수
▪
보조 지표 : 전체 결제 페이지 인입 고객 수 대비 결제 성공 고객 수 실험 전과 후 비교!
•
결제 성공 고객 수가 실험 기간 동안 줄어들어 성공률이 실험전보다 높게 나올 수 있다.
실험 설계와 A/B 테스트 통한 검증! 
#실험 설계
실험 가설 | 검색 기능을 크게 해주면 기존보다 크기를 키워주면
홈에 유입 된 고객들이 다른 메뉴를 클릭하지 않고 검색 기능을 더 많이 클릭할 것 이다. |
실험 대상 | 화면에 진입한 모든 고객 |
독립 변수 | 홈 화면 유입 고객 수 |
종속 변수 | 검색 기능 클릭한 고객 수 → 월 10% 씩 해서 최소 2개월 간 10% 증가
검색 기능 클릭한 고객의 전환 성공 수
2-1) 장바구니 페이지까지 전환 성공한 고객 수 → 월 5% 씩 해서 최소 2개월 간 10% 증가
2-2) 주문 결제 페이지까지 전환 성공한 고객 수 → 월 3%씩 해서 최소 2개월 간 6% 증가 |
통제 변수 | 여러가지 프로모션 등으로 변수는 너무 많지만 (이 실험을 위해 다 통제할 순 없을 듯)
최대한 UX만은 아무것도 수정하지 않는다. (배너 크기, 메뉴 이름과 같은 부분도) |
실험 기간 | 2개월 간 진행 → 2개월로 잡은 이유는 다양한 프로모션으로 유입 된 고객이 많을 것이기에.. |
도비님의 꿀같은 피드백
