[위클리 페이퍼 #7] A/B 테스트, 이벤트 로그 설계

1. A/B 테스트의 장점과 단점, 그리고 단점을 해결하기 위한 방안들을 설명해 주세요.

1) A/B 테스트란 ?

• 두 가지 이상의 버전(A/B)을 비교해 어떤 것이 더 나은 성과를 끌어내는지 측정하는 실험
• 그로스 해킹 기법 중 하나
• 분할 테스트, 버킷 테스트라고 칭하기도 함
• 특히 스타트업과 같이 빠르게 성장하는 팀에서 주로 사용

2) 장점

• 사용자 데이터 기반 최소비용, 최대효과 의사결정
• 새로운 아이디어와 혁신 : 다양하고 새로운 아이디어를 직접 실험 및 검증
• 시장 적응력 강화 : 경쟁사와의 비교 및 고객의 선호도 파악 용이 → 경쟁력 강화
• 성과 개선 및 최적화 : 클릭률(CTR), 전환율(Conversion Rate) 등 높이는 데 효과적
• 위험 최소화 : 대규모 변경 전 소규모 테스트를 통한 실패 가능성 감소 효과
• 사용자 경험 개선 : 사용자 선호도를 데이터로 확인, 더 나은 UI/UX 제공 가능

3) 단점

• 인과관계를 정확히 알 수 없음
• 시간과 비용이 많이 듦 : 충분한 데이터 확보 위해서는 많은 방문자 필요, 실험 기간 길어질 수 있음
• 짧은 기간 동안 변화 감지 어려움 : 단기적 테스트로는 장기적인 사용자 행동 변화 파악 어려움
• 외부 변수 통제 어려움 : 계절성, 경쟁사, 특정 이벤트 등에 영향 받을 수 있음
• 한 번에 한 가지 요소만 테스트 가능

4) 해결 방안

• 테스트 기간 최적화 : 적절한 샘플 크기, 통계적 유의성 고려하여 기간 조절
• 변수 통제 강화 : 동일 시간대, 동일 사용자 대상 테스트
• 다변량 테스트(MVT) 활용 : 여러 요소 동시 비교
• 베이지안 방식 활용 : 실험 더 빠르게 종료 가능

 

2. A/B 테스트 결과에서 한 버전이 통계적으로 유의미하게 더 나은 결과를 보여주지 않았다면, 이를 어떻게 해석하고 다음 단계는 무엇인가요?

 

1) 유의미한 차이가 없는 경우 해석

• 두 안이 성능 면에서 큰 차이가 없을 가능성
• 표본 크기가 충분하지 않을 가능성
• 효과의 크기가 작거나 영향력이 미미한 변화일 가능성
• 외부 요인 영향 가능성

2) 다음 단계

• 샘플 크기 및 테스트 기간 검토
• 데이터 세분화 및 추가 분석
• 테스트 변수 재설정
• 비즈니스 목표 재검토
• 새로운 가설 수립 및 추가 실험
• 기존 데이터 활용하여 작은 차이가 있는지 분석, 장기적 트렌드 확인

 

3. 이벤트 데이터 로그 설계(Event Taxonomy)의 주요 구성 요소는 무엇이며, 각 요소가 어떤 역할을 하는지 설명해 주세요.

 

1) 이벤트(Event)

• 사용자의 특정 행동이나 시스템에서 발생한 활동
• 예: page_view, button_click, purchase

2) 이벤트 속성(Event Attributes)

• 이벤트와 관련된 추가적인 정보를 제공하는 데이터 필드
• 예:
  • button_click 이벤트 → button_name: "Buy Now"
  • purchase 이벤트 → price: 29.99, currency: "USD"

3) 사용자(User) 및 장치(Device) 정보

• 이벤트가 발생한 주체(사용자)와 실행 환경(장치)에 대한 정보
• 예:
  • 사용자 ID (user_id)
  • 장치 유형 (device_type: "mobile", "desktop")
  • OS 정보 (os: "iOS 17.0")

4) 컨텍스트(Context)

• 이벤트가 발생한 배경 정보, 시간, 위치, 세션 정보 등
• 예:
  • timestamp: "2024-02-17T12:34:56Z" (이벤트 발생 시각)
  • location: "Seoul, South Korea"
  • session_id: "abcd-1234-efgh-5678"

5) 이벤트 소스(Event Source)

• 이벤트가 발생한 시스템, 플랫폼 또는 페이지
• 예:
  • source: "web", "android", "iOS"
  • referrer: "google.com"

6) 이벤트 관계(Event Relationships)

• 특정 이벤트가 다른 이벤트와 연결되는 방식(연관성)
• 예:
  • transaction_id: 같은 결제 과정에서 발생한 이벤트를 그룹화
  • parent_event_id: A라는 이벤트가 B의 결과로 발생했음을 의미

7) 이벤트 유형(Event Type)

• 이벤트의 성격을 구분
• 예:
  • user_interaction: 사용자의 행동 이벤트 (클릭, 스크롤 등)
  • system_event: 백엔드에서 자동으로 기록하는 이벤트 (서버 응답, 오류 등)
  • conversion_event: 목표 행동을 의미하는 이벤트 (구매 완료, 회원가입)