A/B 테스트

import pandas as pd
import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt
from scipy import stats
 
# Load Data
orders = pd.read_csv('src_orders.csv', parse_dates=['created_at'])
items = pd.read_csv('src_order_items.csv')
products = pd.read_csv('src_products.csv')
users = pd.read_csv('src_users.csv')
 
# Merge for Analysis
df = orders.merge(items, on='order_id').merge(products, on='product_id').merge(users, on='user_id')
 
# Simulate AB Test Data for Examples
np.random.seed(42)
df['experiment_group'] = np.random.choice(['control', 'treatment'], size=len(df))
# Add slight effect to treatment
df.loc[df['experiment_group'] == 'treatment', 'sale_price'] *= 1.05
df['order_amount'] = df['sale_price'] # Alias for example

from statsmodels.stats.power import TTestIndPower
 
# 파라미터
effect_size = 0.2      # 효과 크기 (작음: 0.2, 중간: 0.5, 큼: 0.8)
alpha = 0.05           # 유의수준
power = 0.8            # 검정력
 
# 표본 크기 계산
analysis = TTestIndPower()
sample_size = analysis.solve_power(
    effect_size=effect_size,
    power=power,
    alpha=alpha,
    alternative='two-sided'
)
 
print(f"필요 표본 크기 (그룹당): {int(sample_size)}")
print(f"총 필요 표본: {int(sample_size * 2)}")

from statsmodels.stats.proportion import proportions_ztest
 
# 데이터
# A그룹: 1000명 중 50명 전환
# B그룹: 1000명 중 65명 전환
conversions = [50, 65]
n_observations = [1000, 1000]
 
# Z-검정
z_stat, p_value = proportions_ztest(conversions, n_observations, alternative='two-sided')
 
# 전환율
rate_a = conversions[0] / n_observations[0]
rate_b = conversions[1] / n_observations[1]
lift = (rate_b - rate_a) / rate_a * 100
 
print(f"A그룹 전환율: {rate_a:.2%}")
print(f"B그룹 전환율: {rate_b:.2%}")
print(f"상대적 증가: {lift:.1f}%")
print(f"p-value: {p_value:.4f}")
 
if p_value < 0.05:
    print("→ B그룹이 유의미하게 더 좋음!")
else:
    print("→ 유의미한 차이 없음")

from scipy import stats
 
# 그룹별 데이터
group_a = df[df['experiment_group'] == 'control']['order_amount']
group_b = df[df['experiment_group'] == 'treatment']['order_amount']
 
# t-검정
t_stat, p_value = stats.ttest_ind(group_a, group_b)
 
print(f"A그룹 평균: ${group_a.mean():.2f}")
print(f"B그룹 평균: ${group_b.mean():.2f}")
print(f"차이: ${group_b.mean() - group_a.mean():.2f}")
print(f"p-value: {p_value:.4f}")
 
# 효과 크기 (Cohen's d)
pooled_std = np.sqrt((group_a.std()**2 + group_b.std()**2) / 2)
cohens_d = (group_b.mean() - group_a.mean()) / pooled_std
print(f"Cohen's d: {cohens_d:.3f}")

1. p < 0.05 인가?
   - No → 유의미한 차이 없음, 추가 실험 필요
   - Yes → 다음 단계로

2. 효과 크기가 실무적으로 의미있는가?
   - 전환율 0.1% 증가 vs 10% 증가
   - 비즈니스 임팩트 계산

3. 비용 대비 효과가 있는가?
   - 구현 비용
   - 예상 수익 증가