고급 데이터 필터링

import pandas as pd
import numpy as np
 
# 데이터 로드
DATA_PATH = '/data/'
 
orders = pd.read_csv(DATA_PATH + 'src_orders.csv', parse_dates=['created_at'])
order_items = pd.read_csv(DATA_PATH + 'src_order_items.csv')
products = pd.read_csv(DATA_PATH + 'src_products.csv')
users = pd.read_csv(DATA_PATH + 'src_users.csv')
 
# 분석용 데이터 병합
df = order_items.merge(products, on='product_id').merge(
    orders[['order_id', 'user_id', 'created_at', 'status']], on='order_id'
).merge(users[['user_id', 'age', 'gender', 'state', 'country']], on='user_id')
 
print(f"데이터 로드 완료: {len(df):,}행")
print(f"\n컬럼 목록: {df.columns.tolist()}")

import pandas as pd
 
# 기존 방식 - 복잡하고 길어짐
result1 = df[(df['age'] > 40) & (df['sale_price'] > 50)]
print(f"기존 방식: {len(result1):,}행")
 
# query() 방식 - 훨씬 간결!
result2 = df.query('age > 40 and sale_price > 50')
print(f"query() 방식: {len(result2):,}행")

# 문자열 비교
result = df.query('gender == "F" and country == "United States"')
print(f"여성 + United States: {len(result):,}행")
 
# 여러 조건 결합
result2 = df.query('gender == "M" and age > 50 and department == "Men"')
print(f"남성 + 50세 이상 + Men 부서: {len(result2):,}행")

# @로 외부 변수 참조
min_price = 100
max_age = 35
target_country = 'United States'
 
result = df.query('sale_price >= @min_price and age < @max_age and country == @target_country')
print(f"조건: 가격>={min_price}, 나이<{max_age}, 국가={target_country}")
print(f"결과: {len(result):,}행")

# 여러 값 중 하나
result = df.query('country in ["United States", "Germany", "France"]')
print(f"3개 국가 필터링: {len(result):,}행")
 
# not in - 제외
result2 = df.query('department not in ["Women", "Men"]')
print(f"Women, Men 제외 (Kids만): {len(result2):,}행")

# 특정 브랜드들만 선택
target_brands = ['Nike', 'Adidas', 'Calvin Klein']
result = df[df['brand'].isin(target_brands)]
 
print(f"선택된 브랜드: {target_brands}")
print(f"결과: {len(result):,}행")
print(f"\n브랜드별 개수:")
print(result['brand'].value_counts())

# 특정 카테고리 AND 특정 국가
categories = ['Jeans', 'Sweaters', 'Accessories']
countries = ['United States', 'Germany']
 
result = df[
    df['category'].isin(categories) &
    df['country'].isin(countries)
]
print(f"조건: 카테고리={categories}")
print(f"       국가={countries}")
print(f"결과: {len(result):,}행")

# ~ 연산자로 반대 조건
exclude_brands = ['Nike', 'Adidas']
result = df[~df['brand'].isin(exclude_brands)]
 
print(f"제외 브랜드: {exclude_brands}")
print(f"결과: {len(result):,}행")
print(f"남은 브랜드 종류: {result['brand'].nunique()}개")

# 기존 방식 - 길고 중복됨
result1 = df[(df['age'] >= 25) & (df['age'] <= 35)]
print(f"기존 방식 (25<=나이<=35): {len(result1):,}행")
 
# between() 방식 - 간결!
result2 = df[df['age'].between(25, 35)]
print(f"between() 방식 (25<=나이<=35): {len(result2):,}행")

# inclusive 옵션 비교
print("=== inclusive 옵션 비교 ===")
 
result1 = df[df['sale_price'].between(50, 100, inclusive='both')]
print(f"50 <= 가격 <= 100: {len(result1):,}행")
 
result2 = df[df['sale_price'].between(50, 100, inclusive='left')]
print(f"50 <= 가격 < 100: {len(result2):,}행")
 
result3 = df[df['sale_price'].between(50, 100, inclusive='right')]
print(f"50 < 가격 <= 100: {len(result3):,}행")
 
result4 = df[df['sale_price'].between(50, 100, inclusive='neither')]
print(f"50 < 가격 < 100: {len(result4):,}행")

# 나이 20~40, 가격 30~150, 여성
result = df[
    df['age'].between(20, 40) &
    df['sale_price'].between(30, 150) &
    (df['gender'] == 'F')
]
 
print(f"복합 조건 결과: {len(result):,}행")
print(f"평균 나이: {result['age'].mean():.1f}세")
print(f"평균 가격: ${result['sale_price'].mean():.2f}")

# 브랜드명에 'Calvin' 포함
result = df[df['brand'].str.contains('Calvin', na=False)]
print(f"'Calvin' 포함 브랜드: {len(result):,}행")
print(f"해당 브랜드들: {result['brand'].unique()[:5]}")
 
# 여러 패턴 (정규식 OR)
result2 = df[df['brand'].str.contains('Nike|Adidas', na=False)]
print(f"\n'Nike' 또는 'Adidas': {len(result2):,}행")

# 'S'로 시작하는 카테고리
result = df[df['category'].str.startswith('S', na=False)]
print(f"'S'로 시작하는 카테고리: {len(result):,}행")
print(f"해당 카테고리들: {result['category'].unique()}")
 
# 's'로 끝나는 카테고리
result2 = df[df['category'].str.endswith('s', na=False)]
print(f"\n's'로 끝나는 카테고리: {len(result2):,}행")
print(f"해당 카테고리들: {result2['category'].unique()}")

# 브랜드명이 5글자 이하
result = df[df['brand'].str.len() <= 5]
print(f"브랜드명 5글자 이하: {len(result):,}행")
print(f"해당 브랜드들: {result['brand'].unique()}")
 
# 카테고리명이 8글자 이상
result2 = df[df['category'].str.len() >= 8]
print(f"\n카테고리명 8글자 이상: {len(result2):,}행")
print(f"해당 카테고리들: {result2['category'].unique()}")