Data Analytics Cookbook
BigQuery & Pandas๋ก ๋ฐฐ์ฐ๋ ์ค์ ๋ฐ์ดํฐ ๋ถ์
SQL๊ณผ Python, ๋ ๊ฐ์ง ์ ๊ทผ๋ฒ์ผ๋ก ๋์ผํ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๋ ๋ฐฉ๋ฒ์ ๋ฐฐ์๋ณด์ธ์๐ 5๋ถ ๋ง์ ์์ํ๊ธฐ์ด๋ฐ ๋์๋ณด๋๋ฅผ ๋ง๋ค ์ ์์ด์!
๐ E-Commerce Analytics Dashboard
์ด ์ปค๋ฆฌํ๋ผ์ ์๋ฃํ๋ฉด ๋งค์ถ ๋ถ์, ๊ณ ๊ฐ ์ธ๊ทธ๋ฉํ ์ด์ , ๋ง์ผํ ์ฑ๊ณผ, ์ดํ ์์ธก๊น์ง ์ข ํฉ์ ์ธ ๋น์ฆ๋์ค ์ธํ ๋ฆฌ์ ์ค ๋์๋ณด๋๋ฅผ ๋ง๋ค ์ ์์ต๋๋ค.
๐ฏ ๋ผ์ด๋ธ ๋ฐ๋ชจ ๋ณด๊ธฐ
๐ฐ Finance Analytics Dashboard
๊ธ์ต ๋ฐ์ดํฐ ๋ถ์์ ํต์ฌ! ์ฃผ๊ฐ ์์ธก, ํฌํธํด๋ฆฌ์ค ์ต์ ํ, ๋ฆฌ์คํฌ ๋ถ์๊น์ง ๊ธ์ต๊ถ ์ค๋ฌด์์ ์ฌ์ฉํ๋ ๋ถ์ ๊ธฐ๋ฒ์ ๋ฐฐ์๋ณด์ธ์.
๐ฐ Finance ๋ฐ๋ชจ ๋ณด๊ธฐ
๐ ํ๋ฆฌ๋ฏธ์ ์คํํฐํท
์ ์ฒด ์คํ ๊ฐ๋ฅํ Jupyter Notebook๊ณผ ์ฐ์ต๋ฌธ์ ํด์ค, ์ค๋ฌด ์ ํธ๋ฆฌํฐ ํจ์๊ฐ ํฌํจ๋์ด ์์ต๋๋ค. ๋ฉ๋ชจ๋ฆฌ ์ต์ ํ, Copy-on-Write, ๋์ฉ๋ ๋ฐ์ดํฐ ์ฒ๋ฆฌ ๋ฑ ์ฌํ ๋ด์ฉ์ ๋ฐฐ์๋ณด์ธ์.
๐ ๋ฉด์ ๋ฌธ์ ์ง ๋ณด๊ธฐ
ํ์ต ํธ๋ ์ ํ
๐๏ธ SQL ํธ๋
BigQuery๋ฅผ ํ์ฉํ SQL ๊ธฐ๋ฐ ๋ฐ์ดํฐ ๋ถ์. ๋์ฉ๋ ๋ฐ์ดํฐ ์ฒ๋ฆฌ์ ํด๋ผ์ฐ๋ ํ๊ฒฝ์์์ ๋ถ์์ ์ ํฉํฉ๋๋ค.- BigQuery ์ฝ์์์ ๋ฐ๋ก ์คํ
- ์๋ฒ๋ฆฌ์ค๋ก ๋์ฉ๋ ์ฒ๋ฆฌ
- ํ์ค SQL ๋ฌธ๋ฒ ์ฌ์ฉ
๐ผ Pandas ํธ๋
Python Pandas๋ฅผ ํ์ฉํ ๋ก์ปฌ ๋ฐ์ดํฐ ๋ถ์. ์ ์ฐํ ๋ฐ์ดํฐ ์กฐ์๊ณผ ๋ถ์ ํ์ดํ๋ผ์ธ ๊ตฌ์ถ์ ์ ํฉํฉ๋๋ค.- CSV ํ์ผ๋ก ๋ฐ๋ก ์์
- ํ๋ถํ Python ์ํ๊ณ ํ์ฉ
- ์ ์ฐํ ๋ฐ์ดํฐ ๋ณํ
๊ณตํต ์น์
์ฌ์ฉ ๋ฐ์ดํฐ
์ด Cookbook์ Google BigQuery์ thelook_ecommerce ๊ณต๊ฐ ๋ฐ์ดํฐ์ ์ ๊ธฐ๋ฐ์ผ๋ก ํฉ๋๋ค.
| ํ ์ด๋ธ | ์ค๋ช | ์ฃผ์ ์ปฌ๋ผ |
|---|---|---|
src_orders | ์ฃผ๋ฌธ ์ ๋ณด | order_id, user_id, created_at, status |
src_order_items | ์ฃผ๋ฌธ ์ํ | order_id, product_id, sale_price |
src_products | ์ํ ์ ๋ณด | product_id, category, brand, retail_price |
src_users | ๊ณ ๊ฐ ์ ๋ณด | user_id, age, gender, country |
src_events | ์น ์ด๋ฒคํธ | session_id, user_id, created_at |
events_augmented | ์ธ์ ๋ฐ์ดํฐ (์ฆ๊ฐ) | channel_key, device_key, landing_page |
cs_tickets_dummy | CS ํฐ์ผ | ticket_id, issue_type, satisfaction_score |
mkt_campaigns_dummy | ๋ง์ผํ ์บ ํ์ธ | campaign_id, channel_key, budget |
๋น ๋ฅธ ์์
๐ 5๋ถ ์์ ์์ํ๊ธฐ
- BigQuery ํ๊ฒฝ ์ค์ ๋๋ ๋ก์ปฌ ํ๊ฒฝ ์ค์
- ์ํ๋ ํธ๋ ์ ํ (SQL ๋๋ Pandas)
- ์ฒซ ๋ฒ์งธ ๋ ์ํผ ๋ฐ๋ผํ๊ธฐ
๋์ด๋ ๊ฐ์ด๋
| ๋ ๋ฒจ | ์ค๋ช |
|---|---|
| ์ด๊ธ | ๊ธฐ๋ณธ ๋ฌธ๋ฒ, ๊ฐ๋จํ ์ง๊ณ |
| ์ค๊ธ | ์กฐ์ธ, ์๋ธ์ฟผ๋ฆฌ, ์๋์ฐ ํจ์ |
| ๊ณ ๊ธ | ๋ณต์กํ ๋ถ์, ์ต์ ํ, ML ์ฐ๋ |