์คํ ์คํค๋ง์ ์ค๋ ธ์ฐํ๋ ์ดํฌ ์คํค๋ง์ ์์ธ ๋น๊ต๋ฅผ ํตํด ๋ฐ์ดํฐ ์จ์ดํ์ฐ์ง์ ๋ณต์ก์ฑ์ ํ์ํด ๋ณด์ธ์. ๊ฐ ์คํค๋ง์ ์ฅ๋จ์ ๊ณผ ์ต์ ์ ์ฌ์ฉ ์ฌ๋ก๋ฅผ ์ดํดํฉ๋๋ค.
๋ฐ์ดํฐ ์จ์ดํ์ฐ์ง: ์คํ ์คํค๋ง vs. ์ค๋ ธ์ฐํ๋ ์ดํฌ ์คํค๋ง - ์ข ํฉ ๊ฐ์ด๋
๋ฐ์ดํฐ ์จ์ดํ์ฐ์ง ๋ถ์ผ์์ ์ฌ๋ฐ๋ฅธ ์คํค๋ง๋ฅผ ์ ํํ๋ ๊ฒ์ ํจ์จ์ ์ธ ๋ฐ์ดํฐ ์ ์ฅ, ๊ฒ์ ๋ฐ ๋ถ์์ ๋งค์ฐ ์ค์ํฉ๋๋ค. ๊ฐ์ฅ ๋๋ฆฌ ์ฌ์ฉ๋๋ ๋ ๊ฐ์ง ์ฐจ์ ๋ชจ๋ธ๋ง ๊ธฐ๋ฒ์ ์คํ ์คํค๋ง(Star Schema)์ ์ค๋ ธ์ฐํ๋ ์ดํฌ ์คํค๋ง(Snowflake Schema)์ ๋๋ค. ์ด ๊ฐ์ด๋๋ ์ด ๋ ์คํค๋ง์ ์ฅ๋จ์ ๊ณผ ์ต์ ์ ์ฌ์ฉ ์ฌ๋ก๋ฅผ ๊ฐ๋ต์ ์ผ๋ก ์ค๋ช ํ์ฌ, ์ฌ๋ฌ๋ถ์ด ๋ฐ์ดํฐ ์จ์ดํ์ฐ์ง ํ๋ก์ ํธ์ ๋ํด ์ ๋ณด์ ์ ๊ฐํ ๊ฒฐ์ ์ ๋ด๋ฆด ์ ์๋๋ก ์ข ํฉ์ ์ธ ๋น๊ต๋ฅผ ์ ๊ณตํฉ๋๋ค.
๋ฐ์ดํฐ ์จ์ดํ์ฐ์ง ๋ฐ ์ฐจ์ ๋ชจ๋ธ๋ง ์ดํดํ๊ธฐ
์คํ ์คํค๋ง์ ์ค๋ ธ์ฐํ๋ ์ดํฌ ์คํค๋ง์ ์ธ๋ถ ์ฌํญ์ ์ดํด๋ณด๊ธฐ ์ ์, ๋ฐ์ดํฐ ์จ์ดํ์ฐ์ง๊ณผ ์ฐจ์ ๋ชจ๋ธ๋ง์ ๊ฐ๋ตํ๊ฒ ์ ์ํด ๋ณด๊ฒ ์ต๋๋ค.
๋ฐ์ดํฐ ์จ์ดํ์ฐ์ง: ๋ฐ์ดํฐ ์จ์ดํ์ฐ์ค๋ ํ๋ ์ด์์ ์๋ก ๋ค๋ฅธ ์์ค๋ก๋ถํฐ ํตํฉ๋ ๋ฐ์ดํฐ์ ์ค์ ์ ์ฅ์์ ๋๋ค. ์ด๋ ๋ถ์ ๋ณด๊ณ ๋ฐ ์์ฌ ๊ฒฐ์ ์ ์ํด ์ค๊ณ๋์์ผ๋ฉฐ, ๋ถ์ ์ํฌ๋ก๋๋ฅผ ํธ๋์ญ์ ์์คํ ๊ณผ ๋ถ๋ฆฌํฉ๋๋ค.
์ฐจ์ ๋ชจ๋ธ๋ง: ๋ฐ์ดํฐ ์จ์ดํ์ฐ์ง์ ์ต์ ํ๋ ๋ฐ์ดํฐ ๋ชจ๋ธ๋ง ๊ธฐ๋ฒ์ ๋๋ค. ๋น์ฆ๋์ค ์ธํ ๋ฆฌ์ ์ค ๋ชฉ์ ์ผ๋ก ๋ฐ์ดํฐ๋ฅผ ์ฝ๊ฒ ์ดํดํ๊ณ ์ฟผ๋ฆฌํ ์ ์๋ ๋ฐฉ์์ผ๋ก ๊ตฌ์ฑํ๋ ๋ฐ ์ค์ ์ ๋ก๋๋ค. ํต์ฌ ๊ฐ๋ ์ ํฉํธ(facts)์ ์ฐจ์(dimensions)์ ๋๋ค.
- ํฉํธ(Facts): ๋น์ฆ๋์ค ์ด๋ฒคํธ๋ ์ธก์ ์งํ๋ฅผ ๋ํ๋ด๋ ์ซ์ ๋๋ ์ธก์ ๊ฐ๋ฅํ ๋ฐ์ดํฐ์ ๋๋ค(์: ๋งค์ถ์ก, ํ๋งค ์๋, ์น์ฌ์ดํธ ๋ฐฉ๋ฌธ ์).
- ์ฐจ์(Dimensions): ํฉํธ์ ๋ํ ์ปจํ ์คํธ๋ฅผ ์ ๊ณตํ๋ ์์ ์ ์์ฑ์ ๋๋ค(์: ์ ํ๋ช , ๊ณ ๊ฐ ์์น, ํ๋งค ๋ ์ง).
์คํ ์คํค๋ง: ๋จ์ํ๊ณ ํจ์จ์ ์ธ ์ ๊ทผ ๋ฐฉ์
์คํ ์คํค๋ง๋ ๊ฐ์ฅ ๋จ์ํ๊ณ ๋๋ฆฌ ์ฌ์ฉ๋๋ ์ฐจ์ ๋ชจ๋ธ๋ง ๊ธฐ๋ฒ์ ๋๋ค. ํ๋ ์ด์์ ํฉํธ ํ ์ด๋ธ์ด ์ฌ๋ฌ ๊ฐ์ ์ฐจ์ ํ ์ด๋ธ์ ์ฐธ์กฐํ๋ ๊ตฌ์กฐ๋ก ์ด๋ฃจ์ด์ ธ ์์ต๋๋ค. ์ด ์คํค๋ง๋ ํฉํธ ํ ์ด๋ธ์ด ์ค์์ ์๊ณ ์ฐจ์ ํ ์ด๋ธ์ด ๋ฐฉ์ฌํ์ผ๋ก ๋ป์ด ๋๊ฐ๋ ๋ณ ๋ชจ์์ ๋ฎ์์ต๋๋ค.
์คํ ์คํค๋ง์ ์ฃผ์ ๊ตฌ์ฑ ์์:
- ํฉํธ ํ ์ด๋ธ: ์์ ๋ฐ์ดํฐ์ ์ฐจ์ ํ ์ด๋ธ์ ์ฐธ์กฐํ๋ ์ธ๋ ํค๋ฅผ ํฌํจํฉ๋๋ค. ํต์ฌ ๋น์ฆ๋์ค ์ด๋ฒคํธ๋ ์ธก์ ์งํ๋ฅผ ๋ํ๋ ๋๋ค.
- ์ฐจ์ ํ ์ด๋ธ: ํฉํธ์ ๋ํ ์ปจํ ์คํธ๋ฅผ ์ ๊ณตํ๋ ์์ ์ ์์ฑ์ ํฌํจํฉ๋๋ค. ์ผ๋ฐ์ ์ผ๋ก ๋น ๋ฅธ ์ฟผ๋ฆฌ ์ฑ๋ฅ์ ์ํด ๋น์ ๊ทํ๋ฉ๋๋ค.
์คํ ์คํค๋ง์ ์ฅ์ :
- ๋จ์์ฑ: ์ง๊ด์ ์ธ ๊ตฌ์กฐ๋ก ์ดํดํ๊ณ ๊ตฌํํ๊ธฐ ์ฝ์ต๋๋ค.
- ์ฟผ๋ฆฌ ์ฑ๋ฅ: ๋น์ ๊ทํ๋ ์ฐจ์ ํ ์ด๋ธ ๋๋ถ์ ๋น ๋ฅธ ์ฟผ๋ฆฌ ์คํ์ ์ต์ ํ๋์ด ์์ต๋๋ค. ์ฟผ๋ฆฌ๋ ์ผ๋ฐ์ ์ผ๋ก ํฉํธ ํ ์ด๋ธ๊ณผ ์ฐจ์ ํ ์ด๋ธ์ ์กฐ์ธํ๋ฏ๋ก ๋ณต์กํ ์กฐ์ธ์ ํ์์ฑ์ด ์ค์ด๋ญ๋๋ค.
- ์ฌ์ฉ ํธ์์ฑ: ๋น์ฆ๋์ค ์ฌ์ฉ์ ๋ฐ ๋ถ์๊ฐ๋ค์ด ๊ด๋ฒ์ํ ๊ธฐ์ ์ง์ ์์ด๋ ์คํค๋ง๋ฅผ ์ฝ๊ฒ ์ดํดํ๊ณ ์ฟผ๋ฆฌ๋ฅผ ์์ฑํ ์ ์์ต๋๋ค.
- ETL ๋จ์์ฑ: ์คํค๋ง์ ๋จ์์ฑ์ ๋ ๊ฐ๋จํ ์ถ์ถ, ๋ณํ, ์ ์ฌ(ETL) ํ๋ก์ธ์ค๋ก ์ด์ด์ง๋๋ค.
์คํ ์คํค๋ง์ ๋จ์ :
- ๋ฐ์ดํฐ ์ค๋ณต์ฑ: ๋น์ ๊ทํ๋ก ์ธํด ์ฐจ์ ํ ์ด๋ธ์ ์ค๋ณต ๋ฐ์ดํฐ๊ฐ ํฌํจ๋ ์ ์์ต๋๋ค. ์๋ฅผ ๋ค์ด, ๋์ผํ ๋ ์ง์ ์ฌ๋ฌ ํ๋งค๊ฐ ๋ฐ์ํ๋ฉด ๊ฐ ํ๋งค์ ๋ํด ๋ ์ง ์ฐจ์ ์ ๋ณด๊ฐ ๋ฐ๋ณต๋ฉ๋๋ค.
- ๋ฐ์ดํฐ ๋ฌด๊ฒฐ์ฑ ๋ฌธ์ : ๋ฐ์ดํฐ ์ค๋ณต์ฑ์ ์ ๋ฐ์ดํธ๊ฐ ์ ๋๋ก ๊ด๋ฆฌ๋์ง ์์ ๊ฒฝ์ฐ ๋ถ์ผ์น๋ฅผ ์ ๋ฐํ ์ ์์ต๋๋ค.
- ํ์ฅ์ฑ ๋ฌธ์ : ๋งค์ฐ ํฌ๊ณ ๋ณต์กํ ๋ฐ์ดํฐ ์จ์ดํ์ฐ์ค์ ๊ฒฝ์ฐ ์ฐจ์ ํ ์ด๋ธ์ ํฌ๊ธฐ๊ฐ ๋ฌธ์ ๊ฐ ๋ ์ ์์ต๋๋ค.
์คํ ์คํค๋ง์ ์:
ํ๋งค ๋ฐ์ดํฐ ์จ์ดํ์ฐ์ค๋ฅผ ๊ฐ์ ํด ๋ด ์๋ค. ํฉํธ ํ ์ด๋ธ์ `SalesFact`๋ผ ํ ์ ์์ผ๋ฉฐ, ์ฐจ์ ํ ์ด๋ธ์ `ProductDimension`, `CustomerDimension`, `DateDimension`, `LocationDimension`์ด ๋ ์ ์์ต๋๋ค. `SalesFact` ํ ์ด๋ธ์ `SalesAmount`, `QuantitySold`์ ๊ฐ์ ์ธก์ ๊ฐ๊ณผ ๊ฐ ์ฐจ์ ํ ์ด๋ธ์ ์ฐธ์กฐํ๋ ์ธ๋ ํค๋ฅผ ํฌํจํฉ๋๋ค.
ํฉํธ ํ ์ด๋ธ: SalesFact
- SalesID (๊ธฐ๋ณธ ํค)
- ProductID (ProductDimension์ ๋ํ ์ธ๋ ํค)
- CustomerID (CustomerDimension์ ๋ํ ์ธ๋ ํค)
- DateID (DateDimension์ ๋ํ ์ธ๋ ํค)
- LocationID (LocationDimension์ ๋ํ ์ธ๋ ํค)
- SalesAmount
- QuantitySold
์ฐจ์ ํ ์ด๋ธ: ProductDimension
- ProductID (๊ธฐ๋ณธ ํค)
- ProductName
- ProductCategory
- ProductDescription
- UnitPrice
์ค๋ ธ์ฐํ๋ ์ดํฌ ์คํค๋ง: ๋ ์ ๊ทํ๋ ์ ๊ทผ ๋ฐฉ์
์ค๋ ธ์ฐํ๋ ์ดํฌ ์คํค๋ง๋ ์คํ ์คํค๋ง์ ๋ณํ์ผ๋ก, ์ฐจ์ ํ ์ด๋ธ์ด ์ฌ๋ฌ ๊ฐ์ ๊ด๋ จ๋ ํ ์ด๋ธ๋ก ์ถ๊ฐ ์ ๊ทํ๋ฉ๋๋ค. ์ด๋ ์๊ฐํํ์ ๋ ๋์ก์ด ๋ชจ์์ ๋ง๋ญ๋๋ค.
์ค๋ ธ์ฐํ๋ ์ดํฌ ์คํค๋ง์ ์ฃผ์ ํน์ง:
- ์ ๊ทํ๋ ์ฐจ์ ํ ์ด๋ธ: ๋ฐ์ดํฐ ์ค๋ณต์ฑ์ ์ค์ด๊ธฐ ์ํด ์ฐจ์ ํ ์ด๋ธ์ด ๋ ์๊ณ ๊ด๋ จ๋ ํ ์ด๋ธ๋ก ๋ถํด๋ฉ๋๋ค.
- ๋ ๋ณต์กํ ์กฐ์ธ: ์ฟผ๋ฆฌ๋ ์ฌ๋ฌ ์ฐจ์ ํ ์ด๋ธ์์ ๋ฐ์ดํฐ๋ฅผ ๊ฒ์ํ๊ธฐ ์ํด ๋ ๋ณต์กํ ์กฐ์ธ์ ํ์๋ก ํฉ๋๋ค.
์ค๋ ธ์ฐํ๋ ์ดํฌ ์คํค๋ง์ ์ฅ์ :
- ๋ฐ์ดํฐ ์ค๋ณต์ฑ ๊ฐ์: ์ ๊ทํ๋ ์ค๋ณต ๋ฐ์ดํฐ๋ฅผ ์ ๊ฑฐํ์ฌ ์ ์ฅ ๊ณต๊ฐ์ ์ ์ฝํฉ๋๋ค.
- ๋ฐ์ดํฐ ๋ฌด๊ฒฐ์ฑ ํฅ์: ์ค๋ณต์ฑ ๊ฐ์๋ ๋ ๋์ ๋ฐ์ดํฐ ์ผ๊ด์ฑ ๋ฐ ๋ฌด๊ฒฐ์ฑ์ผ๋ก ์ด์ด์ง๋๋ค.
- ๋ ๋์ ํ์ฅ์ฑ: ์ ๊ทํ๋ ์ฐจ์ ํ ์ด๋ธ ๋๋ถ์ ํฌ๊ณ ๋ณต์กํ ๋ฐ์ดํฐ ์จ์ดํ์ฐ์ค์ ๋ ํจ์จ์ ์ ๋๋ค.
์ค๋ ธ์ฐํ๋ ์ดํฌ ์คํค๋ง์ ๋จ์ :
- ๋ณต์ก์ฑ ์ฆ๊ฐ: ์คํ ์คํค๋ง์ ๋นํด ์ค๊ณ, ๊ตฌํ ๋ฐ ์ ์ง ๊ด๋ฆฌ๊ฐ ๋ ๋ณต์กํฉ๋๋ค.
- ๋๋ฆฐ ์ฟผ๋ฆฌ ์ฑ๋ฅ: ์ฟผ๋ฆฌ์ ๋ ๋ง์ ์กฐ์ธ์ด ํ์ํ์ฌ, ํนํ ๋๊ท๋ชจ ๋ฐ์ดํฐ์ ์ ๊ฒฝ์ฐ ์ฟผ๋ฆฌ ์ฑ๋ฅ์ ์ํฅ์ ์ค ์ ์์ต๋๋ค.
- ETL ๋ณต์ก์ฑ ์ฆ๊ฐ: ์ฌ๋ฌ ๊ด๋ จ๋ ์ฐจ์ ํ ์ด๋ธ์ ๋ก๋ํ๊ณ ์ ์งํด์ผ ํ๋ฏ๋ก ETL ํ๋ก์ธ์ค๊ฐ ๋ ๋ณต์กํด์ง๋๋ค.
์ค๋ ธ์ฐํ๋ ์ดํฌ ์คํค๋ง์ ์:
ํ๋งค ๋ฐ์ดํฐ ์จ์ดํ์ฐ์ค ์์๋ฅผ ๊ณ์ ์ดํด๋ณด๋ฉด, ์คํ ์คํค๋ง์ `ProductDimension` ํ ์ด๋ธ์ ์ค๋ ธ์ฐํ๋ ์ดํฌ ์คํค๋ง์์ ์ถ๊ฐ๋ก ์ ๊ทํ๋ ์ ์์ต๋๋ค. ๋จ์ผ `ProductDimension` ํ ์ด๋ธ ๋์ `Product` ํ ์ด๋ธ๊ณผ `Category` ํ ์ด๋ธ์ ๊ฐ์ง ์ ์์ต๋๋ค. `Product` ํ ์ด๋ธ์ ์ ํ๋ณ ์ ๋ณด๋ฅผ ํฌํจํ๊ณ , `Category` ํ ์ด๋ธ์ ์นดํ ๊ณ ๋ฆฌ ์ ๋ณด๋ฅผ ํฌํจํฉ๋๋ค. ๊ทธ๋ฆฌ๊ณ `Product` ํ ์ด๋ธ์ `Category` ํ ์ด๋ธ์ ์ฐธ์กฐํ๋ ์ธ๋ ํค๋ฅผ ๊ฐ๊ฒ ๋ฉ๋๋ค.
ํฉํธ ํ ์ด๋ธ: SalesFact (์คํ ์คํค๋ง ์์์ ๋์ผ)
- SalesID (๊ธฐ๋ณธ ํค)
- ProductID (Product์ ๋ํ ์ธ๋ ํค)
- CustomerID (CustomerDimension์ ๋ํ ์ธ๋ ํค)
- DateID (DateDimension์ ๋ํ ์ธ๋ ํค)
- LocationID (LocationDimension์ ๋ํ ์ธ๋ ํค)
- SalesAmount
- QuantitySold
์ฐจ์ ํ ์ด๋ธ: Product
- ProductID (๊ธฐ๋ณธ ํค)
- ProductName
- CategoryID (Category์ ๋ํ ์ธ๋ ํค)
- ProductDescription
- UnitPrice
์ฐจ์ ํ ์ด๋ธ: Category
- CategoryID (๊ธฐ๋ณธ ํค)
- CategoryName
- CategoryDescription
์คํ ์คํค๋ง vs. ์ค๋ ธ์ฐํ๋ ์ดํฌ ์คํค๋ง: ์์ธ ๋น๊ต
๋ค์์ ์คํ ์คํค๋ง์ ์ค๋ ธ์ฐํ๋ ์ดํฌ ์คํค๋ง์ ์ฃผ์ ์ฐจ์ด์ ์ ์์ฝํ ํ์ ๋๋ค:
| ๊ธฐ๋ฅ | ์คํ ์คํค๋ง | ์ค๋ ธ์ฐํ๋ ์ดํฌ ์คํค๋ง |
|---|---|---|
| ์ ๊ทํ | ๋น์ ๊ทํ๋ ์ฐจ์ ํ ์ด๋ธ | ์ ๊ทํ๋ ์ฐจ์ ํ ์ด๋ธ |
| ๋ฐ์ดํฐ ์ค๋ณต์ฑ | ๋์ | ๋ฎ์ |
| ๋ฐ์ดํฐ ๋ฌด๊ฒฐ์ฑ | ์ ์ฌ์ ์ผ๋ก ๋ฎ์ | ๋์ |
| ์ฟผ๋ฆฌ ์ฑ๋ฅ | ๋ ๋น ๋ฆ | ๋ ๋๋ฆผ (๋ ๋ง์ ์กฐ์ธ) |
| ๋ณต์ก์ฑ | ๋ ๋จ์ํจ | ๋ ๋ณต์กํจ |
| ์ ์ฅ ๊ณต๊ฐ | ๋ ๋์ (์ค๋ณต์ฑ์ผ๋ก ์ธํด) | ๋ ๋ฎ์ (์ ๊ทํ๋ก ์ธํด) |
| ETL ๋ณต์ก์ฑ | ๋ ๋จ์ํจ | ๋ ๋ณต์กํจ |
| ํ์ฅ์ฑ | ๋งค์ฐ ํฐ ์ฐจ์์ ๋ํด ์ ์ฌ์ ์ผ๋ก ์ ํ๋จ | ํฌ๊ณ ๋ณต์กํ ๋ฐ์ดํฐ ์จ์ดํ์ฐ์ค์ ๋ ์ ํฉ |
์ฌ๋ฐ๋ฅธ ์คํค๋ง ์ ํํ๊ธฐ: ์ฃผ์ ๊ณ ๋ ค ์ฌํญ
์ ์ ํ ์คํค๋ง๋ฅผ ์ ํํ๋ ๊ฒ์ ๋ค์์ ํฌํจํ ๋ค์ํ ์์ธ์ ๋ฐ๋ผ ๋ฌ๋ผ์ง๋๋ค:
- ๋ฐ์ดํฐ ์๊ณผ ๋ณต์ก์ฑ: ๋น๊ต์ ๋จ์ํ ์ฐจ์์ ๊ฐ์ง ์๊ท๋ชจ ๋ฐ์ดํฐ ์จ์ดํ์ฐ์ค์ ๊ฒฝ์ฐ ์คํ ์คํค๋ง๋ก ์ถฉ๋ถํ ๊ฒฝ์ฐ๊ฐ ๋ง์ต๋๋ค. ๋ ํฌ๊ณ ๋ณต์กํ ๋ฐ์ดํฐ ์จ์ดํ์ฐ์ค์ ๊ฒฝ์ฐ ์ค๋ ธ์ฐํ๋ ์ดํฌ ์คํค๋ง๊ฐ ๋ ์ ํฉํ ์ ์์ต๋๋ค.
- ์ฟผ๋ฆฌ ์ฑ๋ฅ ์๊ตฌ ์ฌํญ: ์ฟผ๋ฆฌ ์ฑ๋ฅ์ด ์ค์ํ ๊ฒฝ์ฐ ์คํ ์คํค๋ง์ ๋น์ ๊ทํ๋ ๊ตฌ์กฐ๊ฐ ๋ ๋น ๋ฅธ ๊ฒ์ ์๊ฐ์ ์ ๊ณตํฉ๋๋ค.
- ๋ฐ์ดํฐ ๋ฌด๊ฒฐ์ฑ ์๊ตฌ ์ฌํญ: ๋ฐ์ดํฐ ๋ฌด๊ฒฐ์ฑ์ด ๊ฐ์ฅ ์ค์ํ ๊ฒฝ์ฐ ์ค๋ ธ์ฐํ๋ ์ดํฌ ์คํค๋ง์ ์ ๊ทํ๋ ๊ตฌ์กฐ๊ฐ ๋ ๋์ ์ผ๊ด์ฑ์ ์ ๊ณตํฉ๋๋ค.
- ์ ์ฅ ๊ณต๊ฐ ์ ์ฝ: ์ ์ฅ ๊ณต๊ฐ์ด ๋ฌธ์ ๋ผ๋ฉด ์ค๋ ธ์ฐํ๋ ์ดํฌ ์คํค๋ง์ ๊ฐ์๋ ์ค๋ณต์ฑ์ด ์ ๋ฆฌํ ์ ์์ต๋๋ค.
- ETL ๋ฆฌ์์ค ๋ฐ ์ ๋ฌธ ์ง์: ETL ํ๋ก์ธ์ค์ ์ฌ์ฉํ ์ ์๋ ๋ฆฌ์์ค์ ์ ๋ฌธ ์ง์์ ๊ณ ๋ คํ์ญ์์ค. ์ค๋ ธ์ฐํ๋ ์ดํฌ ์คํค๋ง๋ ๋ ๋ณต์กํ ETL ์ํฌํ๋ก์ฐ๋ฅผ ํ์๋ก ํฉ๋๋ค.
- ๋น์ฆ๋์ค ์๊ตฌ ์ฌํญ: ๋น์ฆ๋์ค์ ํน์ ๋ถ์ ์๊ตฌ ์ฌํญ์ ์ดํดํ์ญ์์ค. ์คํค๋ง๋ ํ์ํ ๋ณด๊ณ ๋ฐ ๋ถ์์ ํจ๊ณผ์ ์ผ๋ก ์ง์ํด์ผ ํฉ๋๋ค.
์ค์ ์์ ๋ฐ ์ฌ์ฉ ์ฌ๋ก
์คํ ์คํค๋ง:
- ์๋งค ํ๋งค ๋ถ์: ์ ํ, ๊ณ ๊ฐ, ๋ ์ง ๋ฐ ๋งค์ฅ๋ณ๋ก ํ๋งค ๋ฐ์ดํฐ๋ฅผ ๋ถ์ํฉ๋๋ค. ์คํ ์คํค๋ง๋ ๋จ์์ฑ๊ณผ ๋น ๋ฅธ ์ฟผ๋ฆฌ ์ฑ๋ฅ์ผ๋ก ์ธํด ์ด๋ฌํ ์ ํ์ ๋ถ์์ ๋งค์ฐ ์ ํฉํฉ๋๋ค. ์๋ฅผ ๋ค์ด, ๊ธ๋ก๋ฒ ์๋งค์ ์ฒด๋ ์คํ ์คํค๋ง๋ฅผ ์ฌ์ฉํ์ฌ ์ฌ๋ฌ ๊ตญ๊ฐ ๋ฐ ์ ํ ๋ผ์ธ์ ๊ฑธ์ณ ํ๋งค๋ฅผ ์ถ์ ํ ์ ์์ต๋๋ค.
- ๋ง์ผํ ์บ ํ์ธ ๋ถ์: ์ฑ๋, ํ๊ฒ ๊ณ ๊ฐ ๋ฐ ์บ ํ์ธ ๊ธฐ๊ฐ๋ณ๋ก ๋ง์ผํ ์บ ํ์ธ์ ์ฑ๊ณผ๋ฅผ ์ถ์ ํฉ๋๋ค.
- ์ ์์๊ฑฐ๋ ์น์ฌ์ดํธ ๋ถ์: ์น์ฌ์ดํธ ํธ๋ํฝ, ์ฌ์ฉ์ ํ๋ ๋ฐ ์ ํ์จ์ ๋ถ์ํฉ๋๋ค.
์ค๋ ธ์ฐํ๋ ์ดํฌ ์คํค๋ง:
- ๋ณต์กํ ๊ณต๊ธ๋ง ๊ด๋ฆฌ: ์ฌ๋ฌ ๊ณ์ธต์ ๊ณต๊ธ์ ์ฒด, ์ ํต์ ์ฒด ๋ฐ ์๋งค์ ์ฒด๊ฐ ์๋ ๋ณต์กํ ๊ณต๊ธ๋ง์ ๊ด๋ฆฌํฉ๋๋ค. ์ค๋ ธ์ฐํ๋ ์ดํฌ ์คํค๋ง๋ ์ด๋ฌํ ๊ฐ์ฒด ๊ฐ์ ๋ณต์กํ ๊ด๊ณ๋ฅผ ์ฒ๋ฆฌํ ์ ์์ต๋๋ค. ๊ธ๋ก๋ฒ ์ ์กฐ์ ์ฒด๋ ์ค๋ ธ์ฐํ๋ ์ดํฌ ์คํค๋ง๋ฅผ ์ฌ์ฉํ์ฌ ์ฌ๋ฌ ๊ณต๊ธ์ ์ฒด์ ๋ถํ์ ์ถ์ ํ๊ณ , ๋ค์ํ ์ฐฝ๊ณ ์ ์ฌ๊ณ ๋ฅผ ๊ด๋ฆฌํ๋ฉฐ, ์ ์ธ๊ณ ์ฌ๋ฌ ๊ณ ๊ฐ์๊ฒ ๋ฐฐ์ก ์ฑ๊ณผ๋ฅผ ๋ถ์ํ ์ ์์ต๋๋ค.
- ๊ธ์ต ์๋น์ค: ๊ธ์ต ๊ฑฐ๋, ๊ณ ๊ฐ ๊ณ์ข ๋ฐ ํฌ์ ํฌํธํด๋ฆฌ์ค๋ฅผ ๋ถ์ํฉ๋๋ค. ์ค๋ ธ์ฐํ๋ ์ดํฌ ์คํค๋ง๋ ๋ค์ํ ๊ธ์ต ์ํ ๋ฐ ๊ฐ์ฒด ๊ฐ์ ๋ณต์กํ ๊ด๊ณ๋ฅผ ์ง์ํ ์ ์์ต๋๋ค.
- ์๋ฃ ๋ฐ์ดํฐ ๋ถ์: ํ์ ๋ฐ์ดํฐ, ์๋ฃ ์ ์ฐจ ๋ฐ ๋ณดํ ์ฒญ๊ตฌ๋ฅผ ๋ถ์ํฉ๋๋ค.
๋ฐ์ดํฐ ์จ์ดํ์ฐ์ง ์คํค๋ง ๊ตฌํ์ ์ํ ๋ชจ๋ฒ ์ฌ๋ก
- ๋น์ฆ๋์ค ์๊ตฌ ์ฌํญ ์ดํด: ์คํค๋ง๋ฅผ ์ค๊ณํ๊ธฐ ์ ์ ๋น์ฆ๋์ค์ ๋ถ์ ์๊ตฌ ์ฌํญ์ ์ฒ ์ ํ ์ดํดํ์ญ์์ค.
- ์ฌ๋ฐ๋ฅธ ์ธ๋ถ์ฑ ์ ํ: ํฉํธ ํ ์ด๋ธ์ ๋ํ ์ ์ ํ ์ธ๋ถ ์์ค์ ๊ฒฐ์ ํ์ญ์์ค.
- ๋๋ฆฌ ํค ์ฌ์ฉ: ๋ฐ์ดํฐ ๋ฌด๊ฒฐ์ฑ์ ๋ณด์ฅํ๊ณ ์ฑ๋ฅ์ ํฅ์์ํค๊ธฐ ์ํด ์ฐจ์ ํ ์ด๋ธ์ ๊ธฐ๋ณธ ํค๋ก ๋๋ฆฌ ํค(์ธ๊ณต ํค)๋ฅผ ์ฌ์ฉํ์ญ์์ค.
- ์ฐจ์ ํ ์ด๋ธ์ ์ ์ ํ ์ค๊ณ: ๋ถ์์ ํ์ํ ๋ชจ๋ ๊ด๋ จ ์์ฑ์ ํฌํจํ๋๋ก ์ฐจ์ ํ ์ด๋ธ์ ์ ์คํ๊ฒ ์ค๊ณํ์ญ์์ค.
- ์ฟผ๋ฆฌ ์ฑ๋ฅ ์ต์ ํ: ์ฟผ๋ฆฌ ์ฑ๋ฅ์ ์ต์ ํํ๊ธฐ ์ํด ์ ์ ํ ์ธ๋ฑ์ฑ ๊ธฐ๋ฒ์ ์ฌ์ฉํ์ญ์์ค.
- ๊ฒฌ๊ณ ํ ETL ํ๋ก์ธ์ค ๊ตฌํ: ๋ฐ์ดํฐ ์จ์ดํ์ฐ์ค๋ฅผ ๋ก๋ํ๊ณ ์ ์ง ๊ด๋ฆฌํ๊ธฐ ์ํด ์ ๋ขฐํ ์ ์๊ณ ํจ์จ์ ์ธ ETL ํ๋ก์ธ์ค๋ฅผ ๋ณด์ฅํ์ญ์์ค.
- ๋ฐ์ดํฐ ์จ์ดํ์ฐ์ค์ ์ ๊ธฐ์ ์ธ ๋ชจ๋ํฐ๋ง ๋ฐ ์ ์ง ๊ด๋ฆฌ: ๋ฐ์ดํฐ ํ์ง, ์ฟผ๋ฆฌ ์ฑ๋ฅ ๋ฐ ์คํ ๋ฆฌ์ง ์ฌ์ฉ๋์ ๋ชจ๋ํฐ๋งํ์ฌ ๋ฐ์ดํฐ ์จ์ดํ์ฐ์ค๊ฐ ์ต์ ์ผ๋ก ์๋ํ๋์ง ํ์ธํ์ญ์์ค.
๊ณ ๊ธ ๊ธฐ๋ฒ ๋ฐ ๊ณ ๋ ค ์ฌํญ
- ํ์ด๋ธ๋ฆฌ๋ ์ ๊ทผ ๋ฐฉ์: ๊ฒฝ์ฐ์ ๋ฐ๋ผ ์คํ ์คํค๋ง์ ์ค๋ ธ์ฐํ๋ ์ดํฌ ์คํค๋ง์ ์์๋ฅผ ๊ฒฐํฉํ ํ์ด๋ธ๋ฆฌ๋ ์ ๊ทผ ๋ฐฉ์์ด ์ต์์ ์๋ฃจ์ ์ผ ์ ์์ต๋๋ค. ์๋ฅผ ๋ค์ด, ์ผ๋ถ ์ฐจ์ ํ ์ด๋ธ์ ๋น ๋ฅธ ์ฟผ๋ฆฌ ์ฑ๋ฅ์ ์ํด ๋น์ ๊ทํํ๊ณ ๋ค๋ฅธ ํ ์ด๋ธ์ ์ค๋ณต์ฑ์ ์ค์ด๊ธฐ ์ํด ์ ๊ทํํ ์ ์์ต๋๋ค.
- ๋ฐ์ดํฐ ๋ณผํธ ๋ชจ๋ธ๋ง: ํนํ ํฌ๊ณ ๋ณต์กํ ๋ฐ์ดํฐ ์จ์ดํ์ฐ์ค์ ์ ํฉํ ๊ฐ์ฌ ๊ฐ๋ฅ์ฑ๊ณผ ์ ์ฐ์ฑ์ ์ค์ ์ ๋ ๋์์ ์ธ ๋ฐ์ดํฐ ๋ชจ๋ธ๋ง ๊ธฐ๋ฒ์ ๋๋ค.
- ์ปฌ๋ผ ๊ธฐ๋ฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค: ๋ถ์ ์ํฌ๋ก๋์ ์ต์ ํ๋์ด ์ฟผ๋ฆฌ ์ฑ๋ฅ์ ํฌ๊ฒ ํฅ์์ํฌ ์ ์๋ ์ปฌ๋ผ ๊ธฐ๋ฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค ์ฌ์ฉ์ ๊ณ ๋ คํ์ญ์์ค.
- ํด๋ผ์ฐ๋ ๋ฐ์ดํฐ ์จ์ดํ์ฐ์ง: ํด๋ผ์ฐ๋ ๊ธฐ๋ฐ ๋ฐ์ดํฐ ์จ์ดํ์ฐ์ง ์๋ฃจ์ ์ ํ์ฅ์ฑ, ์ ์ฐ์ฑ ๋ฐ ๋น์ฉ ํจ์จ์ฑ์ ์ ๊ณตํฉ๋๋ค. ์๋ก๋ Amazon Redshift, Google BigQuery, Microsoft Azure Synapse Analytics๊ฐ ์์ต๋๋ค.
๋ฐ์ดํฐ ์จ์ดํ์ฐ์ง์ ๋ฏธ๋
๋ฐ์ดํฐ ์จ์ดํ์ฐ์ง ๋ถ์ผ๋ ๋์์์ด ์งํํ๊ณ ์์ต๋๋ค. ํด๋ผ์ฐ๋ ์ปดํจํ , ๋น ๋ฐ์ดํฐ, ์ธ๊ณต ์ง๋ฅ๊ณผ ๊ฐ์ ํธ๋ ๋๊ฐ ๋ฐ์ดํฐ ์จ์ดํ์ฐ์ง์ ๋ฏธ๋๋ฅผ ํ์ฑํ๊ณ ์์ต๋๋ค. ์กฐ์ง๋ค์ ๋์ฉ๋ ๋ฐ์ดํฐ๋ฅผ ์ฒ๋ฆฌํ๊ณ ๊ณ ๊ธ ๋ถ์์ ์ํํ๊ธฐ ์ํด ํด๋ผ์ฐ๋ ๊ธฐ๋ฐ ๋ฐ์ดํฐ ์จ์ดํ์ฐ์ค๋ฅผ ์ ์ ๋ ๋ง์ด ํ์ฉํ๊ณ ์์ต๋๋ค. AI์ ๋จธ์ ๋ฌ๋์ ๋ฐ์ดํฐ ํตํฉ์ ์๋ํํ๊ณ , ๋ฐ์ดํฐ ํ์ง์ ๊ฐ์ ํ๋ฉฐ, ๋ฐ์ดํฐ ๊ฒ์์ ํฅ์์ํค๋ ๋ฐ ์ฌ์ฉ๋๊ณ ์์ต๋๋ค.
๊ฒฐ๋ก
์คํ ์คํค๋ง์ ์ค๋ ธ์ฐํ๋ ์ดํฌ ์คํค๋ง ์ฌ์ด์ ์ ํ์ ๋ฐ์ดํฐ ์จ์ดํ์ฐ์ค ์ค๊ณ์์ ์ค์ํ ๊ฒฐ์ ์ ๋๋ค. ์คํ ์คํค๋ง๋ ๋จ์์ฑ๊ณผ ๋น ๋ฅธ ์ฟผ๋ฆฌ ์ฑ๋ฅ์ ์ ๊ณตํ๋ ๋ฐ๋ฉด, ์ค๋ ธ์ฐํ๋ ์ดํฌ ์คํค๋ง๋ ๋ฐ์ดํฐ ์ค๋ณต์ฑ ๊ฐ์์ ๋ฐ์ดํฐ ๋ฌด๊ฒฐ์ฑ ํฅ์์ ์ ๊ณตํฉ๋๋ค. ๋น์ฆ๋์ค ์๊ตฌ ์ฌํญ, ๋ฐ์ดํฐ ์ ๋ฐ ์ฑ๋ฅ ์๊ตฌ ์ฌํญ์ ์ ์คํ๊ฒ ๊ณ ๋ คํจ์ผ๋ก์จ ๋ฐ์ดํฐ ์จ์ดํ์ฐ์ง ๋ชฉํ์ ๊ฐ์ฅ ์ ํฉํ ์คํค๋ง๋ฅผ ์ ํํ๊ณ ๋ฐ์ดํฐ์์ ๊ท์คํ ํต์ฐฐ๋ ฅ์ ์ป์ ์ ์์ต๋๋ค.
์ด ๊ฐ์ด๋๋ ์ด ๋ ๊ฐ์ง ์ธ๊ธฐ ์๋ ์คํค๋ง ์ ํ์ ์ดํดํ๊ธฐ ์ํ ๊ฒฌ๊ณ ํ ๊ธฐ๋ฐ์ ์ ๊ณตํฉ๋๋ค. ๋ชจ๋ ์ธก๋ฉด์ ์ ์คํ๊ฒ ๊ณ ๋ คํ๊ณ ๋ฐ์ดํฐ ์จ์ดํ์ฐ์ง ์ ๋ฌธ๊ฐ์ ์๋ดํ์ฌ ์ต์ ์ ๋ฐ์ดํฐ ์จ์ดํ์ฐ์ค ์๋ฃจ์ ์ ๊ฐ๋ฐํ๊ณ ๋ฐฐํฌํ์ญ์์ค. ๊ฐ ์คํค๋ง์ ์ฅ๋จ์ ์ ์ดํดํจ์ผ๋ก์จ ์ ๋ณด์ ์ ๊ฐํ ๊ฒฐ์ ์ ๋ด๋ฆฌ๊ณ , ์ง๋ฆฌ์ ์์น๋ ์ฐ์ ์ ๊ด๊ณ์์ด ์กฐ์ง์ ํน์ ์๊ตฌ๋ฅผ ์ถฉ์กฑํ๊ณ ๋น์ฆ๋์ค ์ธํ ๋ฆฌ์ ์ค ๋ชฉํ๋ฅผ ํจ๊ณผ์ ์ผ๋ก ์ง์ํ๋ ๋ฐ์ดํฐ ์จ์ดํ์ฐ์ค๋ฅผ ๊ตฌ์ถํ ์ ์์ต๋๋ค.