λΉμ ν λ°μ΄ν° μ μ₯, μν€ν μ², μ΄μ , κ³Όμ λ° κΈλ‘λ² λ°μ΄ν° κ΄λ¦¬λ₯Ό μν λͺ¨λ² μ¬λ‘λ₯Ό μ€μ¬μΌλ‘ λ°μ΄ν° λ μ΄ν¬μ λν΄ μ¬μΈ΅μ μΌλ‘ μμλ΄ λλ€.
λ°μ΄ν° λ μ΄ν¬μ νμ λ°ννλ€: λΉμ ν λ°μ΄ν° μ μ₯μ μν μ’ ν© κ°μ΄λ
μ€λλ μ λ°μ΄ν° μ€μ¬ μΈκ³μμ μ‘°μ§μ λ€μν μμ€λ‘λΆν° λ°©λν μμ λ°μ΄ν°λ₯Ό μμ±νκ³ μμ§νκ³ μμ΅λλ€. μ΄ λ°μ΄ν°μ μλΉ λΆλΆμ μ¬μ μ μλ νμμ΄λ μ€ν€λ§λ₯Ό λ°λ₯΄μ§ μλ λΉμ ν λ°μ΄ν°μ λλ€. μ¬κΈ°μλ ν μ€νΈ λ¬Έμ, μ΄λ―Έμ§, λΉλμ€, μ€λμ€ νμΌ, μμ λ―Έλμ΄ νΌλ, μΌμ λ°μ΄ν° λ±μ΄ ν¬ν¨λ©λλ€. μ ν λ°μ΄ν°λ₯Ό μν΄ μ€κ³λ κΈ°μ‘΄μ λ°μ΄ν° μ¨μ΄νμ°μ€λ μ’ μ’ λΉμ ν λ°μ΄ν°μ μ, λ€μμ± λ° μλλ₯Ό ν¨κ³Όμ μΌλ‘ μ²λ¦¬νλ λ° μ΄λ €μμ κ²ͺμ΅λλ€. λ°λ‘ μ΄ μ§μ μμ λ°μ΄ν° λ μ΄ν¬κ° μν μ ν©λλ€.
λ°μ΄ν° λ μ΄ν¬λ 무μμΈκ°?
λ°μ΄ν° λ μ΄ν¬λ λͺ¨λ μ ν, λ°μ ν λ° λΉμ ν λ°μ΄ν°λ₯Ό κ·λͺ¨μ μκ΄μμ΄ μ μ₯ν μ μλ μ€μ μ§μ€μ 리ν¬μ§ν 리μ λλ€. λ°μ΄ν°λ₯Ό λ¨Όμ ꡬ쑰ννμ§ μκ³ μλ κ·Έλλ‘ μ μ₯ν μ μμ΅λλ€. μ΄λ₯Ό ν΅ν΄ μ¬μ μ€ν€λ§ μ μμ νμμ±μ μμ κ³ λ°μ΄ν°λ₯Ό λΉ λ₯΄κ³ ν¨μ¨μ μΌλ‘ μμ§ν μ μμ΅λλ€. λ§μΉ νμν λλ§λ€ λΆμνκ³ κ°μΉ μλ ν΅μ°°λ ₯μ μΆμΆν μ μλ λ°©λν λ°μ΄ν°μ νΈμλ₯Ό κ°λ κ²κ³Ό κ°μ΅λλ€.
μΌλ°μ μΌλ‘ λ°μ΄ν°λ₯Ό μ μ₯νκΈ° μ μ λ³ν(ETL - μΆμΆ, λ³ν, λ‘λ)ν΄μΌ νλ λ°μ΄ν° μ¨μ΄νμ°μ€μ λ¬λ¦¬, λ°μ΄ν° λ μ΄ν¬λ ELT(μΆμΆ, λ‘λ, λ³ν) μ κ·Ό λ°©μμ μ¬μ©ν©λλ€. μ¦, λ°μ΄ν°λ μμ νμμΌλ‘ λ μ΄ν¬μ λ‘λλκ³ , λ³νμ λΆμμ μν΄ λ°μ΄ν°κ° νμν λλ§ μ μ©λ©λλ€. μ΄λ λ°μ΄ν°λ₯Ό νμνκ³ λΆμνλ λ° μμ΄ λ ν° μ μ°μ±κ³Ό 민첩μ±μ μ 곡ν©λλ€.
λ°μ΄ν° λ μ΄ν¬μ μ£Όμ νΉμ§:
- μ€ν€λ§ μ¨ λ¦¬λ(Schema-on-Read): λ°μ΄ν° μ€ν€λ§λ μμ§ μμ μ΄ μλ λΆμ μμ μ μ μ©λ©λλ€.
- νμ₯μ±: λ°©λν μμ λ°μ΄ν°λ₯Ό μ²λ¦¬νλλ‘ μ€κ³λμμ΅λλ€.
- λ€μμ±: μ ν, λ°μ ν, λΉμ νμ ν¬ν¨ν λ€μν λ°μ΄ν° μ νμ μ§μν©λλ€.
- λΉμ© ν¨μ¨μ±: μΌλ°μ μΌλ‘ μμ© μ€ν λ¦¬μ§ λ° μ€νμμ€ κΈ°μ μ νμ©ν©λλ€.
- 민첩μ±: μ μν λ°μ΄ν° μμ§ λ° νμμ κ°λ₯νκ² ν©λλ€.
κΈλ‘λ² νκ²½μμ λΉμ ν λ°μ΄ν°μ μ€μμ±
λΉμ ν λ°μ΄ν°λ λ€μν μ°μ κ³Ό μ§μμμ λΉμ¦λμ€ μ±κ³Όλ₯Ό κ°μ νλ λ° νμ©λ μ μλ κ·μ€ν ν΅μ°°λ ₯μ ν¬ν¨νκ³ μμ΅λλ€. λ€μμ λͺ κ°μ§ μμ λλ€:
- μλ§€μ : μμ λ―Έλμ΄ μ μ, κ³ κ° λ¦¬λ·°, μΉμ¬μ΄νΈ ν΄λ¦ μ€νΈλ¦Όμ λΆμνμ¬ κ³ κ° μ νΈλλ₯Ό μ΄ν΄νκ³ λ§μΌν μΊ νμΈμ κ°μΈνν©λλ€. λ€κ΅μ μλ§€μ 체λ μ΄ λ°μ΄ν°λ₯Ό μ¬μ©νμ¬ μ λ½, μμμ, λ―Έμ£Ό μ§μμ νμ§ μμ₯ μ νΈλμ λ§μΆ° μ νμ μ‘°μ ν μ μμ΅λλ€.
- μλ£: μλ£ μ΄λ―Έμ§(μμ€λ μ΄, MRI), μμ¬ μ견μ, νμ κΈ°λ‘μ μ²λ¦¬νμ¬ μ§λ¨, μΉλ£ λ° νμ κ΄λ¦¬λ₯Ό κ°μ ν©λλ€. μλ₯Ό λ€μ΄, μ μΈκ³ λ³μμ μλ£ μ΄λ―Έμ§λ₯Ό λΆμνλ©΄ ν¨ν΄μ μλ³νκ³ λ€μν μΈκ΅¬ μ§λ¨μ λν μ§λ¨μ μ νλλ₯Ό λμ΄λ λ° λμμ΄ λ μ μμ΅λλ€.
- κΈμ΅ μλΉμ€: λ΄μ€ κΈ°μ¬, μμ λ―Έλμ΄ νΌλ, μμ₯ λ³΄κ³ μλ₯Ό λͺ¨λν°λ§νμ¬ μ¬κΈ°λ₯Ό νμ§νκ³ , μνμ νκ°νλ©°, μ 보μ μ κ°ν ν¬μ κ²°μ μ λ΄λ¦½λλ€. μ μΈκ³μ μΌλ‘ μ΄μλλ μνμ μ΄ λ°μ΄ν°λ₯Ό μ¬μ©νμ¬ κΈμ΅ μνμ λͺ¨λν°λ§νκ³ κ΅μ κ·μ μ μ€μν μ μμ΅λλ€.
- μ μ‘°μ : μ₯λΉμ μΌμ λ°μ΄ν°, μμ° λ‘κ·Έ, μ μ§λ³΄μ λ³΄κ³ μλ₯Ό λΆμνμ¬ μμ° νλ‘μΈμ€λ₯Ό μ΅μ ννκ³ , μ₯λΉ κ³ μ₯μ μμΈ‘νλ©°, νμ§ κ΄λ¦¬λ₯Ό κ°μ ν©λλ€. μ¬λ¬ κ΅κ°μ μλ 곡μ₯μ λ°μ΄ν°λ₯Ό λΆμνλ©΄ λͺ¨λ² μ¬λ‘λ₯Ό μλ³νκ³ κΈλ‘λ² κ³΅κΈλ§μ μ΅μ ννλ λ° λμμ΄ λ μ μμ΅λλ€.
- ν΅μ : ν΅ν κΈ°λ‘, λ€νΈμν¬ νΈλν½ λ°μ΄ν°, κ³ κ° μ§μ μνΈ μμ©μ λΆμνμ¬ λ€νΈμν¬ μ±λ₯μ κ°μ νκ³ , μλΉμ€ λ¬Έμ λ₯Ό μλ³νλ©°, κ³ κ° λ§μ‘±λλ₯Ό ν₯μμν΅λλ€. κΈλ‘λ² ν΅μ νμ¬λ μ΄ λ°μ΄ν°λ₯Ό νμ©νμ¬ λ€νΈμν¬ μ±λ₯μ μ΅μ ννκ³ κ΅μ μ μΈ μ¬μ μ₯μμ λ λμ κ³ κ° μλΉμ€λ₯Ό μ 곡ν μ μμ΅λλ€.
λΉμ ν λ°μ΄ν°λ₯Ό μν λ°μ΄ν° λ μ΄ν¬ μν€ν μ²
μΌλ°μ μΈ λ°μ΄ν° λ μ΄ν¬ μν€ν μ²λ λ€μ λ μ΄μ΄λ‘ ꡬμ±λ©λλ€:1. μμ§ λ μ΄μ΄:
μ΄ λ μ΄μ΄λ λ€μν μμ€λ‘λΆν° λ°μ΄ν°λ₯Ό λ°μ΄ν° λ μ΄ν¬λ‘ μμ§νλ μν μ ν©λλ€. λ€μν λ°μ΄ν° νμκ³Ό μμ§ μλλ₯Ό μ²λ¦¬ν μ μμ΄μΌ ν©λλ€. μΌλ°μ μΈ μμ§ λꡬλ λ€μκ³Ό κ°μ΅λλ€:
- Apache Kafka: μ€μκ° λ°μ΄ν° μμ§μ μν λΆμ° μ€νΈλ¦¬λ° νλ«νΌμ λλ€.
- Apache Flume: λλμ λ‘κ·Έ λ°μ΄ν°λ₯Ό μμ§, μ§κ³, μ΄λνκΈ° μν λΆμ° μλΉμ€μ λλ€.
- AWS Kinesis: ν΄λΌμ°λ κΈ°λ° μ€νΈλ¦¬λ° λ°μ΄ν° μλΉμ€μ λλ€.
- Azure Event Hubs: ν΄λΌμ°λ κΈ°λ° μ΄λ²€νΈ μμ§ μλΉμ€μ λλ€.
2. μ€ν λ¦¬μ§ λ μ΄μ΄:
μ΄ λ μ΄μ΄λ λͺ¨λ μ νμ λ°μ΄ν°μ λν΄ νμ₯ κ°λ₯νκ³ λΉμ© ν¨μ¨μ μΈ μ€ν λ¦¬μ§ μ루μ μ μ 곡ν©λλ€. μΌλ°μ μΈ μ€ν λ¦¬μ§ μ΅μ μ λ€μκ³Ό κ°μ΅λλ€:
- Hadoop Distributed File System (HDFS): μμ© νλμ¨μ΄ μ λ°μ λμ©λ νμΌμ μ μ₯νλλ‘ μ€κ³λ λΆμ° νμΌ μμ€ν μ λλ€.
- Amazon S3: ν΄λΌμ°λ κΈ°λ° κ°μ²΄ μ€ν λ¦¬μ§ μλΉμ€μ λλ€.
- Azure Blob Storage: ν΄λΌμ°λ κΈ°λ° κ°μ²΄ μ€ν λ¦¬μ§ μλΉμ€μ λλ€.
- Google Cloud Storage: ν΄λΌμ°λ κΈ°λ° κ°μ²΄ μ€ν λ¦¬μ§ μλΉμ€μ λλ€.
μ€ν λ¦¬μ§ μ νμ λΉμ©, μ±λ₯, νμ₯μ±, 보μ μꡬ μ¬νκ³Ό κ°μ μμμ λ°λΌ λ¬λΌμ§λλ€. ν΄λΌμ°λ κΈ°λ° μ€ν λ¦¬μ§ μ루μ μ νμ₯μ±κ³Ό κ΄λ¦¬ μ©μ΄μ± λλ¬Έμ μ’ μ’ μ νΈλ©λλ€.
3. μ²λ¦¬ λ μ΄μ΄:
μ΄ λ μ΄μ΄λ λ°μ΄ν° λ μ΄ν¬μ μ μ₯λ λ°μ΄ν°λ₯Ό μ²λ¦¬νκ³ λΆμνκΈ° μν λꡬμ νλ μμν¬λ₯Ό μ 곡ν©λλ€. μΌλ°μ μΈ μ²λ¦¬ νλ μμν¬λ λ€μκ³Ό κ°μ΅λλ€:
- Apache Spark: λΉ λ₯΄κ³ λ²μ©μ μΈ ν΄λ¬μ€ν° μ»΄ν¨ν μμ€ν μ λλ€.
- Apache Hadoop MapReduce: λκ·λͺ¨ λ°μ΄ν° μΈνΈλ₯Ό λ³λ ¬λ‘ μ²λ¦¬νκΈ° μν νλ‘κ·Έλλ° λͺ¨λΈμ λλ€.
- AWS EMR: Hadoop λ° Spark κΈ°λ°μ ν΄λΌμ°λ λΉ λ°μ΄ν° νλ«νΌμ λλ€.
- Azure HDInsight: Hadoop λ° Spark κΈ°λ°μ ν΄λΌμ°λ λΉ λ°μ΄ν° νλ«νΌμ λλ€.
- Google Cloud Dataproc: Hadoop λ° Spark κΈ°λ°μ ν΄λΌμ°λ λΉ λ°μ΄ν° νλ«νΌμ λλ€.
μ΄λ¬ν νλ μμν¬λ₯Ό μ¬μ©νλ©΄ λ°μ΄ν° μ μ , λ³ν, μ§κ³ λ° λ¨Έμ λ¬λκ³Ό κ°μ λ€μν λ°μ΄ν° μ²λ¦¬ μμ μ μνν μ μμ΅λλ€.
4. κ±°λ²λμ€ λ° λ³΄μ λ μ΄μ΄:
μ΄ λ μ΄μ΄λ λ°μ΄ν° λ μ΄ν¬μ λ°μ΄ν°κ° μ μ νκ² κ΄λ¦¬λκ³ , 보μμ΄ μ μ§λλ©°, κΆν μλ μ¬μ©μκ° μ κ·Όν μ μλλ‘ λ³΄μ₯ν©λλ€. μ΄ λ μ΄μ΄μ μ£Όμ κ΅¬μ± μμλ λ€μκ³Ό κ°μ΅λλ€:
- λ°μ΄ν° μΉ΄νλ‘κ·Έ: λ°μ΄ν° λ μ΄ν¬μ μ μ₯λ λ°μ΄ν°μ λν μ 보λ₯Ό μ 곡νλ λ©νλ°μ΄ν° 리ν¬μ§ν 리μ λλ€.
- λ°μ΄ν° κ³λ³΄(Data Lineage): λ°μ΄ν°μ μΆμ²μ λ³ν κ³Όμ μ μΆμ ν©λλ€.
- μ κ·Ό μ μ΄: λ°μ΄ν°μ λν μ κ·Όμ μ μ΄νκΈ° μν 보μ μ μ± μ ꡬνν©λλ€.
- λ°μ΄ν° λ§μ€νΉ: λ―Όκ°ν λ°μ΄ν°λ₯Ό λ§μ€νΉνκ±°λ μ΅λͺ ννμ¬ λ³΄νΈν©λλ€.
λ°μ΄ν° κ±°λ²λμ€μ 보μμ λ°μ΄ν° λ μ΄ν¬μ μλ λ°μ΄ν°μ 무결μ±κ³Ό μ λ’°μ±μ 보μ₯νλ λ° λ§€μ° μ€μν©λλ€.
5. μλΉ λ μ΄μ΄:
μ΄ λ μ΄μ΄λ λ€μν μ¬μ©μ λ° μ ν리μΌμ΄μ μ΄ μ²λ¦¬λ λ°μ΄ν°μ μ κ·Όν μ μλλ‘ μ 곡ν©λλ€. μΌλ°μ μΈ μλΉ λ°©λ²μ λ€μκ³Ό κ°μ΅λλ€:
- λΉμ¦λμ€ μΈν 리μ μ€(BI) λꡬ: Tableau, Power BI, Qlik Senseμ κ°μ λ°μ΄ν° μκ°ν λ° λΆμ λꡬμ λλ€.
- λ°μ΄ν° κ³Όν νλ«νΌ: λ¨Έμ λ¬λ λͺ¨λΈμ ꡬμΆνκ³ λ°°ν¬νκΈ° μν νλ«νΌμ λλ€.
- API: νλ‘κ·Έλλ° λ°©μμΌλ‘ λ°μ΄ν°μ μ κ·ΌνκΈ° μν μΈν°νμ΄μ€μ λλ€.
- λ°μ΄ν° μ¨μ΄νμ°μ€: νΉμ λ³΄κ³ λ° λΆμ μꡬλ₯Ό μν΄ μ²λ¦¬λ λ°μ΄ν°λ₯Ό λ°μ΄ν° μ¨μ΄νμ°μ€λ‘ μ΄λν©λλ€.
λΉμ ν λ°μ΄ν°μ λ°μ΄ν° λ μ΄ν¬λ₯Ό μ¬μ©ν λμ μ΄μ
λ°μ΄ν° λ μ΄ν¬λ λΉμ ν λ°μ΄ν°λ₯Ό νμ©νλ €λ μ‘°μ§μ μ¬λ¬ μ΄μ μ μ 곡ν©λλ€:
- λ―Όμ²©μ± ν₯μ: μ μν λ°μ΄ν° μμ§ λ° νμμ κ°λ₯νκ² νμ¬ μ‘°μ§μ΄ λ³ννλ λΉμ¦λμ€ μꡬμ λΉ λ₯΄κ² λμν μ μλλ‘ ν©λλ€.
- λΉμ© μ κ°: μμ© μ€ν 리μ§μ μ€νμμ€ κΈ°μ μ νμ©νμ¬ μ€ν λ¦¬μ§ λ° μ²λ¦¬ λΉμ©μ μ κ°ν©λλ€.
- λ°μ΄ν° λ°κ²¬ ν₯μ: λͺ¨λ μ νμ λ°μ΄ν°λ₯Ό μν μ€μ μ§μ€μ 리ν¬μ§ν 리λ₯Ό μ 곡νμ¬ λ°μ΄ν°λ₯Ό λ μ½κ² λ°κ²¬νκ³ λΆμν μ μκ² ν©λλ€.
- λ°μ΄ν° νμ§ κ°μ : νμμ λ°λΌ λ°μ΄ν° μ μ λ° λ³νμ μνν μ μμ΄ λ°μ΄ν° νμ§μ 보μ₯ν©λλ€.
- κ³ κΈ λΆμ: λ¨Έμ λ¬λ λ° μμΈ‘ λͺ¨λΈλ§κ³Ό κ°μ κ³ κΈ λΆμ κΈ°μ μ μ§μν©λλ€.
- λ λμ μμ¬ κ²°μ : λ°μ΄ν°μ λν ν¬κ΄μ μΈ μκ°μ μ 곡νμ¬ λ λμ μ 보μ κΈ°λ°ν μμ¬ κ²°μ μ κ°λ₯νκ² ν©λλ€.
λ°μ΄ν° λ μ΄ν¬ ꡬνμ κ³Όμ
λ°μ΄ν° λ μ΄ν¬λ μλ§μ μ΄μ μ μ 곡νμ§λ§ λͺ κ°μ§ κ³Όμ λ μμ΅λλ€:
- λ°μ΄ν° κ±°λ²λμ€: λ°μ΄ν° νμ§, 보μ λ° κ·μ μ€μλ₯Ό 보μ₯ν΄μΌ ν©λλ€. μ μ ν κ±°λ²λμ€κ° μμΌλ©΄ λ°μ΄ν° λ μ΄ν¬λ μ¬μ©ν μ μκ³ μ λ’°ν μ μλ λ°μ΄ν°λ‘ κ°λ μ°¬ 'λ°μ΄ν° λͺ'μ΄ λ μ μμ΅λλ€.
- λ°μ΄ν° λ°κ²¬: λ°μ΄ν° λ μ΄ν¬μ μ μ₯λ λ°μ΄ν°λ₯Ό μ°Ύκ³ μ΄ν΄νλ κ²μ΄ μ΄λ ΅μ΅λλ€. μ μ μλ λ°μ΄ν° μΉ΄νλ‘κ·Έλ λ°μ΄ν° λ°κ²¬μ νμμ μ λλ€.
- λ°μ΄ν° 보μ: λ―Όκ°ν λ°μ΄ν°λ₯Ό λ¬΄λ¨ μ κ·ΌμΌλ‘λΆν° 보νΈν΄μΌ ν©λλ€. λ°μ΄ν° μ μΆμ λ°©μ§νκΈ° μν΄ κ°λ ₯ν 보μ μ‘°μΉκ° νμν©λλ€.
- κΈ°μ 격차: λΉ λ°μ΄ν° κΈ°μ κ³Ό λ°μ΄ν° κ³Όνμ λν μ λ¬Έ κΈ°μ μ΄ νμν©λλ€. μ‘°μ§μ κ΅μ‘μ ν¬μνκ±°λ μ λ¬Έκ°λ₯Ό κ³ μ©ν΄μΌ ν μ μμ΅λλ€.
- 볡μ‘μ±: λ°μ΄ν° λ μ΄ν¬λ₯Ό μ€κ³, ꡬν λ° κ΄λ¦¬νλ κ²μ 볡μ‘ν μ μμ΅λλ€.
μ±κ³΅μ μΈ λ°μ΄ν° λ μ΄ν¬ ꡬμΆμ μν λͺ¨λ² μ¬λ‘
κ³Όμ λ₯Ό 극볡νκ³ λ°μ΄ν° λ μ΄ν¬μ μ΄μ μ κ·ΉλννκΈ° μν΄ μ‘°μ§μ λ€μ λͺ¨λ² μ¬λ‘λ₯Ό λ°λΌμΌ ν©λλ€:
- λͺ νν λΉμ¦λμ€ λͺ©ν μ μ: λ°μ΄ν° λ μ΄ν¬λ‘ ν΄κ²°νκ³ μ νλ νΉμ λΉμ¦λμ€ λ¬Έμ λ₯Ό μλ³ν©λλ€.
- λ°μ΄ν° κ±°λ²λμ€ νλ μμν¬ κ°λ°: λ°μ΄ν° νμ§, 보μ λ° κ·μ μ€μμ λν μ μ± κ³Ό μ μ°¨λ₯Ό μ립ν©λλ€.
- λ°μ΄ν° μΉ΄νλ‘κ·Έ ꡬν: λ°μ΄ν° λ μ΄ν¬μ μ μ₯λ λ°μ΄ν°μ λν μ 보λ₯Ό μ 곡νλ λ©νλ°μ΄ν° 리ν¬μ§ν 리λ₯Ό μμ±ν©λλ€.
- λ°μ΄ν° μμ§ μλν: λ€μν μμ€λ‘λΆν° λ°μ΄ν°λ₯Ό μμ§νλ νλ‘μΈμ€λ₯Ό μλνν©λλ€.
- λ°μ΄ν° νμ§ κ°μ : λ°μ΄ν°μ μ νμ±κ³Ό μΌκ΄μ±μ 보μ₯νκΈ° μν΄ λ°μ΄ν° νμ§ κ²μ¬λ₯Ό ꡬνν©λλ€.
- λ°μ΄ν° λ μ΄ν¬ 보μ: λ―Όκ°ν λ°μ΄ν°λ₯Ό 보νΈνκΈ° μν΄ κ°λ ₯ν 보μ μ‘°μΉλ₯Ό ꡬνν©λλ€.
- μ±λ₯ λͺ¨λν°λ§: λ°μ΄ν° λ μ΄ν¬μ μ±λ₯μ λͺ¨λν°λ§νμ¬ λ³λͺ© νμμ μλ³νκ³ ν΄κ²°ν©λλ€.
- κ΅μ‘ ν¬μ: νμκ² λΉ λ°μ΄ν° κΈ°μ κ³Ό λ°μ΄ν° κ³Όνμ λν κ΅μ‘μ μ 곡ν©λλ€.
- μκ² μμνκ³ λ°λ³΅: μμ νμΌλΏ νλ‘μ νΈλ‘ μμνμ¬ κ²½νμ μμΌλ©΄μ μ μ°¨ λ°μ΄ν° λ μ΄ν¬λ₯Ό νμ₯ν©λλ€.
λ°μ΄ν° λ μ΄ν¬λ₯Ό μν λꡬ λ° κΈ°μ
λ°μ΄ν° λ μ΄ν¬λ₯Ό ꡬμΆνκ³ κ΄λ¦¬νκΈ° μν λ€μν λꡬμ κΈ°μ μ΄ μμ΅λλ€. λ€μμ λͺ κ°μ§ μΈκΈ° μλ μ΅μ μ λλ€:
- Hadoop: λκ·λͺ¨ λ°μ΄ν° μΈνΈμ λΆμ° μ μ₯ λ° μ²λ¦¬λ₯Ό μν μ€νμμ€ νλ μμν¬μ λλ€.
- Spark: λΉ λ₯΄κ³ λ²μ©μ μΈ ν΄λ¬μ€ν° μ»΄ν¨ν μμ€ν μ λλ€.
- AWS S3: ν΄λΌμ°λ κΈ°λ° κ°μ²΄ μ€ν λ¦¬μ§ μλΉμ€μ λλ€.
- Azure Data Lake Storage: ν΄λΌμ°λ κΈ°λ° λ°μ΄ν° λ μ΄ν¬ μ€ν λ¦¬μ§ μλΉμ€μ λλ€.
- Google Cloud Storage: ν΄λΌμ°λ κΈ°λ° κ°μ²΄ μ€ν λ¦¬μ§ μλΉμ€μ λλ€.
- Snowflake: λ°μ΄ν° λ μ΄ν¬λ‘λ μ¬μ©ν μ μλ ν΄λΌμ°λ κΈ°λ° λ°μ΄ν° μ¨μ΄νμ°μ§ νλ«νΌμ λλ€.
- Databricks: Apache Spark κΈ°λ°μ ν΅ν© λΆμ νλ«νΌμ λλ€.
- Talend: λ°μ΄ν° μμ§, λ³ν λ° κ±°λ²λμ€λ₯Ό μ§μνλ λ°μ΄ν° ν΅ν© νλ«νΌμ λλ€.
- Informatica: λ°μ΄ν° ν΅ν©, λ°μ΄ν° νμ§ λ° λ°μ΄ν° κ±°λ²λμ€ κΈ°λ₯μ μ 곡νλ λ°μ΄ν° κ΄λ¦¬ νλ«νΌμ λλ€.
λꡬμ κΈ°μ μ μ νμ νΉμ μꡬ μ¬νκ³Ό μμ°μ λ°λΌ λ¬λΌμ§λλ€.
μ°μ λ³ λ°μ΄ν° λ μ΄ν¬ μ¬μ© μ¬λ‘
λ°μ΄ν° λ μ΄ν¬λ λ€μν μ°μ μμ λ€μν λΉμ¦λμ€ λ¬Έμ λ₯Ό ν΄κ²°νλ λ° μ¬μ©λκ³ μμ΅λλ€. λ€μμ λͺ κ°μ§ μμ λλ€:
- μ μ μκ±°λ: κ³ κ° λΈλΌμ°μ§ κΈ°λ‘, ꡬ맀 λ°μ΄ν°, μμ λ―Έλμ΄ νλμ λΆμνμ¬ μΆμ²μ κ°μΈννκ³ κ³ κ° κ²½νμ κ°μ ν©λλ€. κΈλ‘λ² μ μ μκ±°λ νλ«νΌμ μ΄ λ°μ΄ν°λ₯Ό μ¬μ©νμ¬ μ μΈκ³ κ°λ³ κ³ κ°μκ² λ§μΆ€ν μ ν μΆμ² λ° λ§μΌν μΊ νμΈμ μ 곡ν μ μμ΅λλ€.
- μν: μ¬κΈ° νμ§, μ μ© μν νκ°, κ³ κ° μλΉμ€ κ°μ . μ μΈκ³ μ§μ μ κ±°λ λ°μ΄ν°λ₯Ό λΆμνμ¬ λ λμ μ¬κΈ° νμ§λ₯Ό κ°λ₯νκ² ν©λλ€.
- 보ν: μν νκ°, μ¬κΈ° νμ§, 보νκΈ μ²κ΅¬ μ²λ¦¬ κ°μ . μ¬λ¬ μ§μμ μ²κ΅¬ μ΄λ ₯μ λΆμνμ¬ λ³΄ν νμ¬κ° μν νκ°λ₯Ό κ°μ νλ λ° λμμ΄ λ©λλ€.
- μλ£: μ§λ¨, μΉλ£, νμ κ΄λ¦¬ κ°μ . μ¬λ¬ κ΅κ°μμ μμ§λ νμ λ°μ΄ν°λ₯Ό λΆμνμ¬ κΈλ‘λ² μλ£ λν₯μ νμ ν μ μμ΅λλ€.
- μ μ‘°μ : μμ° κ³΅μ μ΅μ ν, μ₯λΉ κ³ μ₯ μμΈ‘, νμ§ κ΄λ¦¬ κ°μ . μ¬λ¬ κ΅κ°μ μ μ‘° 곡μ₯μμ μμ§λ μΌμ λ°μ΄ν°λ₯Ό λΆμνμ¬ κΈλ‘λ² κ³΅κΈλ§μ μ΅μ ννλ λ° λμμ΄ λ©λλ€.
λ°μ΄ν° λ μ΄ν¬μ λ―Έλ
λ°μ΄ν° λ μ΄ν¬λ λμ± μ§λ₯μ μ΄κ³ μλνλλ©° μ¬μ©μ μΉνμ μΌλ‘ μ§ννκ³ μμ΅λλ€. λ°μ΄ν° λ μ΄ν¬μ λ―Έλλ₯Ό νμ±νλ λͺ κ°μ§ μ£Όμ λν₯μ λ€μκ³Ό κ°μ΅λλ€:
- ν΄λΌμ°λ λ€μ΄ν°λΈ λ°μ΄ν° λ μ΄ν¬: ν΄λΌμ°λ μ 곡μ μ²΄κ° μ 곡νλ νμ₯μ±, λΉμ© ν¨μ¨μ±, κ΄λ¦¬ν μλΉμ€λ₯Ό νμ©νκΈ° μν΄ ν΄λΌμ°λ νλ«νΌ μμ λ°μ΄ν° λ μ΄ν¬λ₯Ό ꡬμΆνλ κ²½μ°κ° μ μ λ λ§μμ§κ³ μμ΅λλ€.
- λ°μ΄ν° λ μ΄ν¬νμ°μ€: λ°μ΄ν° λ μ΄ν¬μ λ°μ΄ν° μ¨μ΄νμ°μ€μ μ₯μ μ κ²°ν©νμ¬ λ°μ΄ν° μ μ₯, μ²λ¦¬ λ° λΆμμ μν ν΅ν© νλ«νΌμ μ 곡ν©λλ€.
- AI κΈ°λ° λ°μ΄ν° λ μ΄ν¬: μΈκ³΅ μ§λ₯κ³Ό λ¨Έμ λ¬λμ μ¬μ©νμ¬ λ°μ΄ν° κ±°λ²λμ€, λ°μ΄ν° λ°κ²¬, λ°μ΄ν° νμ§ μμ μ μλνν©λλ€.
- μ€μκ° λ°μ΄ν° λ μ΄ν¬: λ°μ΄ν°λ₯Ό μ€μκ°μΌλ‘ μμ§νκ³ μ²λ¦¬νμ¬ μ€μκ° λΆμ λ° μμ¬ κ²°μ μ κ°λ₯νκ² ν©λλ€.
- μ νμλΉμ€ λ°μ΄ν° λ μ΄ν¬: μ¬μ©μμκ² λ°μ΄ν° λ° νμ/λΆμ λꡬμ λν μ νμλΉμ€ μ κ·Ό κΆνμ μ 곡ν©λλ€.
κ²°λ‘
λ°μ΄ν° λ μ΄ν¬λ λΉμ ν λ°μ΄ν°λ₯Ό μ μ₯νκ³ λΆμνλ κ°λ ₯ν λꡬμ λλ€. λͺ¨λ² μ¬λ‘λ₯Ό λ°λ₯΄κ³ μ¬λ°λ₯Έ λꡬμ κΈ°μ μ νμ©ν¨μΌλ‘μ¨ μ‘°μ§μ λ°μ΄ν°μ μ μ¬λ ₯μ μ΅λν λ°ννκ³ κΈλ‘λ² μμ₯μμ κ²½μ μ°μλ₯Ό ν보ν μ μμ΅λλ€. λ°μ΄ν° μ€μ¬ λ¬Ένλ₯Ό μμ©νκ³ νμν κΈ°μ κ³Ό μΈνλΌμ ν¬μνλ κ²μ λΉ λ°μ΄ν° μλμ μ±κ³΅νκΈ° μν΄ νμμ μ λλ€.
μ±κ³΅μ μΈ λ°μ΄ν° λ μ΄ν¬ ꡬνμ ν΅μ¬μ μ μ€ν κ³ν, κ°λ ₯ν λ°μ΄ν° κ±°λ²λμ€, λΉμ¦λμ€ λͺ©νμ λν λͺ νν μ΄ν΄μ μμ΅λλ€. λ°μ΄ν° μμ΄ κ³μ μ¦κ°νκ³ λΉμ ν λ°μ΄ν°μ μ€μμ±μ΄ 컀μ§μ λ°λΌ λ°μ΄ν° λ μ΄ν¬λ νλ λ°μ΄ν° νκ²½μμ ν¨μ¬ λ μ€μν κ΅¬μ± μμκ° λ κ²μ λλ€.