Scikit-learn 전처리: 머신러닝을 위한 데이터 변환 파이프라인 마스터하기

머신러닝의 영역에서 데이터의 품질은 모델의 성능에 직접적인 영향을 미칩니다. 원시 데이터는 종종 일관되지 않은 값, 누락된 값, 다양한 스케일을 포함하고 있어 직접 사용하기에 부적합합니다. 강력한 Python 라이브러리인 Scikit-learn은 머신러닝 알고리즘에 적합한 형식으로 데이터를 변환하는 포괄적인 전처리 기법을 제공합니다. 본 문서는 Scikit-learn 전처리 세계를 탐구하며, 머신러닝 워크플로를 간소화하기 위한 데이터 변환 파이프라인의 생성 및 활용에 초점을 맞춥니다.

데이터 전처리가 중요한 이유

데이터 전처리는 원시 데이터를 머신러닝 모델에 더 적합하도록 정리, 변환 및 구성하는 과정입니다. 머신러닝 알고리즘은 입력 피처의 스케일과 분포에 민감하기 때문에 이는 매우 중요한 단계입니다. 적절한 전처리 없이 모델은 성능이 저하되어 부정확한 예측과 신뢰할 수 없는 결과를 초래할 수 있습니다. 다음은 데이터 전처리가 필수적인 몇 가지 주요 이유입니다.

• 모델 성능 향상: 전처리된 데이터는 모델이 더 효과적으로 학습하고 더 높은 정확도를 달성할 수 있도록 합니다.
• 결측값 처리: 대체(Imputation) 기법은 누락된 데이터 포인트를 채워 알고리즘이 충돌하거나 편향된 결과를 생성하는 것을 방지합니다.
• 피처 스케일 표준화: 스케일링 기법은 모든 피처가 모델에 동등하게 기여하도록 보장하여, 더 큰 값을 가진 피처가 학습 프로세스를 지배하는 것을 방지합니다.
• 범주형 변수 인코딩: 인코딩 기법은 범주형 데이터를 머신러닝 알고리즘이 이해할 수 있는 숫자 표현으로 변환합니다.
• 노이즈 및 이상치 감소: 전처리는 이상치 및 노이즈 데이터의 영향을 완화하여 더 강력한 모델을 만들 수 있습니다.

Scikit-learn 파이프라인 소개

Scikit-learn 파이프라인은 여러 데이터 변환 단계를 하나의 재사용 가능한 객체로 연결하는 방법을 제공합니다. 이는 코드를 단순화하고, 가독성을 향상시키며, 모델 평가 중 데이터 누출을 방지합니다. 파이프라인은 본질적으로 일련의 데이터 변환과 최종 추정기(예: 분류기 또는 회귀기)의 시퀀스입니다. 파이프라인이 유용한 이유는 다음과 같습니다.

• 코드 구성: 파이프라인은 전체 데이터 전처리 및 모델링 워크플로를 단일 단위로 캡슐화하여 코드를 더 체계적으로 관리하기 쉽게 만듭니다.
• 데이터 누출 방지: 파이프라인은 훈련 및 테스트 데이터에 데이터 변환이 일관되게 적용되도록 보장하여 과적합 및 낮은 일반화 성능을 초래할 수 있는 데이터 누출을 방지합니다.
• 간소화된 모델 평가: 파이프라인은 전체 전처리 및 모델링 워크플로가 각 폴드에 일관되게 적용되므로 교차 검증과 같은 기법을 사용하여 모델 성능을 평가하기 쉽게 만듭니다.
• 배포 간소화: 파이프라인은 프로덕션 환경에 쉽게 배포될 수 있으며, 훈련 중에 사용된 것과 동일한 방식으로 데이터가 전처리되도록 보장합니다.

Scikit-learn의 일반적인 데이터 전처리 기법

Scikit-learn은 광범위한 전처리 기법을 제공합니다. 다음은 가장 일반적으로 사용되는 기법 중 일부입니다.

1. 스케일링 및 정규화

스케일링 및 정규화는 숫자 피처를 유사한 값 범위로 변환하는 데 사용되는 기법입니다. 스케일이 다른 피처는 학습 프로세스에 불균형적으로 영향을 미칠 수 있으므로 이는 중요합니다. Scikit-learn은 여러 스케일링 및 정규화 방법을 제공합니다.

• StandardScaler: 평균을 제거하고 단위 분산으로 스케일링하여 피처를 표준화합니다. 이는 데이터가 정규 분포를 따른다고 가정하는 널리 사용되는 기법입니다.

  공식: x_scaled = (x - mean) / standard_deviation

  예시: USD로 된 주택 가격과 평방 피트가 있다고 가정해 봅시다. 이러한 피처를 스케일링하면 모델이 더 큰 값을 가진 피처(예: 주택 가격)에 부당한 중요성을 부여하지 않게 됩니다.

• MinMaxScaler: 피처를 지정된 범위(일반적으로 0과 1 사이)로 스케일링합니다. 데이터의 원래 분포를 유지하고 싶을 때 유용합니다.

  공식: x_scaled = (x - min) / (max - min)

  예시: 이미지 처리는 종종 MinMaxScaler를 사용하여 픽셀 값을 [0, 1] 범위로 정규화합니다.

• RobustScaler: 중앙값 및 사분위수 범위(IQR)와 같이 이상치에 강건한 통계를 사용하여 피처를 스케일링합니다. 데이터에 이상치가 포함된 경우 좋은 선택입니다.

  공식: x_scaled = (x - median) / IQR

  예시: 이상치가 흔한 금융 데이터셋(예: 극심한 주식 시장 변동)에서는 RobustScaler가 더 안정적인 결과를 제공할 수 있습니다.

• Normalizer: 샘플을 개별적으로 단위 노름으로 정규화합니다. 이는 피처 벡터의 크기가 개별 피처 값보다 더 중요할 때 유용합니다.

  공식 (L2 노름): x_scaled = x / ||x||

  예시: 텍스트 처리에서 TF-IDF(Term Frequency-Inverse Document Frequency) 벡터를 정규화하는 것은 일반적인 관행입니다.

2. 범주형 변수 인코딩

머신러닝 알고리즘은 일반적으로 숫자 입력을 요구하므로 범주형 변수는 숫자 표현으로 변환해야 합니다. Scikit-learn은 여러 인코딩 기법을 제공합니다.

• OneHotEncoder: 피처의 각 범주에 대해 이진 열을 생성합니다. 이는 명목형 범주형 피처(순서가 없는 피처)에 적합합니다.

  예시: 'country' 피처를 'USA', 'Canada', 'UK'와 같은 값으로 인코딩하면 'country_USA', 'country_Canada', 'country_UK'의 세 가지 새 열이 생성됩니다.

• OrdinalEncoder: 범주의 순서에 따라 각 범주에 정수 값을 할당합니다. 이는 순서형 범주형 피처(의미 있는 순서가 있는 피처)에 적합합니다.

  예시: 'education level' 피처를 'High School', 'Bachelor's', 'Master's'와 같은 값으로 인코딩하면 각각 0, 1, 2와 같은 정수 값이 할당됩니다.

• LabelEncoder: 대상 레이블을 0부터 n_classes-1까지의 값으로 인코딩합니다. 분류 문제에서 대상 변수를 인코딩하는 데 사용하십시오.

  예시: 'spam' 및 'not spam' 레이블을 각각 0과 1로 인코딩합니다.

• TargetEncoder (category_encoders 라이브러리 필요): 각 범주에 대한 대상 변수의 평균을 기반으로 범주형 피처를 인코딩합니다. 교차 검증 설정 내에서 주의해서 사용하지 않으면 대상 누출을 유발할 수 있습니다.

3. 결측값 처리

결측값은 실제 데이터셋에서 흔한 문제입니다. Scikit-learn은 결측값을 대체(채우기)하는 기법을 제공합니다.

• SimpleImputer: 상수 값, 평균, 중앙값 또는 피처의 최빈값을 사용하여 결측값을 대체합니다.
• KNNImputer: k-최근접 이웃 알고리즘을 사용하여 결측값을 대체합니다. 결측값이 있는 샘플에 대한 k개의 가장 가까운 샘플을 찾아 해당 이웃의 평균 값으로 결측값을 대체합니다.
• IterativeImputer: 반복적인 모델링 접근 방식을 사용하여 결측값을 대체합니다. 결측값이 있는 각 피처는 다른 피처의 함수로 모델링되고, 결측값은 반복적으로 예측됩니다.

4. 피처 변환

피처 변환은 기존 피처에서 새로운 피처를 생성하는 것을 포함합니다. 이는 피처 간의 비선형 관계 또는 상호 작용을 포착하여 모델 성능을 향상시킬 수 있습니다. 몇 가지 기법은 다음과 같습니다.

• PolynomialFeatures: 피처의 다항식 조합을 생성합니다. 예를 들어, 두 개의 피처 x1과 x2가 있다면, PolynomialFeatures는 x1^2, x2^2, x1*x2와 같은 새로운 피처를 생성할 수 있습니다.
• FunctionTransformer: 사용자 정의 함수를 피처에 적용합니다. 이를 통해 로그 변환 또는 지수 변환과 같은 임의의 변환을 수행할 수 있습니다.
• PowerTransformer: 데이터를 더 가우시안 유사하게 만들기 위해 거듭제곱 변환을 적용합니다. 이는 선형 회귀와 같이 정규성을 가정하는 알고리즘에 유용할 수 있습니다. (Box-Cox 및 Yeo-Johnson 변환 포함)

Scikit-learn으로 데이터 변환 파이프라인 구축하기

이제 데이터 변환 파이프라인을 구축하여 이러한 전처리 기법을 실제로 적용해 보겠습니다. 다음은 단계별 가이드입니다.

1. 필요한 라이브러리 가져오기

Scikit-learn에서 필요한 라이브러리를 가져오는 것으로 시작합니다.

from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScaler, OneHotEncoder, SimpleImputer from sklearn.compose import ColumnTransformer from sklearn.model_selection import train_test_split from sklearn.linear_model import LogisticRegression import pandas as pd

2. 데이터 로드 및 준비

pandas 또는 기타 적절한 방법을 사용하여 데이터셋을 로드합니다. 데이터셋에서 숫자형 피처와 범주형 피처를 식별합니다. 예를 들어:

data = { 'age': [25, 30, 35, 40, 45, None], 'country': ['USA', 'Canada', 'USA', 'UK', 'Canada', 'USA'], 'salary': [50000, 60000, 70000, 80000, 90000, 55000], 'purchased': [0, 1, 0, 1, 0, 1] } df = pd.DataFrame(data)

3. 전처리 단계 정의

사용하려는 전처리 변환기의 인스턴스를 생성합니다. 예를 들어, 숫자형 피처를 처리하기 위해 StandardScaler 및 SimpleImputer를 사용할 수 있습니다. 범주형 피처의 경우 OneHotEncoder를 사용할 수 있습니다. 스케일링 또는 인코딩 전에 결측값을 처리하는 전략을 고려하십시오.

numerical_features = ['age', 'salary'] categorical_features = ['country'] numerical_transformer = Pipeline(steps=[ ('imputer', SimpleImputer(strategy='mean')), ('scaler', StandardScaler()) ]) categorical_transformer = Pipeline(steps=[ ('onehot', OneHotEncoder(handle_unknown='ignore')) ])

4. ColumnTransformer 생성

ColumnTransformer를 사용하여 다른 변환기를 다른 데이터 열에 적용합니다. 이를 통해 숫자형 및 범주형 피처를 별도로 전처리할 수 있습니다.

preprocessor = ColumnTransformer( transformers=[ ('num', numerical_transformer, numerical_features), ('cat', categorical_transformer, categorical_features) ])

5. 파이프라인 구축

전처리 단계를 머신러닝 모델과 연결하는 Pipeline 객체를 생성합니다. 이를 통해 모델에 입력되기 전에 데이터가 일관되게 전처리되도록 보장합니다.

pipeline = Pipeline(steps=[('preprocessor', preprocessor), ('classifier', LogisticRegression())])

6. 모델 훈련 및 평가

데이터를 훈련 및 테스트 세트로 분할합니다. 그런 다음 훈련 데이터에 파이프라인을 훈련하고 테스트 데이터에 대한 성능을 평가합니다.

X = df.drop('purchased', axis=1) y = df['purchased'] X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) pipeline.fit(X_train, y_train) score = pipeline.score(X_test, y_test) print(f'Model accuracy: {score}')

전체 예제 코드

데이터 변환 파이프라인을 구축하고 훈련하는 전체 코드입니다.

import pandas as pd from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScaler, OneHotEncoder, SimpleImputer from sklearn.compose import ColumnTransformer from sklearn.model_selection import train_test_split from sklearn.linear_model import LogisticRegression # 샘플 데이터 data = { 'age': [25, 30, 35, 40, 45, None], 'country': ['USA', 'Canada', 'USA', 'UK', 'Canada', 'USA'], 'salary': [50000, 60000, 70000, 80000, 90000, 55000], 'purchased': [0, 1, 0, 1, 0, 1] } df = pd.DataFrame(data) # 피처 정의 numerical_features = ['age', 'salary'] categorical_features = ['country'] # 변환기 생성 numerical_transformer = Pipeline(steps=[ ('imputer', SimpleImputer(strategy='mean')), ('scaler', StandardScaler()) ]) categorical_transformer = Pipeline(steps=[ ('onehot', OneHotEncoder(handle_unknown='ignore')) ]) # 전처리기 생성 preprocessor = ColumnTransformer( transformers=[ ('num', numerical_transformer, numerical_features), ('cat', categorical_transformer, categorical_features) ]) # 파이프라인 생성 pipeline = Pipeline(steps=[('preprocessor', preprocessor), ('classifier', LogisticRegression())]) # 데이터 분할 X = df.drop('purchased', axis=1) y = df['purchased'] X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 모델 훈련 pipeline.fit(X_train, y_train) # 모델 평가 score = pipeline.score(X_test, y_test) print(f'Model accuracy: {score}')

고급 파이프라인 기법

기본에 익숙해지면 더 고급 파이프라인 기법을 탐색할 수 있습니다.

1. 사용자 정의 변환기

Scikit-learn에서 제공하지 않는 특정 데이터 변환을 수행하기 위해 사용자 정의 변환기를 만들 수 있습니다. 사용자 정의 변환기를 생성하려면 TransformerMixin 및 BaseEstimator 클래스를 상속하고 fit 및 transform 메서드를 구현해야 합니다. 이는 피처 엔지니어링 또는 도메인별 변환에 유용할 수 있습니다. 가독성을 위해 적절한 docstring을 포함하는 것을 잊지 마십시오.

2. 피처 결합 (Feature Union)

FeatureUnion을 사용하면 여러 변환기의 출력을 단일 피처 벡터로 결합할 수 있습니다. 이는 동일한 피처에 다른 변환을 적용하거나 다르게 변환된 피처를 결합하려는 경우 유용할 수 있습니다. FeatureUnion 클래스는 여러 변환기의 출력을 단일 피처 벡터로 결합하는 데 사용됩니다.

3. 파이프라인과 그리드 서치

GridSearchCV를 사용하여 전처리 단계의 하이퍼파라미터뿐만 아니라 파이프라인의 하이퍼파라미터를 최적화할 수 있습니다. 이를 통해 전처리 기법과 모델 매개변수의 최적 조합을 자동으로 찾을 수 있습니다. 계산 비용이 증가할 수 있으므로 주의하십시오.

데이터 전처리 파이프라인을 위한 모범 사례

데이터 전처리 파이프라인을 구축할 때 명심해야 할 몇 가지 모범 사례는 다음과 같습니다.

• 데이터 이해: 어떤 전처리 기법을 적용하기 전에 시간을 들여 데이터를 이해하십시오. 피처의 분포를 탐색하고, 결측값을 식별하고, 이상치를 찾으십시오.
• 파이프라인 문서화: 파이프라인의 각 단계를 설명하는 주석을 코드에 추가하십시오. 이를 통해 코드를 이해하고 유지 관리하기가 더 쉬워집니다.
• 파이프라인 테스트: 파이프라인이 올바르게 작동하는지 확인하기 위해 철저하게 테스트하십시오. 파이프라인의 각 단계가 예상된 출력을 생성하는지 확인하기 위해 단위 테스트를 사용하십시오.
• 데이터 누출 방지: 데이터 전처리 시 데이터 누출을 방지하도록 주의하십시오. 훈련 데이터의 정보만 사용하여 훈련 데이터를 전처리하고 있는지 확인하십시오. 훈련 및 테스트 데이터 간의 일관성을 보장하기 위해 파이프라인을 사용하십시오.
• 성능 모니터링: 모델의 성능을 시간이 지남에 따라 모니터링하고 필요에 따라 다시 훈련하십시오. 데이터 분포는 시간이 지남에 따라 변경될 수 있으므로 주기적으로 파이프라인을 재평가하고 필요한 조정을 하는 것이 중요합니다.

실제 사례

다양한 산업에서 데이터 변환 파이프라인이 어떻게 사용될 수 있는지에 대한 실제 사례를 살펴보겠습니다.

• 금융: 신용 위험 모델링에서 파이프라인은 소득 및 신용 점수와 같은 숫자형 피처뿐만 아니라 고용 상태 및 대출 목적과 같은 범주형 피처를 포함한 고객 데이터를 전처리하는 데 사용될 수 있습니다. 평균 대체 또는 k-최근접 이웃 대체와 같은 기법을 사용하여 결측값을 대체할 수 있습니다. 스케일링은 스케일이 다른 피처가 모델을 지배하지 않도록 하는 데 중요합니다.
• 의료: 의료 진단에서 파이프라인은 나이, 혈압, 콜레스테롤 수치와 같은 숫자형 피처뿐만 아니라 성별 및 병력과 같은 범주형 피처를 포함한 환자 데이터를 전처리하는 데 사용될 수 있습니다. 원-핫 인코딩을 사용하여 범주형 피처를 숫자 표현으로 변환할 수 있습니다.
• 전자 상거래: 제품 추천 시스템에서 파이프라인은 구매 빈도 및 제품 등급과 같은 숫자형 피처뿐만 아니라 제품 카테고리 및 고객 인구 통계와 같은 범주형 피처를 포함한 고객 및 제품 데이터를 전처리하는 데 사용될 수 있습니다. 파이프라인에는 토큰화 및 어간 추출과 같은 텍스트 전처리 단계가 포함되어 제품 설명 및 고객 리뷰에서 피처를 추출할 수 있습니다.
• 제조: 예측 유지보수에서 파이프라인은 온도, 압력, 진동과 같은 숫자형 피처뿐만 아니라 기계 유형 및 작동 조건과 같은 범주형 피처를 포함한 센서 데이터를 전처리하는 데 사용될 수 있습니다. 이상치 판독 가능성 때문에 RobustScaler가 여기서 특히 유용할 수 있습니다.

글로벌 데이터셋의 과제 해결

글로벌 데이터셋을 다룰 때는 신중한 전처리 고려가 필요한 특정 과제에 직면하는 경우가 많습니다. 다음은 일반적인 문제와 이를 해결하기 위한 전략입니다.

• 다양한 데이터 형식: 날짜, 숫자 및 통화는 지역마다 형식이 다를 수 있습니다. 일관된 구문 분석 및 서식을 보장하십시오. 예를 들어, 날짜는 DD/MM/YYYY 또는 MM/DD/YYYY 형식일 수 있습니다. 날짜 변환 및 서식을 처리하기 위해 적절한 라이브러리를 사용하십시오.
• 언어 차이: 텍스트 데이터는 다른 언어로 되어 있을 수 있으며, 번역 또는 언어별 전처리 기법이 필요합니다. Google Translate API(적절한 사용 고려 사항 및 비용 고려)를 번역에 사용하거나 NLTK를 언어별 텍스트 처리에 사용할 수 있습니다.
• 통화 변환: 금융 데이터는 다른 통화로 되어 있을 수 있습니다. 최신 환율을 사용하여 모든 값을 공통 통화로 변환하십시오. 정확하고 실시간 환율을 얻으려면 신뢰할 수 있는 API를 사용하십시오.
• 시간대: 시계열 데이터는 다른 시간대로 기록될 수 있습니다. 일관성을 보장하기 위해 모든 타임스탬프를 공통 시간대(예: UTC)로 변환하십시오. 시간대 변환을 처리하기 위해 pytz와 같은 라이브러리를 사용하십시오.
• 문화적 차이: 문화적 뉘앙스는 데이터 해석에 영향을 미칠 수 있습니다. 예를 들어, 고객 만족도 점수는 문화에 따라 다르게 해석될 수 있습니다. 이러한 뉘앙스를 인식하고 전처리 단계 설계 시 이를 고려하십시오.
• 데이터 품질 문제: 데이터 품질은 다양한 소스에 따라 크게 다를 수 있습니다. 오류를 식별하고 수정하기 위해 강력한 데이터 유효성 검사 및 정리 절차를 구현하십시오.

결론

데이터 전처리는 머신러닝 파이프라인의 중요한 단계입니다. Scikit-learn 파이프라인을 사용하면 워크플로를 간소화하고, 데이터 누출을 방지하며, 모델 성능을 향상시킬 수 있습니다. 이러한 기법을 마스터하면 다양한 응용 분야에 대한 더 강력하고 신뢰할 수 있는 머신러닝 솔루션을 구축할 수 있습니다. 데이터의 특정 특성과 머신러닝 모델의 요구 사항에 전처리 단계를 맞추는 것을 잊지 마십시오. 특정 문제에 대한 최적의 조합을 찾기 위해 다양한 기법을 실험하십시오. 적절한 데이터 전처리에 시간을 투자하면 머신러닝 알고리즘의 잠재력을 최대한 발휘하고 뛰어난 결과를 달성할 수 있습니다.