Предварителна обработка в Scikit-learn: Овладяване на конвейери за трансформация на данни за машинно обучение

В областта на машинното обучение качеството на вашите данни пряко влияе върху производителността на вашите модели. Суровите данни често съдържат несъответствия, липсващи стойности и различни мащаби, което ги прави неподходящи за директна употреба. Scikit-learn, мощна библиотека на Python, предоставя изчерпателен набор от техники за предварителна обработка, за да трансформирате данните си във формат, подходящ за алгоритми за машинно обучение. Тази статия се потапя в света на предварителната обработка в Scikit-learn, като се фокусира върху създаването и използването на конвейери за трансформация на данни, за да се оптимизират вашите работни потоци за машинно обучение.

Защо предварителната обработка на данни е от решаващо значение

Предварителната обработка на данни е процес на почистване, трансформиране и организиране на сурови данни, за да станат по-подходящи за модели за машинно обучение. Това е жизненоважна стъпка, тъй като алгоритмите за машинно обучение са чувствителни към мащаба и разпределението на входните признаци. Без подходяща предварителна обработка моделите могат да се представят лошо, което води до неточни прогнози и ненадеждни резултати. Ето някои ключови причини, поради които предварителната обработка на данни е от съществено значение:

• Подобрена производителност на модела: Предварително обработените данни позволяват на моделите да се учат по-ефективно и да постигат по-висока точност.
• Справяне с липсващи стойности: Техниките за заместване (imputation) попълват липсващите точки от данни, предотвратявайки сривове на алгоритмите или генериране на предубедени резултати.
• Стандартизира мащабите на признаците: Методите за мащабиране гарантират, че всички признаци допринасят еднакво за модела, предотвратявайки доминирането на признаци с по-големи стойности в процеса на обучение.
• Кодира категорийни променливи: Техниките за кодиране преобразуват категорийните данни в числови представяния, които алгоритмите за машинно обучение могат да разберат.
• Намалява шума и аномалиите: Предварителната обработка може да помогне за смекчаване на въздействието на аномалиите и шумните данни, което води до по-стабилни модели.

Въведение в конвейерите на Scikit-learn

Конвейерите (Pipelines) на Scikit-learn предоставят начин за свързване на множество стъпки за трансформация на данни в един, многократно използваем обект. Това опростява вашия код, подобрява четливостта и предотвратява изтичането на данни по време на оценката на модела. Конвейерът е по същество последователност от трансформации на данни, последвана от краен оценител (например класификатор или регресор). Ето защо конвейерите са толкова полезни:

• Организация на кода: Конвейерите капсулират целия работен процес на предварителна обработка на данни и моделиране в един модул, което прави кода ви по-организиран и лесен за поддръжка.
• Предотвратяване на изтичане на данни: Конвейерите гарантират, че трансформациите на данни се прилагат последователно както към данните за обучение, така и към данните за тестване, предотвратявайки изтичането на данни, което може да доведе до пренастройване (overfitting) и лоша генерализация.
• Опростена оценка на модела: Конвейерите улесняват оценката на производителността на вашия модел, използвайки техники като кръстосана валидация, тъй като целият работен процес на предварителна обработка и моделиране се прилага последователно към всяка част (fold).
• Оптимизирано внедряване: Конвейерите могат лесно да бъдат внедрени в производствени среди, като се гарантира, че данните се обработват предварително по същия начин, както по време на обучението.

Често срещани техники за предварителна обработка на данни в Scikit-learn

Scikit-learn предлага широк набор от техники за предварителна обработка. Ето някои от най-често използваните:

1. Мащабиране и нормализация

Мащабирането и нормализацията са техники, използвани за трансформиране на числовите признаци до сходен диапазон от стойности. Това е важно, тъй като признаци с различни мащаби могат непропорционално да повлияят на процеса на обучение. Scikit-learn предоставя няколко метода за мащабиране и нормализация:

• StandardScaler: Стандартизира признаците чрез премахване на средната стойност и мащабиране до единична дисперсия. Това е широко използвана техника, която предполага, че данните следват нормално разпределение.

  Формула: x_scaled = (x - mean) / standard_deviation

  Пример: Да предположим, че имате цени на къщи в USD и площ в квадратни метри. Мащабирането на тези признаци гарантира, че моделът няма да придаде неоправдано голямо значение на признака с по-големи стойности (напр. цените на къщите).

• MinMaxScaler: Мащабира признаците до определен диапазон, обикновено между 0 и 1. Това е полезно, когато искате да запазите оригиналното разпределение на данните.

  Формула: x_scaled = (x - min) / (max - min)

  Пример: Обработката на изображения често използва MinMaxScaler за нормализиране на стойностите на пикселите в диапазона [0, 1].

• RobustScaler: Мащабира признаците, използвайки статистики, които са устойчиви на аномалии, като медианата и междуквартилния размах (IQR). Това е добър избор, когато данните ви съдържат аномалии.

  Формула: x_scaled = (x - median) / IQR

  Пример: Във финансови набори от данни, където аномалиите са често срещани (напр. екстремни колебания на фондовия пазар), RobustScaler може да осигури по-стабилни резултати.

• Normalizer: Нормализира пробите индивидуално до единична норма. Това е полезно, когато величината на вектора на признаците е по-важна от индивидуалните стойности на признаците.

  Формула (L2 норма): x_scaled = x / ||x||

  Пример: При обработката на текст, нормализирането на векторите на честота на термини-обратна честота на документи (TF-IDF) е често срещана практика.

2. Кодиране на категорийни променливи

Алгоритмите за машинно обучение обикновено изискват числови данни, така че категорийните променливи трябва да бъдат преобразувани в числови представяния. Scikit-learn предлага няколко техники за кодиране:

• OneHotEncoder: Създава двоични колони за всяка категория в признака. Това е подходящо за номинални категорийни признаци (признаци без вроден ред).

  Пример: Кодирането на признак „държава“ със стойности като „САЩ“, „Канада“ и „Обединеното кралство“ би създало три нови колони: „държава_САЩ“, „държава_Канада“ и „държава_ОК“.

• OrdinalEncoder: Присвоява целочислена стойност на всяка категория въз основа на нейния ред. Това е подходящо за ординални категорийни признаци (признаци със смислен ред).

  Пример: Кодирането на признак „ниво на образование“ със стойности като „Средно образование“, „Бакалавър“ и „Магистър“ би присвоило целочислени стойности като 0, 1 и 2 съответно.

• LabelEncoder: Кодира целевите етикети със стойности между 0 и n_classes-1. Използвайте това за кодиране на целевата променлива в задачи за класификация.

  Пример: Кодиране на етикети „спам“ и „не е спам“ като 0 и 1 съответно.

• TargetEncoder (изисква библиотека category_encoders): Кодира категорийните признаци въз основа на средната стойност на целевата променлива за всяка категория. Може да доведе до изтичане на целева информация, ако не се използва внимателно в рамките на кръстосана валидация.

3. Справяне с липсващи стойности

Липсващите стойности са често срещан проблем в реални набори от данни. Scikit-learn предоставя техники за заместване (запълване) на липсващи стойности:

• SimpleImputer: Замества липсващите стойности, използвайки константна стойност, средната стойност, медианата или най-често срещаната стойност на признака.
• KNNImputer: Замества липсващите стойности, използвайки алгоритъма k-най-близки съседи. Той намира k-те най-близки проби до пробата с липсващи стойности и използва средната стойност на тези съседи, за да замести липсващата стойност.
• IterativeImputer: Замества липсващите стойности, използвайки итеративен подход на моделиране. Всеки признак с липсващи стойности се моделира като функция на останалите признаци, а липсващите стойности се прогнозират итеративно.

4. Трансформация на признаци

Трансформацията на признаци включва създаване на нови признаци от съществуващи. Това може да подобри производителността на модела, като улови нелинейни връзки или взаимодействия между признаците. Някои техники включват:

• PolynomialFeatures: Генерира полиномни комбинации от признаци. Например, ако имате два признака x1 и x2, PolynomialFeatures може да създаде нови признаци като x1^2, x2^2, x1*x2.
• FunctionTransformer: Прилага персонализирана функция към признаците. Това ви позволява да извършвате произволни трансформации, като логаритмични или експоненциални трансформации.
• PowerTransformer: Прилага степенна трансформация, за да направи данните по-подобни на Гаусово разпределение. Това може да бъде полезно за алгоритми, които приемат нормалност, като например линейна регресия. (Включва трансформации на Box-Cox и Yeo-Johnson)

Изграждане на конвейери за трансформация на данни със Scikit-learn

Сега, нека приложим тези техники за предварителна обработка на практика, като изградим конвейери за трансформация на данни. Ето ръководство стъпка по стъпка:

1. Импортирайте необходимите библиотеки

Започнете с импортиране на необходимите библиотеки от Scikit-learn:

from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScaler, OneHotEncoder, SimpleImputer from sklearn.compose import ColumnTransformer from sklearn.model_selection import train_test_split from sklearn.linear_model import LogisticRegression import pandas as pd

2. Заредете и подгответе вашите данни

Заредете вашия набор от данни, използвайки pandas или друг подходящ метод. Идентифицирайте числовите и категорийните признаци във вашия набор от данни. Например:

data = { 'age': [25, 30, 35, 40, 45, None], 'country': ['USA', 'Canada', 'USA', 'UK', 'Canada', 'USA'], 'salary': [50000, 60000, 70000, 80000, 90000, 55000], 'purchased': [0, 1, 0, 1, 0, 1] } df = pd.DataFrame(data)

3. Дефинирайте стъпките за предварителна обработка

Създайте инстанции на трансформаторите за предварителна обработка, които искате да използвате. Например, за да обработите числови признаци, може да използвате StandardScaler и SimpleImputer. За категорийни признаци можете да използвате OneHotEncoder. Обмислете включването на стратегии за справяне с липсващи стойности преди мащабиране или кодиране.

numerical_features = ['age', 'salary'] categorical_features = ['country'] numerical_transformer = Pipeline(steps=[ ('imputer', SimpleImputer(strategy='mean')), ('scaler', StandardScaler()) ]) categorical_transformer = Pipeline(steps=[ ('onehot', OneHotEncoder(handle_unknown='ignore')) ])

4. Създайте ColumnTransformer

Използвайте ColumnTransformer, за да приложите различни трансформатори към различни колони на вашите данни. Това ви позволява да обработвате предварително числови и категорийни признаци поотделно.

preprocessor = ColumnTransformer( transformers=[ ('num', numerical_transformer, numerical_features), ('cat', categorical_transformer, categorical_features) ])

5. Изградете конвейера

Създайте обект Pipeline, който свързва стъпките за предварителна обработка с модел за машинно обучение. Това гарантира, че данните се обработват предварително последователно, преди да бъдат подадени на модела.

pipeline = Pipeline(steps=[('preprocessor', preprocessor), ('classifier', LogisticRegression())])

6. Обучете и оценете модела

Разделете данните си на набори за обучение и тестване. След това обучете конвейера върху данните за обучение и оценете неговата производителност върху данните за тестване.

X = df.drop('purchased', axis=1) y = df['purchased'] X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) pipeline.fit(X_train, y_train) score = pipeline.score(X_test, y_test) print(f'Model accuracy: {score}')

Пълен примерен код

Ето пълния код за изграждане и обучение на конвейер за трансформация на данни:

import pandas as pd from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScaler, OneHotEncoder, SimpleImputer from sklearn.compose import ColumnTransformer from sklearn.model_selection import train_test_split from sklearn.linear_model import LogisticRegression # Sample Data data = { 'age': [25, 30, 35, 40, 45, None], 'country': ['USA', 'Canada', 'USA', 'UK', 'Canada', 'USA'], 'salary': [50000, 60000, 70000, 80000, 90000, 55000], 'purchased': [0, 1, 0, 1, 0, 1] } df = pd.DataFrame(data) # Define features numerical_features = ['age', 'salary'] categorical_features = ['country'] # Create transformers numerical_transformer = Pipeline(steps=[ ('imputer', SimpleImputer(strategy='mean')), ('scaler', StandardScaler()) ]) categorical_transformer = Pipeline(steps=[ ('onehot', OneHotEncoder(handle_unknown='ignore')) ]) # Create preprocessor preprocessor = ColumnTransformer( transformers=[ ('num', numerical_transformer, numerical_features), ('cat', categorical_transformer, categorical_features) ]) # Create pipeline pipeline = Pipeline(steps=[('preprocessor', preprocessor), ('classifier', LogisticRegression())]) # Split data X = df.drop('purchased', axis=1) y = df['purchased'] X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # Train model pipeline.fit(X_train, y_train) # Evaluate model score = pipeline.score(X_test, y_test) print(f'Model accuracy: {score}')

Усъвършенствани техники за конвейери

След като се почувствате комфортно с основите, можете да изследвате по-усъвършенствани техники за конвейери:

1. Персонализирани трансформатори

Можете да създавате свои собствени персонализирани трансформатори, за да извършвате специфични трансформации на данни, които не са налични в Scikit-learn. За да създадете персонализиран трансформатор, трябва да наследите от класовете TransformerMixin и BaseEstimator и да имплементирате методите fit и transform. Това може да бъде полезно за инженеринг на признаци или специфични за домейна трансформации. Не забравяйте да включите подходящи docstrings за четливост.

2. Обединение на признаци (Feature Union)

FeatureUnion ви позволява да комбинирате изхода от множество трансформатори в един вектор на признаци. Това може да бъде полезно, когато искате да приложите различни трансформации на едни и същи признаци или да комбинирате признаци, които са били трансформирани по различни начини. Класът FeatureUnion се използва за комбиниране на изхода от множество трансформатори в един вектор на признаци.

3. Търсене в мрежа с конвейери (Grid Search with Pipelines)

Можете да използвате GridSearchCV, за да оптимизирате хиперпараметрите на вашия конвейер, включително хиперпараметрите на стъпките за предварителна обработка. Това ви позволява автоматично да намерите най-добрата комбинация от техники за предварителна обработка и параметри на модела. Бъдете внимателни относно увеличените изчислителни разходи.

Добри практики за конвейери за предварителна обработка на данни

Ето някои добри практики, които да имате предвид при изграждането на конвейери за предварителна обработка на данни:

• Разберете данните си: Преди да приложите каквито и да било техники за предварителна обработка, отделете време да разберете данните си. Изследвайте разпределенията на вашите признаци, идентифицирайте липсващите стойности и търсете аномалии.
• Документирайте своя конвейер: Добавете коментари към кода си, за да обясните всяка стъпка от конвейера. Това ще улесни разбирането и поддръжката на вашия код.
• Тествайте своя конвейер: Тествайте щателно своя конвейер, за да се уверите, че работи правилно. Използвайте единични тестове, за да проверите дали всяка стъпка от конвейера произвежда очаквания изход.
• Избягвайте изтичане на данни: Бъдете внимателни, за да избегнете изтичане на данни при предварителната обработка на вашите данни. Уверете се, че използвате само информация от данните за обучение, за да обработвате предварително данните за обучение. Използвайте конвейери, за да осигурите последователност между данните за обучение и тестване.
• Наблюдавайте производителността: Наблюдавайте производителността на вашия модел с течение на времето и го преобучавайте, ако е необходимо. Разпределенията на данните могат да се променят с времето, така че е важно периодично да преоценявате своя конвейер и да правите корекции, ако е необходимо.

Примери от реалния свят

Нека разгледаме някои примери от реалния свят за това как конвейерите за трансформация на данни могат да се използват в различни индустрии:

• Финанси: При моделирането на кредитен риск конвейерите могат да се използват за предварителна обработка на данни за клиенти, включително числови признаци като доход и кредитен рейтинг, както и категорийни признаци като трудов статус и цел на заема. Липсващите стойности могат да бъдат заместени с помощта на техники като заместване със средна стойност или заместване с k-най-близки съседи. Мащабирането е от решаващо значение, за да се гарантира, че признаци с различни мащаби няма да доминират в модела.
• Здравеопазване: В медицинската диагностика конвейерите могат да се използват за предварителна обработка на данни за пациенти, включително числови признаци като възраст, кръвно налягане и нива на холестерол, както и категорийни признаци като пол и медицинска история. One-hot кодирането може да се използва за преобразуване на категорийни признаци в числови представяния.
• Електронна търговия: В системите за препоръчване на продукти конвейерите могат да се използват за предварителна обработка на данни за клиенти и продукти, включително числови признаци като честота на покупките и оценки на продукти, както и категорийни признаци като категория на продукта и демографски данни на клиентите. Конвейерите могат да включват стъпки за предварителна обработка на текст, като токенизация и стеминг, за извличане на признаци от описания на продукти и отзиви на клиенти.
• Производство: В предиктивната поддръжка конвейерите могат да се използват за предварителна обработка на сензорни данни от машини, включително числови признаци като температура, налягане и вибрации, както и категорийни признаци като тип на машината и работни условия. RobustScaler може да бъде особено полезен тук поради потенциала за аномални показания.

Справяне с предизвикателствата при глобални набори от данни

Когато работите с глобални набори от данни, често ще се сблъскате със специфични предизвикателства, които изискват внимателно обмисляне по време на предварителната обработка. Ето някои често срещани проблеми и стратегии за справяне с тях:

• Различни формати на данни: Дати, числа и валути могат да имат различни формати в различните региони. Осигурете последователно анализиране и форматиране. Например, датите може да са във формат ДД/ММ/ГГГГ или ММ/ДД/ГГГГ. Използвайте подходящи библиотеки за обработка на преобразувания и форматиране на дати.
• Езикови различия: Текстовите данни може да са на различни езици, което изисква превод или специфични за езика техники за предварителна обработка. Обмислете използването на библиотеки като Google Translate API (с подходящи съображения за употреба и разходи) за превод или NLTK за специфична за езика обработка на текст.
• Конвертиране на валута: Финансовите данни може да са в различни валути. Преобразувайте всички стойности в обща валута, като използвате актуални обменни курсове. Използвайте надеждни API, за да получите точни и реални обменни курсове.
• Часови зони: Данните от времеви серии може да са записани в различни часови зони. Преобразувайте всички времеви клейма в обща часова зона (напр. UTC), за да осигурите последователност. Използвайте библиотеки като pytz за обработка на преобразувания на часови зони.
• Културни различия: Културните нюанси могат да повлияят на интерпретацията на данните. Например, оценките за удовлетвореност на клиентите могат да се тълкуват по различен начин в различните култури. Бъдете наясно с тези нюанси и ги вземете предвид при проектирането на стъпките за предварителна обработка.
• Проблеми с качеството на данните: Качеството на данните може да варира значително в различните източници. Внедрете стабилни процедури за валидиране и почистване на данни, за да идентифицирате и коригирате грешки.

Заключение

Предварителната обработка на данни е критична стъпка в конвейера за машинно обучение. Като използвате конвейери на Scikit-learn, можете да оптимизирате работния си процес, да предотвратите изтичане на данни и да подобрите производителността на своите модели. Овладяването на тези техники ще ви даде възможност да изграждате по-стабилни и надеждни решения за машинно обучение за широк спектър от приложения. Не забравяйте да адаптирате стъпките за предварителна обработка към специфичните характеристики на вашите данни и изискванията на вашия модел за машинно обучение. Експериментирайте с различни техники, за да намерите оптималната комбинация за вашия конкретен проблем. Като инвестирате време в правилна предварителна обработка на данни, можете да отключите пълния потенциал на вашите алгоритми за машинно обучение и да постигнете превъзходни резултати.