Попередня обробка Scikit-learn: опанування конвеєрів трансформації даних для машинного навчання

У сфері машинного навчання якість ваших даних безпосередньо впливає на продуктивність ваших моделей. Необроблені дані часто містять невідповідності, пропущені значення та різноманітні масштаби, що робить їх непридатними для прямого використання. Scikit-learn, потужна бібліотека Python, надає повний набір методів попередньої обробки для перетворення ваших даних у формат, придатний для алгоритмів машинного навчання. Ця стаття заглиблюється у світ попередньої обробки Scikit-learn, зосереджуючись на створенні та використанні конвеєрів трансформації даних для оптимізації ваших робочих процесів машинного навчання.

Чому попередня обробка даних є критично важливою

Попередня обробка даних – це процес очищення, трансформації та організації необроблених даних, щоб зробити їх більш придатними для моделей машинного навчання. Це життєво важливий крок, оскільки алгоритми машинного навчання чутливі до масштабу та розподілу вхідних ознак. Без належної попередньої обробки моделі можуть працювати погано, що призведе до неточних прогнозів та ненадійних результатів. Ось кілька ключових причин, чому попередня обробка даних є важливою:

• Покращення продуктивності моделі: Попередньо оброблені дані дозволяють моделям навчатися більш ефективно та досягати вищої точності.
• Обробка пропущених значень: Методи імпутації заповнюють пропущені точки даних, запобігаючи збоям алгоритмів або упередженим результатам.
• Стандартизація масштабів ознак: Методи масштабування гарантують, що всі ознаки однаково сприяють моделі, запобігаючи домінуванню ознак з більшими значеннями в процесі навчання.
• Кодування категоріальних змінних: Методи кодування перетворюють категоріальні дані в числові представлення, які алгоритми машинного навчання можуть розуміти.
• Зменшення шуму та викидів: Попередня обробка може допомогти зменшити вплив викидів та шумних даних, що призведе до більш надійних моделей.

Вступ до конвеєрів Scikit-learn

Конвеєри Scikit-learn надають спосіб об'єднати кілька кроків трансформації даних в один багаторазовий об'єкт. Це спрощує ваш код, покращує читабельність та запобігає витоку даних під час оцінки моделі. Конвеєр, по суті, є послідовністю трансформацій даних, за якою слідує кінцевий оцінювач (наприклад, класифікатор або регресор). Ось чому конвеєри настільки корисні:

• Організація коду: Конвеєри об'єднують весь робочий процес попередньої обробки даних та моделювання в єдиний блок, роблячи ваш код більш організованим і легким для підтримки.
• Запобігання витоку даних: Конвеєри гарантують, що трансформації даних застосовуються послідовно як до навчальних, так і до тестових даних, запобігаючи витоку даних, який може призвести до перенавчання та поганої генералізації.
• Спрощена оцінка моделі: Конвеєри спрощують оцінку продуктивності вашої моделі за допомогою таких методів, як перехресна перевірка, оскільки весь робочий процес попередньої обробки та моделювання застосовується послідовно до кожної складки.
• Оптимізоване розгортання: Конвеєри можна легко розгортати в виробничих середовищах, гарантуючи, що дані попередньо обробляються так само, як під час навчання.

Поширені методи попередньої обробки даних у Scikit-learn

Scikit-learn пропонує широкий спектр методів попередньої обробки. Ось деякі з найпоширеніших:

1. Масштабування та нормалізація

Масштабування та нормалізація – це методи, які використовуються для перетворення числових ознак у схожий діапазон значень. Це важливо, тому що ознаки з різними масштабами можуть непропорційно впливати на процес навчання. Scikit-learn надає кілька методів масштабування та нормалізації:

• StandardScaler: Стандартизує ознаки, видаляючи середнє та масштабуючи до одиничної дисперсії. Це широко використовуваний метод, який передбачає, що дані відповідають нормальному розподілу.

  Формула: x_scaled = (x - mean) / standard_deviation

  Приклад: Припустимо, у вас є ціни на житло в доларах США та площа. Масштабування цих ознак гарантує, що модель не надасть надмірної важливості ознаці з більшими значеннями (наприклад, цінами на житло).

• MinMaxScaler: Масштабує ознаки до вказаного діапазону, зазвичай від 0 до 1. Це корисно, коли ви хочете зберегти оригінальний розподіл даних.

  Формула: x_scaled = (x - min) / (max - min)

  Приклад: Обробка зображень часто використовує MinMaxScaler для нормалізації значень пікселів до діапазону [0, 1].

• RobustScaler: Масштабує ознаки за допомогою статистики, яка стійка до викидів, такої як медіана та міжквартильний розмах (IQR). Це хороший вибір, коли ваші дані містять викиди.

  Формула: x_scaled = (x - median) / IQR

  Приклад: У фінансових наборах даних, де викиди є поширеними (наприклад, екстремальні коливання фондового ринку), RobustScaler може надати більш стабільні результати.

• Normalizer: Нормалізує окремі зразки до одиничної норми. Це корисно, коли величина вектора ознак важливіша за значення окремих ознак.

  Формула (L2 норма): x_scaled = x / ||x||

  Приклад: У обробці тексту нормалізація векторів частоти термінів-зворотної частоти документів (TF-IDF) є поширеною практикою.

2. Кодування категоріальних змінних

Алгоритми машинного навчання зазвичай вимагають числовий вхід, тому категоріальні змінні потрібно перетворити в числові представлення. Scikit-learn пропонує кілька методів кодування:

• OneHotEncoder: Створює двійкові стовпці для кожної категорії в ознаці. Це підходить для номінальних категоріальних ознак (ознак без притаманного порядку).

  Приклад: Кодування ознаки "країна" зі значеннями "США", "Канада" та "Великобританія" створить три нові стовпці: "country_USA", "country_Canada" та "country_UK".

• OrdinalEncoder: Призначає ціле значення кожній категорії на основі її порядку. Це доцільно для порядкових категоріальних ознак (ознак з осмисленим порядком).

  Приклад: Кодування ознаки "рівень освіти" зі значеннями "Середня школа", "Бакалавр" та "Магістр" призначить цілі значення 0, 1 та 2 відповідно.

• LabelEncoder: Кодує цільові мітки значеннями від 0 до n_classes-1. Використовуйте це для кодування цільової змінної в задачах класифікації.

  Приклад: Кодування міток "спам" та "не спам" як 0 та 1 відповідно.

• TargetEncoder (потребує бібліотеки category_encoders): Кодує категоріальні ознаки на основі середнього значення цільової змінної для кожної категорії. Може призвести до витоку цільової змінної, якщо не використовується обережно в рамках перехресної перевірки.

3. Обробка пропущених значень

Пропущені значення є поширеною проблемою в реальних наборах даних. Scikit-learn надає методи для імпутації (заповнення) пропущених значень:

• SimpleImputer: Імпутує пропущені значення, використовуючи постійне значення, середнє, медіану або найчастіше значення ознаки.
• KNNImputer: Імпутує пропущені значення за допомогою алгоритму k-найближчих сусідів. Він знаходить k найближчих зразків до зразка з пропущеними значеннями та використовує середнє значення цих сусідів для імпутації пропущеного значення.
• IterativeImputer: Імпутує пропущені значення за допомогою ітераційного підходу моделювання. Кожна ознака з пропущеними значеннями моделюється як функція інших ознак, а пропущені значення прогнозуються ітераційно.

4. Трансформація ознак

Трансформація ознак включає створення нових ознак з існуючих. Це може покращити продуктивність моделі, захоплюючи нелінійні взаємозв'язки або взаємодії між ознаками. Деякі методи включають:

• PolynomialFeatures: Генерує поліноміальні комбінації ознак. Наприклад, якщо у вас є дві ознаки x1 і x2, PolynomialFeatures може створити нові ознаки, такі як x1^2, x2^2, x1*x2.
• FunctionTransformer: Застосовує користувацьку функцію до ознак. Це дозволяє виконувати довільні трансформації, такі як логарифмічні або експоненційні трансформації.
• PowerTransformer: Застосовує степеневу трансформацію, щоб зробити дані більш схожими на Гауссові. Це може бути корисно для алгоритмів, які припускають нормальність, таких як лінійна регресія. (Включає трансформації Box-Cox та Yeo-Johnson)

Побудова конвеєрів трансформації даних за допомогою Scikit-learn

Тепер давайте застосуємо ці методи попередньої обробки на практиці, побудувавши конвеєри трансформації даних. Ось покроковий посібник:

1. Імпорт необхідних бібліотек

Почніть з імпорту необхідних бібліотек з Scikit-learn:

from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScaler, OneHotEncoder, SimpleImputer from sklearn.compose import ColumnTransformer from sklearn.model_selection import train_test_split from sklearn.linear_model import LogisticRegression import pandas as pd

2. Завантаження та підготовка ваших даних

Завантажте ваш набір даних за допомогою pandas або будь-якого іншого відповідного методу. Визначте числові та категоріальні ознаки у вашому наборі даних. Наприклад:

data = { 'age': [25, 30, 35, 40, 45, None], 'country': ['USA', 'Canada', 'USA', 'UK', 'Canada', 'USA'], 'salary': [50000, 60000, 70000, 80000, 90000, 55000], 'purchased': [0, 1, 0, 1, 0, 1] } df = pd.DataFrame(data)

3. Визначення кроків попередньої обробки

Створіть екземпляри трансформерів попередньої обробки, які ви хочете використовувати. Наприклад, для обробки числових ознак ви можете використовувати StandardScaler та SimpleImputer. Для категоріальних ознак ви можете використовувати OneHotEncoder. Розгляньте можливість включення стратегій для обробки пропущених значень перед масштабуванням або кодуванням.

numerical_features = ['age', 'salary'] categorical_features = ['country'] numerical_transformer = Pipeline(steps=[ ('imputer', SimpleImputer(strategy='mean')), ('scaler', StandardScaler()) ]) categorical_transformer = Pipeline(steps=[ ('onehot', OneHotEncoder(handle_unknown='ignore')) ])

4. Створення ColumnTransformer

Використовуйте ColumnTransformer для застосування різних трансформерів до різних стовпців ваших даних. Це дозволяє окремо обробляти числові та категоріальні ознаки.

preprocessor = ColumnTransformer( transformers=[ ('num', numerical_transformer, numerical_features), ('cat', categorical_transformer, categorical_features) ])

5. Побудова конвеєра

Створіть об'єкт Pipeline, який об'єднує кроки попередньої обробки з моделлю машинного навчання. Це гарантує, що дані послідовно попередньо обробляються перед передачею моделі.

pipeline = Pipeline(steps=[('preprocessor', preprocessor), ('classifier', LogisticRegression())])

6. Тренування та оцінка моделі

Розділіть ваші дані на навчальний та тестовий набори. Потім навчіть конвеєр на навчальних даних та оцініть його продуктивність на тестових даних.

X = df.drop('purchased', axis=1) y = df['purchased'] X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) pipeline.fit(X_train, y_train) score = pipeline.score(X_test, y_test) print(f'Model accuracy: {score}')

Повний приклад коду

Ось повний код для побудови та тренування конвеєра трансформації даних:

import pandas as pd from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScaler, OneHotEncoder, SimpleImputer from sklearn.compose import ColumnTransformer from sklearn.model_selection import train_test_split from sklearn.linear_model import LogisticRegression # Зразок даних data = { 'age': [25, 30, 35, 40, 45, None], 'country': ['USA', 'Canada', 'USA', 'UK', 'Canada', 'USA'], 'salary': [50000, 60000, 70000, 80000, 90000, 55000], 'purchased': [0, 1, 0, 1, 0, 1] } df = pd.DataFrame(data) # Визначення ознак numerical_features = ['age', 'salary'] categorical_features = ['country'] # Створення трансформерів numerical_transformer = Pipeline(steps=[ ('imputer', SimpleImputer(strategy='mean')), ('scaler', StandardScaler()) ]) categorical_transformer = Pipeline(steps=[ ('onehot', OneHotEncoder(handle_unknown='ignore')) ]) # Створення препроцесора preprocessor = ColumnTransformer( transformers=[ ('num', numerical_transformer, numerical_features), ('cat', categorical_transformer, categorical_features) ]) # Створення конвеєра pipeline = Pipeline(steps=[('preprocessor', preprocessor), ('classifier', LogisticRegression())]) # Розділення даних X = df.drop('purchased', axis=1) y = df['purchased'] X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # Тренування моделі pipeline.fit(X_train, y_train) # Оцінка моделі score = pipeline.score(X_test, y_test) print(f'Model accuracy: {score}')

Розширені техніки конвеєрів

Після того, як ви освоїте основи, ви можете досліджувати більш просунуті техніки конвеєрів:

1. Користувацькі трансформери

Ви можете створювати власні користувацькі трансформери для виконання специфічних трансформацій даних, які недоступні в Scikit-learn. Щоб створити користувацький трансформер, вам потрібно успадкувати від класів TransformerMixin та BaseEstimator і реалізувати методи fit та transform. Це може бути корисно для інжинірингу ознак або трансформацій, специфічних для предметної області. Пам'ятайте про включення відповідних рядків документації для читабельності.

2. Feature Union

FeatureUnion дозволяє об'єднувати вихідні дані кількох трансформерів в один вектор ознак. Це може бути корисно, коли ви хочете застосувати різні трансформації до одних і тих же ознак або об'єднати ознаки, які були трансформовані різними способами. Клас FeatureUnion використовується для об'єднання вихідних даних кількох трансформерів в один вектор ознак.

3. Grid Search з конвеєрами

Ви можете використовувати GridSearchCV для оптимізації гіперпараметрів вашого конвеєра, включаючи гіперпараметри кроків попередньої обробки. Це дозволяє автоматично знаходити найкращу комбінацію методів попередньої обробки та параметрів моделі. Будьте обережні щодо збільшення обчислювальних витрат.

Найкращі практики для конвеєрів попередньої обробки даних

Ось кілька найкращих практик, які слід мати на увазі при побудові конвеєрів попередньої обробки даних:

• Розумійте свої дані: Перш ніж застосовувати будь-які методи попередньої обробки, витратьте час на розуміння своїх даних. Дослідіть розподіли ваших ознак, визначте пропущені значення та знайдіть викиди.
• Документуйте свій конвеєр: Додайте коментарі до свого коду, щоб пояснити кожен крок конвеєра. Це полегшить розуміння та підтримку вашого коду.
• Тестуйте свій конвеєр: Ретельно протестуйте свій конвеєр, щоб переконатися, що він працює правильно. Використовуйте модульні тести, щоб перевірити, чи кожен крок конвеєра дає очікуваний результат.
• Уникайте витоку даних: Будьте обережні, щоб уникнути витоку даних під час попередньої обробки ваших даних. Переконайтеся, що ви використовуєте лише інформацію з навчальних даних для попередньої обробки навчальних даних. Використовуйте конвеєри для забезпечення послідовності між навчальними та тестовими даними.
• Відстежуйте продуктивність: Відстежуйте продуктивність вашої моделі з часом і за потреби перетреновуйте її. Розподіли даних можуть змінюватися з часом, тому важливо періодично переоцінювати ваш конвеєр та вносити корективи за потреби.

Приклади з реального світу

Давайте розглянемо кілька прикладів з реального світу того, як конвеєри трансформації даних можуть використовуватися в різних галузях:

• Фінанси: У моделюванні кредитного ризику конвеєри можуть використовуватися для попередньої обробки даних клієнтів, включаючи числові ознаки, такі як дохід та кредитний рейтинг, а також категоріальні ознаки, такі як статус зайнятості та мета позики. Пропущені значення можуть бути імпутовані за допомогою таких методів, як середня імпутація або імпутація k-найближчих сусідів. Масштабування є критично важливим для забезпечення того, щоб ознаки з різними масштабами не домінували в моделі.
• Охорона здоров'я: У медичній діагностиці конвеєри можуть використовуватися для попередньої обробки даних пацієнтів, включаючи числові ознаки, такі як вік, артеріальний тиск та рівень холестерину, а також категоріальні ознаки, такі як стать та історія хвороби. One-hot encoding може використовуватися для перетворення категоріальних ознак у числові представлення.
• Електронна комерція: У системах рекомендацій продуктів конвеєри можуть використовуватися для попередньої обробки даних клієнтів та продуктів, включаючи числові ознаки, такі як частота покупок та рейтинги продуктів, а також категоріальні ознаки, такі як категорія продукту та демографічні дані клієнтів. Конвеєри можуть включати кроки для попередньої обробки тексту, такі як токенізація та стемінг, для вилучення ознак з описів продуктів та відгуків клієнтів.
• Виробництво: У предиктивному технічному обслуговуванні конвеєри можуть використовуватися для попередньої обробки даних сенсорів машин, включаючи числові ознаки, такі як температура, тиск та вібрація, а також категоріальні ознаки, такі як тип машини та умови експлуатації. RobustScaler може бути особливо корисним тут через потенціал для викидів у показаннях.

Вирішення проблем у глобальних наборах даних

При роботі з глобальними наборами даних ви часто стикатиметеся зі специфічними проблемами, які вимагають ретельного розгляду під час попередньої обробки. Ось деякі поширені проблеми та стратегії для їх вирішення:

• Різні формати даних: Дати, числа та валюти можуть мати різні формати в різних регіонах. Забезпечте послідовне розпізнавання та форматування. Наприклад, дати можуть бути у форматі DD/MM/YYYY або MM/DD/YYYY. Використовуйте відповідні бібліотеки для обробки перетворень дат та форматування.
• Мовні відмінності: Текстові дані можуть бути різними мовами, що вимагає перекладу або специфічних для мови методів попередньої обробки. Розгляньте можливість використання бібліотек, таких як API Google Translate (з належним урахуванням використання та витрат), для перекладу або NLTK для специфічної для мови обробки тексту.
• Конвертація валют: Фінансові дані можуть бути в різних валютах. Конвертуйте всі значення в спільну валюту, використовуючи актуальні обмінні курси. Використовуйте надійні API для отримання точних та актуальних обмінних курсів.
• Часові пояси: Дані часових рядів можуть бути записані в різних часових поясах. Конвертуйте всі мітки часу в спільний часовий пояс (наприклад, UTC) для забезпечення послідовності. Використовуйте бібліотеки, такі як pytz, для обробки перетворень часових поясів.
• Культурні відмінності: Культурні нюанси можуть впливати на інтерпретацію даних. Наприклад, оцінки задоволеності клієнтів можуть інтерпретуватися по-різному в різних культурах. Будьте уважні до цих нюансів і враховуйте їх при розробці кроків попередньої обробки.
• Проблеми якості даних: Якість даних може значно відрізнятися в різних джерелах. Впроваджуйте надійні процедури валідації та очищення даних для виявлення та виправлення помилок.

Висновок

Попередня обробка даних є критично важливим кроком у конвеєрі машинного навчання. Використовуючи конвеєри Scikit-learn, ви можете оптимізувати свій робочий процес, уникнути витоку даних та покращити продуктивність ваших моделей. Опанування цих методів дозволить вам створювати більш надійні та достовірні рішення машинного навчання для широкого спектру застосувань. Пам'ятайте про адаптацію кроків попередньої обробки до специфічних характеристик ваших даних та вимог вашої моделі машинного навчання. Експериментуйте з різними методами, щоб знайти оптимальну комбінацію для вашої конкретної проблеми. Інвестуючи час у належну попередню обробку даних, ви можете розкрити повний потенціал ваших алгоритмів машинного навчання та досягти вищих результатів.