Python Scikit-learn: Пользовательские оценщики: Подробное руководство по реализации алгоритмов

Scikit-learn - это мощная и широко используемая библиотека Python для машинного обучения. Хотя она предоставляет обширную коллекцию предварительно созданных алгоритмов, бывают ситуации, когда вам нужно реализовать свои собственные алгоритмы. К счастью, scikit-learn предлагает гибкую структуру для создания пользовательских оценщиков, позволяющую легко интегрировать ваши алгоритмы в экосистему scikit-learn. Это подробное руководство проведет вас через процесс создания пользовательских оценщиков, от понимания основ до реализации передовых методов. Мы также рассмотрим примеры из реального мира, чтобы проиллюстрировать практическое применение пользовательских оценщиков.

Зачем создавать пользовательские оценщики?

Прежде чем углубляться в детали реализации, давайте поймем, зачем вам может понадобиться создавать пользовательские оценщики:

• Реализация новых алгоритмов: Scikit-learn не охватывает все возможные алгоритмы машинного обучения. Если вы разработали новый алгоритм или хотите реализовать исследовательскую работу, создание пользовательского оценщика - это то, что вам нужно.
• Настройка существующих алгоритмов: Возможно, вы захотите изменить существующий алгоритм scikit-learn, чтобы лучше соответствовать вашим конкретным потребностям. Пользовательские оценщики позволяют расширять или адаптировать существующую функциональность.
• Интеграция с внешними библиотеками: Возможно, вы захотите использовать алгоритмы из других библиотек Python, которые напрямую несовместимы с scikit-learn. Пользовательские оценщики обеспечивают мост между этими библиотеками и API scikit-learn.
• Улучшение повторного использования кода: Инкапсулируя ваш алгоритм в пользовательский оценщик, вы можете легко повторно использовать его в разных проектах и делиться им с другими.
• Улучшение интеграции конвейера: Пользовательские оценщики легко интегрируются с конвейерами scikit-learn, позволяя создавать сложные рабочие процессы машинного обучения.

Понимание основ оценщиков Scikit-learn

По сути, оценщик scikit-learn - это класс Python, который реализует методы fit и predict (а иногда и другие методы, такие как transform или fit_transform). Эти методы определяют поведение оценщика во время обучения и прогнозирования. Существует два основных типа оценщиков:

• Трансформаторы: Эти оценщики преобразуют данные из одного формата в другой. Примеры включают StandardScaler, PCA и OneHotEncoder. Обычно они реализуют методы fit и transform.
• Модели (предикторы): Эти оценщики изучают модель на основе данных и используют ее для прогнозирования. Примеры включают LinearRegression, DecisionTreeClassifier и KMeans. Обычно они реализуют методы fit и predict.

Оба типа оценщиков используют общий API, что позволяет использовать их взаимозаменяемо в конвейерах и других инструментах scikit-learn.

Создание простого пользовательского трансформатора

Давайте начнем с простого примера пользовательского трансформатора. Этот трансформатор будет масштабировать каждую функцию на постоянный коэффициент. Этот трансформатор похож на `StandardScaler`, но проще и позволяет указать собственный коэффициент масштабирования.

            
from sklearn.base import BaseEstimator, TransformerMixin
import numpy as np

class FeatureScaler(BaseEstimator, TransformerMixin):
    def __init__(self, factor=1.0):
        self.factor = factor

    def fit(self, X, y=None):
        # No fitting needed for this transformer
        return self

    def transform(self, X):
        return X * self.factor

            

              
                Copy
              
            
          

Вот разбивка кода:

• Наследование: Мы наследуемся от BaseEstimator и TransformerMixin. BaseEstimator предоставляет основные функции, такие как get_params и set_params, а TransformerMixin предоставляет реализацию по умолчанию для fit_transform (который вызывает fit, а затем transform).
• __init__: Это конструктор. Он принимает коэффициент масштабирования в качестве аргумента и сохраняет его в атрибуте self.factor. Важно определить параметры вашего оценщика в конструкторе.
• fit: Этот метод вызывается для приведения трансформатора в соответствие с данными. В этом случае нам не нужно ничего узнавать из данных, поэтому мы просто возвращаем self. Аргумент y часто не используется для трансформаторов, но он необходим для совместимости с API scikit-learn.
• transform: Этот метод вызывается для преобразования данных. Мы просто умножаем каждую функцию на коэффициент масштабирования.

Теперь давайте посмотрим, как использовать этот пользовательский трансформатор:

            
# Example Usage
from sklearn.pipeline import Pipeline

X = np.array([[1, 2], [3, 4], [5, 6]])

# Create a FeatureScaler with a factor of 2
scaler = FeatureScaler(factor=2.0)

# Transform the data
X_transformed = scaler.transform(X)

print(X_transformed)
# Output:
# [[ 2.  4.]
#  [ 6.  8.]
#  [10. 12.]]

# Using in a pipeline
pipe = Pipeline([('scaler', FeatureScaler(factor=3.0))])
X_transformed_pipeline = pipe.fit_transform(X)
print(X_transformed_pipeline)
# Output:
# [[ 3.  6.]
#  [ 9. 12.]
#  [15. 18.]]

            

              
                Copy
              
            
          

Создание простой пользовательской модели (предиктора)

Далее давайте создадим простую пользовательскую модель. Эта модель будет прогнозировать среднее значение обучающих данных для всех будущих прогнозов. Хотя это не особенно полезно, это демонстрирует основную структуру пользовательского предиктора.

            
from sklearn.base import BaseEstimator, RegressorMixin
import numpy as np

class MeanPredictor(BaseEstimator, RegressorMixin):
    def __init__(self):
        self.mean_ = None

    def fit(self, X, y):
        self.mean_ = np.mean(y)
        return self

    def predict(self, X):
        return np.full(X.shape[0], self.mean_)

            

              
                Copy
              
            
          

Вот разбивка кода:

• Наследование: Мы наследуемся от BaseEstimator и RegressorMixin. RegressorMixin предоставляет реализации по умолчанию для методов, связанных с регрессией (хотя мы не используем их в этом примере).
• __init__: Мы инициализируем self.mean_ значением None. Этот атрибут будет хранить среднее значение целевой переменной после приведения в соответствие.
• fit: Этот метод вычисляет среднее значение целевой переменной y и сохраняет его в self.mean_.
• predict: Этот метод возвращает массив той же длины, что и входной X, при этом каждый элемент равен сохраненному среднему значению.

Теперь давайте посмотрим, как использовать эту пользовательскую модель:

            
# Example Usage
X = np.array([[1], [2], [3]])
y = np.array([10, 20, 30])

# Create a MeanPredictor
predictor = MeanPredictor()

# Fit the model
predictor.fit(X, y)

# Predict on new data
X_new = np.array([[4], [5], [6]])
y_pred = predictor.predict(X_new)

print(y_pred)
# Output:
# [20. 20. 20.]

            

              
                Copy
              
            
          

Реализация проверки параметров

Крайне важно проверять параметры, передаваемые вашим пользовательским оценщикам. Это помогает предотвратить неожиданное поведение и предоставляет пользователям информативные сообщения об ошибках. Вы можете использовать функцию check_estimator из sklearn.utils.estimator_checks, чтобы автоматически протестировать свой оценщик на соответствие набору общих проверок.

Сначала давайте изменим FeatureScaler, чтобы включить проверку параметров:

            
from sklearn.base import BaseEstimator, TransformerMixin
from sklearn.utils import validation

class FeatureScaler(BaseEstimator, TransformerMixin):
    def __init__(self, factor=1.0):
        self.factor = factor

    def fit(self, X, y=None):
        # Validate the input
        self.factor = validation.check_scalar(
            self.factor,
            'factor',
            target_type=float,
            min_val=0.0,
            include_boundaries=True
        )
        return self

    def transform(self, X):
        validation.check_is_fitted(self)
        X = validation.check_array(X)
        return X * self.factor

            

              
                Copy
              
            
          

Вот что мы добавили:

• validation.check_scalar: Мы используем эту функцию в методе fit, чтобы проверить, что параметр factor является числом с плавающей запятой, больше или равным 0.
• validation.check_is_fitted: Мы используем эту функцию в методе `transform`, чтобы убедиться, что оценщик был приведен в соответствие перед преобразованием данных.
• validation.check_array: Мы используем эту функцию для проверки того, что входной `X` является допустимым массивом.

Теперь давайте используем check_estimator для проверки нашего оценщика:

            
from sklearn.utils.estimator_checks import check_estimator

# Perform checks
check_estimator(FeatureScaler)

            

              
                Copy
              
            
          

Если с вашим оценщиком возникнут какие-либо проблемы (например, неверные типы параметров или отсутствующие методы), check_estimator выдаст ошибку. Это мощный инструмент для обеспечения соответствия ваших пользовательских оценщиков API scikit-learn.

Обработка гиперпараметров с помощью GridSearchCV

Одним из ключевых преимуществ создания пользовательских оценщиков является то, что вы можете использовать их с инструментами настройки гиперпараметров scikit-learn, такими как GridSearchCV и RandomizedSearchCV. Чтобы ваш оценщик был совместим с этими инструментами, вам необходимо убедиться, что его параметры доступны и изменяемы. Обычно это обрабатывается автоматически благодаря классу `BaseEstimator`.

Давайте продемонстрируем это на примере FeatureScaler. Мы будем использовать GridSearchCV, чтобы найти оптимальный коэффициент масштабирования:

            
from sklearn.model_selection import GridSearchCV
from sklearn.pipeline import Pipeline
import numpy as np

# Create a pipeline with the FeatureScaler
pipe = Pipeline([('scaler', FeatureScaler())])

# Define the parameter grid
param_grid = {'scaler__factor': [0.5, 1.0, 1.5, 2.0]}

# Create a GridSearchCV object
grid_search = GridSearchCV(pipe, param_grid, cv=3, scoring='r2') # Using R^2 as an example scoring metric.

# Generate some sample data
X = np.array([[1, 2], [3, 4], [5, 6], [7, 8], [9, 10]])
y = np.array([2, 4, 6, 8, 10])

# Fit the grid search
grid_search.fit(X, y)

# Print the best parameters and score
print("Best parameters:", grid_search.best_params_)
print("Best score:", grid_search.best_score_)

            

              
                Copy
              
            
          

В этом примере мы определяем сетку параметров, которая указывает значения параметра factor для поиска. Затем GridSearchCV оценивает конвейер с каждой комбинацией параметров и возвращает лучший набор. Обратите внимание на соглашение об именах `scaler__factor` для доступа к параметрам на этапе конвейера.

Продвинутые методы: Обработка сложных типов данных и пропущенных значений

Пользовательские оценщики также можно использовать для обработки сложных типов данных и пропущенных значений. Например, может потребоваться создать трансформатор, который заполняет пропущенные значения с использованием стратегии, зависящей от домена, или преобразует категориальные признаки в числовые представления. Ключевым моментом является тщательное рассмотрение конкретных требований ваших данных и реализация соответствующей логики в методах fit и transform.

Рассмотрим пример пользовательского трансформатора, который заполняет пропущенные значения с использованием медианы:

            
from sklearn.base import BaseEstimator, TransformerMixin
import numpy as np

class MedianImputer(BaseEstimator, TransformerMixin):
    def __init__(self):
        self.median_ = None

    def fit(self, X, y=None):
        # Calculate the median for each column
        self.median_ = np.nanmedian(X, axis=0)
        return self

    def transform(self, X):
        # Impute missing values with the median
        X_imputed = np.where(np.isnan(X), self.median_, X)
        return X_imputed

            

              
                Copy
              
            
          

В этом примере метод fit вычисляет медиану для каждого столбца во входных данных, игнорируя пропущенные значения (np.nan). Затем метод transform заменяет любые пропущенные значения во входных данных соответствующей медианой.

Вот как это использовать:

            
# Example Usage
X = np.array([[1, 2, np.nan], [3, np.nan, 5], [np.nan, 4, 6]])

# Create a MedianImputer
imputer = MedianImputer()

# Fit the imputer
imputer.fit(X)

# Transform the data
X_imputed = imputer.transform(X)

print(X_imputed)
# Output:
# [[1.  2.  5.5]
#  [3.  4.  5. ]
#  [2.  4.  6. ]]

            

              
                Copy
              
            
          

Примеры из реального мира и варианты использования

Давайте рассмотрим несколько примеров из реального мира, когда пользовательские оценщики могут быть особенно полезны:

• Разработка признаков временных рядов: Возможно, вам потребуется создать пользовательский трансформатор, который извлекает признаки из данных временных рядов, такие как скользящая статистика или запаздывающие значения. Например, на финансовых рынках вы можете создать оценщик, который вычисляет скользящее среднее и стандартное отклонение цен акций за определенное окно. Затем этот оценщик можно использовать в конвейере для прогнозирования будущих цен акций. Размер окна может быть гиперпараметром, настроенным с помощью `GridSearchCV`.
• Обработка естественного языка (NLP): Вы можете создать пользовательский трансформатор, который выполняет очистку текста или извлечение признаков с использованием методов, недоступных напрямую в scikit-learn. Например, может потребоваться реализовать собственный стеммер или лемматизатор, адаптированный к конкретному языку или домену. Вы также можете интегрировать внешние библиотеки, такие как NLTK или spaCy, в свой пользовательский оценщик.
• Обработка изображений: Возможно, потребуется создать пользовательский трансформатор, который применяет определенные операции обработки изображений, такие как фильтрация или обнаружение краев, перед передачей изображений в модель машинного обучения. Это может включать интеграцию с такими библиотеками, как OpenCV или scikit-image. Например, оценщик может нормализовать яркость и контрастность медицинских изображений перед обучением модели для обнаружения опухолей.
• Системы рекомендаций: Вы можете создать пользовательский оценщик, который реализует алгоритмы совместной фильтрации, такие как разложение матриц, для создания персонализированных рекомендаций. Это может включать интеграцию с такими библиотеками, как Surprise или implicit. Например, система рекомендаций фильмов может использовать пользовательский оценщик для прогнозирования оценок пользователей на основе их прошлых предпочтений и оценок других пользователей.
• Анализ геопространственных данных: Создавайте пользовательские трансформаторы для работы с данными о местоположении. Это может включать вычисление расстояний между точками, выполнение пространственных объединений или извлечение признаков из географических фигур. Например, вы можете вычислить расстояние каждого клиента от ближайшего местоположения магазина, чтобы информировать маркетинговые стратегии.

Рекомендации по созданию пользовательских оценщиков

Чтобы ваши пользовательские оценщики были надежными, удобными в обслуживании и совместимыми со scikit-learn, следуйте этим рекомендациям:

• Наследуйтесь от BaseEstimator и соответствующего Mixin: Это обеспечивает основную функциональность и обеспечивает совместимость с API scikit-learn.
• Реализуйте __init__, fit и transform (или predict): Эти методы составляют основу вашего оценщика.
• Проверяйте входные параметры: Используйте sklearn.utils.validation для проверки параметров, передаваемых вашему оценщику.
• Правильно обрабатывайте пропущенные значения: Решите, как ваш оценщик должен обрабатывать пропущенные значения, и реализуйте соответствующую логику.
• Документируйте свой код: Предоставьте четкую и краткую документацию для вашего оценщика, включая его назначение, параметры и использование. Используйте строки документации, соответствующие соглашению NumPy/SciPy, для обеспечения согласованности.
• Проверяйте свой код: Используйте sklearn.utils.estimator_checks для проверки вашего оценщика на соответствие набору общих проверок. Кроме того, напишите модульные тесты, чтобы убедиться, что ваш оценщик работает правильно.
• Следуйте соглашениям Scikit-learn: Придерживайтесь стиля кодирования и соглашений API scikit-learn, чтобы обеспечить согласованность и удобство обслуживания.
• Рассмотрите возможность использования декораторов: При необходимости используйте декораторы, такие как @validate_arguments из таких библиотек, как `typing-extensions`, чтобы упростить проверку параметров.

Заключение

Создание пользовательских оценщиков в scikit-learn позволяет расширить его функциональность и реализовать собственные алгоритмы машинного обучения. Следуя рекомендациям и лучшим практикам, изложенным в этом руководстве, вы можете создавать надежные, удобные в обслуживании и многократно используемые оценщики, которые легко интегрируются в экосистему scikit-learn. Независимо от того, реализуете ли вы новые алгоритмы, настраиваете существующие или интегрируетесь с внешними библиотеками, пользовательские оценщики предоставляют мощный инструмент для решения сложных задач машинного обучения.

Не забудьте тщательно протестировать и задокументировать свои пользовательские оценщики, чтобы обеспечить их качество и удобство использования. Благодаря твердому пониманию API scikit-learn и немного творчества вы можете использовать пользовательские оценщики для создания сложных решений машинного обучения, адаптированных к вашим конкретным потребностям. Удачи!