Selezione delle Funzionalità con Scikit-learn: Dominare la Riduzione della Dimensionalità per Dataset Globali

Nell'universo in continua espansione dei dati, l'enorme volume di funzionalità può sopraffare anche i modelli di machine learning più sofisticati. Questo fenomeno, spesso definito "maledizione della dimensionalità", può portare a un aumento dei costi computazionali, a una riduzione dell'accuratezza del modello e a una minore capacità di interpretabilità. Fortunatamente, le tecniche di selezione delle funzionalità e di riduzione della dimensionalità offrono potenti soluzioni. Scikit-learn, un pilastro dell'ecosistema di machine learning di Python, fornisce una ricca suite di strumenti per affrontare queste sfide in modo efficace, rendendolo una risorsa indispensabile per gli scienziati dei dati di tutto il mondo.

Questa guida completa approfondirà le complessità delle capacità di selezione delle funzionalità di Scikit-learn, concentrandosi sulla riduzione della dimensionalità. Esploreremo varie metodologie, i loro principi sottostanti, l'implementazione pratica con esempi di codice e le considerazioni per diversi dataset globali. Il nostro obiettivo è quello di dotare voi, il nostro pubblico globale di aspiranti e esperti professionisti dei dati, delle conoscenze necessarie per prendere decisioni informate sulla selezione delle funzionalità, portando a modelli di machine learning più efficienti, accurati e interpretabili.

Comprendere la Riduzione della Dimensionalità

Prima di immergerci negli strumenti specifici di Scikit-learn, è fondamentale cogliere i concetti fondamentali della riduzione della dimensionalità. Questo processo comporta la trasformazione dei dati da uno spazio ad alta dimensionalità a uno spazio a dimensionalità inferiore, preservando il maggior numero possibile di informazioni importanti. I vantaggi sono molteplici:

• Riduzione dell'Overfitting: Meno funzionalità significano un modello più semplice, meno propenso a imparare il rumore nei dati di training.
• Tempi di Training Più Rapidi: I modelli con meno funzionalità si addestrano significativamente più velocemente.
• Migliore Interpretabilità del Modello: Comprendere le relazioni tra meno funzionalità è più facile.
• Riduzione dello Spazio di Archiviazione: Una dimensionalità inferiore richiede meno memoria.
• Riduzione del Rumore: Le funzionalità irrilevanti o ridondanti possono essere eliminate, portando a dati più puliti.

La riduzione della dimensionalità può essere ampiamente suddivisa in due approcci principali:

1. Selezione delle Funzionalità

Questo approccio prevede la selezione di un sottoinsieme delle funzionalità originali più rilevanti per il problema in questione. Le funzionalità originali vengono mantenute, ma il loro numero è ridotto. Pensateci come identificare gli ingredienti più efficaci per una ricetta e scartare il resto.

2. Estrazione delle Funzionalità

Questo approccio trasforma le funzionalità originali in un nuovo, più piccolo insieme di funzionalità. Queste nuove funzionalità sono combinazioni o proiezioni di quelle originali, mirando a catturare la varianza o le informazioni più significative nei dati. Questo è simile alla creazione di un'essenza distillata degli ingredienti originali.

Scikit-learn offre strumenti potenti per entrambi questi approcci. Ci concentreremo sulle tecniche che contribuiscono alla riduzione della dimensionalità, spesso attraverso la selezione o l'estrazione delle funzionalità.

Metodi di Selezione delle Funzionalità in Scikit-learn

Scikit-learn offre diversi modi per eseguire la selezione delle funzionalità. Questi possono essere ampiamente raggruppati in tre categorie:

1. Metodi di Filtro

I metodi di filtro valutano la rilevanza delle funzionalità in base alle loro proprietà intrinseche, indipendentemente da qualsiasi modello di machine learning specifico. Sono generalmente veloci e computazionalmente poco costosi, rendendoli ideali per l'esplorazione iniziale dei dati o quando si ha a che fare con dataset molto grandi. Le metriche comuni includono correlazione, informazione mutua e test statistici.

a) Selezione delle Funzionalità Basata sulla Correlazione

Le funzionalità altamente correlate con la variabile target sono considerate importanti. Al contrario, le funzionalità altamente correlate tra loro (multicollinearità) potrebbero essere ridondanti e possono essere considerate per la rimozione. Il modulo feature_selection di Scikit-learn offre strumenti per assistere in questo.

Esempio: Soglia di Varianza

Le funzionalità con varianza molto bassa potrebbero non fornire molto potere discriminante. La classe VarianceThreshold rimuove le funzionalità la cui varianza non soddisfa una certa soglia. Questo è particolarmente utile per le funzionalità numeriche.

            
from sklearn.feature_selection import VarianceThreshold
import numpy as np

X = [[0, 2, 0, 3], [0, 1, 4, 3], [0, 1, 1, 3]]
selector = VarianceThreshold(threshold=0.0)
selector.fit_transform(X)
# Output: array([[2, 0, 3], [1, 4, 3], [1, 1, 3]])

            

              
                Copy
              
            
          

In questo esempio, la prima funzionalità (tutti zeri) ha varianza zero e viene rimossa. Questo è un modo semplice ma efficace per scartare funzionalità costanti o quasi costanti che non offrono alcun potere predittivo.

Esempio: Correlazione con il Target (usando Pandas e SciPy)

Sebbene Scikit-learn non abbia una funzione diretta di alto livello per la correlazione con il target su tutti i tipi di funzionalità, è un comune passaggio di pre-elaborazione. Possiamo usare Pandas e SciPy per questo.

            
import pandas as pd
import numpy as np
from scipy.stats import pearsonr

# Sample data
data = {
    'feature1': np.random.rand(100),
    'feature2': np.random.rand(100) * 2,
    'feature3': np.random.rand(100) - 1,
    'target': np.random.randint(0, 2, 100)
}
df = pd.DataFrame(data)

# Calculate Pearson correlation with the target
correlations = df.corr()['target'].drop('target')

# Select features with correlation above a certain threshold (e.g., 0.2)
selected_features = correlations[abs(correlations) > 0.2].index.tolist()
print(f"Features correlated with target: {selected_features}")

            

              
                Copy
              
            
          

Questo snippet dimostra come identificare le funzionalità che hanno una relazione lineare con la variabile target. Per i target binari, la correlazione punto-biseriale è rilevante, e per i target categorici, altri test statistici sono più appropriati.

b) Test Statistici

I metodi di filtro possono anche impiegare test statistici per misurare la dipendenza tra le funzionalità e la variabile target. Questi sono particolarmente utili quando si ha a che fare con funzionalità categoriche o quando si possono fare ipotesi specifiche sulla distribuzione dei dati.

Il modulo feature_selection di Scikit-learn fornisce:

• f_classif: Valore F ANOVA tra etichetta/funzionalità per task di classificazione. Presuppone che le funzionalità siano numeriche e il target sia categorico.
• f_regression: Valore F tra etichetta/funzionalità per task di regressione. Presuppone che le funzionalità siano numeriche e il target sia numerico.
• mutual_info_classif: Informazione mutua per una variabile target discreta. Può gestire relazioni non lineari.
• mutual_info_regression: Informazione mutua per una variabile target continua.
• chi2: Statistiche Chi-quadro di funzionalità non negative per task di classificazione. Usato per funzionalità categoriche.

Esempio: Usare f_classif e SelectKBest

SelectKBest è un meta-trasformatore che consente di selezionare le funzionalità in base a una funzione di punteggio scelta (come f_classif).

            
from sklearn.datasets import load_iris
from sklearn.feature_selection import SelectKBest, f_classif

iris = load_iris()
X, y = iris.data, iris.target

# Select the top 2 features using f_classif
selector = SelectKBest(score_func=f_classif, k=2)
X_new = selector.fit_transform(X, y)

print(f"Original shape: {X.shape}")
print(f"Reduced shape: {X_new.shape}")

# To see which features were selected:
selected_indices = selector.get_support(indices=True)
print(f"Selected feature indices: {selected_indices}")
print(f"Selected feature names: {[iris.feature_names[i] for i in selected_indices]}")

            

              
                Copy
              
            
          

Questo esempio mostra come scegliere le 'k' migliori funzionalità in base alla loro significatività statistica per la classificazione. Il valore F in f_classif misura essenzialmente la varianza tra i gruppi (classi) rispetto alla varianza all'interno dei gruppi. Un valore F più alto indica una relazione più forte tra la funzionalità e il target.

Considerazione Globale: Quando si lavora con dataset provenienti da diverse regioni (ad esempio, dati di sensori da climi variabili, dati finanziari da diversi sistemi economici), le proprietà statistiche delle funzionalità possono variare significativamente. Comprendere le ipotesi di questi test statistici (ad esempio, normalità per ANOVA) è cruciale, e i test non parametrici come l'informazione mutua potrebbero essere più robusti in scenari diversi.

2. Metodi Wrapper

I metodi wrapper utilizzano un modello di machine learning specifico per valutare la qualità dei sottoinsiemi di funzionalità. Essi 'avvolgono' un processo di training del modello all'interno di una strategia di ricerca per trovare il set ottimale di funzionalità. Sebbene generalmente più accurati dei metodi di filtro, sono computazionalmente molto più costosi a causa del training ripetuto del modello.

a) Eliminazione Ricorsiva delle Funzionalità (RFE)

RFE funziona rimuovendo ricorsivamente le funzionalità. Inizia addestrando un modello sull'intero set di funzionalità, quindi rimuove le funzionalità meno importanti in base ai coefficienti del modello o alle importanze delle funzionalità. Questo processo viene ripetuto fino a raggiungere il numero desiderato di funzionalità.

            
from sklearn.datasets import make_classification
from sklearn.feature_selection import RFE
from sklearn.linear_model import LogisticRegression

# Generate synthetic data
X, y = make_classification(n_samples=100, n_features=20, n_informative=10, n_redundant=5, random_state=42)

# Use a Logistic Regression model (can be any model that supports coef_ or feature_importances_)
estimator = LogisticRegression(solver='liblinear')

# Initialize RFE to select top 5 features
selector = RFE(estimator, n_features_to_select=5, step=1)
selector = selector.fit(X, y)

X_new = selector.transform(X)

print(f"Original shape: {X.shape}")
print(f"Reduced shape: {X_new.shape}")

# To see which features were selected:
selected_indices = selector.get_support(indices=True)
print(f"Selected feature indices: {selected_indices}")

            

              
                Copy
              
            
          

RFE è potente perché considera le interazioni tra le funzionalità come valutate dal modello scelto. Il parametro step controlla quante funzionalità vengono rimosse a ogni iterazione.

b) Selezione Sequenziale delle Funzionalità (SFS)

Sebbene non sia una classe diretta nel core feature_selection di Scikit-learn, la Selezione Sequenziale delle Funzionalità è un approccio concettuale spesso implementato utilizzando stimatori di Scikit-learn. Implica o la Selezione in Avanti (partendo con un set vuoto e aggiungendo le funzionalità una per una) o l'Eliminazione all'Indietro (partendo con tutte le funzionalità e rimuovendole una per una). SequentialFeatureSelector di Scikit-learn in sklearn.feature_selection implementa questo.

            
from sklearn.feature_selection import SequentialFeatureSelector
from sklearn.linear_model import LogisticRegression
from sklearn.datasets import make_classification

X, y = make_classification(n_samples=100, n_features=20, n_informative=10, n_redundant=5, random_state=42)

estimator = LogisticRegression(solver='liblinear')

# Forward selection: add features until desired number is reached
sfs_forward = SequentialFeatureSelector(
    estimator, n_features_to_select=10, direction='forward', cv=5)
sfs_forward.fit(X, y)
X_new_forward = sfs_forward.transform(X)

print(f"Forward Selection - Reduced shape: {X_new_forward.shape}")

# Backward selection: start with all features and remove
sfs_backward = SequentialFeatureSelector(
    estimator, n_features_to_select=10, direction='backward', cv=5)
sfs_backward.fit(X, y)
X_new_backward = sfs_backward.transform(X)

print(f"Backward Selection - Reduced shape: {X_new_backward.shape}")

            

              
                Copy
              
            
          

Il parametro cv in SequentialFeatureSelector indica la cross-validazione, che aiuta a rendere la selezione delle funzionalità più robusta e meno soggetta all'overfitting dei dati di training. Questa è una considerazione critica quando si applicano questi metodi a livello globale, poiché la qualità e la distribuzione dei dati possono variare immensamente.

3. Metodi Incorporati

I metodi incorporati eseguono la selezione delle funzionalità come parte del processo di training del modello. Hanno il vantaggio di essere computazionalmente meno costosi dei metodi wrapper pur considerando le interazioni tra le funzionalità. Molti modelli regolarizzati rientrano in questa categoria.

a) Regolarizzazione L1 (Lasso)

Modelli come Lasso (Least Absolute Shrinkage and Selection Operator) nei modelli lineari utilizzano la regolarizzazione L1. Questa tecnica aggiunge una penalità al valore assoluto dei coefficienti, il che può portare alcuni coefficienti a essere esattamente zero. Le funzionalità con coefficienti zero vengono effettivamente rimosse.

            
from sklearn.linear_model import Lasso
from sklearn.datasets import make_regression

# Generate synthetic data
X, y = make_regression(n_samples=100, n_features=20, n_informative=10, random_state=42, noise=10)

# Lasso with alpha (regularization strength)
# A higher alpha leads to more regularization and potentially more zero coefficients
lasso = Lasso(alpha=0.1, random_state=42)
lasso.fit(X, y)

# Get the number of non-zero coefficients (selected features)
non_zero_features = np.sum(lasso.coef_ != 0)
print(f"Number of features selected by Lasso: {non_zero_features}")

# To get the actual selected features:
selected_features_mask = lasso.coef_ != 0
X_new = X[:, selected_features_mask]
print(f"Reduced shape: {X_new.shape}")

            

              
                Copy
              
            
          

LassoCV può essere utilizzato per trovare automaticamente il valore ottimale di alpha tramite cross-validazione.

b) Importanze delle Funzionalità Basate su Alberi

I metodi ensemble come RandomForestClassifier, GradientBoostingClassifier e ExtraTreesClassifier forniscono intrinsecamente le importanze delle funzionalità. Queste vengono calcolate in base a quanto ciascuna funzionalità contribuisce a ridurre l'impurità o l'errore tra gli alberi nell'ensemble. Le funzionalità con bassa importanza possono essere rimosse.

            
from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_breast_cancer

cancer = load_breast_cancer()
X, y = cancer.data, cancer.target

model = RandomForestClassifier(n_estimators=100, random_state=42)
model.fit(X, y)

# Get feature importances
importances = model.feature_importances_

# Sort features by importance
indices = np.argsort(importances)[::-1]

print("Feature ranking:")
for f in range(X.shape[1]):
    print(f"{f + 1}. feature {indices[f]} ({cancer.feature_names[indices[f]]}) - {importances[indices[f]]:.4f}")

# Select top N features (e.g., top 10)
N = 10
selected_features_mask = np.zeros(X.shape[1], dtype=bool)
selected_features_mask[indices[:N]] = True

X_new = X[:, selected_features_mask]
print(f"Reduced shape after selecting top {N} features: {X_new.shape}")

            

              
                Copy
              
            
          

I metodi basati su alberi sono potenti perché possono catturare relazioni non lineari e interazioni tra le funzionalità. Sono ampiamente applicabili in vari domini, dalla diagnostica medica (come nell'esempio) al rilevamento di frodi finanziarie in diversi mercati.

Estrazione delle Funzionalità per la Riduzione della Dimensionalità

Mentre la selezione delle funzionalità mantiene le funzionalità originali, l'estrazione delle funzionalità crea un nuovo set ridotto di funzionalità. Questo è particolarmente utile quando le funzionalità originali sono altamente correlate o quando si desidera proiettare i dati in uno spazio a dimensionalità inferiore che catturi la maggior parte della varianza.

1. Analisi delle Componenti Principali (PCA)

La PCA è una tecnica di trasformazione lineare che mira a trovare un set di assi ortogonali (componenti principali) che catturino la massima varianza nei dati. La prima componente principale cattura la maggior parte della varianza, la seconda cattura la successiva maggiore (ortogonale alla prima), e così via. Mantenendo solo le prime 'k' componenti principali, otteniamo la riduzione della dimensionalità.

Nota Importante: La PCA è sensibile alla scala delle funzionalità. È cruciale scalare i dati (ad esempio, usando StandardScaler) prima di applicare la PCA.

            
from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA
from sklearn.datasets import load_wine

wine = load_wine()
X, y = wine.data, wine.target

# Scale the data
X_scaled = StandardScaler().fit_transform(X)

# Initialize PCA to reduce to 2 components
pca = PCA(n_components=2)
X_pca = pca.fit_transform(X_scaled)

print(f"Original shape: {X.shape}")
print(f"Reduced shape after PCA: {X_pca.shape}")

# The explained variance ratio shows how much variance each component captures
print(f"Explained variance ratio: {pca.explained_variance_ratio_}")
print(f"Total explained variance: {np.sum(pca.explained_variance_ratio_):.4f}")

            

              
                Copy
              
            
          

La PCA è eccellente per visualizzare dati ad alta dimensionalità riducendoli a 2 o 3 dimensioni. È una tecnica fondamentale nell'analisi esplorativa dei dati e può accelerare significativamente i successivi passaggi di modellazione. La sua efficacia è osservata in domini come l'elaborazione delle immagini e la genetica.

2. Analisi Discriminante Lineare (LDA)

A differenza della PCA, che è non supervisionata e mira a massimizzare la varianza, l'LDA è una tecnica supervisionata che mira a trovare una rappresentazione a dimensionalità inferiore che massimizzi la separabilità tra le classi. È usata principalmente per compiti di classificazione.

Nota Importante: L'LDA richiede anche che le funzionalità siano scalate. Inoltre, il numero di componenti in LDA è limitato a un massimo di n_classes - 1.

            
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
from sklearn.preprocessing import StandardScaler
from sklearn.datasets import load_iris

iris = load_iris()
X, y = iris.data, iris.target

# Scale the data
X_scaled = StandardScaler().fit_transform(X)

# Initialize LDA. Number of components cannot exceed n_classes - 1 (which is 2 for Iris)
lda = LinearDiscriminantAnalysis(n_components=2)
X_lda = lda.fit_transform(X_scaled, y)

print(f"Original shape: {X.shape}")
print(f"Reduced shape after LDA: {X_lda.shape}")

# LDA also has explained_variance_ratio_ but it's class separability
print(f"Explained variance ratio (class separability): {lda.explained_variance_ratio_}")

            

              
                Copy
              
            
          

L'LDA è particolarmente utile quando l'obiettivo è costruire un classificatore in grado di distinguere bene tra diverse categorie nei dati, il che è una sfida comune in molte applicazioni globali come la segmentazione dei clienti o la classificazione delle malattie.

3. t-Distributed Stochastic Neighbor Embedding (t-SNE)

t-SNE è una tecnica non lineare di riduzione della dimensionalità utilizzata principalmente per visualizzare dataset ad alta dimensionalità. Funziona mappando i punti dati ad alta dimensionalità in uno spazio a bassa dimensionalità (tipicamente 2D o 3D) in modo che punti simili siano modellati da distanze simili nello spazio a bassa dimensionalità. Eccelle nel rivelare strutture locali e cluster all'interno dei dati.

Nota Importante: t-SNE è computazionalmente costoso e viene generalmente utilizzato per la visualizzazione piuttosto che come fase di pre-elaborazione per il training del modello. I risultati possono anche variare con diverse inizializzazioni casuali e impostazioni dei parametri.

            
from sklearn.manifold import TSNE
from sklearn.datasets import load_digits
import matplotlib.pyplot as plt

digits = load_digits()
X, y = digits.data, digits.target

# For demonstration, we'll use a subset of the data as t-SNE can be slow
subset_indices = np.random.choice(len(X), 1000, replace=False)
X_subset = X[subset_indices]
y_subset = y[subset_indices]

# Initialize t-SNE with 2 components
# perplexity is related to the number of nearest neighbors (e.g., 30 is common)
# n_iter is the number of iterations for optimization
tsne = TSNE(n_components=2, perplexity=30, n_iter=300, random_state=42)
X_tsne = tsne.fit_transform(X_subset)

print(f"Original subset shape: {X_subset.shape}")
print(f"Reduced shape after t-SNE: {X_tsne.shape}")

# Plotting the results (optional, for visualization)
plt.figure(figsize=(10, 8))
scatter = plt.scatter(X_tsne[:, 0], X_tsne[:, 1], c=y_subset, cmap='viridis', alpha=0.7)
plt.title('t-SNE visualization of Digits dataset')
plt.xlabel('t-SNE component 1')
plt.ylabel('t-SNE component 2')
plt.legend(*scatter.legend_elements(), title='Classes')
plt.show()

            

              
                Copy
              
            
          

t-SNE è inestimabile per comprendere la struttura inerente di dati complessi e ad alta dimensionalità incontrati in campi come la genomica o l'analisi dei social network, offrendo intuizioni visive su modelli che altrimenti potrebbero rimanere nascosti.

Scegliere la Tecnica Giusta per Dataset Globali

La selezione del metodo appropriato di selezione o estrazione delle funzionalità non è una decisione univoca. Diversi fattori, particolarmente cruciali per i dataset globali, influenzano questa scelta:

• Natura dei Dati: I vostri dati sono numerici, categorici o misti? Ci sono distribuzioni note? Ad esempio, chi2 è adatto per funzionalità categoriche non negative, mentre f_classif è per funzionalità numeriche e un target categorico.
• Tipo di Modello: I modelli lineari potrebbero beneficiare della regolarizzazione L1, mentre i modelli basati su alberi forniscono naturalmente le importanze.
• Risorse Computazionali: I metodi di filtro sono i più veloci, seguiti dai metodi incorporati, e poi dai metodi wrapper e t-SNE.
• Requisiti di Interpretabilità: Se spiegare *perché* viene fatta una previsione è fondamentale, i metodi di selezione delle funzionalità che mantengono le funzionalità originali (come RFE o L1) sono spesso preferiti rispetto ai metodi di estrazione delle funzionalità (come PCA) che creano componenti astratti.
• Linearità vs. Non Linearità: PCA e i modelli lineari assumono relazioni lineari, mentre t-SNE e i metodi basati su alberi possono catturare modelli non lineari.
• Supervisionato vs. Non Supervisionato: LDA è supervisionato (usa la variabile target), mentre PCA è non supervisionato.
• Scala e Unità: Per PCA e LDA, la scalatura delle funzionalità è essenziale. Considerare le differenze di scala nei dati raccolti da diverse regioni globali. Ad esempio, i valori di valuta o le letture dei sensori potrebbero avere scale molto diverse tra paesi o tipi di sensori.
• Sfumature Culturali e Regionali: Quando si lavora con dataset che coinvolgono il comportamento umano, la demografia o il sentiment da diversi contesti culturali, l'interpretazione delle funzionalità può essere complessa. Una funzionalità altamente predittiva in una regione potrebbe essere irrilevante o addirittura fuorviante in un'altra a causa di diverse norme sociali, condizioni economiche o metodologie di raccolta dati. Considerare sempre l'esperienza di dominio quando si valuta l'importanza delle funzionalità tra popolazioni diverse.

Approfondimenti Azionabili:

• Iniziare Semplice: Iniziare con metodi di filtro (ad esempio, Soglia di Varianza, test statistici) per una valutazione rapida e per rimuovere il rumore ovvio.
• Iterare e Valutare: Sperimentare con diversi metodi e valutarne l'impatto sulle prestazioni del modello utilizzando metriche appropriate e cross-validazione.
• Visualizzare: Utilizzare tecniche come PCA o t-SNE per visualizzare i dati in dimensioni inferiori, il che può rivelare strutture sottostanti e informare la strategia di selezione delle funzionalità.
• L'Esperienza di Dominio è Fondamentale: Collaborare con esperti di dominio per comprendere il significato e la rilevanza delle funzionalità, specialmente quando si tratta di dati globali complessi.
• Considerare Approcci Ensemble: Combinare più tecniche di selezione delle funzionalità può talvolta produrre risultati migliori rispetto all'affidarsi a un singolo metodo.

Pipeline di Scikit-learn per un Workflow Integrato

L'oggetto Pipeline di Scikit-learn è eccezionalmente utile per integrare i passaggi di pre-elaborazione, inclusa la selezione/estrazione delle funzionalità, con il training del modello. Ciò garantisce che la selezione delle funzionalità sia eseguita in modo coerente all'interno di ogni fold di cross-validazione, prevenendo la fuga di dati e producendo risultati più affidabili. Questo è particolarmente critico quando si costruiscono modelli che verranno distribuiti in diversi mercati globali.

            
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.feature_selection import SelectKBest, f_classif
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split, cross_val_score
from sklearn.datasets import load_breast_cancer

bc = load_breast_cancer()
X, y = bc.data, bc.target

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# Create a pipeline that first scales, then selects features, then trains a classifier
pipe = Pipeline([
    ('scaler', StandardScaler()),
    ('selector', SelectKBest(score_func=f_classif, k=10)),
    ('classifier', LogisticRegression(solver='liblinear'))
])

# Train the pipeline
pipe.fit(X_train, y_train)

# Evaluate the pipeline using cross-validation
cv_scores = cross_val_score(pipe, X_train, y_train, cv=5)
print(f"Cross-validation scores: {cv_scores}")
print(f"Average CV score: {np.mean(cv_scores):.4f}")

# Make predictions on the test set
accuracy = pipe.score(X_test, y_test)
print(f"Test set accuracy: {accuracy:.4f}")

            

              
                Copy
              
            
          

L'utilizzo delle pipeline garantisce che l'intero processo – dalla scalatura alla selezione delle funzionalità alla classificazione – sia trattato come un'unica entità. Questa è una best practice per lo sviluppo di modelli robusti, specialmente quando i modelli sono destinati alla distribuzione globale, dove una performance coerente su diverse distribuzioni di dati è fondamentale.

Conclusione

La riduzione della dimensionalità tramite la selezione e l'estrazione delle funzionalità è un passo vitale nella costruzione di modelli di machine learning efficienti, robusti e interpretabili. Scikit-learn fornisce una cassetta degli attrezzi completa per affrontare queste sfide, potenziando gli scienziati dei dati di tutto il mondo. Comprendendo le diverse metodologie — metodi di filtro, wrapper, incorporati e tecniche di estrazione delle funzionalità come PCA e LDA — è possibile prendere decisioni informate su misura per il proprio dataset e i propri obiettivi specifici.

Per il nostro pubblico globale, le considerazioni si estendono oltre le sole scelte algoritmiche. Comprendere la provenienza dei dati, i potenziali bias introdotti dalla raccolta di funzionalità in diverse regioni e le specifiche esigenze di interpretabilità degli stakeholder locali sono cruciali. L'impiego di strumenti come la Pipeline di Scikit-learn garantisce un flusso di lavoro strutturato e riproducibile, essenziale per la distribuzione di soluzioni AI affidabili in diversi contesti internazionali.

Mentre navigate le complessità della moderna scienza dei dati, padroneggiare le capacità di selezione delle funzionalità di Scikit-learn sarà senza dubbio una risorsa significativa, consentendovi di sbloccare il pieno potenziale dei vostri dati, indipendentemente dalla loro origine.