Lựa chọn Đặc trưng trong Scikit-learn: Làm chủ Kỹ thuật Giảm chiều Dữ liệu cho Tập dữ liệu Toàn cầu

Trong vũ trụ dữ liệu không ngừng mở rộng, khối lượng đặc trưng khổng lồ có thể áp đảo ngay cả những mô hình học máy tinh vi nhất. Hiện tượng này, thường được gọi là "lời nguyền của số chiều", có thể dẫn đến tăng chi phí tính toán, giảm độ chính xác của mô hình và làm suy giảm khả năng diễn giải. May mắn thay, các kỹ thuật lựa chọn đặc trưng và giảm chiều dữ liệu mang lại những giải pháp mạnh mẽ. Scikit-learn, một nền tảng của hệ sinh thái học máy Python, cung cấp một bộ công cụ phong phú để giải quyết những thách thức này một cách hiệu quả, biến nó thành một nguồn tài nguyên không thể thiếu cho các nhà khoa học dữ liệu trên toàn thế giới.

Hướng dẫn toàn diện này sẽ đi sâu vào sự phức tạp của các khả năng lựa chọn đặc trưng của Scikit-learn, tập trung vào việc giảm chiều dữ liệu. Chúng ta sẽ khám phá các phương pháp luận khác nhau, các nguyên tắc cơ bản, việc triển khai thực tế với các ví dụ mã lệnh, và những cân nhắc cho các tập dữ liệu toàn cầu đa dạng. Mục tiêu của chúng tôi là trang bị cho bạn, khán giả toàn cầu của chúng tôi gồm những người thực hành dữ liệu đầy tham vọng và dày dạn kinh nghiệm, kiến thức để đưa ra quyết định sáng suốt về lựa chọn đặc trưng, dẫn đến các mô hình học máy hiệu quả, chính xác và dễ diễn giải hơn.

Hiểu về Giảm chiều Dữ liệu

Trước khi chúng ta đi sâu vào các công cụ cụ thể của Scikit-learn, điều quan trọng là phải nắm bắt các khái niệm cơ bản về giảm chiều dữ liệu. Quá trình này bao gồm việc biến đổi dữ liệu từ không gian nhiều chiều sang không gian ít chiều hơn trong khi vẫn giữ lại càng nhiều thông tin quan trọng càng tốt. Lợi ích là rất nhiều:

• Giảm Quá khớp (Overfitting): Ít đặc trưng hơn đồng nghĩa với mô hình đơn giản hơn, ít có xu hướng học nhiễu trong dữ liệu huấn luyện.
• Thời gian Huấn luyện Nhanh hơn: Các mô hình có ít đặc trưng hơn sẽ huấn luyện nhanh hơn đáng kể.
• Cải thiện Khả năng Diễn giải Mô hình: Việc hiểu mối quan hệ giữa các đặc trưng ít hơn sẽ dễ dàng hơn.
• Giảm Không gian Lưu trữ: Dữ liệu có số chiều thấp hơn yêu cầu ít bộ nhớ hơn.
• Giảm Nhiễu: Các đặc trưng không liên quan hoặc dư thừa có thể được loại bỏ, dẫn đến dữ liệu sạch hơn.

Giảm chiều dữ liệu có thể được phân loại rộng rãi thành hai cách tiếp cận chính:

1. Lựa chọn Đặc trưng (Feature Selection)

Cách tiếp cận này bao gồm việc chọn một tập hợp con các đặc trưng ban đầu có liên quan nhất đến vấn đề đang giải quyết. Các đặc trưng ban đầu được giữ lại, nhưng số lượng của chúng bị giảm đi. Hãy nghĩ về nó như việc xác định các thành phần có tác động mạnh nhất cho một công thức và loại bỏ phần còn lại.

2. Trích xuất Đặc trưng (Feature Extraction)

Cách tiếp cận này biến đổi các đặc trưng ban đầu thành một tập hợp đặc trưng mới, nhỏ hơn. Các đặc trưng mới này là sự kết hợp hoặc phép chiếu của các đặc trưng ban đầu, nhằm mục đích nắm bắt phương sai hoặc thông tin quan trọng nhất trong dữ liệu. Điều này tương tự như việc tạo ra một tinh chất cô đặc từ các thành phần ban đầu.

Scikit-learn cung cấp các công cụ mạnh mẽ cho cả hai cách tiếp cận này. Chúng ta sẽ tập trung vào các kỹ thuật góp phần giảm chiều dữ liệu, thường thông qua việc lựa chọn hoặc trích xuất đặc trưng.

Các Phương pháp Lựa chọn Đặc trưng trong Scikit-learn

Scikit-learn cung cấp nhiều cách để thực hiện lựa chọn đặc trưng. Chúng có thể được nhóm rộng rãi thành ba loại:

1. Phương pháp Lọc (Filter Methods)

Các phương pháp lọc đánh giá mức độ liên quan của các đặc trưng dựa trên các thuộc tính nội tại của chúng, độc lập với bất kỳ mô hình học máy cụ thể nào. Chúng thường nhanh và ít tốn kém về mặt tính toán, khiến chúng trở nên lý tưởng cho việc khám phá dữ liệu ban đầu hoặc khi xử lý các tập dữ liệu rất lớn. Các số liệu phổ biến bao gồm tương quan, thông tin tương hỗ và các kiểm định thống kê.

a) Lựa chọn Đặc trưng dựa trên Tương quan

Các đặc trưng có tương quan cao với biến mục tiêu được coi là quan trọng. Ngược lại, các đặc trưng có tương quan cao với nhau (đa cộng tuyến) có thể là dư thừa và có thể được xem xét loại bỏ. Mô-đun feature_selection của Scikit-learn cung cấp các công cụ để hỗ trợ việc này.

Ví dụ: Ngưỡng Phương sai (Variance Threshold)

Các đặc trưng có phương sai rất thấp có thể không cung cấp nhiều sức mạnh phân biệt. Lớp VarianceThreshold loại bỏ các đặc trưng có phương sai không đạt một ngưỡng nhất định. Điều này đặc biệt hữu ích cho các đặc trưng số.

            
from sklearn.feature_selection import VarianceThreshold
import numpy as np

X = [[0, 2, 0, 3], [0, 1, 4, 3], [0, 1, 1, 3]]
selector = VarianceThreshold(threshold=0.0)
selector.fit_transform(X)
# Output: array([[2, 0, 3], [1, 4, 3], [1, 1, 3]])

            

              
                Copy
              
            
          

Trong ví dụ này, đặc trưng đầu tiên (tất cả là số không) có phương sai bằng không và bị loại bỏ. Đây là một cách cơ bản nhưng hiệu quả để loại bỏ các đặc trưng không đổi hoặc gần như không đổi không có sức mạnh dự đoán.

Ví dụ: Tương quan với Mục tiêu (sử dụng Pandas và SciPy)

Mặc dù Scikit-learn không có một hàm cấp cao trực tiếp để tính tương quan với mục tiêu trên tất cả các loại đặc trưng, nhưng đây là một bước tiền xử lý phổ biến. Chúng ta có thể sử dụng Pandas và SciPy cho việc này.

            
import pandas as pd
import numpy as np
from scipy.stats import pearsonr

# Sample data
data = {
    'feature1': np.random.rand(100),
    'feature2': np.random.rand(100) * 2,
    'feature3': np.random.rand(100) - 1,
    'target': np.random.randint(0, 2, 100)
}
df = pd.DataFrame(data)

# Calculate Pearson correlation with the target
correlations = df.corr()['target'].drop('target')

# Select features with correlation above a certain threshold (e.g., 0.2)
selected_features = correlations[abs(correlations) > 0.2].index.tolist()
print(f"Features correlated with target: {selected_features}")

            

              
                Copy
              
            
          

Đoạn mã này minh họa cách xác định các đặc trưng có mối quan hệ tuyến tính với biến mục tiêu. Đối với các mục tiêu nhị phân, tương quan điểm-nhị phân là phù hợp, và đối với các mục tiêu phân loại, các kiểm định thống kê khác sẽ thích hợp hơn.

b) Kiểm định Thống kê

Các phương pháp lọc cũng có thể sử dụng các kiểm định thống kê để đo lường sự phụ thuộc giữa các đặc trưng và biến mục tiêu. Chúng đặc biệt hữu ích khi xử lý các đặc trưng phân loại hoặc khi có thể đưa ra các giả định cụ thể về phân phối dữ liệu.

Mô-đun feature_selection của Scikit-learn cung cấp:

• f_classif: Giá trị F-ANOVA giữa nhãn/đặc trưng cho các tác vụ phân loại. Giả định các đặc trưng là số và mục tiêu là phân loại.
• f_regression: Giá trị F giữa nhãn/đặc trưng cho các tác vụ hồi quy. Giả định các đặc trưng là số và mục tiêu là số.
• mutual_info_classif: Thông tin tương hỗ cho một biến mục tiêu rời rạc. Có thể xử lý các mối quan hệ phi tuyến.
• mutual_info_regression: Thông tin tương hỗ cho một biến mục tiêu liên tục.
• chi2: Thống kê Chi-bình phương của các đặc trưng không âm cho các tác vụ phân loại. Được sử dụng cho các đặc trưng phân loại.

Ví dụ: Sử dụng `f_classif` và `SelectKBest`

SelectKBest là một bộ biến đổi meta cho phép bạn chọn các đặc trưng dựa trên một hàm tính điểm đã chọn (như f_classif).

            
from sklearn.datasets import load_iris
from sklearn.feature_selection import SelectKBest, f_classif

iris = load_iris()
X, y = iris.data, iris.target

# Select the top 2 features using f_classif
selector = SelectKBest(score_func=f_classif, k=2)
X_new = selector.fit_transform(X, y)

print(f"Original shape: {X.shape}")
print(f"Reduced shape: {X_new.shape}")

# To see which features were selected:
selected_indices = selector.get_support(indices=True)
print(f"Selected feature indices: {selected_indices}")
print(f"Selected feature names: {[iris.feature_names[i] for i in selected_indices]}")

            

              
                Copy
              
            
          

Ví dụ này cho thấy cách chọn 'k' đặc trưng tốt nhất dựa trên ý nghĩa thống kê của chúng cho việc phân loại. Giá trị F trong f_classif về cơ bản đo lường phương sai giữa các nhóm (lớp) so với phương sai trong các nhóm. Một giá trị F cao hơn cho thấy một mối quan hệ mạnh mẽ hơn giữa đặc trưng và mục tiêu.

Lưu ý cho Dữ liệu Toàn cầu: Khi làm việc với các tập dữ liệu từ các khu vực khác nhau (ví dụ: dữ liệu cảm biến từ các vùng khí hậu đa dạng, dữ liệu tài chính từ các hệ thống kinh tế khác nhau), các thuộc tính thống kê của các đặc trưng có thể thay đổi đáng kể. Hiểu các giả định của các kiểm định thống kê này (ví dụ: tính chuẩn cho ANOVA) là rất quan trọng, và các kiểm định phi tham số như thông tin tương hỗ có thể mạnh mẽ hơn trong các kịch bản đa dạng.

2. Phương pháp Bao (Wrapper Methods)

Các phương pháp bao sử dụng một mô hình học máy cụ thể để đánh giá chất lượng của các tập hợp con đặc trưng. Chúng 'bao' một quá trình huấn luyện mô hình trong một chiến lược tìm kiếm để tìm ra tập hợp đặc trưng tối ưu. Mặc dù thường chính xác hơn các phương pháp lọc, chúng tốn kém hơn nhiều về mặt tính toán do phải huấn luyện mô hình lặp đi lặp lại.

a) Loại bỏ Đặc trưng Đệ quy (Recursive Feature Elimination - RFE)

RFE hoạt động bằng cách loại bỏ các đặc trưng một cách đệ quy. Nó bắt đầu bằng việc huấn luyện một mô hình trên toàn bộ tập hợp đặc trưng, sau đó loại bỏ(các) đặc trưng ít quan trọng nhất dựa trên hệ số hoặc tầm quan trọng của đặc trưng của mô hình. Quá trình này được lặp lại cho đến khi đạt được số lượng đặc trưng mong muốn.

            
from sklearn.datasets import make_classification
from sklearn.feature_selection import RFE
from sklearn.linear_model import LogisticRegression

# Generate synthetic data
X, y = make_classification(n_samples=100, n_features=20, n_informative=10, n_redundant=5, random_state=42)

# Use a Logistic Regression model (can be any model that supports coef_ or feature_importances_)
estimator = LogisticRegression(solver='liblinear')

# Initialize RFE to select top 5 features
selector = RFE(estimator, n_features_to_select=5, step=1)
selector = selector.fit(X, y)

X_new = selector.transform(X)

print(f"Original shape: {X.shape}")
print(f"Reduced shape: {X_new.shape}")

# To see which features were selected:
selected_indices = selector.get_support(indices=True)
print(f"Selected feature indices: {selected_indices}")

            

              
                Copy
              
            
          

RFE rất mạnh mẽ vì nó xem xét sự tương tác giữa các đặc trưng như được đánh giá bởi mô hình đã chọn. Tham số `step` kiểm soát số lượng đặc trưng bị loại bỏ ở mỗi lần lặp.

b) Lựa chọn Đặc trưng Tuần tự (Sequential Feature Selection - SFS)

Mặc dù không phải là một lớp trực tiếp trong lõi feature_selection của Scikit-learn, Lựa chọn Đặc trưng Tuần tự là một cách tiếp cận khái niệm thường được triển khai bằng cách sử dụng các bộ ước tính của Scikit-learn. Nó bao gồm hoặc Lựa chọn Tiến (bắt đầu với một tập hợp rỗng và thêm từng đặc trưng một) hoặc Loại bỏ Lùi (bắt đầu với tất cả các đặc trưng và loại bỏ chúng từng cái một). Lớp SequentialFeatureSelector của Scikit-learn trong sklearn.feature_selection triển khai điều này.

            
from sklearn.feature_selection import SequentialFeatureSelector
from sklearn.linear_model import LogisticRegression
from sklearn.datasets import make_classification

X, y = make_classification(n_samples=100, n_features=20, n_informative=10, n_redundant=5, random_state=42)

estimator = LogisticRegression(solver='liblinear')

# Forward selection: add features until desired number is reached
sfs_forward = SequentialFeatureSelector(
    estimator, n_features_to_select=10, direction='forward', cv=5)
sfs_forward.fit(X, y)
X_new_forward = sfs_forward.transform(X)

print(f"Forward Selection - Reduced shape: {X_new_forward.shape}")

# Backward selection: start with all features and remove
sfs_backward = SequentialFeatureSelector(
    estimator, n_features_to_select=10, direction='backward', cv=5)
sfs_backward.fit(X, y)
X_new_backward = sfs_backward.transform(X)

print(f"Backward Selection - Reduced shape: {X_new_backward.shape}")

            

              
                Copy
              
            
          

Tham số cv trong SequentialFeatureSelector biểu thị kiểm định chéo, giúp làm cho việc lựa chọn đặc trưng trở nên mạnh mẽ hơn và ít bị quá khớp với dữ liệu huấn luyện. Đây là một cân nhắc quan trọng khi áp dụng các phương pháp này trên toàn cầu, vì chất lượng và phân phối dữ liệu có thể thay đổi rất lớn.

3. Phương pháp Nhúng (Embedded Methods)

Các phương pháp nhúng thực hiện lựa chọn đặc trưng như một phần của quá trình huấn luyện mô hình. Chúng có lợi thế là ít tốn kém về mặt tính toán hơn các phương pháp bao trong khi vẫn xem xét sự tương tác của đặc trưng. Nhiều mô hình được điều chuẩn (regularized) thuộc loại này.

a) Điều chuẩn L1 (Lasso)

Các mô hình như Lasso (Least Absolute Shrinkage and Selection Operator) trong các mô hình tuyến tính sử dụng điều chuẩn L1. Kỹ thuật này thêm một hình phạt vào giá trị tuyệt đối của các hệ số, có thể đẩy một số hệ số về chính xác bằng không. Các đặc trưng có hệ số bằng không sẽ được loại bỏ một cách hiệu quả.

            
from sklearn.linear_model import Lasso
from sklearn.datasets import make_regression

# Generate synthetic data
X, y = make_regression(n_samples=100, n_features=20, n_informative=10, random_state=42, noise=10)

# Lasso with alpha (regularization strength)
# A higher alpha leads to more regularization and potentially more zero coefficients
lasso = Lasso(alpha=0.1, random_state=42)
lasso.fit(X, y)

# Get the number of non-zero coefficients (selected features)
non_zero_features = np.sum(lasso.coef_ != 0)
print(f"Number of features selected by Lasso: {non_zero_features}")

# To get the actual selected features:
selected_features_mask = lasso.coef_ != 0
X_new = X[:, selected_features_mask]
print(f"Reduced shape: {X_new.shape}")

            

              
                Copy
              
            
          

LassoCV có thể được sử dụng để tự động tìm giá trị alpha tối ưu thông qua kiểm định chéo.

b) Tầm quan trọng của Đặc trưng dựa trên Cây

Các phương pháp ensemble như RandomForestClassifier, GradientBoostingClassifier, và ExtraTreesClassifier vốn dĩ cung cấp tầm quan trọng của đặc trưng. Những giá trị này được tính toán dựa trên mức độ đóng góp của mỗi đặc trưng vào việc giảm độ không tinh khiết hoặc lỗi trên các cây trong ensemble. Các đặc trưng có tầm quan trọng thấp có thể được loại bỏ.

            
from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_breast_cancer

cancer = load_breast_cancer()
X, y = cancer.data, cancer.target

model = RandomForestClassifier(n_estimators=100, random_state=42)
model.fit(X, y)

# Get feature importances
importances = model.feature_importances_

# Sort features by importance
indices = np.argsort(importances)[::-1]

print("Feature ranking:")
for f in range(X.shape[1]):
    print(f"{f + 1}. feature {indices[f]} ({cancer.feature_names[indices[f]]}) - {importances[indices[f]]:.4f}")

# Select top N features (e.g., top 10)
N = 10
selected_features_mask = np.zeros(X.shape[1], dtype=bool)
selected_features_mask[indices[:N]] = True

X_new = X[:, selected_features_mask]
print(f"Reduced shape after selecting top {N} features: {X_new.shape}")

            

              
                Copy
              
            
          

Các phương pháp dựa trên cây rất mạnh mẽ vì chúng có thể nắm bắt các mối quan hệ phi tuyến và tương tác giữa các đặc trưng. Chúng được áp dụng rộng rãi trên nhiều lĩnh vực khác nhau, từ chẩn đoán y tế (như trong ví dụ) đến phát hiện gian lận tài chính ở các thị trường khác nhau.

Trích xuất Đặc trưng để Giảm chiều Dữ liệu

Trong khi lựa chọn đặc trưng giữ lại các đặc trưng ban đầu, trích xuất đặc trưng tạo ra một tập hợp đặc trưng mới, giảm bớt. Điều này đặc biệt hữu ích khi các đặc trưng ban đầu có tương quan cao hoặc khi bạn muốn chiếu dữ liệu vào một không gian có số chiều thấp hơn mà vẫn nắm bắt được nhiều phương sai nhất.

1. Phân tích Thành phần Chính (PCA)

PCA là một kỹ thuật biến đổi tuyến tính nhằm tìm ra một tập hợp các trục trực giao (các thành phần chính) nắm bắt phương sai tối đa trong dữ liệu. Thành phần chính đầu tiên nắm bắt nhiều phương sai nhất, thành phần thứ hai nắm bắt nhiều thứ hai (trực giao với thành phần đầu tiên), và cứ thế tiếp tục. Bằng cách chỉ giữ lại 'k' thành phần chính đầu tiên, chúng ta đạt được việc giảm chiều dữ liệu.

Lưu ý Quan trọng: PCA nhạy cảm với thang đo của các đặc trưng. Điều quan trọng là phải chuẩn hóa dữ liệu của bạn (ví dụ: sử dụng StandardScaler) trước khi áp dụng PCA.

            
from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA
from sklearn.datasets import load_wine

wine = load_wine()
X, y = wine.data, wine.target

# Scale the data
X_scaled = StandardScaler().fit_transform(X)

# Initialize PCA to reduce to 2 components
pca = PCA(n_components=2)
X_pca = pca.fit_transform(X_scaled)

print(f"Original shape: {X.shape}")
print(f"Reduced shape after PCA: {X_pca.shape}")

# The explained variance ratio shows how much variance each component captures
print(f"Explained variance ratio: {pca.explained_variance_ratio_}")
print(f"Total explained variance: {np.sum(pca.explained_variance_ratio_):.4f}")

            

              
                Copy
              
            
          

PCA rất tuyệt vời để trực quan hóa dữ liệu nhiều chiều bằng cách giảm nó xuống còn 2 hoặc 3 chiều. Đây là một kỹ thuật cơ bản trong phân tích dữ liệu khám phá và có thể tăng tốc đáng kể các bước mô hình hóa tiếp theo. Hiệu quả của nó được ghi nhận trên các lĩnh vực như xử lý hình ảnh và di truyền học.

2. Phân tích Phân biệt Tuyến tính (LDA)

Không giống như PCA, là phương pháp không giám sát và nhằm mục đích tối đa hóa phương sai, LDA là một kỹ thuật có giám sát nhằm tìm ra một biểu diễn có số chiều thấp hơn để tối đa hóa khả năng phân tách giữa các lớp. Nó chủ yếu được sử dụng cho các tác vụ phân loại.

Lưu ý Quan trọng: LDA cũng yêu cầu các đặc trưng phải được chuẩn hóa. Hơn nữa, số lượng thành phần trong LDA được giới hạn ở mức tối đa là n_classes - 1.

            
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
from sklearn.preprocessing import StandardScaler
from sklearn.datasets import load_iris

iris = load_iris()
X, y = iris.data, iris.target

# Scale the data
X_scaled = StandardScaler().fit_transform(X)

# Initialize LDA. Number of components cannot exceed n_classes - 1 (which is 2 for Iris)
lda = LinearDiscriminantAnalysis(n_components=2)
X_lda = lda.fit_transform(X_scaled, y)

print(f"Original shape: {X.shape}")
print(f"Reduced shape after LDA: {X_lda.shape}")

# LDA also has explained_variance_ratio_ but it's class separability
print(f"Explained variance ratio (class separability): {lda.explained_variance_ratio_}")

            

              
                Copy
              
            
          

LDA đặc biệt hữu ích khi mục tiêu là xây dựng một bộ phân loại có thể phân biệt tốt giữa các danh mục khác nhau trong dữ liệu của bạn, đây là một thách thức phổ biến trong nhiều ứng dụng toàn cầu như phân khúc khách hàng hoặc phân loại bệnh.

3. Nhúng Lân cận Ngẫu nhiên Phân bố t (t-SNE)

t-SNE là một kỹ thuật giảm chiều phi tuyến chủ yếu được sử dụng để trực quan hóa các tập dữ liệu nhiều chiều. Nó hoạt động bằng cách ánh xạ các điểm dữ liệu nhiều chiều vào một không gian ít chiều (thường là 2D hoặc 3D) sao cho các điểm tương tự được mô hình hóa bằng các khoảng cách tương tự trong không gian ít chiều. Nó xuất sắc trong việc tiết lộ cấu trúc cục bộ và các cụm trong dữ liệu.

Lưu ý Quan trọng: t-SNE tốn kém về mặt tính toán và thường được sử dụng để trực quan hóa hơn là một bước tiền xử lý cho việc huấn luyện mô hình. Kết quả cũng có thể thay đổi với các khởi tạo ngẫu nhiên và cài đặt tham số khác nhau.

            
from sklearn.manifold import TSNE
from sklearn.datasets import load_digits
import matplotlib.pyplot as plt

digits = load_digits()
X, y = digits.data, digits.target

# For demonstration, we'll use a subset of the data as t-SNE can be slow
subset_indices = np.random.choice(len(X), 1000, replace=False)
X_subset = X[subset_indices]
y_subset = y[subset_indices]

# Initialize t-SNE with 2 components
# perplexity is related to the number of nearest neighbors (e.g., 30 is common)
# n_iter is the number of iterations for optimization
tsne = TSNE(n_components=2, perplexity=30, n_iter=300, random_state=42)
X_tsne = tsne.fit_transform(X_subset)

print(f"Original subset shape: {X_subset.shape}")
print(f"Reduced shape after t-SNE: {X_tsne.shape}")

# Plotting the results (optional, for visualization)
plt.figure(figsize=(10, 8))
scatter = plt.scatter(X_tsne[:, 0], X_tsne[:, 1], c=y_subset, cmap='viridis', alpha=0.7)
plt.title('t-SNE visualization of Digits dataset')
plt.xlabel('t-SNE component 1')
plt.ylabel('t-SNE component 2')
plt.legend(*scatter.legend_elements(), title='Classes')
plt.show()

            

              
                Copy
              
            
          

t-SNE là vô giá để hiểu cấu trúc nội tại của dữ liệu phức tạp, nhiều chiều gặp phải trong các lĩnh vực như genomics hoặc phân tích mạng xã hội, cung cấp những hiểu biết trực quan về các mẫu mà nếu không có thể vẫn bị ẩn giấu.

Chọn Kỹ thuật Phù hợp cho Tập dữ liệu Toàn cầu

Việc lựa chọn phương pháp lựa chọn hoặc trích xuất đặc trưng phù hợp không phải là một quyết định áp dụng cho mọi trường hợp. Một số yếu tố, đặc biệt quan trọng đối với các tập dữ liệu toàn cầu, ảnh hưởng đến sự lựa chọn này:

• Bản chất của Dữ liệu: Dữ liệu của bạn là số, phân loại, hay hỗn hợp? Có các phân phối đã biết không? Ví dụ, chi2 phù hợp cho các đặc trưng phân loại không âm, trong khi f_classif dành cho các đặc trưng số và mục tiêu phân loại.
• Loại Mô hình: Các mô hình tuyến tính có thể được hưởng lợi từ điều chuẩn L1, trong khi các mô hình dựa trên cây tự nhiên cung cấp tầm quan trọng của đặc trưng.
• Tài nguyên Tính toán: Các phương pháp lọc là nhanh nhất, tiếp theo là các phương pháp nhúng, và sau đó là các phương pháp bao và t-SNE.
• Yêu cầu về Khả năng Diễn giải: Nếu việc giải thích *tại sao* một dự đoán được đưa ra là tối quan trọng, các phương pháp lựa chọn đặc trưng giữ lại các đặc trưng ban đầu (như RFE hoặc L1) thường được ưu tiên hơn các phương pháp trích xuất đặc trưng (như PCA) tạo ra các thành phần trừu tượng.
• Tính Tuyến tính và Phi tuyến: PCA và các mô hình tuyến tính giả định các mối quan hệ tuyến tính, trong khi t-SNE và các phương pháp dựa trên cây có thể nắm bắt các mẫu phi tuyến.
• Có Giám sát và Không Giám sát: LDA là có giám sát (sử dụng biến mục tiêu), trong khi PCA là không giám sát.
• Thang đo và Đơn vị: Đối với PCA và LDA, việc chuẩn hóa đặc trưng là cần thiết. Hãy xem xét sự khác biệt về thang đo trong dữ liệu được thu thập từ các khu vực toàn cầu khác nhau. Ví dụ, giá trị tiền tệ hoặc số đọc cảm biến có thể có thang đo rất khác nhau giữa các quốc gia hoặc các loại cảm biến.
• Sự Tinh tế về Văn hóa và Khu vực: Khi làm việc với các tập dữ liệu liên quan đến hành vi con người, nhân khẩu học, hoặc tình cảm từ các bối cảnh văn hóa khác nhau, việc diễn giải các đặc trưng có thể phức tạp. Một đặc trưng có tính dự đoán cao ở một khu vực có thể không liên quan hoặc thậm chí gây hiểu lầm ở một khu vực khác do các chuẩn mực xã hội, điều kiện kinh tế, hoặc phương pháp thu thập dữ liệu khác nhau. Luôn xem xét chuyên môn lĩnh vực khi đánh giá tầm quan trọng của đặc trưng trên các quần thể đa dạng.

Những Hiểu biết Có thể Hành động:

• Bắt đầu Đơn giản: Bắt đầu với các phương pháp lọc (ví dụ: Ngưỡng Phương sai, kiểm định thống kê) để đánh giá nhanh và loại bỏ nhiễu rõ ràng.
• Lặp lại và Đánh giá: Thử nghiệm với các phương pháp khác nhau và đánh giá tác động của chúng đối với hiệu suất của mô hình của bạn bằng cách sử dụng các số liệu phù hợp và kiểm định chéo.
• Trực quan hóa: Sử dụng các kỹ thuật như PCA hoặc t-SNE để trực quan hóa dữ liệu của bạn ở các chiều thấp hơn, điều này có thể tiết lộ các cấu trúc cơ bản và thông báo cho chiến lược lựa chọn đặc trưng của bạn.
• Chuyên môn Lĩnh vực là Chìa khóa: Hợp tác với các chuyên gia lĩnh vực để hiểu ý nghĩa và sự liên quan của các đặc trưng, đặc biệt là khi xử lý dữ liệu toàn cầu phức tạp.
• Xem xét các Cách tiếp cận Ensemble: Kết hợp nhiều kỹ thuật lựa chọn đặc trưng đôi khi có thể mang lại kết quả tốt hơn là chỉ dựa vào một phương pháp duy nhất.

Pipeline của Scikit-learn cho Quy trình làm việc Tích hợp

Đối tượng Pipeline của Scikit-learn đặc biệt hữu ích để tích hợp các bước tiền xử lý, bao gồm lựa chọn/trích xuất đặc trưng, với việc huấn luyện mô hình. Điều này đảm bảo rằng việc lựa chọn đặc trưng của bạn được thực hiện nhất quán trong mỗi lần lặp của kiểm định chéo, ngăn chặn rò rỉ dữ liệu và tạo ra kết quả đáng tin cậy hơn. Điều này đặc biệt quan trọng khi xây dựng các mô hình sẽ được triển khai trên các thị trường toàn cầu đa dạng.

            
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.feature_selection import SelectKBest, f_classif
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split, cross_val_score
from sklearn.datasets import load_breast_cancer

bc = load_breast_cancer()
X, y = bc.data, bc.target

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# Create a pipeline that first scales, then selects features, then trains a classifier
pipe = Pipeline([
    ('scaler', StandardScaler()),
    ('selector', SelectKBest(score_func=f_classif, k=10)),
    ('classifier', LogisticRegression(solver='liblinear'))
])

# Train the pipeline
pipe.fit(X_train, y_train)

# Evaluate the pipeline using cross-validation
cv_scores = cross_val_score(pipe, X_train, y_train, cv=5)
print(f"Cross-validation scores: {cv_scores}")
print(f"Average CV score: {np.mean(cv_scores):.4f}")

# Make predictions on the test set
accuracy = pipe.score(X_test, y_test)
print(f"Test set accuracy: {accuracy:.4f}")

            

              
                Copy
              
            
          

Sử dụng pipeline đảm bảo rằng toàn bộ quy trình—từ chuẩn hóa đến lựa chọn đặc trưng đến phân loại—được coi như một thực thể duy nhất. Đây là một thực hành tốt nhất để phát triển mô hình mạnh mẽ, đặc biệt khi các mô hình được dự định triển khai toàn cầu nơi hiệu suất nhất quán trên các phân phối dữ liệu khác nhau là chìa khóa.

Kết luận

Giảm chiều dữ liệu thông qua lựa chọn và trích xuất đặc trưng là một bước quan trọng trong việc xây dựng các mô hình học máy hiệu quả, mạnh mẽ và dễ diễn giải. Scikit-learn cung cấp một bộ công cụ toàn diện để giải quyết những thách thức này, trao quyền cho các nhà khoa học dữ liệu trên toàn thế giới. Bằng cách hiểu các phương pháp luận khác nhau—phương pháp lọc, bao, nhúng, và các kỹ thuật trích xuất đặc trưng như PCA và LDA—bạn có thể đưa ra các quyết định sáng suốt phù hợp với tập dữ liệu và mục tiêu cụ thể của mình.

Đối với khán giả toàn cầu của chúng tôi, những cân nhắc không chỉ dừng lại ở các lựa chọn thuật toán. Hiểu nguồn gốc dữ liệu, các sai lệch tiềm ẩn được đưa vào bởi việc thu thập đặc trưng trên các khu vực khác nhau, và nhu cầu diễn giải cụ thể của các bên liên quan tại địa phương là rất quan trọng. Việc sử dụng các công cụ như Pipeline của Scikit-learn đảm bảo một quy trình làm việc có cấu trúc và có thể tái tạo, cần thiết để triển khai các giải pháp AI đáng tin cậy trong các bối cảnh quốc tế đa dạng.

Khi bạn điều hướng sự phức tạp của khoa học dữ liệu hiện đại, việc làm chủ các khả năng lựa chọn đặc trưng của Scikit-learn chắc chắn sẽ là một tài sản quan trọng, cho phép bạn khai thác toàn bộ tiềm năng của dữ liệu của mình, bất kể nguồn gốc của nó.