સાયકિટ-લર્ન ફીચર સિલેક્શન: વૈશ્વિક ડેટાસેટ્સ માટે ડાયમેન્શનલિટી રિડક્શનમાં નિપુણતા

ડેટાના સતત વિસ્તરી રહેલા બ્રહ્માંડમાં, ફીચર્સનો જથ્થો અત્યંત જટિલ મશીન લર્નિંગ મોડેલ્સને પણ પ્રભાવિત કરી શકે છે. આ ઘટના, જેને ઘણીવાર "ડાયમેન્શનલિટીનો શાપ" તરીકે ઓળખવામાં આવે છે, તે ગણતરીના ખર્ચમાં વધારો, મોડેલની ચોકસાઈમાં ઘટાડો અને અર્થઘટન કરવાની ક્ષમતામાં ઘટાડો કરી શકે છે. સદભાગ્યે, ફીચર સિલેક્શન અને ડાયમેન્શનલિટી રિડક્શન ટેકનિક્સ શક્તિશાળી ઉકેલો પ્રદાન કરે છે. પાયથોનના મશીન લર્નિંગ ઇકોસિસ્ટમનો આધારસ્તંભ, સાયકિટ-લર્ન, આ પડકારોને અસરકારક રીતે નિપટાવવા માટે સાધનોનો સમૃદ્ધ સમૂહ પૂરો પાડે છે, જે તેને વિશ્વભરના ડેટા વૈજ્ઞાનિકો માટે એક અનિવાર્ય સંસાધન બનાવે છે.

આ વ્યાપક માર્ગદર્શિકા સાયકિટ-લર્નની ફીચર સિલેક્શન ક્ષમતાઓની જટિલતાઓમાં ઊંડાણપૂર્વક જશે, જેમાં ડાયમેન્શનલિટી રિડક્શન પર ધ્યાન કેન્દ્રિત કરવામાં આવશે. અમે વિવિધ પદ્ધતિઓ, તેમના મૂળભૂત સિદ્ધાંતો, કોડ ઉદાહરણો સાથે વ્યવહારુ અમલીકરણ અને વિવિધ વૈશ્વિક ડેટાસેટ્સ માટેના વિચારણાઓનું અન્વેષણ કરીશું. અમારો ઉદ્દેશ્ય તમને, આકાંક્ષી અને અનુભવી ડેટા પ્રેક્ટિશનર્સના અમારા વૈશ્વિક પ્રેક્ષકોને, ફીચર સિલેક્શન વિશે જાણકાર નિર્ણયો લેવા માટે જ્ઞાનથી સજ્જ કરવાનો છે, જેનાથી વધુ કાર્યક્ષમ, સચોટ અને અર્થઘટન કરી શકાય તેવા મશીન લર્નિંગ મોડેલ્સ પ્રાપ્ત થશે.

ડાયમેન્શનલિટી રિડક્શનને સમજવું

આપણે સાયકિટ-લર્નના વિશિષ્ટ સાધનોમાં ઊંડાણપૂર્વક જઈએ તે પહેલાં, ડાયમેન્શનલિટી રિડક્શનના મૂળભૂત ખ્યાલોને સમજવું અત્યંત મહત્ત્વપૂર્ણ છે. આ પ્રક્રિયામાં ડેટાને ઉચ્ચ-પરિમાણીય જગ્યામાંથી નીચલા-પરિમાણીય જગ્યામાં રૂપાંતરિત કરવાનો સમાવેશ થાય છે જ્યારે શક્ય તેટલી મહત્ત્વપૂર્ણ માહિતી જાળવી રાખવામાં આવે છે. તેના ફાયદા ઘણા છે:

• ઓવરફિટિંગમાં ઘટાડો: ઓછા ફીચર્સ એટલે એક સરળ મોડેલ, જે ટ્રેનિંગ ડેટામાં અવાજ શીખવાની શક્યતા ઓછી હોય છે.
• ઝડપી ટ્રેનિંગ સમય: ઓછા ફીચર્સવાળા મોડેલ્સ નોંધપાત્ર રીતે ઝડપી ટ્રેન થાય છે.
• સુધારેલ મોડેલ અર્થઘટનક્ષમતા: ઓછા ફીચર્સ વચ્ચેના સંબંધોને સમજવું સરળ છે.
• ઘટેલી સ્ટોરેજ જગ્યા: નીચી ડાયમેન્શનલિટીને ઓછી મેમરીની જરૂર પડે છે.
• અવાજમાં ઘટાડો: અપ્રસ્તુત અથવા રીડન્ડન્ટ ફીચર્સને દૂર કરી શકાય છે, જેનાથી ડેટા સ્વચ્છ બને છે.

ડાયમેન્શનલિટી રિડક્શનને મુખ્યત્વે બે મુખ્ય અભિગમોમાં વર્ગીકૃત કરી શકાય છે:

1. ફીચર સિલેક્શન

આ અભિગમમાં મૂળ ફીચર્સના સબસેટની પસંદગી કરવાનો સમાવેશ થાય છે જે વર્તમાન સમસ્યા માટે સૌથી સુસંગત હોય. મૂળ ફીચર્સ જાળવી રાખવામાં આવે છે, પરંતુ તેમની સંખ્યા ઘટાડવામાં આવે છે. તેને રેસીપી માટે સૌથી અસરકારક ઘટકો ઓળખીને બાકીનાને કાઢી નાખવા સમાન ગણી શકાય.

2. ફીચર એક્સટ્રેક્શન

આ અભિગમ મૂળ ફીચર્સને ફીચર્સના નવા, નાના સમૂહમાં રૂપાંતરિત કરે છે. આ નવા ફીચર્સ મૂળ ફીચર્સના સંયોજનો અથવા પ્રોજેક્શન હોય છે, જે ડેટામાં સૌથી મહત્ત્વપૂર્ણ વિચલન અથવા માહિતીને કેપ્ચર કરવાનો હેતુ ધરાવે છે. આ મૂળ ઘટકોનો નિસ્યંદિત સાર બનાવવો સમાન છે.

સાયકિટ-લર્ન આ બંને અભિગમો માટે શક્તિશાળી સાધનો પ્રદાન કરે છે. આપણે ડાયમેન્શનલિટી રિડક્શનમાં ફાળો આપતી તકનીકો પર ધ્યાન કેન્દ્રિત કરીશું, જે ઘણીવાર ફીચર સિલેક્શન અથવા એક્સટ્રેક્શન દ્વારા થાય છે.

સાયકિટ-લર્નમાં ફીચર સિલેક્શન પદ્ધતિઓ

સાયકિટ-લર્ન ફીચર સિલેક્શન કરવા માટે અનેક રીતો પ્રદાન કરે છે. આને મુખ્યત્વે ત્રણ શ્રેણીઓમાં વર્ગીકૃત કરી શકાય છે:

1. ફિલ્ટર પદ્ધતિઓ

ફિલ્ટર પદ્ધતિઓ કોઈપણ વિશિષ્ટ મશીન લર્નિંગ મોડેલથી સ્વતંત્ર રીતે, તેમની આંતરિક ગુણધર્મોના આધારે ફીચર્સની સુસંગતતાનું મૂલ્યાંકન કરે છે. તે સામાન્ય રીતે ઝડપી અને ગણિતીય રીતે સસ્તી હોય છે, જે તેમને પ્રારંભિક ડેટા એક્સપ્લોરેશન માટે અથવા ખૂબ મોટા ડેટાસેટ્સ સાથે કામ કરતી વખતે આદર્શ બનાવે છે. સામાન્ય મેટ્રિક્સમાં કોરિલેશન, મ્યુચ્યુઅલ ઇન્ફોર્મેશન અને સ્ટેટિસ્ટિકલ ટેસ્ટનો સમાવેશ થાય છે.

a) કોરિલેશન-આધારિત ફીચર સિલેક્શન

જે ફીચર્સ ટાર્ગેટ વેરીએબલ સાથે અત્યંત સંબંધિત હોય છે તેમને મહત્ત્વપૂર્ણ ગણવામાં આવે છે. તેનાથી વિપરીત, જે ફીચર્સ એકબીજા સાથે અત્યંત સંબંધિત હોય છે (મલ્ટીકોલિનિયરિટી) તે રીડન્ડન્ટ હોઈ શકે છે અને તેમને દૂર કરવા માટે વિચારી શકાય છે. સાયકિટ-લર્નનું feature_selection મોડ્યુલ આમાં મદદ કરવા માટે સાધનો પ્રદાન કરે છે.

ઉદાહરણ: વેરીયન્સ થ્રેશોલ્ડ

ખૂબ ઓછી વેરીયન્સવાળા ફીચર્સ વધુ ભેદભાવપૂર્ણ શક્તિ પ્રદાન કરી શકતા નથી. ધ VarianceThreshold ક્લાસ એવા ફીચર્સને દૂર કરે છે જેમનું વેરીયન્સ ચોક્કસ થ્રેશોલ્ડને પૂર્ણ કરતું નથી. આ ખાસ કરીને ન્યુમેરિકલ ફીચર્સ માટે ઉપયોગી છે.

            
from sklearn.feature_selection import VarianceThreshold
import numpy as np

X = [[0, 2, 0, 3], [0, 1, 4, 3], [0, 1, 1, 3]]
selector = VarianceThreshold(threshold=0.0)
selector.fit_transform(X)
# Output: array([[2, 0, 3], [1, 4, 3], [1, 1, 3]])

            

              
                Copy
              
            
          

આ ઉદાહરણમાં, પ્રથમ ફીચર (બધા શૂન્ય) માં શૂન્ય વેરીયન્સ છે અને તેને દૂર કરવામાં આવે છે. આ સતત અથવા લગભગ-સતત ફીચર્સને કાઢી નાખવાની એક મૂળભૂત પરંતુ અસરકારક રીત છે જે કોઈ અનુમાનિત શક્તિ પ્રદાન કરતા નથી.

ઉદાહરણ: ટાર્ગેટ સાથે કોરિલેશન (પાંડાસ અને સાયપાયનો ઉપયોગ કરીને)

જ્યારે સાયકિટ-લર્ન પાસે તમામ ફીચર પ્રકારોમાં ટાર્ગેટ સાથે કોરિલેશન માટે કોઈ સીધું ઉચ્ચ-સ્તરનું કાર્ય નથી, તે એક સામાન્ય પ્રીપ્રોસેસિંગ સ્ટેપ છે. આપણે આ માટે પાંડાસ અને સાયપાયનો ઉપયોગ કરી શકીએ છીએ.

            
import pandas as pd
import numpy as np
from scipy.stats import pearsonr

# Sample data
data = {
    'feature1': np.random.rand(100),
    'feature2': np.random.rand(100) * 2,
    'feature3': np.random.rand(100) - 1,
    'target': np.random.randint(0, 2, 100)
}
df = pd.DataFrame(data)

# Calculate Pearson correlation with the target
correlations = df.corr()['target'].drop('target')

# Select features with correlation above a certain threshold (e.g., 0.2)
selected_features = correlations[abs(correlations) > 0.2].index.tolist()
print(f"Features correlated with target: {selected_features}")

            

              
                Copy
              
            
          

આ સ્નિપેટ દર્શાવે છે કે કેવી રીતે ટાર્ગેટ વેરીએબલ સાથે રેખીય સંબંધ ધરાવતા ફીચર્સને ઓળખવા. બાઈનરી ટાર્ગેટ્સ માટે, પોઈન્ટ-બાઈસિરિયલ કોરિલેશન સુસંગત છે, અને કેટેગરીકલ ટાર્ગેટ્સ માટે, અન્ય આંકડાકીય પરીક્ષણો વધુ યોગ્ય છે.

b) આંકડાકીય પરીક્ષણો

ફિલ્ટર પદ્ધતિઓ ફીચર્સ અને ટાર્ગેટ વેરીએબલ વચ્ચેની નિર્ભરતાને માપવા માટે આંકડાકીય પરીક્ષણોનો પણ ઉપયોગ કરી શકે છે. આ ખાસ કરીને કેટેગરીકલ ફીચર્સ સાથે કામ કરતી વખતે અથવા જ્યારે ડેટા વિતરણ વિશે ચોક્કસ ધારણાઓ કરી શકાય ત્યારે ઉપયોગી છે.

સાયકિટ-લર્નનું feature_selection મોડ્યુલ પ્રદાન કરે છે:

• f_classif: ક્લાસિફિકેશન કાર્યો માટે લેબલ/ફીચર વચ્ચેનું ANOVA F-મૂલ્ય. ધારે છે કે ફીચર્સ ન્યુમેરિકલ છે અને ટાર્ગેટ કેટેગરીકલ છે.
• f_regression: રીગ્રેશન કાર્યો માટે લેબલ/ફીચર વચ્ચેનું F-મૂલ્ય. ધારે છે કે ફીચર્સ ન્યુમેરિકલ છે અને ટાર્ગેટ ન્યુમેરિકલ છે.
• mutual_info_classif: ડિસ્ક્રીટ ટાર્ગેટ વેરીએબલ માટે મ્યુચ્યુઅલ ઇન્ફોર્મેશન. નોન-લીનિયર સંબંધોને હેન્ડલ કરી શકે છે.
• mutual_info_regression: સતત ટાર્ગેટ વેરીએબલ માટે મ્યુચ્યુઅલ ઇન્ફોર્મેશન.
• chi2: ક્લાસિફિકેશન કાર્યો માટે નોન-નેગેટિવ ફીચર્સના ચિ-સ્ક્વેર્ડ આંકડા. કેટેગરીકલ ફીચર્સ માટે વપરાય છે.

ઉદાહરણ: `f_classif` અને `SelectKBest` નો ઉપયોગ કરવો

SelectKBest એક મેટા-ટ્રાન્સફોર્મર છે જે તમને પસંદ કરેલા સ્કોરિંગ ફંક્શન (જેમ કે f_classif) ના આધારે ફીચર્સ પસંદ કરવાની મંજૂરી આપે છે.

            
from sklearn.datasets import load_iris
from sklearn.feature_selection import SelectKBest, f_classif

iris = load_iris()
X, y = iris.data, iris.target

# Select the top 2 features using f_classif
selector = SelectKBest(score_func=f_classif, k=2)
X_new = selector.fit_transform(X, y)

print(f"Original shape: {X.shape}")
print(f"Reduced shape: {X_new.shape}")

# To see which features were selected:
selected_indices = selector.get_support(indices=True)
print(f"Selected feature indices: {selected_indices}")
print(f"Selected feature names: {[iris.feature_names[i] for i in selected_indices]}")

            

              
                Copy
              
            
          

આ ઉદાહરણ દર્શાવે છે કે ક્લાસિફિકેશન માટે તેમની આંકડાકીય મહત્ત્વના આધારે 'k' શ્રેષ્ઠ ફીચર્સ કેવી રીતે પસંદ કરવા. ધ F-value in f_classif મૂળભૂત રીતે જૂથો (ક્લાસ) વચ્ચેના વિચલનને જૂથોમાંના વિચલનના સંબંધમાં માપે છે. ઉચ્ચ F-મૂલ્ય ફીચર અને ટાર્ગેટ વચ્ચેના મજબૂત સંબંધને સૂચવે છે.

વૈશ્વિક વિચારણા: જ્યારે વિવિધ પ્રદેશોમાંથી ડેટાસેટ્સ (દા.ત., વિવિધ આબોહવાથી સેન્સર ડેટા, વિવિધ આર્થિક પ્રણાલીઓમાંથી નાણાકીય ડેટા) સાથે કામ કરતી વખતે, ફીચર્સના આંકડાકીય ગુણધર્મો નોંધપાત્ર રીતે બદલાઈ શકે છે. આ આંકડાકીય પરીક્ષણોની ધારણાઓને સમજવી (દા.ત., ANOVA માટે સામાન્યતા) અત્યંત મહત્ત્વપૂર્ણ છે, અને મ્યુચ્યુઅલ ઇન્ફોર્મેશન જેવા નોન-પેરામેટ્રિક પરીક્ષણો વિવિધ દૃશ્યોમાં વધુ મજબૂત હોઈ શકે છે.

2. રેપર પદ્ધતિઓ

રેપર પદ્ધતિઓ ફીચર સબસેટ્સની ગુણવત્તાનું મૂલ્યાંકન કરવા માટે વિશિષ્ટ મશીન લર્નિંગ મોડેલનો ઉપયોગ કરે છે. તેઓ ફીચર્સના શ્રેષ્ઠ સેટને શોધવા માટે શોધ વ્યૂહરચનામાં મોડેલ ટ્રેનિંગ પ્રક્રિયાને 'રેપ' કરે છે. જોકે સામાન્ય રીતે ફિલ્ટર પદ્ધતિઓ કરતાં વધુ સચોટ હોય છે, પરંતુ પુનરાવર્તિત મોડેલ ટ્રેનિંગને કારણે તે ગણિતીય રીતે ઘણી વધુ ખર્ચાળ હોય છે.

a) રિકર્સિવ ફીચર એલિમિનેશન (RFE)

RFE ફીચર્સને રિકર્સિવલી દૂર કરીને કાર્ય કરે છે. તે સમગ્ર ફીચર સેટ પર મોડેલને ટ્રેન કરીને શરૂ થાય છે, પછી મોડેલના કોએફિશિયન્ટ્સ અથવા ફીચર ઇમ્પોર્ટન્સના આધારે ઓછામાં ઓછા મહત્ત્વપૂર્ણ ફીચર(ઓ)ને દૂર કરે છે. આ પ્રક્રિયા ફીચર્સની ઇચ્છિત સંખ્યા પહોંચે ત્યાં સુધી પુનરાવર્તિત થાય છે.

            
from sklearn.datasets import make_classification
from sklearn.feature_selection import RFE
from sklearn.linear_model import LogisticRegression

# Generate synthetic data
X, y = make_classification(n_samples=100, n_features=20, n_informative=10, n_redundant=5, random_state=42)

# Use a Logistic Regression model (can be any model that supports coef_ or feature_importances_)
estimator = LogisticRegression(solver='liblinear')

# Initialize RFE to select top 5 features
selector = RFE(estimator, n_features_to_select=5, step=1)
selector = selector.fit(X, y)

X_new = selector.transform(X)

print(f"Original shape: {X.shape}")
print(f"Reduced shape: {X_new.shape}")

# To see which features were selected:
selected_indices = selector.get_support(indices=True)
print(f"Selected feature indices: {selected_indices}")

            

              
                Copy
              
            
          

RFE શક્તિશાળી છે કારણ કે તે પસંદ કરેલા મોડેલ દ્વારા મૂલ્યાંકન કરાયેલા ફીચર્સ વચ્ચેની ક્રિયાપ્રતિક્રિયાઓને ધ્યાનમાં લે છે. ધ `step` પેરામીટર દરેક પુનરાવૃત્તિમાં કેટલા ફીચર્સ દૂર કરવામાં આવે છે તેને નિયંત્રિત કરે છે.

b) સિક્વન્શિયલ ફીચર સિલેક્શન (SFS)

જ્યારે સાયકિટ-લર્નના મુખ્ય feature_selection માં સીધો ક્લાસ નથી, ત્યારે સિક્વન્શિયલ ફીચર સિલેક્શન એ એક વૈચારિક અભિગમ છે જે ઘણીવાર સાયકિટ-લર્ન એસ્ટિમેટર્સનો ઉપયોગ કરીને અમલમાં મૂકવામાં આવે છે. તેમાં ફોરવર્ડ સિલેક્શન (ખાલી સેટથી શરૂ કરીને અને એક પછી એક ફીચર્સ ઉમેરીને) અથવા બેકવર્ડ એલિમિનેશન (તમામ ફીચર્સથી શરૂ કરીને અને તેમને એક પછી એક દૂર કરીને) નો સમાવેશ થાય છે. sklearn.feature_selection માં સાયકિટ-લર્નનું SequentialFeatureSelector આને અમલમાં મૂકે છે.

            
from sklearn.feature_selection import SequentialFeatureSelector
from sklearn.linear_model import LogisticRegression
from sklearn.datasets import make_classification

X, y = make_classification(n_samples=100, n_features=20, n_informative=10, n_redundant=5, random_state=42)

estimator = LogisticRegression(solver='liblinear')

# Forward selection: add features until desired number is reached
sfs_forward = SequentialFeatureSelector(
    estimator, n_features_to_select=10, direction='forward', cv=5)
sfs_forward.fit(X, y)
X_new_forward = sfs_forward.transform(X)

print(f"Forward Selection - Reduced shape: {X_new_forward.shape}")

# Backward selection: start with all features and remove
sfs_backward = SequentialFeatureSelector(
    estimator, n_features_to_select=10, direction='backward', cv=5)
sfs_backward.fit(X, y)
X_new_backward = sfs_backward.transform(X)

print(f"Backward Selection - Reduced shape: {X_new_backward.shape}")

            

              
                Copy
              
            
          

ધ cv parameter in SequentialFeatureSelector ક્રોસ-વેલિડેશન સૂચવે છે, જે ફીચર સિલેક્શનને વધુ મજબૂત બનાવવામાં મદદ કરે છે અને ટ્રેનિંગ ડેટાને ઓવરફિટિંગ થવાની શક્યતા ઘટાડે છે. વૈશ્વિક સ્તરે આ પદ્ધતિઓ લાગુ કરતી વખતે આ એક મહત્ત્વપૂર્ણ વિચારણા છે, કારણ કે ડેટાની ગુણવત્તા અને વિતરણ અત્યંત બદલાઈ શકે છે.

3. એમ્બેડેડ પદ્ધતિઓ

એમ્બેડેડ પદ્ધતિઓ મોડેલ ટ્રેનિંગ પ્રક્રિયાના ભાગ રૂપે ફીચર સિલેક્શન કરે છે. ફીચર ક્રિયાપ્રતિક્રિયાઓને ધ્યાનમાં લેતી વખતે રેપર પદ્ધતિઓ કરતાં ગણિતીય રીતે ઓછી ખર્ચાળ હોવાનો ફાયદો તેમને મળે છે. ઘણા રેગ્યુલરાઇઝ્ડ મોડેલ્સ આ શ્રેણીમાં આવે છે.

a) L1 રેગ્યુલરાઇઝેશન (લેસો)

લીનિયર મોડેલ્સમાં Lasso (લીસ્ટ એબ્સોલ્યુટ શ્રિંકેજ એન્ડ સિલેક્શન ઓપરેટર) જેવા મોડેલ્સ L1 રેગ્યુલરાઇઝેશનનો ઉપયોગ કરે છે. આ તકનીક કોએફિશિયન્ટ્સના સંપૂર્ણ મૂલ્યમાં પેનલ્ટી ઉમેરે છે, જે કેટલાક કોએફિશિયન્ટ્સને બરાબર શૂન્ય સુધી લઈ જઈ શકે છે. શૂન્ય કોએફિશિયન્ટ્સવાળા ફીચર્સને અસરકારક રીતે દૂર કરવામાં આવે છે.

            
from sklearn.linear_model import Lasso
from sklearn.datasets import make_regression

# Generate synthetic data
X, y = make_regression(n_samples=100, n_features=20, n_informative=10, random_state=42, noise=10)

# Lasso with alpha (regularization strength)
# A higher alpha leads to more regularization and potentially more zero coefficients
lasso = Lasso(alpha=0.1, random_state=42)
lasso.fit(X, y)

# Get the number of non-zero coefficients (selected features)
non_zero_features = np.sum(lasso.coef_ != 0)
print(f"Number of features selected by Lasso: {non_zero_features}")

# To get the actual selected features:
selected_features_mask = lasso.coef_ != 0
X_new = X[:, selected_features_mask]
print(f"Reduced shape: {X_new.shape}")

            

              
                Copy
              
            
          

LassoCV નો ઉપયોગ ક્રોસ-વેલિડેશન દ્વારા આપમેળે શ્રેષ્ઠ આલ્ફા મૂલ્ય શોધવા માટે કરી શકાય છે.

b) ટ્રી-આધારિત ફીચર ઇમ્પોર્ટન્સ

RandomForestClassifier, GradientBoostingClassifier, અને ExtraTreesClassifier જેવી એન્સેમ્બલ પદ્ધતિઓ સહજપણે ફીચર ઇમ્પોર્ટન્સ પ્રદાન કરે છે. આની ગણતરી દરેક ફીચર એન્સેમ્બલમાં ટ્રીઝમાં અશુદ્ધિ અથવા ભૂલ ઘટાડવામાં કેટલો ફાળો આપે છે તેના આધારે કરવામાં આવે છે. ઓછી મહત્ત્વતાવાળા ફીચર્સને દૂર કરી શકાય છે.

            
from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_breast_cancer

cancer = load_breast_cancer()
X, y = cancer.data, cancer.target

model = RandomForestClassifier(n_estimators=100, random_state=42)
model.fit(X, y)

# Get feature importances
importances = model.feature_importances_

# Sort features by importance
indices = np.argsort(importances)[::-1]

print("Feature ranking:")
for f in range(X.shape[1]):
    print(f"{f + 1}. feature {indices[f]} ({cancer.feature_names[indices[f]]}) - {importances[indices[f]]:.4f}")

# Select top N features (e.g., top 10)
N = 10
selected_features_mask = np.zeros(X.shape[1], dtype=bool)
selected_features_mask[indices[:N]] = True

X_new = X[:, selected_features_mask]
print(f"Reduced shape after selecting top {N} features: {X_new.shape}")

            

              
                Copy
              
            
          

ટ્રી-આધારિત પદ્ધતિઓ શક્તિશાળી છે કારણ કે તે નોન-લીનિયર સંબંધો અને ફીચર ક્રિયાપ્રતિક્રિયાઓને કેપ્ચર કરી શકે છે. તે વિવિધ ડોમેન્સમાં વ્યાપકપણે લાગુ પડે છે, તબીબી નિદાન (ઉદાહરણ મુજબ) થી લઈને વિવિધ બજારોમાં નાણાકીય છેતરપિંડી શોધવા સુધી.

ડાયમેન્શનલિટી રિડક્શન માટે ફીચર એક્સટ્રેક્શન

જ્યારે ફીચર સિલેક્શન મૂળ ફીચર્સને જાળવી રાખે છે, ત્યારે ફીચર એક્સટ્રેક્શન ફીચર્સનો નવો, ઘટાડેલો સમૂહ બનાવે છે. આ ખાસ કરીને ત્યારે ઉપયોગી છે જ્યારે મૂળ ફીચર્સ અત્યંત સંબંધિત હોય અથવા જ્યારે તમે ડેટાને નીચલા-પરિમાણીય જગ્યામાં પ્રોજેક્ટ કરવા માંગતા હોવ જે સૌથી વધુ વિચલન કેપ્ચર કરે છે.

1. પ્રિન્સિપલ કમ્પોનન્ટ એનાલિસિસ (PCA)

PCA એક લીનિયર ટ્રાન્સફોર્મેશન ટેકનિક છે જે ઓર્થોગોનલ અક્ષો (પ્રિન્સિપલ કમ્પોનન્ટ્સ) નો સમૂહ શોધવાનો લક્ષ્ય રાખે છે જે ડેટામાં મહત્તમ વિચલન કેપ્ચર કરે છે. પ્રથમ પ્રિન્સિપલ કમ્પોનન્ટ સૌથી વધુ વિચલન કેપ્ચર કરે છે, બીજો તેના પછીનું સૌથી વધુ (પ્રથમથી ઓર્થોગોનલ) કેપ્ચર કરે છે, અને તેથી વધુ. માત્ર પ્રથમ 'k' પ્રિન્સિપલ કમ્પોનન્ટ્સ રાખીને, આપણે ડાયમેન્શનલિટી રિડક્શન પ્રાપ્ત કરીએ છીએ.

મહત્ત્વપૂર્ણ નોંધ: PCA ફીચર્સના સ્કેલ પ્રત્યે સંવેદનશીલ છે. PCA લાગુ કરતાં પહેલાં તમારા ડેટાને સ્કેલ કરવું (દા.ત., StandardScaler નો ઉપયોગ કરીને) અત્યંત મહત્ત્વપૂર્ણ છે.

            
from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA
from sklearn.datasets import load_wine

wine = load_wine()
X, y = wine.data, wine.target

# Scale the data
X_scaled = StandardScaler().fit_transform(X)

# Initialize PCA to reduce to 2 components
pca = PCA(n_components=2)
X_pca = pca.fit_transform(X_scaled)

print(f"Original shape: {X.shape}")
print(f"Reduced shape after PCA: {X_pca.shape}")

# The explained variance ratio shows how much variance each component captures
print(f"Explained variance ratio: {pca.explained_variance_ratio_}")
print(f"Total explained variance: {np.sum(pca.explained_variance_ratio_):.4f}")

            

              
                Copy
              
            
          

PCA ઉચ્ચ-પરિમાણીય ડેટાને 2 અથવા 3 પરિમાણોમાં ઘટાડીને વિઝ્યુલાઇઝ કરવા માટે ઉત્તમ છે. તે એક્સપ્લોરેટરી ડેટા એનાલિસિસમાં એક મૂળભૂત ટેકનિક છે અને તે અનુગામી મોડેલિંગ સ્ટેપ્સને નોંધપાત્ર રીતે ઝડપી બનાવી શકે છે. તેની અસરકારકતા ઇમેજ પ્રોસેસિંગ અને જિનેટિક્સ જેવા ડોમેન્સમાં જોવા મળે છે.

2. લીનિયર ડિસ્ક્રિમિનન્ટ એનાલિસિસ (LDA)

PCAથી વિપરીત, જે અનસૂપરવાઇઝ્ડ છે અને વિચલનને મહત્તમ બનાવવાનો હેતુ ધરાવે છે, LDA એક સુપરવાઇઝ્ડ ટેકનિક છે જે નીચલા-પરિમાણીય પ્રતિનિધિત્વ શોધવાનો હેતુ ધરાવે છે જે ક્લાસિસ વચ્ચેની વિભાજનક્ષમતાને મહત્તમ બનાવે છે. તે મુખ્યત્વે ક્લાસિફિકેશન કાર્યો માટે વપરાય છે.

મહત્ત્વપૂર્ણ નોંધ: LDA ને પણ ફીચર્સને સ્કેલ કરવાની જરૂર પડે છે. વધુમાં, LDA માં કમ્પોનન્ટ્સની સંખ્યા વધુમાં વધુ n_classes - 1 સુધી મર્યાદિત હોય છે.

            
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
from sklearn.preprocessing import StandardScaler
from sklearn.datasets import load_iris

iris = load_iris()
X, y = iris.data, iris.target

# Scale the data
X_scaled = StandardScaler().fit_transform(X)

# Initialize LDA. Number of components cannot exceed n_classes - 1 (which is 2 for Iris)
lda = LinearDiscriminantAnalysis(n_components=2)
X_lda = lda.fit_transform(X_scaled, y)

print(f"Original shape: {X.shape}")
print(f"Reduced shape after LDA: {X_lda.shape}")

# LDA also has explained_variance_ratio_ but it's class separability
print(f"Explained variance ratio (class separability): {lda.explained_variance_ratio_}")

            

              
                Copy
              
            
          

LDA ખાસ કરીને ત્યારે ઉપયોગી છે જ્યારે ધ્યેય એક ક્લાસિફાયર બનાવવાનો હોય જે તમારા ડેટામાં વિવિધ શ્રેણીઓ વચ્ચે સારી રીતે તફાવત કરી શકે, જે ગ્રાહક સેગ્મેન્ટેશન અથવા રોગ વર્ગીકરણ જેવી ઘણી વૈશ્વિક એપ્લિકેશન્સમાં એક સામાન્ય પડકાર છે.

3. t-ડિસ્ટ્રિબ્યુટેડ સ્ટોકેસ્ટિક નેબર એમ્બેડિંગ (t-SNE)

t-SNE એક નોન-લીનિયર ડાયમેન્શનલિટી રિડક્શન ટેકનિક છે જે મુખ્યત્વે ઉચ્ચ-પરિમાણીય ડેટાસેટ્સને વિઝ્યુલાઇઝ કરવા માટે વપરાય છે. તે ઉચ્ચ-પરિમાણીય ડેટા પોઈન્ટ્સને નીચલા-પરિમાણીય જગ્યા (સામાન્ય રીતે 2D અથવા 3D) માં મેપ કરીને કાર્ય કરે છે જેથી સમાન પોઈન્ટ્સ નીચલા-પરિમાણીય જગ્યામાં સમાન અંતર દ્વારા મોડેલ થાય. તે ડેટામાં સ્થાનિક માળખું અને ક્લસ્ટરોને ઉજાગર કરવામાં ઉત્કૃષ્ટ છે.

મહત્ત્વપૂર્ણ નોંધ: t-SNE ગણિતીય રીતે ખર્ચાળ છે અને સામાન્ય રીતે મોડેલ ટ્રેનિંગ માટે પ્રીપ્રોસેસિંગ સ્ટેપ તરીકે નહીં પરંતુ વિઝ્યુલાઇઝેશન માટે ઉપયોગમાં લેવાય છે. પરિણામો વિવિધ રેન્ડમ ઇનિશિયલાઇઝેશન અને પેરામીટર સેટિંગ્સ સાથે પણ બદલાઈ શકે છે.

            
from sklearn.manifold import TSNE
from sklearn.datasets import load_digits
import matplotlib.pyplot as plt

digits = load_digits()
X, y = digits.data, digits.target

# For demonstration, we'll use a subset of the data as t-SNE can be slow
subset_indices = np.random.choice(len(X), 1000, replace=False)
X_subset = X[subset_indices]
y_subset = y[subset_indices]

# Initialize t-SNE with 2 components
# perplexity is related to the number of nearest neighbors (e.g., 30 is common)
# n_iter is the number of iterations for optimization
tsne = TSNE(n_components=2, perplexity=30, n_iter=300, random_state=42)
X_tsne = tsne.fit_transform(X_subset)

print(f"Original subset shape: {X_subset.shape}")
print(f"Reduced shape after t-SNE: {X_tsne.shape}")

# Plotting the results (optional, for visualization)
plt.figure(figsize=(10, 8))
scatter = plt.scatter(X_tsne[:, 0], X_tsne[:, 1], c=y_subset, cmap='viridis', alpha=0.7)
plt.title('t-SNE visualization of Digits dataset')
plt.xlabel('t-SNE component 1')
plt.ylabel('t-SNE component 2')
plt.legend(*scatter.legend_elements(), title='Classes')
plt.show()

            

              
                Copy
              
            
          

t-SNE જિનોમિક્સ અથવા સોશિયલ નેટવર્ક એનાલિસિસ જેવા ક્ષેત્રોમાં જોવા મળતા જટિલ, ઉચ્ચ-પરિમાણીય ડેટાના આંતરિક માળખાને સમજવા માટે અમૂલ્ય છે, જે પેટર્નમાં વિઝ્યુઅલ આંતરદૃષ્ટિ પ્રદાન કરે છે જે અન્યથા છુપાયેલી રહી શકે છે.

વૈશ્વિક ડેટાસેટ્સ માટે યોગ્ય ટેકનિક પસંદ કરવી

યોગ્ય ફીચર સિલેક્શન અથવા એક્સટ્રેક્શન પદ્ધતિ પસંદ કરવી એ સર્વવ્યાપી નિર્ણય નથી. કેટલાક પરિબળો, ખાસ કરીને વૈશ્વિક ડેટાસેટ્સ માટે મહત્ત્વપૂર્ણ, આ પસંદગીને પ્રભાવિત કરે છે:

• ડેટાનો પ્રકાર: તમારો ડેટા ન્યુમેરિકલ, કેટેગરીકલ અથવા મિશ્રિત છે? શું જાણીતા વિતરણો છે? ઉદાહરણ તરીકે, chi2 નોન-નેગેટિવ કેટેગરીકલ ફીચર્સ માટે યોગ્ય છે, જ્યારે f_classif ન્યુમેરિકલ ફીચર્સ અને કેટેગરીકલ ટાર્ગેટ માટે છે.
• મોડેલ પ્રકાર: લીનિયર મોડેલ્સને L1 રેગ્યુલરાઇઝેશનથી ફાયદો થઈ શકે છે, જ્યારે ટ્રી-આધારિત મોડેલ્સ કુદરતી રીતે ઇમ્પોર્ટન્સ પ્રદાન કરે છે.
• ગણિતીય સંસાધનો: ફિલ્ટર પદ્ધતિઓ સૌથી ઝડપી હોય છે, ત્યારબાદ એમ્બેડેડ પદ્ધતિઓ, અને પછી રેપર પદ્ધતિઓ અને t-SNE.
• અર્થઘટનક્ષમતા આવશ્યકતાઓ: જો અનુમાન *શા માટે* કરવામાં આવ્યું છે તે સમજાવવું સર્વોપરી હોય, તો ફીચર સિલેક્શન પદ્ધતિઓ જે મૂળ ફીચર્સને જાળવી રાખે છે (જેમ કે RFE અથવા L1) ને ફીચર એક્સટ્રેક્શન પદ્ધતિઓ (જેમ કે PCA) પર ઘણીવાર પસંદ કરવામાં આવે છે જે અમૂર્ત કમ્પોનન્ટ્સ બનાવે છે.
• રેખીયતા વિ. નોન-રેખીયતા: PCA અને લીનિયર મોડેલ્સ રેખીય સંબંધો ધારણ કરે છે, જ્યારે t-SNE અને ટ્રી-આધારિત પદ્ધતિઓ નોન-રેખીય પેટર્ન કેપ્ચર કરી શકે છે.
• સુપરવાઇઝ્ડ વિ. અનસૂપરવાઇઝ્ડ: LDA સુપરવાઇઝ્ડ છે (ટાર્ગેટ વેરીએબલનો ઉપયોગ કરે છે), જ્યારે PCA અનસૂપરવાઇઝ્ડ છે.
• સ્કેલ અને એકમો: PCA અને LDA માટે, ફીચર સ્કેલિંગ આવશ્યક છે. વિવિધ વૈશ્વિક પ્રદેશોમાંથી એકત્રિત કરાયેલા ડેટામાં સ્કેલ તફાવતોને ધ્યાનમાં લો. ઉદાહરણ તરીકે, ચલણ મૂલ્યો અથવા સેન્સર રીડિંગ્સ દેશો અથવા સેન્સર પ્રકારોમાં અત્યંત અલગ સ્કેલ ધરાવી શકે છે.
• સાંસ્કૃતિક અને પ્રાદેશિક સૂક્ષ્મતા: જ્યારે વિવિધ સાંસ્કૃતિક સંદર્ભોમાંથી માનવ વર્તન, વસ્તી વિષયક અથવા ભાવનાઓનો સમાવેશ કરતા ડેટાસેટ્સ સાથે કામ કરતી વખતે, ફીચર્સનું અર્થઘટન જટિલ હોઈ શકે છે. એક પ્રદેશમાં અત્યંત અનુમાનિત હોય તેવું ફીચર બીજા પ્રદેશમાં અપ્રસ્તુત અથવા તો ગેરમાર્ગે દોરનારું હોઈ શકે છે કારણ કે સામાજિક ધોરણો, આર્થિક પરિસ્થિતિઓ અથવા ડેટા કલેક્શન પદ્ધતિઓ અલગ હોઈ શકે છે. વિવિધ વસ્તીમાં ફીચરના મહત્ત્વનું મૂલ્યાંકન કરતી વખતે હંમેશા ડોમેન વિશેષજ્ઞતાને ધ્યાનમાં લો.

કાર્યવાહીયોગ્ય આંતરદૃષ્ટિ:

• સરળ શરૂઆત કરો: ઝડપી મૂલ્યાંકન અને સ્પષ્ટ અવાજ દૂર કરવા માટે ફિલ્ટર પદ્ધતિઓ (દા.ત., વેરીયન્સ થ્રેશોલ્ડ, આંકડાકીય પરીક્ષણો) થી શરૂઆત કરો.
• પુનરાવર્તન કરો અને મૂલ્યાંકન કરો: વિવિધ પદ્ધતિઓ સાથે પ્રયોગ કરો અને યોગ્ય મેટ્રિક્સ અને ક્રોસ-વેલિડેશનનો ઉપયોગ કરીને તમારા મોડેલના પ્રદર્શન પર તેમની અસરનું મૂલ્યાંકન કરો.
• વિઝ્યુલાઇઝ કરો: તમારા ડેટાને નીચલા પરિમાણોમાં વિઝ્યુલાઇઝ કરવા માટે PCA અથવા t-SNE જેવી તકનીકોનો ઉપયોગ કરો, જે અંતર્ગત માળખાને ઉજાગર કરી શકે છે અને તમારી ફીચર સિલેક્શન વ્યૂહરચનાને જાણ કરી શકે છે.
• ડોમેન વિશેષજ્ઞતા મુખ્ય છે: ખાસ કરીને જટિલ વૈશ્વિક ડેટા સાથે કામ કરતી વખતે, ફીચર્સના અર્થ અને સુસંગતતાને સમજવા માટે ડોમેન નિષ્ણાતો સાથે સહયોગ કરો.
• એન્સેમ્બલ અભિગમોનો વિચાર કરો: બહુવિધ ફીચર સિલેક્શન તકનીકોનું સંયોજન ક્યારેક એક જ પદ્ધતિ પર આધાર રાખવા કરતાં વધુ સારા પરિણામો આપી શકે છે.

ઇન્ટિગ્રેટેડ વર્કફ્લો માટે સાયકિટ-લર્નની પાઇપલાઇન

સાયકિટ-લર્નનો Pipeline ઑબ્જેક્ટ મોડેલ ટ્રેનિંગ સાથે ફીચર સિલેક્શન/એક્સટ્રેક્શન સહિતના પ્રીપ્રોસેસિંગ સ્ટેપ્સને એકીકૃત કરવા માટે અપવાદરૂપે ઉપયોગી છે. આ સુનિશ્ચિત કરે છે કે તમારી ફીચર સિલેક્શન ક્રોસ-વેલિડેશનના દરેક ફોલ્ડમાં સુસંગત રીતે કરવામાં આવે છે, ડેટા લિકેજ અટકાવે છે અને વધુ વિશ્વસનીય પરિણામો ઉત્પન્ન કરે છે. વૈવિધ્યસભર વૈશ્વિક બજારોમાં લાગુ થનારા મોડેલ્સ બનાવતી વખતે આ ખાસ કરીને મહત્ત્વપૂર્ણ છે.

            
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.feature_selection import SelectKBest, f_classif
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split, cross_val_score
from sklearn.datasets import load_breast_cancer

bc = load_breast_cancer()
X, y = bc.data, bc.target

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# Create a pipeline that first scales, then selects features, then trains a classifier
pipe = Pipeline([
    ('scaler', StandardScaler()),
    ('selector', SelectKBest(score_func=f_classif, k=10)),
    ('classifier', LogisticRegression(solver='liblinear'))
])

# Train the pipeline
pipe.fit(X_train, y_train)

# Evaluate the pipeline using cross-validation
cv_scores = cross_val_score(pipe, X_train, y_train, cv=5)
print(f"Cross-validation scores: {cv_scores}")
print(f"Average CV score: {np.mean(cv_scores):.4f}")

# Make predictions on the test set
accuracy = pipe.score(X_test, y_test)
print(f"Test set accuracy: {accuracy:.4f}")

            

              
                Copy
              
            
          

પાઇપલાઇન્સનો ઉપયોગ સુનિશ્ચિત કરે છે કે સમગ્ર પ્રક્રિયા — સ્કેલિંગથી ફીચર સિલેક્શનથી ક્લાસિફિકેશન સુધી — એક જ એકમ તરીકે ગણવામાં આવે છે. આ મજબૂત મોડેલ વિકાસ માટે એક શ્રેષ્ઠ પ્રથા છે, ખાસ કરીને જ્યારે મોડેલ્સ વૈશ્વિક જમાવટ માટે બનાવાયેલ હોય જ્યાં વિવિધ ડેટા વિતરણોમાં સુસંગત પ્રદર્શન મુખ્ય હોય છે.

નિષ્કર્ષ

ફીચર સિલેક્શન અને એક્સટ્રેક્શન દ્વારા ડાયમેન્શનલિટી રિડક્શન કાર્યક્ષમ, મજબૂત અને અર્થઘટન કરી શકાય તેવા મશીન લર્નિંગ મોડેલ્સ બનાવવામાં એક મહત્ત્વપૂર્ણ પગલું છે. સાયકિટ-લર્ન આ પડકારોનો સામનો કરવા માટે એક વ્યાપક ટૂલકિટ પ્રદાન કરે છે, જે વિશ્વભરના ડેટા વૈજ્ઞાનિકોને સશક્ત બનાવે છે. વિવિધ પદ્ધતિઓ — ફિલ્ટર, રેપર, એમ્બેડેડ પદ્ધતિઓ, અને PCA અને LDA જેવી ફીચર એક્સટ્રેક્શન ટેકનિક્સ — ને સમજીને, તમે તમારા વિશિષ્ટ ડેટાસેટ અને ઉદ્દેશ્યોને અનુરૂપ જાણકાર નિર્ણયો લઈ શકો છો.

અમારા વૈશ્વિક પ્રેક્ષકો માટે, વિચારણાઓ માત્ર અલ્ગોરિધ્મિક પસંદગીઓ કરતાં વધુ વિસ્તૃત છે. ડેટા પ્રોવેનન્સ, વિવિધ પ્રદેશોમાં ફીચર કલેક્શન દ્વારા દાખલ થયેલા સંભવિત પૂર્વગ્રહો અને સ્થાનિક હિતધારકોની વિશિષ્ટ અર્થઘટનક્ષમતાની જરૂરિયાતોને સમજવી અત્યંત મહત્ત્વપૂર્ણ છે. સાયકિટ-લર્નના Pipeline જેવા સાધનોનો ઉપયોગ એક સંરચિત અને પુનરાવર્તિત વર્કફ્લો સુનિશ્ચિત કરે છે, જે વિવિધ આંતરરાષ્ટ્રીય સંદર્ભોમાં વિશ્વસનીય AI સોલ્યુશન્સ ગોઠવવા માટે આવશ્યક છે.

જેમ જેમ તમે આધુનિક ડેટા સાયન્સની જટિલતાઓને નેવિગેટ કરો છો, તેમ તેમ સાયકિટ-લર્નની ફીચર સિલેક્શન ક્ષમતાઓમાં નિપુણતા મેળવવી નિઃશંકપણે એક મહત્ત્વપૂર્ણ સંપત્તિ બનશે, જે તમને તમારા ડેટાની સંપૂર્ણ સંભાવનાને અનલોક કરવામાં સક્ષમ બનાવશે, પછી ભલે તેનો સ્ત્રોત ગમે તે હોય.