Scikit-learn priekšapstrāde: Datu transformācijas konveijeru apgūšana mašīnmācībai

Mašīnmācīšanās jomā jūsu datu kvalitāte tieši ietekmē modeļu veiktspēju. Neapstrādāti dati bieži satur neatbilstības, trūkstošas vērtības un atšķirīgus mērogus, padarot tos nederīgus tiešai lietošanai. Scikit-learn, jaudīga Python bibliotēka, nodrošina visaptverošu priekšapstrādes paņēmienu kopumu, lai pārveidotu jūsu datus mašīnmācīšanās algoritmiem piemērotā formātā. Šis raksts iedziļinās Scikit-learn priekšapstrādes pasaulē, koncentrējoties uz datu transformācijas konveijeru izveidi un izmantošanu, lai racionalizētu jūsu mašīnmācīšanās darba plūsmas.

Kāpēc datu priekšapstrāde ir būtiska

Datu priekšapstrāde ir neapstrādātu datu tīrīšanas, transformēšanas un organizēšanas process, lai padarītu tos piemērotākus mašīnmācīšanās modeļiem. Tas ir būtisks solis, jo mašīnmācīšanās algoritmi ir jutīgi pret ievades iezīmju mērogu un sadalījumu. Bez pienācīgas priekšapstrādes modeļi var darboties slikti, radot neprecīzas prognozes un neuzticamus rezultātus. Šeit ir daži galvenie iemesli, kāpēc datu priekšapstrāde ir būtiska:

• Uzlabota modeļa veiktspēja: Priekšapstrādāti dati ļauj modeļiem efektīvāk mācīties un sasniegt augstāku precizitāti.
• Apstrādā trūkstošās vērtības: Imputācijas paņēmieni aizpilda trūkstošos datu punktus, novēršot algoritmu avārijas vai neobjektīvu rezultātu rašanos.
• Standartizē iezīmju mērogus: Mērogošanas metodes nodrošina, ka visas iezīmes vienlīdzīgi veicina modeli, novēršot iezīmes ar lielākām vērtībām no mācīšanās procesa dominēšanas.
• Kodē kategoriskos mainīgos: Kodēšanas paņēmieni pārveido kategoriskos datus skaitliskos attēlojumos, ko mašīnmācīšanās algoritmi var saprast.
• Samazina troksni un novirzes: Priekšapstrāde var palīdzēt mazināt noviržu un trokšņainu datu ietekmi, kā rezultātā modeļi kļūst stabilāki.

Ievads Scikit-learn konveijeros

Scikit-learn konveijeri nodrošina veidu, kā sasaistīt vairākus datu transformācijas posmus vienā, atkārtoti izmantojamā objektā. Tas vienkāršo jūsu kodu, uzlabo lasāmību un novērš datu noplūdi modeļa novērtēšanas laikā. Konveijers būtībā ir datu transformāciju secība, kam seko galīgais novērtētājs (piemēram, klasifikators vai regresors). Lūk, kāpēc konveijeri ir tik izdevīgi:

• Koda organizācija: Konveijeri iekapsulē visu datu priekšapstrādes un modelēšanas darba plūsmu vienā vienībā, padarot jūsu kodu organizētāku un vieglāk uzturamu.
• Datu noplūdes novēršana: Konveijeri nodrošina, ka datu transformācijas tiek konsekventi lietotas gan apmācības, gan testēšanas datiem, novēršot datu noplūdi, kas var izraisīt pārmācīšanos un sliktu vispārināšanu.
• Vienkāršota modeļa novērtēšana: Konveijeri atvieglo modeļa veiktspējas novērtēšanu, izmantojot tādus paņēmienus kā krusteniskā validācija, jo visa priekšapstrādes un modelēšanas darba plūsma tiek konsekventi lietota katrai kārtai.
• Racionalizēta izvietošana: Konveijerus var viegli izvietot ražošanas vidēs, nodrošinot, ka dati tiek priekšapstrādāti tāpat kā apmācības laikā.

Bieži izmantotie datu priekšapstrādes paņēmieni Scikit-learn

Scikit-learn piedāvā plašu priekšapstrādes paņēmienu klāstu. Lūk, daži no visbiežāk izmantotajiem:

1. Mērogošana un normalizācija

Mērogošana un normalizācija ir paņēmieni, ko izmanto, lai pārveidotu skaitliskās iezīmes līdzīgā vērtību diapazonā. Tas ir svarīgi, jo iezīmes ar atšķirīgiem mērogiem var nesamērīgi ietekmēt mācīšanās procesu. Scikit-learn nodrošina vairākas mērogošanas un normalizācijas metodes:

• StandardScaler: Standartizē iezīmes, noņemot vidējo vērtību un mērogojot līdz vienības dispersijai. Šis ir plaši izmantots paņēmiens, kas pieņem, ka dati atbilst normālsadalījumam.

  Formula: x_scaled = (x - mean) / standard_deviation

  Piemērs: Pieņemsim, ka jums ir mājas cenas USD un platība kvadrātpēdās. Šo iezīmju mērogošana nodrošina, ka modelis nepārmērīgi nepiešķir nozīmi iezīmei ar lielākām vērtībām (piemēram, mājas cenām).

• MinMaxScaler: Mērogo iezīmes noteiktā diapazonā, parasti starp 0 un 1. Tas ir noderīgi, ja vēlaties saglabāt sākotnējo datu sadalījumu.

  Formula: x_scaled = (x - min) / (max - min)

  Piemērs: Attēlu apstrādē bieži izmanto MinMaxScaler, lai normalizētu pikseļu vērtības diapazonā [0, 1].

• RobustScaler: Mērogo iezīmes, izmantojot statistiku, kas ir izturīga pret novirzēm, piemēram, mediānu un starpkvartīļu diapazonu (IQR). Šī ir laba izvēle, ja jūsu dati satur novirzes.

  Formula: x_scaled = (x - median) / IQR

  Piemērs: Finanšu datu kopās, kur novirzes ir bieži sastopamas (piemēram, ekstrēmas akciju tirgus svārstības), RobustScaler var nodrošināt stabilākus rezultātus.

• Normalizer: Normalizē paraugus individuāli līdz vienības normai. Tas ir noderīgi, ja iezīmju vektora lielums ir svarīgāks par atsevišķām iezīmju vērtībām.

  Formula (L2 norma): x_scaled = x / ||x||

  Piemērs: Teksta apstrādē vārdu biežuma-inversās dokumentu biežuma (TF-IDF) vektoru normalizēšana ir izplatīta prakse.

2. Kategorisko mainīgo kodēšana

Mašīnmācīšanās algoritmiem parasti ir nepieciešama skaitliska ievade, tāpēc kategoriskie mainīgie ir jāpārveido skaitliskos attēlojumos. Scikit-learn piedāvā vairākus kodēšanas paņēmienus:

• OneHotEncoder: Izveido bināras kolonnas katrai iezīmes kategorijai. Tas ir piemērots nominālām kategoriskām iezīmēm (iezīmēm bez noteiktas secības).

  Piemērs: Kodējot "valsts" iezīmi ar vērtībām, piemēram, "USA", "Canada" un "UK", tiktu izveidotas trīs jaunas kolonnas: "country_USA", "country_Canada" un "country_UK".

• OrdinalEncoder: Piešķir veselu skaitli katrai kategorijai, pamatojoties uz tās secību. Tas ir piemērots ordinālām kategoriskām iezīmēm (iezīmēm ar jēgpilnu secību).

  Piemērs: Kodējot "izglītības līmeņa" iezīmi ar vērtībām, piemēram, "High School", "Bachelor's" un "Master's", tiktu piešķirtas veselu skaitļu vērtības, piemēram, attiecīgi 0, 1 un 2.

• LabelEncoder: Kodē mērķa etiķetes ar vērtībām no 0 līdz n_classes-1. Izmantojiet to, lai kodētu mērķa mainīgo klasifikācijas problēmās.

  Piemērs: Kodējot "spam" un "not spam" etiķetes attiecīgi kā 0 un 1.

• TargetEncoder (nepieciešama category_encoders bibliotēka): Kodē kategoriskās iezīmes, pamatojoties uz mērķa mainīgā vidējo vērtību katrai kategorijai. Var izraisīt mērķa noplūdi, ja netiek rūpīgi izmantots krusteniskās validācijas iestatījumos.

3. Trūkstošo vērtību apstrāde

Trūkstošās vērtības ir izplatīta problēma reālās pasaules datu kopās. Scikit-learn nodrošina paņēmienus, kā imputēt (aizpildīt) trūkstošās vērtības:

• SimpleImputer: Imputē trūkstošās vērtības, izmantojot konstantu vērtību, vidējo, mediānu vai visbiežāk sastopamo iezīmes vērtību.
• KNNImputer: Imputē trūkstošās vērtības, izmantojot k-tuvāko kaimiņu algoritmu. Tas atrod k tuvākos paraugus paraugam ar trūkstošajām vērtībām un izmanto šo kaimiņu vidējo vērtību, lai imputētu trūkstošo vērtību.
• IterativeImputer: Imputē trūkstošās vērtības, izmantojot iteratīvu modelēšanas pieeju. Katra iezīme ar trūkstošām vērtībām tiek modelēta kā funkcija no citām iezīmēm, un trūkstošās vērtības tiek prognozētas iteratīvi.

4. Iezīmju transformācija

Iezīmju transformācija ietver jaunu iezīmju izveidi no esošajām. Tas var uzlabot modeļa veiktspēju, tverot nelineāras attiecības vai mijiedarbību starp iezīmēm. Daži paņēmieni ietver:

• PolynomialFeatures: Ģenerē iezīmju polinomiālās kombinācijas. Piemēram, ja jums ir divas iezīmes x1 un x2, PolynomialFeatures var izveidot jaunas iezīmes, piemēram, x1^2, x2^2, x1*x2.
• FunctionTransformer: Lieto pielāgotu funkciju iezīmēm. Tas ļauj veikt patvaļīgas transformācijas, piemēram, logaritmiskās transformācijas vai eksponenciālās transformācijas.
• PowerTransformer: Lieto pakāpes transformāciju, lai padarītu datus vairāk līdzīgus Gausa sadalījumam. Tas var būt noderīgi algoritmiem, kas pieņem normalitāti, piemēram, lineārajai regresijai. (Ietver Box-Cox un Yeo-Johnson transformācijas)

Datu transformācijas konveijeru veidošana ar Scikit-learn

Tagad, pielietosim šos priekšapstrādes paņēmienus praksē, veidojot datu transformācijas konveijerus. Šeit ir soli pa solim ceļvedis:

1. Importējiet nepieciešamās bibliotēkas

Sāciet, importējot nepieciešamās bibliotēkas no Scikit-learn:

from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScaler, OneHotEncoder, SimpleImputer from sklearn.compose import ColumnTransformer from sklearn.model_selection import train_test_split from sklearn.linear_model import LogisticRegression import pandas as pd

2. Ielādējiet un sagatavojiet savus datus

Ielādējiet savu datu kopu, izmantojot pandas vai citu piemērotu metodi. Identificējiet skaitliskās un kategoriskās iezīmes savā datu kopā. Piemēram:

data = { 'age': [25, 30, 35, 40, 45, None], 'country': ['USA', 'Canada', 'USA', 'UK', 'Canada', 'USA'], 'salary': [50000, 60000, 70000, 80000, 90000, 55000], 'purchased': [0, 1, 0, 1, 0, 1] } df = pd.DataFrame(data)

3. Definējiet priekšapstrādes posmus

Izveidojiet to priekšapstrādes transformatoru instances, kuras vēlaties izmantot. Piemēram, lai apstrādātu skaitliskās iezīmes, varat izmantot StandardScaler un SimpleImputer. Kategoriskajām iezīmēm varat izmantot OneHotEncoder. Apsveriet stratēģijas trūkstošo vērtību apstrādei pirms mērogošanas vai kodēšanas.

numerical_features = ['age', 'salary'] categorical_features = ['country'] numerical_transformer = Pipeline(steps=[ ('imputer', SimpleImputer(strategy='mean')), ('scaler', StandardScaler()) ]) categorical_transformer = Pipeline(steps=[ ('onehot', OneHotEncoder(handle_unknown='ignore')) ])

4. Izveidojiet ColumnTransformer

Izmantojiet ColumnTransformer, lai lietotu dažādus transformatorus dažādām jūsu datu kolonnām. Tas ļauj jums priekšapstrādāt skaitliskās un kategoriskās iezīmes atsevišķi.

preprocessor = ColumnTransformer( transformers=[ ('num', numerical_transformer, numerical_features), ('cat', categorical_transformer, categorical_features) ])

5. Izveidojiet konveijeru

Izveidojiet Pipeline objektu, kas sasaista priekšapstrādes posmus ar mašīnmācīšanās modeli. Tas nodrošina, ka dati tiek konsekventi priekšapstrādāti pirms to nodošanas modelim.

pipeline = Pipeline(steps=[('preprocessor', preprocessor), ('classifier', LogisticRegression())])

6. Apmāciet un novērtējiet modeli

Sadalīet savus datus apmācības un testēšanas kopās. Pēc tam apmāciet konveijeru ar apmācības datiem un novērtējiet tā veiktspēju ar testēšanas datiem.

X = df.drop('purchased', axis=1) y = df['purchased'] X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) pipeline.fit(X_train, y_train) score = pipeline.score(X_test, y_test) print(f'Model accuracy: {score}')

Pilns piemēra kods

Lūk, pilns kods datu transformācijas konveijera veidošanai un apmācīšanai:

import pandas as pd from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScaler, OneHotEncoder, SimpleImputer from sklearn.compose import ColumnTransformer from sklearn.model_selection import train_test_split from sklearn.linear_model import LogisticRegression # Sample Data data = { 'age': [25, 30, 35, 40, 45, None], 'country': ['USA', 'Canada', 'USA', 'UK', 'Canada', 'USA'], 'salary': [50000, 60000, 70000, 80000, 90000, 55000], 'purchased': [0, 1, 0, 1, 0, 1] } df = pd.DataFrame(data) # Define features numerical_features = ['age', 'salary'] categorical_features = ['country'] # Create transformers numerical_transformer = Pipeline(steps=[ ('imputer', SimpleImputer(strategy='mean')), ('scaler', StandardScaler()) ]) categorical_transformer = Pipeline(steps=[ ('onehot', OneHotEncoder(handle_unknown='ignore')) ]) # Create preprocessor preprocessor = ColumnTransformer( transformers=[ ('num', numerical_transformer, numerical_features), ('cat', categorical_transformer, categorical_features) ]) # Create pipeline pipeline = Pipeline(steps=[('preprocessor', preprocessor), ('classifier', LogisticRegression())]) # Split data X = df.drop('purchased', axis=1) y = df['purchased'] X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # Train model pipeline.fit(X_train, y_train) # Evaluate model score = pipeline.score(X_test, y_test) print(f'Model accuracy: {score}')

Uzlabotas konveijeru metodes

Kad esat apguvis pamatus, varat izpētīt sarežģītākas konveijeru metodes:

1. Pielāgoti transformatori

Jūs varat izveidot savus pielāgotus transformatorus, lai veiktu specifiskas datu transformācijas, kas nav pieejamas Scikit-learn. Lai izveidotu pielāgotu transformatoru, jums jāmantojas no TransformerMixin un BaseEstimator klasēm un jāievieš fit un transform metodes. Tas var būt noderīgi iezīmju inženierijai vai domēnam specifiskām transformācijām. Atcerieties iekļaut atbilstošus dokumentācijas virknes lasāmībai.

2. Iezīmju apvienošana (Feature Union)

FeatureUnion ļauj apvienot vairāku transformatoru izvadi vienā iezīmju vektorā. Tas var būt noderīgi, ja vēlaties lietot dažādas transformācijas tām pašām iezīmēm vai apvienot iezīmes, kas ir transformētas dažādos veidos. FeatureUnion klase tiek izmantota, lai apvienotu vairāku transformatoru izvadi vienā iezīmju vektorā.

3. Tīkla meklēšana (Grid Search) ar konveijeriem

Jūs varat izmantot GridSearchCV, lai optimizētu jūsu konveijera hiperparametrības, tostarp priekšapstrādes posmu hiperparametrības. Tas ļauj jums automātiski atrast labāko priekšapstrādes paņēmienu un modeļa parametru kombināciju. Esiet piesardzīgi attiecībā uz palielinātām aprēķinu izmaksām.

Labākā prakse datu priekšapstrādes konveijeriem

Lūk, dažas labākās prakses, kas jāpatur prātā, veidojot datu priekšapstrādes konveijerus:

• Izprotiet savus datus: Pirms jebkādu priekšapstrādes paņēmienu lietošanas veltiet laiku, lai izprastu savus datus. Izpētiet iezīmju sadalījumus, identificējiet trūkstošās vērtības un meklējiet novirzes.
• Dokumentējiet savu konveijeru: Pievienojiet komentārus savam kodam, lai izskaidrotu katru konveijera posmu. Tas atvieglos jūsu koda izpratni un uzturēšanu.
• Pārbaudiet savu konveijeru: Rūpīgi pārbaudiet savu konveijeru, lai nodrošinātu, ka tas darbojas pareizi. Izmantojiet vienības testus, lai pārbaudītu, vai katrs konveijera posms rada paredzēto izvadi.
• Izvairieties no datu noplūdes: Esiet uzmanīgi, lai izvairītos no datu noplūdes, priekšapstrādājot savus datus. Pārliecinieties, ka izmantojat tikai informāciju no apmācības datiem, lai priekšapstrādātu apmācības datus. Izmantojiet konveijerus, lai nodrošinātu konsekvenci starp apmācības un testēšanas datiem.
• Uzraugiet veiktspēju: Laika gaitā uzraugiet sava modeļa veiktspēju un apmāciet to atkārtoti, ja nepieciešams. Datu sadalījums laika gaitā var mainīties, tāpēc ir svarīgi periodiski atkārtoti novērtēt savu konveijeru un veikt nepieciešamos pielāgojumus.

Reālās pasaules piemēri

Izpētīsim dažus reālās pasaules piemērus, kā datu transformācijas konveijerus var izmantot dažādās nozarēs:

• Finanses: Kredītriska modelēšanā konveijerus var izmantot klientu datu priekšapstrādei, tostarp skaitliskām iezīmēm, piemēram, ienākumiem un kredītreitingam, kā arī kategoriskām iezīmēm, piemēram, nodarbinātības statusam un aizdevuma mērķim. Trūkstošās vērtības var imputēt, izmantojot tādus paņēmienus kā vidējo vērtību imputācija vai k-tuvāko kaimiņu imputācija. Mērogošana ir ļoti svarīga, lai nodrošinātu, ka iezīmes ar atšķirīgiem mērogiem nedomina modeli.
• Veselības aprūpe: Medicīniskajā diagnostikā konveijerus var izmantot pacientu datu priekšapstrādei, tostarp skaitliskām iezīmēm, piemēram, vecumam, asinsspiedienam un holesterīna līmenim, kā arī kategoriskām iezīmēm, piemēram, dzimumam un slimības vēsturei. Kategorisko iezīmju pārveidošanai skaitliskos attēlojumos var izmantot viencipara kodēšanu (one-hot encoding).
• E-komercija: Produktu ieteikumu sistēmās konveijerus var izmantot klientu un produktu datu priekšapstrādei, tostarp skaitliskām iezīmēm, piemēram, pirkumu biežumam un produktu vērtējumiem, kā arī kategoriskām iezīmēm, piemēram, produktu kategorijai un klientu demogrāfiskajiem datiem. Konveijeri var ietvert teksta priekšapstrādes posmus, piemēram, tokenizāciju un sakņu veidošanu, lai iegūtu iezīmes no produktu aprakstiem un klientu atsauksmēm.
• Ražošana: Paredzamā apkopē konveijerus var izmantot sensoru datu priekšapstrādei no mašīnām, tostarp skaitliskām iezīmēm, piemēram, temperatūrai, spiedienam un vibrācijai, kā arī kategoriskām iezīmēm, piemēram, mašīnas tipam un darbības apstākļiem. RobustScaler šeit var būt īpaši noderīgs, ņemot vērā noviržu nolasījumu potenciālu.

Globālo datu kopu izaicinājumu risināšana

Strādājot ar globālām datu kopām, bieži sastapsieties ar specifiskiem izaicinājumiem, kas priekšapstrādes laikā prasa rūpīgu apsvēršanu. Lūk, dažas bieži sastopamas problēmas un stratēģijas to risināšanai:

• Dažādi datu formāti: Datumiem, skaitļiem un valūtām dažādos reģionos var būt atšķirīgi formāti. Nodrošiniet konsekventu parsēšanu un formatēšanu. Piemēram, datumi var būt DD/MM/YYYY vai MM/DD/YYYY formātā. Izmantojiet atbilstošas bibliotēkas datumu konvertēšanai un formatēšanai.
• Valodu atšķirības: Teksta dati var būt dažādās valodās, kas prasa tulkošanu vai valodu specifiskus priekšapstrādes paņēmienus. Apsveriet iespēju izmantot tādas bibliotēkas kā Google Translate API (ar atbilstošiem lietošanas apsvērumiem un izmaksām) tulkošanai vai NLTK valodu specifiskai teksta apstrādei.
• Valūtas konvertēšana: Finanšu dati var būt dažādās valūtās. Konvertējiet visas vērtības uz kopēju valūtu, izmantojot jaunākās valūtas maiņas kursus. Izmantojiet uzticamus API, lai iegūtu precīzus un reāllaika valūtas maiņas kursus.
• Laika zonas: Laika sēriju dati var būt ierakstīti dažādās laika joslās. Konvertējiet visus laika zīmogus uz kopēju laika zonu (piemēram, UTC), lai nodrošinātu konsekvenci. Izmantojiet tādas bibliotēkas kā pytz, lai apstrādātu laika joslu konvertācijas.
• Kultūras atšķirības: Kultūras nianses var ietekmēt datu interpretāciju. Piemēram, klientu apmierinātības rādītāji var tikt interpretēti atšķirīgi dažādās kultūrās. Esiet informēts par šīm niansēm un ņemiet tās vērā, izstrādājot priekšapstrādes posmus.
• Datu kvalitātes problēmas: Datu kvalitāte var ievērojami atšķirties dažādos avotos. Ieviesiet stabilas datu validācijas un tīrīšanas procedūras, lai identificētu un labotu kļūdas.

Secinājums

Datu priekšapstrāde ir kritisks posms mašīnmācīšanās konveijerā. Izmantojot Scikit-learn konveijerus, jūs varat racionalizēt savu darba plūsmu, novērst datu noplūdi un uzlabot savu modeļu veiktspēju. Šo paņēmienu apgūšana dos jums iespēju veidot stabilākus un uzticamākus mašīnmācīšanās risinājumus plašam pielietojumu klāstam. Atcerieties pielāgot priekšapstrādes posmus savu datu specifiskajām īpašībām un mašīnmācīšanās modeļa prasībām. Eksperimentējiet ar dažādiem paņēmieniem, lai atrastu optimālo kombināciju jūsu konkrētajai problēmai. Ieguldot laiku pareizā datu priekšapstrādē, jūs varat atraisīt pilnu savu mašīnmācīšanās algoritmu potenciālu un sasniegt izcilus rezultātus.