Python Pandas -datan puhdistuksen hallinta: maailmanlaajuinen opas puuttuvien arvojen käsittelyyn

Data-analyysin ja koneoppimisen maailmassa datan laatu on ensiarvoisen tärkeää. Yksi yleisimmistä haasteista on puuttuvien arvojen esiintyminen. Nämä voivat johtua useista lähteistä, kuten tiedonsyöttövirheistä, anturien toimintahäiriöistä tai puutteellisista kyselyistä. Puuttuvan tiedon tehokas käsittely on kriittinen vaihe datan puhdistusprosessissa, mikä varmistaa, että analyysisi ovat vankkoja ja mallisi tarkkoja. Tämä opas opastaa sinut olennaisten tekniikoiden läpi puuttuvien arvojen hallintaan tehokkaan Python Pandas -kirjaston avulla, joka on suunniteltu maailmanlaajuiselle yleisölle.

Miksi puuttuvien arvojen käsittely on niin tärkeää?

Puuttuva data voi vääristää tuloksiasi merkittävästi. Monia analyyttisiä algoritmeja ja tilastollisia malleja ei ole suunniteltu käsittelemään puuttuvia arvoja, mikä johtaa virheisiin tai puolueellisiin tuloksiin. Esimerkiksi:

• Puolueelliset keskiarvot: Jos puuttuvat arvot ovat keskittyneet tiettyihin ryhmiin, keskiarvojen laskeminen voi vääristää populaation todellisia ominaisuuksia.
• Pienempi otoskoko: Yksinkertaisesti poistamalla rivit tai sarakkeet, joissa on puuttuvia arvoja, voit pienentää tietojoukkoasi dramaattisesti, mikä voi johtaa arvokkaan tiedon ja tilastollisen voiman menetykseen.
• Mallin suorituskyvyn heikkeneminen: Epätäydelliseen dataan koulutetut koneoppimismallit voivat osoittaa heikkoa ennustavaa suorituskykyä ja yleistyskykyä.
• Harhaanjohtavat visualisoinnit: Kaaviot ja graafit voivat esittää epätarkan kuvan, jos puuttuvia datapisteitä ei oteta huomioon.

Puuttuvien arvojen ymmärtäminen ja käsitteleminen on perustavanlaatuinen taito jokaiselle data-ammattilaiselle, riippumatta heidän maantieteellisestä sijainnistaan tai toimialastaan.

Puuttuvien arvojen tunnistaminen Pandasissa

Pandas tarjoaa intuitiivisia menetelmiä puuttuvan datan havaitsemiseksi. Puuttuvien arvojen ensisijaiset esitykset ovat NaN (Not a Number) numeeriselle datalle ja None objektidatatyypeille. Pandas käsittelee molempia puuttuvina.

isnull() ja notnull() -menetelmät

isnull()-menetelmä palauttaa saman muotoisen boolean DataFrame -kehyksen, joka ilmaisee True, jos arvo puuttuu, ja muuten False. Päinvastoin, notnull() palauttaa True ei-puuttuville arvoille.

            import pandas as pd
import numpy as np

# Esimerkki DataFrame puuttuvilla arvoilla
data = {'col1': [1, 2, np.nan, 4, 5],
        'col2': [np.nan, 'b', 'c', 'd', 'e'],
        'col3': [6, 7, 8, np.nan, 10]}
df = pd.DataFrame(data)

print("Alkuperäinen DataFrame:")
print(df)

print("\nPuuttuvien arvojen tarkistus:")
print(df.isnull())

print("\nEi-puuttuvien arvojen tarkistus:")
print(df.notnull())

            

              
                Copy
              
            
          

Puuttuvien arvojen laskeminen

Saadaksesi yhteenvedon puuttuvista arvoista saraketta kohti, voit ketjuttaa isnull()-menetelmän sum()-menetelmän kanssa:

            print("\nPuuttuvien arvojen määrä saraketta kohti:")
print(df.isnull().sum())

            

              
                Copy
              
            
          

Tämä tuloste näyttää tarkalleen kuinka monta puuttuvaa arvoa on kussakin sarakkeessa ja tarjoaa nopean yleiskatsauksen ongelman laajuudesta.

Puuttuvan datan visualisointi

Suurempien tietojoukkojen kohdalla puuttuvan datan visualisointi voi olla erittäin oivaltavaa. Kirjastot, kuten missingno, voivat auttaa sinua tunnistamaan puuttuvuuden malleja.

            # Sinun on ehkä asennettava tämä kirjasto:
# pip install missingno

import missingno as msno
import matplotlib.pyplot as plt

print("\nPuuttuvan datan visualisointi:")
msno.matrix(df)
plt.title("Puuttuvan datan matriisi")
plt.show()

            

              
                Copy
              
            
          

Matriisikaavio näyttää tiheän palkin kullekin sarakkeelle, jossa dataa on, ja harvan palkin, jossa sitä puuttuu. Tämä voi paljastaa, onko puuttuvuus satunnaista vai seuraako se mallia.

Strategioita puuttuvien arvojen käsittelyyn

On olemassa useita yleisiä strategioita puuttuvan datan käsittelyyn. Strategian valinta riippuu usein datan luonteesta, puuttuvien arvojen osuudesta ja analyysin tavoitteista.

1. Poistostrategiat

Poisto sisältää puuttuvia arvoja sisältävien datapisteiden poistamisen. Vaikka se vaikuttaa suoraviivaiselta, on tärkeää ymmärtää sen vaikutukset.

a. Rivien poisto (Listwise Deletion)

Tämä on yksinkertaisin lähestymistapa: poista kokonaiset rivit, jotka sisältävät vähintään yhden puuttuvan arvon.

            print("\nDataFrame sen jälkeen, kun rivit on poistettu puuttuvilla arvoilla:")
df_dropped_rows = df.dropna()
print(df_dropped_rows)

            

              
                Copy
              
            
          

Edut: Yksinkertainen toteuttaa, johtaa puhtaaseen tietojoukkoon algoritmeille, jotka eivät pysty käsittelemään puuttuvia arvoja.

Haitat: Voi johtaa tietojoukon koon merkittävään pienenemiseen, mikä voi menettää arvokasta tietoa ja aiheuttaa vääristymiä, jos puuttuvuus ei ole täysin satunnaista (MCAR - Missing Completely At Random).

b. Sarakkeen poisto

Jos tietyssä sarakkeessa on erittäin suuri prosenttiosuus puuttuvia arvoja eikä se ole kriittinen analyysillesi, voit harkita koko sarakkeen poistamista.

            # Esimerkki: Poista 'col1', jos siinä on liikaa puuttuvia arvoja (hypoteettisesti)
# Esittelyn vuoksi luodaan skenaario, jossa on enemmän puuttuvaa dataa col1:ssä
data_high_missing = {'col1': [1, np.nan, np.nan, np.nan, 5],
                   'col2': [np.nan, 'b', 'c', 'd', 'e'],
                   'col3': [6, 7, 8, np.nan, 10]}
df_high_missing = pd.DataFrame(data_high_missing)

print("\nDataFrame, jossa on mahdollisesti paljon puuttuvuutta col1:ssä:")
print(df_high_missing)
print("\nPuuttuvat arvot saraketta kohti:")
print(df_high_missing.isnull().sum())

# Sanotaan, että päätämme poistaa col1:n suuren puuttuvuuden vuoksi
df_dropped_col = df_high_missing.drop('col1', axis=1) # axis=1 osoittaa sarakkeen poistamista
print("\nDataFrame col1:n poistamisen jälkeen:")
print(df_dropped_col)

            

              
                Copy
              
            
          

Edut: Tehokas, jos sarake on suurelta osin epäinformatiivinen puuttuvan datan vuoksi.

Haitat: Mahdollinen arvokkaiden ominaisuuksien menetys. Kynnysarvo "liian monelle puuttuvalle arvolle" on subjektiivinen.

2. Imputointistrategiat

Imputointi sisältää puuttuvien arvojen korvaamisen arvioiduilla tai lasketuilla arvoilla. Tämä on usein parempi kuin poisto, koska se säilyttää tietojoukon koon.

a. Keskiarvo/Mediaani/Moodi-imputointi

Tämä on yleinen ja yksinkertainen imputointitekniikka. Numeerisille sarakkeille voit korvata puuttuvat arvot kyseisen sarakkeen ei-puuttuvien arvojen keskiarvolla tai mediaanilla. Kategorisille sarakkeille käytetään moodia (yleisin arvo).

• Keskiarvoimputointi: Sopii normaalisti jakautuneelle datalle. Herkkä poikkeamille.
• Mediaani-imputointi: Kestää paremmin poikkeamia kuin keskiarvoimputointi.
• Moodi-imputointi: Käytetään kategorisille ominaisuuksille.

            # Käytetään alkuperäistä df:ää, jossa on joitain NaN-arvoja
print("\nAlkuperäinen DataFrame imputointia varten:")
print(df)

# Imputoi puuttuvat arvot 'col1':ssä keskiarvolla
mean_col1 = df['col1'].mean()
df['col1'].fillna(mean_col1, inplace=True)

# Imputoi puuttuvat arvot 'col3':ssa mediaanilla
median_col3 = df['col3'].median()
df['col3'].fillna(median_col3, inplace=True)

# Imputoi puuttuvat arvot 'col2':ssa moodilla
mode_col2 = df['col2'].mode()[0] # mode() voi palauttaa useita arvoja, jos on tasapeli
df['col2'].fillna(mode_col2, inplace=True)

print("\nDataFrame keskiarvo/mediaani/moodi-imputoinnin jälkeen:")
print(df)

            

              
                Copy
              
            
          

Edut: Yksinkertainen, säilyttää tietojoukon koon.

Haitat: Voi vääristää datan varianssia ja kovarianssia. Olettaa, että keskiarvo/mediaani/moodi on hyvä edustava arvo puuttuvalle datalle, mikä ei välttämättä aina pidä paikkaansa.

b. Eteenpäin täyttö ja taaksepäin täyttö

Nämä menetelmät ovat erityisen hyödyllisiä aikasarjadatalle tai datalle, jolla on luonnollinen järjestys.

• Eteenpäin täyttö (ffill): Täyttää puuttuvat arvot viimeisellä tunnetulla kelvollisella havainnolla.
• Taaksepäin täyttö (bfill): Täyttää puuttuvat arvot seuraavalla tunnetulla kelvollisella havainnolla.

            # Luodaan uudelleen DataFrame, jossa on puuttuvia arvoja, jotka sopivat ffill/bfill -käyttöön
data_time_series = {'value': [10, 12, np.nan, 15, np.nan, np.nan, 20]}
df_ts = pd.DataFrame(data_time_series)

print("\nAlkuperäinen DataFrame aikasarjaimputointia varten:")
print(df_ts)

# Eteenpäin täyttö
df_ts_ffill = df_ts.fillna(method='ffill')
print("\nDataFrame eteenpäin täytön jälkeen:")
print(df_ts_ffill)

# Taaksepäin täyttö
df_ts_bfill = df_ts.fillna(method='bfill')
print("\nDataFrame taaksepäin täytön jälkeen:")
print(df_ts_bfill)

            

              
                Copy
              
            
          

Edut: Hyödyllinen järjestetylle datalle, säilyttää ajalliset suhteet.

Haitat: Voi levittää virheellisiä arvoja, jos puuttuvan datan aukot ovat pitkiä. ffill ei ota huomioon tulevaa tietoa, ja bfill ei ota huomioon mennyttä tietoa.

c. Imputointi Groupby:n avulla

Hienostuneempi lähestymistapa on imputoida puuttuvat arvot ryhmätilastojen perusteella. Tämä on erityisen hyödyllistä, kun epäilet, että puuttuvuus liittyy tiettyyn luokkaan tai ryhmään datassasi.

            data_grouped = {
    'category': ['A', 'B', 'A', 'B', 'A', 'B', 'A', 'B'],
    'value': [10, 20, np.nan, 25, 15, 30, 12, np.nan]
}
df_grouped = pd.DataFrame(data_grouped)

print("\nAlkuperäinen DataFrame ryhmiteltyä imputointia varten:")
print(df_grouped)

# Imputoi puuttuva 'value' kunkin 'category':n keskiarvon 'value' perusteella
df_grouped['value'] = df_grouped.groupby('category')['value'].transform(lambda x: x.fillna(x.mean()))

print("\nDataFrame ryhmitellyn keskiarvoimputoinnin jälkeen:")
print(df_grouped)

            

              
                Copy
              
            
          

Edut: Ottaa huomioon ryhmien väliset vaihtelut, mikä johtaa usein tarkempiin imputointeihin kuin globaali keskiarvo/mediaani/moodi.

Haitat: Vaatii olennaisen ryhmittelymuuttujan. Voi olla laskennallisesti intensiivistä erittäin suurille tietojoukoille.

d. Kehittyneemmät imputointitekniikat

Monimutkaisempiin skenaarioihin, erityisesti koneoppimisputkissa, harkitse näitä edistyneitä menetelmiä:

• K-Nearest Neighbors (KNN) Imputer: Imputoi puuttuvat arvot käyttämällä heidän K lähimpien naapuriensa arvoja, jotka on löydetty harjoitusjoukosta.
• Iterative Imputer (esim. MICE - Multiple Imputation by Chained Equations): Mallintaa jokaisen ominaisuuden, jossa on puuttuvia arvoja, muiden ominaisuuksien funktiona ja käyttää iteratiivista Bayesin matriisitäydennystä imputointiin.
• Regressioimputointi: Ennustaa puuttuvat arvot regressiomallien avulla.

Nämä menetelmät ovat yleensä saatavilla kirjastoissa, kuten Scikit-learn.

            # Esimerkki Scikit-learnin KNNImputerin avulla
from sklearn.impute import KNNImputer

# KNNImputer toimii numeerisella datalla. Käytämme numeerista esimerkki DataFramea.
data_knn = {'A': [1, 2, np.nan, 4, 5],
            'B': [np.nan, 20, 30, 40, 50],
            'C': [100, np.nan, 300, 400, 500]}
df_knn = pd.DataFrame(data_knn)

print("\nAlkuperäinen DataFrame KNN-imputointia varten:")
print(df_knn)

imputer = KNNImputer(n_neighbors=2) # Käytä 2 lähintä naapuria
df_knn_imputed_arr = imputer.fit_transform(df_knn)
df_knn_imputed = pd.DataFrame(df_knn_imputed_arr, columns=df_knn.columns)

print("\nDataFrame KNN-imputoinnin jälkeen:")
print(df_knn_imputed)

            

              
                Copy
              
            
          

Edut: Voi tarjota tarkempia imputointeja ottamalla huomioon ominaisuuksien väliset suhteet.

Haitat: Laskennallisesti kalliimpaa, vaatii huolellista toteutusta ja oletusten ominaisuuksien suhteista on pidettävä paikkansa.

Puuttuvien arvojen käsittely kategorisessa datassa

Kategorinen data tuo omat haasteensa. Vaikka moodi-imputointi on yleistä, myös muut strategiat ovat tehokkaita:

• Moodi-imputointi: Kuten aiemmin osoitettiin, täyttö yleisimmällä luokalla.
• Uuden luokan luominen: Käsittele puuttuvia arvoja erillisenä luokkana (esim. "Tuntematon", "Puuttuva"). Tämä on hyödyllistä, jos se tosiasia, että data puuttuu, on itsessään informatiivinen.
• Imputointi muiden ominaisuuksien perusteella: Jos kategorisen ominaisuuden ja muiden ominaisuuksien välillä on vahva suhde, voit käyttää luokittelijaa puuttuvan luokan ennustamiseen.

            data_cat = {'Product': ['A', 'B', 'A', 'C', 'B', 'A', np.nan],
            'Region': ['North', 'South', 'East', 'West', 'North', np.nan, 'East']}
df_cat = pd.DataFrame(data_cat)

print("\nAlkuperäinen DataFrame kategorista käsittelyä varten:")
print(df_cat)

# Strategia 1: Moodi-imputointi 'Region'ille
mode_region = df_cat['Region'].mode()[0]
df_cat['Region'].fillna(mode_region, inplace=True)

# Strategia 2: Luo uusi luokka 'Product'ille
df_cat['Product'].fillna('Unknown', inplace=True)

print("\nDataFrame kategorisen imputoinnin jälkeen:")
print(df_cat)

            

              
                Copy
              
            
          

Parhaat käytännöt ja huomiot maailmanlaajuiselle yleisölle

Kun työskentelet datan kanssa eri lähteistä ja maailmanlaajuiselle yleisölle, ota huomioon seuraavat asiat:

• Ymmärrä datalähde: Miksi arvot puuttuvat? Onko kyseessä järjestelmäongelma datan keräämisessä tietyllä alueella tai alustalla? Alkuperän tunteminen voi ohjata strategiaasi. Jos esimerkiksi kyselyalusta ei johdonmukaisesti onnistu tallentamaan tiettyä demografista tietoa tietyssä maassa, kyseinen puuttuvuus ei välttämättä ole satunnaista.
• Konteksti on avain: "Oikea" tapa käsitellä puuttuvia arvoja riippuu kontekstista. Talousmalli saattaa vaatia huolellista imputointia jopa pienten vääristymien välttämiseksi, kun taas nopea tutkiva analyysi saattaa riittää yksinkertaisemmilla menetelmillä.
• Kulttuurisia vivahteita datassa: Datan keruumenetelmät voivat vaihdella eri kulttuureissa. Esimerkiksi tapa, jolla "tulot" ilmoitetaan, tai se, onko "ei sovellettavissa" yleinen vastaus, voi vaihdella. Tämä voi vaikuttaa siihen, miten puuttuvia arvoja tulkitaan ja käsitellään.
• Aikavyöhykkeet ja dataviive: Jos kyseessä on aikasarjadata, joka on peräisin eri aikavyöhykkeiltä, varmista, että data on standardoitu (esim. UTC:hen) ennen kuin käytät aikapohjaisia imputointimenetelmiä, kuten ffill/bfill.
• Valuutta ja yksiköt: Kun imputoit numeerisia arvoja, jotka sisältävät eri valuuttoja tai yksiköitä, varmista johdonmukaisuus tai asianmukainen muuntaminen ennen imputointia.
• Dokumentoi päätöksesi: Dokumentoi aina menetelmät, joita käytit puuttuvan datan käsittelyyn. Tämä läpinäkyvyys on elintärkeää toistettavuuden kannalta ja jotta muut ymmärtävät analyysisi.
• Iteratiivinen prosessi: Datan puhdistus, mukaan lukien puuttuvan arvon käsittely, on usein iteratiivinen prosessi. Voit kokeilla yhtä menetelmää, arvioida sen vaikutusta ja sitten tarkentaa lähestymistapaasi.
• Käytä kirjastoja viisaasti: Pandas on ensisijainen työkalusi, mutta monimutkaisempaan imputointiin Scikit-learn on korvaamaton. Valitse oikea työkalu työhön.

Johtopäätös

Puuttuvat arvot ovat väistämätön osa todellisen datan kanssa työskentelyä. Python Pandas tarjoaa joustavan ja tehokkaan työkalusarjan näiden puuttuvien arvojen tunnistamiseen, analysointiin ja käsittelyyn. Valitsetpa poiston tai imputoinnin, jokaisella menetelmällä on omat kompromissinsa. Ymmärtämällä nämä tekniikat ja ottamalla huomioon datasi globaalin kontekstin voit parantaa merkittävästi data-analyysisi ja koneoppimismalliesi laatua ja luotettavuutta. Näiden datan puhdistustaitojen hallitseminen on kulmakivi tehokkaaksi data-ammattilaiseksi tulemisessa missä tahansa päin maailmaa.

Tärkeimmät takeawayt:

• Tunnista: Käytä df.isnull().sum() ja visualisointeja.
• Poista: Käytä dropna() harkiten, tietoinen datan menetyksestä.
• Imputoi: Käytä fillna() keskiarvon, mediaanin, moodin, ffillin, bfillin tai kehittyneempien tekniikoiden avulla Scikit-learnistä.
• Konteksti on tärkeää: Paras strategia riippuu datastasi ja tavoitteistasi.
• Globaali tietoisuus: Ota huomioon kulttuurisia vivahteita ja datan alkuperää.

Jatka näiden tekniikoiden harjoittelua, niin rakennat vahvan perustan vankkojen datatieteen työnkulkujen luomiselle.