Pandas-suorituskyvyn optimointi: Muistin kulutuksen vähentämisen hallinta

Pandas on tehokas Python-kirjasto data-analyysiin, tarjoten joustavia tietorakenteita ja data-analyysityökaluja. Kuitenkin, kun työskennellään suurten tietokokonaisuuksien kanssa, muistin käyttö voi muodostua merkittäväksi pullonkaulaksi, vaikuttaen suorituskykyyn ja jopa aiheuttaen ohjelmien kaatumisen. Tämä kattava opas tutkii erilaisia tekniikoita Pandas-muistin käytön optimoimiseksi, mahdollistaen suurempien tietokokonaisuuksien käsittelyn tehokkaammin.

Pandas-muistin käytön ymmärtäminen

Ennen optimointitekniikoihin sukeltamista on tärkeää ymmärtää, kuinka Pandas tallentaa tietoa muistiin. Pandas käyttää pääasiassa NumPy-taulukoita tietojen tallentamiseen DataFrameissa ja Series-objekteissa. Jokaisen sarakkeen tietotyyppi vaikuttaa merkittävästi muistijalanjälkeen. Esimerkiksi int64-sarake kuluttaa kaksi kertaa enemmän muistia kuin int32-sarake.

Voit tarkistaa DataFramen muistin käytön .memory_usage()-metodilla:

            import pandas as pd

data = {
    'col1': [1, 2, 3, 4, 5],
    'col2': ['A', 'B', 'C', 'D', 'E'],
    'col3': [1.1, 2.2, 3.3, 4.4, 5.5]
}

df = pd.DataFrame(data)

memory_usage = df.memory_usage(deep=True)
print(memory_usage)

            

              
                Copy
              
            
          

deep=True-argumentti on olennainen objektisarakkeiden (merkkijonojen) muistin käytön tarkkaan laskemiseen.

Tekniikoita muistin käytön vähentämiseksi

1. Oikeiden tietotyyppien valinta

Sopivan tietotyypin valinta kullekin sarakkeelle on tärkein askel muistin käytön vähentämisessä. Pandas päättelee tietotyypit automaattisesti, mutta se oletusarvoisesti käyttää usein muistisyöppöisempiä tyyppejä kuin on tarpeen. Esimerkiksi sarakkeelle, joka sisältää kokonaislukuja välillä 0–100, voidaan määrittää int64-tyyppi, vaikka int8 tai uint8 riittäisi.

Esimerkki: Numeeristen tyyppien pienentäminen

Voit pienentää numeeristen tyyppien kokoa pienempiin esityksiin käyttämällä pd.to_numeric()-funktiota ja downcast-parametria:

            def reduce_mem_usage(df):
    """Iterate through all the columns of a dataframe and modify the data type
        to reduce memory usage.        
    """
    start_mem = df.memory_usage().sum() / 1024**2
    print('Memory usage of dataframe is {:.2f} MB'.format(start_mem))
    
    for col in df.columns:
        if df[col].dtype == 'object':
            continue # Skip strings, handle them separately

        col_type = df[col].dtype
        
        if col_type in ['int64','int32','int16']:
            c_min = df[col].min()
            c_max = df[col].max()
            if c_min > np.iinfo(np.int8).min and c_max < np.iinfo(np.int8).max:
                df[col] = df[col].astype(np.int8)
            elif c_min > np.iinfo(np.int16).min and c_max < np.iinfo(np.int16).max:
                df[col] = df[col].astype(np.int16)
            elif c_min > np.iinfo(np.int32).min and c_max < np.iinfo(np.int32).max:
                df[col] = df[col].astype(np.int32)
            else:
                df[col] = df[col].astype(np.int64)
        elif col_type in ['float64','float32']:
            c_min = df[col].min()
            c_max = df[col].max()
            if c_min > np.finfo(np.float16).min and c_max < np.finfo(np.float16).max:
                df[col] = df[col].astype(np.float16)
            elif c_min > np.finfo(np.float32).min and c_max < np.finfo(np.float32).max:
                df[col] = df[col].astype(np.float32)
            else:
                df[col] = df[col].astype(np.float64)

    end_mem = df.memory_usage().sum() / 1024**2
    print('Memory usage after optimization is: {:.2f} MB'.format(end_mem))
    print('Decreased by {:.1f}%'.format(100 * (start_mem - end_mem) / start_mem))
    
    return df

            

              
                Copy
              
            
          

Esimerkki: Merkkijonojen muuntaminen luokittelutyypeiksi

Jos sarake sisältää vain rajoitetun määrän uniikkeja merkkijonoarvoja, sen muuntaminen luokittelutyypiksi voi vähentää merkittävästi muistin käyttöä. Luokittelutyypit tallentavat uniikit arvot vain kerran ja esittävät jokaisen sarakkeen alkion kokonaislukukoodina, joka viittaa uniikkeihin arvoihin.

            df['col2'] = df['col2'].astype('category')

            

              
                Copy
              
            
          

Harkitse globaalin verkkokauppa-alustan asiakastransaktioiden tietokokonaisuutta. 'Maa'-sarake saattaa sisältää vain muutamia satoja uniikkeja maan nimiä, kun taas tietokokonaisuus sisältää miljoonia tapahtumia. 'Maa'-sarakkeen muuntaminen luokittelutyypiksi vähentäisi dramaattisesti muistin kulutusta.

2. Palastelu ja iterointi

Kun käsitellään erittäin suuria tietokokonaisuuksia, jotka eivät mahdu muistiin, voit käsitellä tietoja paloissa käyttämällä chunksize-parametria funktiossa pd.read_csv() tai pd.read_excel(). Tämä mahdollistaa tietojen lataamisen ja käsittelyn pienemmissä, hallittavissa olevissa osissa.

            for chunk in pd.read_csv('large_dataset.csv', chunksize=100000):
    # Process the chunk (e.g., perform calculations, filtering, aggregation)
    print(f"Processing chunk with {len(chunk)} rows")
    # Optionally, append results to a file or database.

            

              
                Copy
              
            
          

Esimerkki: Suurten lokitiedostojen käsittely

Kuvittele, että käsittelet massiivista lokitiedostoa globaalista verkkoinfrastruktuurista. Lokitiedosto on liian suuri mahtuakseen muistiin. Palastelun avulla voit iteroida lokitiedoston läpi, analysoida jokaisen palan tiettyjen tapahtumien tai mallien varalta ja koota tulokset ylittämättä muistirajoituksia.

3. Vain tarvittavien sarakkeiden valinta

Usein tietokokonaisuudet sisältävät sarakkeita, jotka eivät ole olennaisia analyysisi kannalta. Vain tarvittavien sarakkeiden lataaminen voi vähentää merkittävästi muistin käyttöä. Voit määrittää halutut sarakkeet käyttämällä usecols-parametria funktiossa pd.read_csv().

            df = pd.read_csv('large_dataset.csv', usecols=['col1', 'col2', 'col3'])

            

              
                Copy
              
            
          

Esimerkki: Myyntidatan analysointi

Jos analysoit myyntidataa tunnistaaksesi parhaiten menestyvät tuotteet, saatat tarvita vain 'Tuotetunnus', 'Myyntimäärä' ja 'Myyntitulot' -sarakkeet. Vain näiden sarakkeiden lataaminen vähentää muistin kulutusta verrattuna koko tietokokonaisuuden lataamiseen, joka saattaa sisältää asiakastietoja, toimitusosoitteita ja muuta asiaankuulumatonta tietoa.

4. Harvojen tietorakenteiden käyttö

Jos DataFrame sisältää monia puuttuvia arvoja (NaN) tai nollia, voit käyttää harvoja tietorakenteita esittämään tietoja tehokkaammin. Harvat DataFramet tallentavat vain puuttuvat tai nollasta poikkeavat arvot, mikä vähentää merkittävästi muistin käyttöä, kun käsitellään harvaa dataa.

            sparse_series = df['col1'].astype('Sparse[float]')
sparse_df = sparse_series.to_frame()

            

              
                Copy
              
            
          

Esimerkki: Asiakasarvioiden analysointi

Harkitse tietokokonaisuutta asiakasarvioista suurelle määrälle tuotteita. Useimmat asiakkaat arvioivat vain pienen osajoukon tuotteita, mikä johtaa harvaan arviomatriisiin. Harvan DataFrame:n käyttäminen tämän datan tallentamiseen vähentää merkittävästi muistin kulutusta verrattuna tiheään DataFrameen.

5. Tietojen kopioinnin välttäminen

Pandas-operaatiot voivat joskus luoda kopioita DataFrameista, mikä johtaa lisääntyneeseen muistin käyttöön. DataFramen muokkaaminen paikallaan (kun mahdollista) voi auttaa välttämään tarpeetonta kopiointia.

Esimerkiksi sen sijaan:

            df = df[df['col1'] > 10]

            

              
                Copy
              
            
          

Harkitse seuraavaa:

            df.drop(df[df['col1'] <= 10].index, inplace=True)

            

              
                Copy
              
            
          

inplace=True-argumentti muokkaa DataFramea suoraan luomatta kopiota.

6. Merkkijonojen tallennuksen optimointi

Merkkijonosarakkeet voivat kuluttaa merkittävästi muistia, erityisesti jos ne sisältävät pitkiä merkkijonoja tai monia uniikkeja arvoja. Merkkijonojen muuntaminen luokittelutyypeiksi, kuten aiemmin mainittiin, on yksi tehokas tekniikka. Toinen lähestymistapa on käyttää pienempiä merkkijonoesityksiä, jos mahdollista.

Esimerkki: Merkkijonon pituuden lyhentäminen

Jos sarake sisältää tunnisteita, jotka on tallennettu merkkijonoina, mutta jotka voitaisiin esittää kokonaislukuina, niiden muuntaminen kokonaisluvuiksi voi säästää muistia. Esimerkiksi tuotetunnukset, jotka on tällä hetkellä tallennettu merkkijonoina, kuten "PROD-1234", voidaan yhdistää kokonaislukutunnuksiin.

7. Daskin käyttö suurempien kuin muistin tietokokonaisuuksien käsittelyyn

Tietokokonaisuuksille, jotka ovat todella liian suuria mahtuakseen muistiin, jopa palastelun avulla, harkitse Daskin käyttöä. Dask on rinnakkaislaskentakirjasto, joka integroituu hyvin Pandasin ja NumPyn kanssa. Sen avulla voit työskennellä suurempien kuin muistin tietokokonaisuuksien kanssa jakamalla ne pienempiin palasiin ja käsittelemällä niitä rinnakkain useissa ytimissä tai jopa useissa koneissa.

            import dask.dataframe as dd

ddf = dd.read_csv('large_dataset.csv')

# Perform operations on the Dask DataFrame (e.g., filtering, aggregation)
result = ddf[ddf['col1'] > 10].groupby('col2').mean().compute()

            

              
                Copy
              
            
          

compute()-metodi käynnistää varsinaisen laskennan ja palauttaa Pandas-DataFrame:n, joka sisältää tulokset.

Parhaat käytännöt ja huomioitavat asiat

• Profiloi koodisi: Käytä profilointityökaluja tunnistaaksesi muistipullonkaulat ja kohdista optimointiponnistelusi kaikkein vaikutusvaltaisimmille alueille.
• Testaa erilaisia tekniikoita: Optimaalinen muistin vähennystekniikka riippuu tietokokonaisuutesi erityispiirteistä. Kokeile eri lähestymistapoja löytääksesi parhaan ratkaisun käyttötapaukseesi.
• Valvo muistin käyttöä: Pidä kirjaa muistin käytöstä tiedonkäsittelyn aikana varmistaaksesi, että optimointisi ovat tehokkaita ja estävät muistin loppumisen virheitä.
• Ymmärrä datasi: Tietojesi syvällinen ymmärtäminen on ratkaisevan tärkeää sopivimpien tietotyyppien ja optimointitekniikoiden valitsemiseksi.
• Harkitse kompromisseja: Jotkin muistin optimointitekniikat saattavat aiheuttaa pientä suorituskyvyn hidastumista. Punnitse pienentyneen muistin käytön hyötyjä suhteessa mahdollisiin suorituskykyvaikutuksiin.
• Dokumentoi optimointisi: Dokumentoi selkeästi toteuttamasi muistin optimointitekniikat varmistaaksesi, että koodisi on ylläpidettävää ja muiden ymmärrettävissä.

Johtopäätös

Pandas-muistin käytön optimointi on välttämätöntä suurten tietokokonaisuuksien tehokkaaseen käsittelyyn. Ymmärtämällä, kuinka Pandas tallentaa tietoja, valitsemalla oikeat tietotyypit, käyttämällä palastelua ja soveltamalla muita optimointitekniikoita, voit vähentää merkittävästi muistin kulutusta ja parantaa data-analyysityönkulkujesi suorituskykyä. Tämä opas on antanut kattavan yleiskatsauksen tärkeimmistä tekniikoista ja parhaista käytännöistä muistin käytön vähentämisen hallintaan Pandoissa. Muista profiloida koodisi, testata erilaisia tekniikoita ja valvoa muistin käyttöä saavuttaaksesi parhaat tulokset juuri sinun käyttötapauksessasi. Soveltamalla näitä periaatteita voit vapauttaa Pandasin koko potentiaalin ja vastata jopa kaikkein vaativimpiin data-analyysihaasteisiin.

Hallitsemalla nämä tekniikat datatieteilijät ja -analyytikot ympäri maailmaa voivat käsitellä suurempia tietokokonaisuuksia, parantaa käsittelynopeutta ja saada syvällisempiä näkemyksiä tiedoistaan. Tämä edistää tehokkaampaa tutkimusta, paremmin perusteltuja liiketoimintapäätöksiä ja lopulta enemmän dataohjautuvaa maailmaa.