Optimizacija performansi Pandasa: Ovladavanje smanjenjem potrošnje memorije

Pandas je moćna Python biblioteka za analizu podataka, pružajući fleksibilne strukture podataka i alate za analizu podataka. Međutim, kada radite s velikim skupovima podataka, potrošnja memorije može postati značajno usko grlo, utječući na performanse, pa čak i uzrokujući rušenje vaših programa. Ovaj sveobuhvatni vodič istražuje različite tehnike za optimizaciju potrošnje memorije u Pandasu, omogućujući vam učinkovitije i djelotvornije rukovanje većim skupovima podataka.

Razumijevanje potrošnje memorije u Pandasu

Prije nego što zaronimo u tehnike optimizacije, ključno je razumjeti kako Pandas pohranjuje podatke u memoriji. Pandas prvenstveno koristi NumPy nizove za pohranu podataka unutar DataFrameova i Seriesa. Tip podataka svakog stupca značajno utječe na memorijski otisak. Na primjer, stupac `int64` potrošit će dvostruko više memorije od stupca `int32`.

Možete provjeriti potrošnju memorije DataFramea pomoću metode .memory_usage():

            import pandas as pd

data = {
    'col1': [1, 2, 3, 4, 5],
    'col2': ['A', 'B', 'C', 'D', 'E'],
    'col3': [1.1, 2.2, 3.3, 4.4, 5.5]
}

df = pd.DataFrame(data)

memory_usage = df.memory_usage(deep=True)
print(memory_usage)

            

              
                Copy
              
            
          

Argument deep=True je bitan za točno izračunavanje potrošnje memorije stupaca objekata (stringova).

Tehnike za smanjenje potrošnje memorije

1. Odabir pravih tipova podataka

Odabir odgovarajućeg tipa podataka za svaki stupac najosnovniji je korak u smanjenju potrošnje memorije. Pandas automatski zaključuje tipove podataka, ali često zadano postavlja tipove koji troše više memorije nego što je potrebno. Na primjer, stupcu koji sadrži cijele brojeve između 0 i 100 mogao bi se dodijeliti tip `int64`, iako bi `int8` ili `uint8` bili dovoljni.

Primjer: Smanjivanje numeričkih tipova

Možete smanjiti numeričke tipove na manje reprezentacije pomoću funkcije pd.to_numeric() s parametrom downcast:

            def reduce_mem_usage(df):
    """Iterate through all the columns of a dataframe and modify the data type
        to reduce memory usage.        
    """
    start_mem = df.memory_usage().sum() / 1024**2
    print('Memory usage of dataframe is {:.2f} MB'.format(start_mem))
    
    for col in df.columns:
        if df[col].dtype == 'object':
            continue # Skip strings, handle them separately

        col_type = df[col].dtype
        
        if col_type in ['int64','int32','int16']:
            c_min = df[col].min()
            c_max = df[col].max()
            if c_min > np.iinfo(np.int8).min and c_max < np.iinfo(np.int8).max:
                df[col] = df[col].astype(np.int8)
            elif c_min > np.iinfo(np.int16).min and c_max < np.iinfo(np.int16).max:
                df[col] = df[col].astype(np.int16)
            elif c_min > np.iinfo(np.int32).min and c_max < np.iinfo(np.int32).max:
                df[col] = df[col].astype(np.int32)
            else:
                df[col] = df[col].astype(np.int64)
        elif col_type in ['float64','float32']:
            c_min = df[col].min()
            c_max = df[col].max()
            if c_min > np.finfo(np.float16).min and c_max < np.finfo(np.float16).max:
                df[col] = df[col].astype(np.float16)
            elif c_min > np.finfo(np.float32).min and c_max < np.finfo(np.float32).max:
                df[col] = df[col].astype(np.float32)
            else:
                df[col] = df[col].astype(np.float64)

    end_mem = df.memory_usage().sum() / 1024**2
    print('Memory usage after optimization is: {:.2f} MB'.format(end_mem))
    print('Decreased by {:.1f}%'.format(100 * (start_mem - end_mem) / start_mem))
    
    return df

            

              
                Copy
              
            
          

Primjer: Pretvaranje nizova u kategoričke tipove

Ako stupac sadrži ograničen broj jedinstvenih vrijednosti niza, pretvaranje u kategorički tip može značajno smanjiti potrošnju memorije. Kategorički tipovi pohranjuju jedinstvene vrijednosti samo jednom i predstavljaju svaki element u stupcu kao cijeli broj koji se odnosi na jedinstvene vrijednosti.

            df['col2'] = df['col2'].astype('category')

            

              
                Copy
              
            
          

Razmotrite skup podataka transakcija kupaca za globalnu platformu e-trgovine. Stupac 'Country' može sadržavati samo nekoliko stotina jedinstvenih imena država, dok skup podataka sadrži milijune transakcija. Pretvaranje stupca 'Country' u kategorički tip dramatično bi smanjilo potrošnju memorije.

2. Dijeljenje i iteracija

Kada radite s iznimno velikim skupovima podataka koji ne mogu stati u memoriju, možete obraditi podatke u dijelovima pomoću parametra chunksize u pd.read_csv() ili pd.read_excel(). To vam omogućuje učitavanje i obradu podataka u manjim, upravljivim dijelovima.

            for chunk in pd.read_csv('large_dataset.csv', chunksize=100000):
    # Process the chunk (e.g., perform calculations, filtering, aggregation)
    print(f"Processing chunk with {len(chunk)} rows")
    # Optionally, append results to a file or database.

            

              
                Copy
              
            
          

Primjer: Obrada velikih datoteka dnevnika

Zamislite obradu masivne datoteke dnevnika iz globalne mrežne infrastrukture. Datoteka dnevnika je prevelika da bi stala u memoriju. Korištenjem dijeljenja možete iterirati kroz datoteku dnevnika, analizirati svaki dio za određene događaje ili uzorke i agregirati rezultate bez prekoračenja ograničenja memorije.

3. Odabir samo potrebnih stupaca

Često skupovi podataka sadrže stupce koji nisu relevantni za vašu analizu. Učitavanje samo potrebnih stupaca može značajno smanjiti potrošnju memorije. Željene stupce možete odrediti pomoću parametra usecols u pd.read_csv().

            df = pd.read_csv('large_dataset.csv', usecols=['col1', 'col2', 'col3'])

            

              
                Copy
              
            
          

Primjer: Analiza podataka o prodaji

Ako analizirate podatke o prodaji kako biste identificirali proizvode s najboljim učinkom, možda će vam trebati samo stupci 'Product ID', 'Sales Quantity' i 'Sales Revenue'. Učitavanje samo ovih stupaca smanjit će potrošnju memorije u usporedbi s učitavanjem cijelog skupa podataka, koji može uključivati demografske podatke o kupcima, adrese za dostavu i druge irelevantne informacije.

4. Korištenje rijetkih struktura podataka

Ako vaš DataFrame sadrži mnogo nedostajućih vrijednosti (NaN) ili nula, možete koristiti rijetke strukture podataka za učinkovitije predstavljanje podataka. Rijetki DataFrameovi pohranjuju samo vrijednosti koje nedostaju ili nisu nula, što značajno smanjuje potrošnju memorije pri radu s rijetkim podacima.

            sparse_series = df['col1'].astype('Sparse[float]')
sparse_df = sparse_series.to_frame()

            

              
                Copy
              
            
          

Primjer: Analiza ocjena kupaca

Razmotrite skup podataka ocjena kupaca za veliki broj proizvoda. Većina kupaca ocijenit će samo mali podskup proizvoda, što rezultira rijetkom matricom ocjena. Korištenje rijetkog DataFramea za pohranu ovih podataka značajno će smanjiti potrošnju memorije u usporedbi s gustim DataFrameom.

5. Izbjegavanje kopiranja podataka

Pandas operacije ponekad mogu stvoriti kopije DataFrameova, što dovodi do povećane potrošnje memorije. Izmjena DataFramea na licu mjesta (kada je to moguće) može pomoći u izbjegavanju nepotrebnog kopiranja.

Na primjer, umjesto:

            df = df[df['col1'] > 10]

            

              
                Copy
              
            
          

Razmislite o korištenju:

            df.drop(df[df['col1'] <= 10].index, inplace=True)

            

              
                Copy
              
            
          

Argument `inplace=True` izravno mijenja DataFrame bez stvaranja kopije.

6. Optimizacija pohrane nizova

Stupci nizova mogu trošiti značajnu količinu memorije, osobito ako sadrže duge nizove ili mnogo jedinstvenih vrijednosti. Pretvaranje nizova u kategoričke tipove, kao što je ranije spomenuto, jedna je učinkovita tehnika. Drugi pristup je korištenje manjih reprezentacija nizova ako je moguće.

Primjer: Smanjenje duljine niza

Ako stupac sadrži identifikatore koji su pohranjeni kao nizovi, ali bi se mogli predstaviti kao cijeli brojevi, pretvaranje u cijele brojeve može uštedjeti memoriju. Na primjer, ID-ovi proizvoda koji su trenutno pohranjeni kao nizovi poput "PROD-1234" mogu se preslikati u ID-ove cijelih brojeva.

7. Korištenje Daska za skupove podataka veće od memorije

Za skupove podataka koji su stvarno preveliki da bi stali u memoriju, čak i s dijeljenjem, razmislite o korištenju Daska. Dask je biblioteka za paralelno računalstvo koja se dobro integrira s Pandasom i NumPyjem. Omogućuje vam rad sa skupovima podataka većim od memorije tako da ih razbijete na manje dijelove i obradite ih paralelno na više jezgri ili čak više strojeva.

            import dask.dataframe as dd

ddf = dd.read_csv('large_dataset.csv')

# Perform operations on the Dask DataFrame (e.g., filtering, aggregation)
result = ddf[ddf['col1'] > 10].groupby('col2').mean().compute()

            

              
                Copy
              
            
          

Metoda compute() pokreće stvarno izračunavanje i vraća Pandas DataFrame koji sadrži rezultate.

Najbolje prakse i razmatranja

• Profilirajte svoj kod: Koristite alate za profiliranje kako biste identificirali uska grla memorije i usmjerili svoje napore za optimizaciju na područja s najvećim utjecajem.
• Testirajte različite tehnike: Optimalna tehnika smanjenja memorije ovisi o specifičnim karakteristikama vašeg skupa podataka. Eksperimentirajte s različitim pristupima kako biste pronašli najbolje rješenje za svoj slučaj upotrebe.
• Pratite potrošnju memorije: Pratite potrošnju memorije tijekom obrade podataka kako biste osigurali da su vaše optimizacije učinkovite i spriječili pogreške zbog nedostatka memorije.
• Razumite svoje podatke: Duboko razumijevanje vaših podataka ključno je za odabir najprikladnijih tipova podataka i tehnika optimizacije.
• Razmotrite kompromise: Neke tehnike optimizacije memorije mogu uvesti mali režijski trošak performansi. Odmjerite prednosti smanjene potrošnje memorije u odnosu na potencijalni utjecaj na performanse.
• Dokumentirajte svoje optimizacije: Jasno dokumentirajte tehnike optimizacije memorije koje ste implementirali kako biste osigurali da je vaš kod održiv i razumljiv drugima.

Zaključak

Optimizacija potrošnje memorije u Pandasu ključna je za učinkovit i djelotvoran rad s velikim skupovima podataka. Razumijevanjem kako Pandas pohranjuje podatke, odabirom pravih tipova podataka, korištenjem dijeljenja i primjenom drugih tehnika optimizacije, možete značajno smanjiti potrošnju memorije i poboljšati performanse svojih tijekova rada analize podataka. Ovaj vodič pružio je sveobuhvatan pregled ključnih tehnika i najboljih praksi za ovladavanje smanjenjem potrošnje memorije u Pandasu. Ne zaboravite profilirati svoj kod, testirati različite tehnike i pratiti potrošnju memorije kako biste postigli najbolje rezultate za svoj specifični slučaj upotrebe. Primjenom ovih načela možete otključati puni potencijal Pandasa i uhvatiti se u koštac čak i s najzahtjevnijim izazovima analize podataka.

Ovladavanjem ovim tehnikama, znanstvenici i analitičari podataka diljem svijeta mogu rukovati većim skupovima podataka, poboljšati brzinu obrade i steći dublje uvide iz svojih podataka. To pridonosi učinkovitijem istraživanju, informiranijim poslovnim odlukama i, u konačnici, svijetu više vođenom podacima.