Python Pandas Pivot-tabeller: En omfattende guide til dataomforming

I en verden av dataanalyse er evnen til å oppsummere, aggregere og omstrukturere data ikke bare en ferdighet – det er en superkraft. Rådata, i sin opprinnelige form, ligner ofte en omfattende, detaljert hovedbok. Den er rik på informasjon, men vanskelig å tolke. For å trekke ut meningsfull innsikt, må vi transformere denne hovedboken til et kortfattet sammendrag. Det er nettopp her pivot-tabeller utmerker seg, og for Python-programmerere gir Pandas-biblioteket et kraftig og fleksibelt verktøy: pivot_table().

Denne guiden er designet for et globalt publikum av dataanalytikere, forskere og Python-entusiaster. Vi vil ta et dypdykk i mekanikken til Pandas pivot-tabeller, og bevege oss fra grunnleggende konsepter til avanserte teknikker. Enten du oppsummerer salgstall fra forskjellige kontinenter, analyserer klimadata på tvers av regioner eller sporer prosjektmetrikker for et distribuert team, vil det å mestre pivot-tabeller fundamentalt endre måten du tilnærmer deg datautforskning.

Hva er egentlig en pivot-tabell?

Hvis du noen gang har brukt regnearkprogramvare som Microsoft Excel eller Google Sheets, er du sannsynligvis kjent med konseptet pivot-tabell. Det er en interaktiv tabell som lar deg omorganisere og oppsummere valgte kolonner og rader med data fra et større datasett for å få en ønsket rapport.

En pivot-tabell gjør to viktige ting:

• Aggregering: Den beregner en oppsummerende statistikk (som en sum, gjennomsnitt eller telling) for numeriske data gruppert etter en eller flere kategorier.
• Omforming: Den transformerer data fra et 'langt' format til et 'bredt' format. I stedet for å ha alle verdier i en enkelt kolonne, 'pivoterer' den unike verdier fra en kolonne til nye kolonner i utdataene.

Pandas-funksjonen pivot_table() bringer denne kraftige funksjonaliteten direkte inn i din Python-dataanalyse-arbeidsflyt, og gir mulighet for reproduserbar, skriptbar og skalerbar dataomforming.

Sette opp ditt miljø og eksempeldata

Før vi begynner, må du sørge for at du har Pandas-biblioteket installert. Hvis ikke, kan du installere det ved hjelp av pip, Pythons pakkeinstallasjonsprogram:

pip install pandas

La oss nå importere det i vårt Python-skript eller notebook:

import pandas as pd import numpy as np

Opprette et globalt salgsdatasett

For å gjøre våre eksempler praktiske og globalt relevante, vil vi opprette et syntetisk datasett som representerer salgsdata for et multinasjonalt e-handelsselskap. Dette datasettet vil inkludere informasjon om salg fra forskjellige regioner, land og produktkategorier.

            
# Opprett en ordbok med data
data = {
    'TransactionID': range(1, 21),
    'Date': pd.to_datetime([
        '2023-01-15', '2023-01-16', '2023-01-17', '2023-02-10', '2023-02-11',
        '2023-02-12', '2023-03-05', '2023-03-06', '2023-03-07', '2023-01-20',
        '2023-01-21', '2023-02-15', '2023-02-16', '2023-03-10', '2023-03-11',
        '2023-01-18', '2023-02-20', '2023-03-22', '2023-01-25', '2023-02-28'
    ]),
    'Region': [
        'North America', 'Europe', 'Asia', 'North America', 'Europe', 'Asia', 'North America', 'Europe', 'Asia', 'Europe',
        'Asia', 'North America', 'Europe', 'Asia', 'North America', 'Asia', 'Europe', 'North America', 'Europe', 'Asia'
    ],
    'Country': [
        'USA', 'Germany', 'Japan', 'Canada', 'France', 'India', 'USA', 'UK', 'China', 'Germany',
        'Japan', 'USA', 'France', 'India', 'Canada', 'China', 'UK', 'USA', 'Germany', 'India'
    ],
    'Product_Category': [
        'Electronics', 'Apparel', 'Electronics', 'Books', 'Apparel', 'Electronics', 'Books', 'Electronics', 'Apparel',
        'Apparel', 'Books', 'Electronics', 'Books', 'Apparel', 'Electronics', 'Books', 'Apparel', 'Books', 'Electronics', 'Electronics'
    ],
    'Units_Sold': [10, 5, 8, 20, 7, 12, 15, 9, 25, 6, 30, 11, 18, 22, 14, 28, 4, 16, 13, 10],
    'Unit_Price': [1200, 50, 900, 15, 60, 1100, 18, 950, 45, 55, 12, 1300, 20, 40, 1250, 14, 65, 16, 1150, 1050]
}

# Opprett DataFrame
df = pd.DataFrame(data)

# Beregn omsetning
df['Revenue'] = df['Units_Sold'] * df['Unit_Price']

# Vis de første radene i DataFrame
print(df.head())

            

              
                Copy
              
            
          

Dette datasettet gir oss et solid grunnlag med en blanding av kategoriske data (Region, Country, Product_Category), numeriske data (Units_Sold, Revenue) og tidsseriedata (Date).

Anatomien til pivot_table()

Pandas-funksjonen pivot_table() er utrolig allsidig. La oss bryte ned de viktigste parametrene:

pandas.pivot_table(data, values=None, index=None, columns=None, aggfunc='mean', fill_value=None, margins=False, margins_name='All')

• data: DataFrame du vil pivotere.
• values: Kolonnen(e) som inneholder dataene som skal aggregeres. Hvis ikke spesifisert, vil alle gjenværende numeriske kolonner bli brukt.
• index: Kolonnen(e) hvis unike verdier vil danne radene i den nye pivot-tabellen. Dette kalles noen ganger 'grupperingsnøkkelen'.
• columns: Kolonnen(e) hvis unike verdier vil bli 'pivotert' for å danne kolonnene i den nye tabellen.
• aggfunc: Aggregeringsfunksjonen som skal brukes på 'values'. Dette kan være en streng som 'sum', 'mean', 'count', 'min', 'max', eller en funksjon som np.sum. Du kan også sende en liste over funksjoner eller en ordbok for å bruke forskjellige funksjoner på forskjellige kolonner. Standard er 'mean'.
• fill_value: En verdi for å erstatte eventuelle manglende resultater (NaNs) i pivot-tabellen.
• margins: En boolsk verdi. Hvis satt til True, legger den til delsummer for rader og kolonner (også kjent som en total).
• margins_name: Navnet på raden/kolonnen som inneholder totalene når margins=True. Standard er 'All'.

Din første pivot-tabell: Et enkelt eksempel

La oss starte med et vanlig forretningsspørsmål: "Hva er den totale omsetningen generert av hver produktkategori?"

For å svare på dette, må vi:

• Bruk Product_Category for radene (index).
• Aggreger Revenue-kolonnen (values).
• Bruk summen som vår aggregeringsfunksjon (aggfunc).

            
# Enkel pivot-tabell for å se total omsetning etter produktkategori
category_revenue = pd.pivot_table(df, 
                                  values='Revenue', 
                                  index='Product_Category', 
                                  aggfunc='sum')

print(category_revenue)

            

              
                Copy
              
            
          

Utdata:

                  Revenue
Product_Category         
Apparel             1645
Books               1184
Electronics        56850

Umiddelbart har vi et klart, kortfattet sammendrag. Den rå, 20-raders transaksjonsloggen er blitt omformet til en 3-raders tabell som direkte svarer på spørsmålet vårt. Dette er den grunnleggende kraften til en pivot-tabell.

Legge til en kolonne-dimensjon

La oss nå utvide dette. Hva om vi vil se den totale omsetningen etter produktkategori, men også fordelt etter region? Det er her parameteren columns kommer inn i bildet.

            
# Pivot-tabell med index og columns
revenue_by_category_region = pd.pivot_table(df, 
                                            values='Revenue', 
                                            index='Product_Category', 
                                            columns='Region', 
                                            aggfunc='sum')

print(revenue_by_category_region)

            

              
                Copy
              
            
          

Utdata:

Region              Asia  Europe  North America
Product_Category                               
Apparel           1125.0   625.0            NaN
Books              336.0   360.0          488.0
Electronics      13200.0  14550.0        29100.0

Denne utdataen er mye rikere. Vi har pivotert de unike verdiene fra 'Region'-kolonnen ('Asia', 'Europe', 'North America') til nye kolonner. Vi kan nå enkelt sammenligne hvordan forskjellige produktkategorier presterer på tvers av regioner. Vi ser også en NaN-verdi (Not a Number). Dette indikerer at det ikke ble registrert noe 'Apparel'-salg for 'North America' i datasettet vårt. Dette er verdifull informasjon i seg selv!

Avanserte pivoteringsteknikker

Det grunnleggende er kraftig, men den sanne fleksibiliteten til pivot_table() avsløres i dens avanserte funksjoner.

Håndtere manglende verdier med fill_value

NaN i vår forrige tabell er nøyaktig, men for rapportering eller videre beregninger, kan det være å foretrekke å vise den som null. Parameteren fill_value gjør dette enkelt.

            
# Bruke fill_value for å erstatte NaN med 0
revenue_by_category_region_filled = pd.pivot_table(df, 
                                                     values='Revenue', 
                                                     index='Product_Category', 
                                                     columns='Region', 
                                                     aggfunc='sum', 
                                                     fill_value=0)

print(revenue_by_category_region_filled)

            

              
                Copy
              
            
          

Utdata:

Region              Asia  Europe  North America
Product_Category                               
Apparel             1125     625              0
Books                336     360            488
Electronics        13200   14550          29100

Tabellen er nå renere og lettere å lese, spesielt for et ikke-teknisk publikum.

Arbeide med flere indekser (hierarkisk indeksering)

Hva om du trenger å gruppere etter mer enn én kategori på radene? La oss for eksempel bryte ned salg etter Region og deretter etter Country innenfor hver region. Vi kan sende en liste over kolonner til parameteren index.

            
# Fler-nivås pivot-tabell ved hjelp av en liste for indeksen
multi_index_pivot = pd.pivot_table(df, 
                                   values='Revenue', 
                                   index=['Region', 'Country'],
                                   aggfunc='sum',
                                   fill_value=0)

print(multi_index_pivot)

            

              
                Copy
              
            
          

Utdata:

                     Revenue
Region        Country         
Asia          China        488
              India       1760
              Japan      10860
Europe        France      1020
              Germany    14440
              UK          1115
North America Canada      17800
              USA        12058

Pandas har automatisk opprettet en MultiIndex på radene. Denne hierarkiske strukturen er fantastisk for å bore ned i dataene dine og se nestede forhold. Du kan bruke den samme logikken på parameteren columns for å opprette hierarkiske kolonner.

Bruke flere aggregeringsfunksjoner

Noen ganger er ikke én oppsummerende statistikk nok. Det kan hende du vil se både den totale omsetningen (sum) og den gjennomsnittlige transaksjonsstørrelsen (mean) for hver gruppe. Du kan sende en liste over funksjoner til aggfunc.

            
# Bruke flere aggregeringsfunksjoner
multi_agg_pivot = pd.pivot_table(df, 
                                 values='Revenue', 
                                 index='Region', 
                                 aggfunc=['sum', 'mean', 'count'])

print(multi_agg_pivot)

            

              
                Copy
              
            
          

Utdata:

                     sum          mean  count
                 Revenue       Revenue Revenue
Region                                      
Asia          13108.000000   2184.666667       6
Europe        16575.000000   2762.500000       6
North America 29858.000000   4976.333333       6

Denne enkeltkommandoen gir oss et omfattende sammendrag: den totale omsetningen, den gjennomsnittlige omsetningen per transaksjon og antall transaksjoner for hver region. Legg merke til hvordan Pandas oppretter hierarkiske kolonner for å holde utdataene organisert.

Bruke forskjellige funksjoner på forskjellige verdier

Du kan bli enda mer granulær. Tenk deg at du vil se summen av Revenue, men gjennomsnittet av Units_Sold. Du kan sende en ordbok til aggfunc der nøklene er kolonnenavnene ('values') og verdiene er de ønskede aggregeringsfunksjonene.

            
# Ulike aggregeringer for forskjellige verdier
dict_agg_pivot = pd.pivot_table(df, 
                                index='Region', 
                                values=['Revenue', 'Units_Sold'],
                                aggfunc={
                                    'Revenue': 'sum',
                                    'Units_Sold': 'mean'
                                },
                                fill_value=0)

print(dict_agg_pivot)

            

              
                Copy
              
            
          

Utdata:

               Revenue  Units_Sold
Region                            
Asia             13108   17.833333
Europe           16575    8.166667
North America    29858   14.333333

Dette kontrollnivået er det som gjør pivot_table() til et førsteklasses verktøy for sofistikert dataanalyse.

Beregne totale summer med margins

For rapporteringsformål er det ofte viktig å ha rad- og kolonnetotaler. Argumentet margins=True gir dette uten ekstra innsats.

            
# Legge til totaler med margins=True
revenue_with_margins = pd.pivot_table(df, 
                                      values='Revenue', 
                                      index='Product_Category', 
                                      columns='Region', 
                                      aggfunc='sum', 
                                      fill_value=0,
                                      margins=True,
                                      margins_name='Grand Total') # Egendefinert navn for totaler

print(revenue_with_margins)

            

              
                Copy
              
            
          

Utdata:

Region              Asia  Europe  North America  Grand Total
Product_Category                                            
Apparel             1125     625              0         1750
Books                336     360            488         1184
Electronics        13200   14550          29100        56850
Grand Total        14661   15535          29588        59784

Pandas beregner automatisk summen for hver rad (den totale omsetningen per produktkategori på tvers av alle regioner) og hver kolonne (den totale omsetningen per region på tvers av alle kategorier), pluss en totalsum for alle data i nedre høyre hjørne.

Praktisk brukstilfelle: Tidsbasert analyse

Pivot-tabeller er ikke begrenset til statiske kategorier. De er utrolig nyttige for å analysere tidsseriedata. La oss finne den totale omsetningen for hver måned.

Først må vi trekke ut måneden fra 'Date'-kolonnen vår. Vi kan bruke .dt-tilbehøret i Pandas for dette.

            
# Trekk ut måned fra Date-kolonnen
df['Month'] = df['Date'].dt.month_name()

# Pivoter for å se månedlig omsetning etter produktkategori
monthly_revenue = pd.pivot_table(df,
                                 values='Revenue',
                                 index='Month',
                                 columns='Product_Category',
                                 aggfunc='sum',
                                 fill_value=0)

# Valgfritt: Bestill månedene riktig
month_order = ['January', 'February', 'March']
monthly_revenue = monthly_revenue.reindex(month_order)

print(monthly_revenue)

            

              
                Copy
              
            
          

Utdata:

Product_Category  Apparel  Books  Electronics
Month                                        
January               250    360        23100
February              795    794        24250
March                 705     30         9500

Denne tabellen gir oss en klar oversikt over salgsresultatene for hver kategori over tid, slik at vi enkelt kan se trender, sesongvariasjoner eller anomalier.

pivot_table() vs. groupby(): Hva er forskjellen?

Dette er et vanlig spørsmål for de som lærer Pandas. De to funksjonene er nært beslektet, og faktisk er pivot_table() bygget oppå groupby().

• groupby() er en mer generell og grunnleggende operasjon. Den grupperer data basert på noen kriterier og lar deg deretter bruke en aggregeringsfunksjon. Resultatet er vanligvis en Pandas Series eller DataFrame med en hierarkisk indeks, men den forblir i et 'langt' format.
• pivot_table() er et spesialisert verktøy som gjør en group-by og deretter omformer dataene. Hovedformålet er å transformere dataene fra et langt format til et bredt format, som ofte er mer leselig.

La oss gå tilbake til vårt første eksempel ved hjelp av groupby():

            
# Samme resultat som vår første pivot-tabell, men ved hjelp av groupby
category_revenue_groupby = df.groupby('Product_Category')['Revenue'].sum()

print(category_revenue_groupby)

            

              
                Copy
              
            
          

Resultatet er en Pandas Series som er funksjonelt ekvivalent med DataFrame fra vår første pivot-tabell. Men når du introduserer en andre grupperingsnøkkel (som 'Region'), blir forskjellen tydelig.

            
# Gruppere etter to kolonner
groupby_multi = df.groupby(['Product_Category', 'Region'])['Revenue'].sum()

print(groupby_multi)

            

              
                Copy
              
            
          

Utdata (en Series med en MultiIndex):

Product_Category  Region       
Apparel           Asia              1125
                  Europe             625
Books             Asia               336
                  Europe             360
                  North America      488
Electronics       Asia             13200
                  Europe           14550
                  North America    29100
Name: Revenue, dtype: int64

For å få det samme 'brede' formatet som pivot_table(index='Product_Category', columns='Region'), må du bruke groupby() etterfulgt av unstack():

            
# Replikere en pivot-tabell med groupby().unstack()
groupby_unstack = df.groupby(['Product_Category', 'Region'])['Revenue'].sum().unstack(fill_value=0)

print(groupby_unstack)

            

              
                Copy
              
            
          

Dette produserer nøyaktig de samme utdataene som vår pivot-tabell med kolonner. Så du kan tenke på pivot_table() som en praktisk snarvei for den vanlige groupby().aggregate().unstack()-arbeidsflyten.

Når skal du bruke hva?

• Bruk pivot_table() når du vil ha leselige utdata i bredt format, spesielt for rapportering eller oppretting av krysstabeller.
• Bruk groupby() når du trenger mer fleksibilitet, utfører mellomliggende beregninger i en databehandlingspipeline, eller når det omformede, brede formatet ikke er ditt endelige mål.

Ytelse og beste praksis

Selv om pivot_table() er kraftig, er det viktig å bruke den effektivt, spesielt med store datasett.

1. Filtrer først, pivot senere: Hvis du bare trenger å analysere et delsett av dataene dine (f.eks. salg fra det siste året), filtrer DataFrame før du bruker pivot-tabellen. Dette reduserer mengden data funksjonen må behandle.
2. Bruk kategoriske typer: For kolonner som du bruker ofte som indekser eller kolonner i pivot-tabellene dine (som 'Region' eller 'Product_Category'), konverter dem til 'category'-dtype i Pandas. Dette kan redusere minnebruken betydelig og fremskynde grupperingsoperasjoner.
   df['Region'] = df['Region'].astype('category')
3. Hold det lesbart: Unngå å opprette pivot-tabeller med for mange indekser og kolonner. Selv om det er mulig, kan en pivot-tabell som er hundrevis av kolonner bred og tusenvis av rader lang, bli like uleselig som de originale rådataene. Bruk den til å opprette målrettede sammendrag.
4. Forstå aggregeringen: Vær oppmerksom på valget av aggfunc. Å bruke 'sum' på priser gir ikke mening, mens 'mean' kan være mer passende. Sørg alltid for at aggregeringen stemmer overens med spørsmålet du prøver å svare på.

Konklusjon: Ditt verktøy for innsiktsfulle sammendrag

Pandas-funksjonen pivot_table() er et uunnværlig verktøy i enhver dataanalytikers verktøykasse. Det gir en deklarativ, uttrykksfull og kraftig måte å flytte fra rotete, detaljerte data til rene, innsiktsfulle sammendrag. Ved å forstå og mestre kjernekomponentene – values, index, columns og aggfunc – og utnytte de avanserte funksjonene som fler-nivå indeksering, tilpassede aggregeringer og marginer, kan du omforme dataene dine for å svare på komplekse forretningsspørsmål med bare noen få linjer med Python-kode.

Neste gang du står overfor et stort datasett, motstå trangen til å bla gjennom endeløse rader. Tenk i stedet på spørsmålene du trenger å svare på, og hvordan en pivot-tabell kan omforme dataene dine for å avsløre historiene som er skjult i dem. God pivotering!