Indexovanie polí NumPy: Ovládanie pokročilých techník výberu

NumPy, základný kameň vedeckých výpočtov v Pythone, poskytuje výkonné nástroje na prácu s rozsiahlymi, viacrozmernými poliami a maticami. Zatiaľ čo základné indexovanie a krájanie sú zásadné, skutočné zvládnutie NumPy zahŕňa ponorenie sa do jeho pokročilejších techník výberu. Tieto metódy umožňujú sofistikovanú manipuláciu s dátami, čo používateľom umožňuje s pozoruhodnou efektivitou extrahovať presne tie informácie, ktoré potrebujú. Tento príspevok vás prevedie zložitosťami booleovského indexovania a fancy indexovania, pričom ponúkne praktické príklady a poznatky pre globálne publikum.

Pochopenie základov: Základné indexovanie a krájanie

Predtým, než sa pustíme do pokročilých oblastí, je užitočné krátke zopakovanie základného indexovania a krájania. Pre 1D pole je indexovanie jednoduché: arr[i] načíta prvok na indexe i. Krájanie používa syntax arr[start:stop:step] na výber rozsahu prvkov.

Pre 2D polia sa indexovanie rozširuje na výber riadkov a stĺpcov. Napríklad arr[riadok, stĺpec] pristupuje ku konkrétnemu prvku. Krájanie možno aplikovať nezávisle na riadky a stĺpce: arr[výrez_riadku, výrez_stĺpca].

Zoberme si jednoduché 2D pole:

            import numpy as np

arr_2d = np.array([[1, 2, 3],
                     [4, 5, 6],
                     [7, 8, 9]])

# Accessing an element
print(arr_2d[1, 2])  # Output: 6

# Slicing rows and columns
print(arr_2d[0:2, 1:3])
# Output:
# [[2 3]
#  [5 6]]
            

              
                Copy
              
            
          

Aj keď sú tieto metódy účinné, môžu sa stať ťažkopádnymi pri práci s komplexnými kritériami výberu. Práve tu sa uplatňujú pokročilé techniky indexovania.

Booleovské indexovanie: Výber dát na základe podmienok

Booleovské indexovanie, často označované ako podmienený výber, vám umožňuje vyberať prvky z poľa na základe booleovskej podmienky. Je to neuveriteľne výkonná technika na filtrovanie dát. Vytvoríte booleovské pole rovnakého tvaru ako pôvodné pole, kde True označuje, že zodpovedajúci prvok by mal byť vybraný, a False označuje vylúčenie.

Ako to funguje

Proces zvyčajne zahŕňa vykonanie porovnávacej operácie na poli. Táto operácia vráti booleovské pole. Potom toto booleovské pole použijete na indexovanie pôvodného poľa.

Príklad 1: Výber prvkov väčších ako určitá hodnota

Povedzme, že máte súbor dát globálnych teplôt a chcete identifikovať všetky dni, kedy teplota prekročila určitú prahovú hodnotu.

            # Assume a 1D array of temperatures from various cities worldwide
temperatures = np.array([25.5, 31.2, 18.9, 28.7, 22.1, 35.0, 15.6])

# Set a threshold
threshold = 28.0

# Create a boolean mask
high_temperatures_mask = temperatures > threshold
print(high_temperatures_mask)
# Output: [False  True False  True False  True False]

# Use the mask to select elements
hot_days = temperatures[high_temperatures_mask]
print(hot_days)
# Output: [31.2 28.7 35. ]
            

              
                Copy
              
            
          

Toto stručne vyberie všetky teploty nad 28,0 stupňov. Výstupom je nové 1D pole obsahujúce iba hodnoty, ktoré splnili podmienku.

Príklad 2: Práca s 2D poliami

Booleovské indexovanie možno použiť aj na viacrozmerné polia. Pri použití s 2D poľom vráti booleovská maska rovnakého tvaru 1D pole obsahujúce všetky prvky, pre ktoré je maska True.

            # A 2D array representing sales figures for different products across regions
sales_data = np.array([[150, 200, 120],
                       [300, 180, 250],
                       [90,  220, 160]])

# Identify sales figures above a certain target
target_sales = 200

# Create a boolean mask
successful_sales_mask = sales_data >= target_sales
print(successful_sales_mask)
# Output:
# [[False  True False]
#  [ True False  True]
#  [False  True False]]

# Select the corresponding sales figures
selected_sales = sales_data[successful_sales_mask]
print(selected_sales)
# Output: [200 300 250 220]
            

              
                Copy
              
            
          

Toto vráti 1D pole všetkých údajov o predaji, ktoré splnili alebo prekročili cieľ. Je to výkonný spôsob filtrovania viacrozmerných dát bez explicitných slučiek.

Booleovské indexovanie s viacerými podmienkami

Viaceré booleovské podmienky môžete kombinovať pomocou logických operátorov:

• &: Logické AND po prvkoch
• |: Logické OR po prvkoch
• ~: Logické NOT po prvkoch

Dôležitá poznámka: Pri kombinovaní podmienok musí byť každá jednotlivá podmienka uzavretá v zátvorkách kvôli priorite operátorov v Pythone.

            # Select sales figures that are between 150 and 250 (inclusive)
condition_low = sales_data >= 150
condition_high = sales_data <= 250

between_150_and_250 = sales_data[condition_low & condition_high]
print(between_150_and_250)
# Output: [150 200 180 250 220 160]
            

              
                Copy
              
            
          

Toto demonštruje, ako extrahovať dáta, ktoré spadajú do určitého rozsahu, čo je bežná úloha v dátovej analýze.

Fancy indexovanie: Výber prvkov pomocou celočíselných polí

Fancy indexovanie je ďalšia pokročilá technika výberu, ktorá vám umožňuje vyberať prvky pomocou polí celých čísel. Líši sa od krájania, ktoré vyberá súvislé bloky dát. Fancy indexovanie vám umožňuje vybrať ľubovoľné prvky z poľa na základe ich indexov.

Ako to funguje

Indexovaciemu operátoru poskytnete pole indexov. NumPy potom vráti nové pole, kde sú prvky usporiadané podľa poskytnutých indexov.

Príklad 1: Výber konkrétnych prvkov v 1D poli

Predstavte si, že máte zoznam ID používateľov a chcete získať dáta iba pre konkrétnych používateľov.

            # A list of sample user IDs
user_ids = np.array([101, 105, 110, 102, 115, 108])

# Indices of the users we are interested in
selected_indices = np.array([0, 3, 5]) # Corresponds to user IDs at index 0, 3, and 5

# Select the data for these users
selected_users = user_ids[selected_indices]
print(selected_users)
# Output: [101 102 108]
            

              
                Copy
              
            
          

Toto vráti nové pole obsahujúce iba user_ids na zadaných indexoch.

Príklad 2: Fancy indexovanie s 2D poliami

Fancy indexovanie sa stáva obzvlášť výkonným pri viacrozmerných poliach. Keď použijete celočíselné polia na indexovanie 2D poľa, môžete vyberať konkrétne riadky, stĺpce alebo dokonca jednotlivé prvky nesúvislým spôsobom.

Existujú dva hlavné spôsoby použitia fancy indexovania s 2D poliami:

1. Výber riadkov: Poskytnite 1D pole indexov riadkov.
2. Výber konkrétnych prvkov (páry riadok, stĺpec): Poskytnite dve 1D polia indexov – jedno pre riadky a jedno pre stĺpce. Tieto polia musia mať rovnakú dĺžku a i-ty prvok poľa indexov riadkov a i-ty prvok poľa indexov stĺpcov špecifikujú jedinečný prvok, ktorý sa má vybrať.

Výber konkrétnych riadkov

Zoberme si súbor dát s cenami akcií pre rôzne spoločnosti počas niekoľkých dní. Chceme získať dáta pre konkrétne spoločnosti.

            # Stock prices for 3 companies over 4 days
# Rows represent days, columns represent companies
stock_prices = np.array([[100, 150, 200],
                         [105, 152, 205],
                         [110, 155, 210],
                         [115, 160, 215]])

# Indices of the companies we want to examine (e.g., company at index 0 and company at index 2)
company_indices = np.array([0, 2])

# Select the data for these companies across all days
selected_companies_data = stock_prices[:, company_indices]
print(selected_companies_data)
# Output:
# [[100 200]
#  [105 205]
#  [110 210]
#  [115 215]]
            

              
                Copy
              
            
          

Tu, : vyberie všetky riadky a company_indices vyberie konkrétne stĺpce. Výsledkom je nové 2D pole, kde každý stĺpec zodpovedá vybraným spoločnostiam.

Výber konkrétnych prvkov pomocou párov riadkov a stĺpcov

Práve tu ponúka fancy indexovanie najväčšiu flexibilitu. Môžete presne určiť ľubovoľné prvky súčasným špecifikovaním ich indexov riadkov a stĺpcov.

            # A grid representing population density across different zones and sectors
population_density = np.array([[1000, 1200, 800, 1500],
                               [900,  1100, 750, 1400],
                               [1300, 1400, 950, 1600],
                               [850,  1050, 700, 1350]])

# We want to check the density at specific zone-sector combinations.
# Let's say we are interested in:
# - Zone 0, Sector 1 (row 0, col 1)
# - Zone 2, Sector 0 (row 2, col 0)
# - Zone 1, Sector 3 (row 1, col 3)
# - Zone 3, Sector 2 (row 3, col 2)

row_indices = np.array([0, 2, 1, 3])
column_indices = np.array([1, 0, 3, 2])

# Select the population densities at these specific locations
specific_locations_density = population_density[row_indices, column_indices]
print(specific_locations_density)
# Output: [1200 1300 1400  700]
            

              
                Copy
              
            
          

Výstupom je 1D pole obsahujúce hustoty obyvateľstva na presných súradniciach určených pármi indexov.

Kľúčový poznatok: Tvar výstupného poľa je určený tvarom indexových polí. Ak sú obe indexové polia 1D a majú rovnakú dĺžku N, výstupom bude 1D pole dĺžky N. Ak je jedno z indexových polí viacrozmerné, výstupné pole zdedí tento tvar.

Fancy indexovanie a vysielanie (broadcasting)

Pri použití fancy indexovania s viacerými indexovými poliami, ktoré majú rôzne tvary, sa uplatňujú pravidlá vysielania (broadcasting) NumPy. Napríklad, ak indexujete 2D pole s 1D poľom pre riadky a jedným celým číslom pre stĺpce, vysielanie efektívne rozšíri tento jeden index stĺpca tak, aby zodpovedal počtu riadkov.

            # Let's select all elements from the first two rows, but only from the third column

indices_rows = np.array([0, 1]) # Indices of rows
index_col = 2                  # Index of the column

selected_subset = population_density[indices_rows, index_col]
print(selected_subset)
# Output: [800 750]
            

              
                Copy
              
            
          

V tomto prípade je index_col (čo je 2) vysielané tak, aby zodpovedalo tvaru indices_rows (čo je (2,)), čím sa efektívne vytvárajú indexové páry (0, 2) a (1, 2).

Kombinovanie booleovského a fancy indexovania

Môžete tiež kombinovať booleovské indexovanie a fancy indexovanie na vytvorenie ešte komplexnejších vzorcov výberu. Napríklad, môžete najprv filtrovať riadky na základe podmienky a potom použiť fancy indexovanie na výber konkrétnych stĺpcov z týchto filtrovaných riadkov.

Vráťme sa k príkladu sales_data:

            # sales_data = np.array([[150, 200, 120],
#                        [300, 180, 250],
#                        [90,  220, 160]])

# Let's say we only want to consider rows where at least one sale figure is above 200

# Create a boolean mask for rows
# We check if any element in a row is greater than 200
row_mask = np.any(sales_data > 200, axis=1)
print(row_mask)
# Output: [False  True  True]

# Apply this row mask to select relevant rows
filtered_rows = sales_data[row_mask]
print(filtered_rows)
# Output:
# [[300 180 250]
#  [ 90 220 160]]

# Now, from these filtered rows, let's use fancy indexing to select specific columns.
# Suppose we want the first and third columns from these filtered rows.
row_indices_for_fancy = np.array([0, 1]) # Indices within the filtered_rows array
column_indices_for_fancy = np.array([0, 2]) # Indices of columns we want

final_selection = filtered_rows[row_indices_for_fancy, column_indices_for_fancy]
print(final_selection)
# Output: [300 160]
            

              
                Copy
              
            
          

Tento príklad ilustruje scenár, kde najprv filtrujete svoje dáta na základe širokej podmienky (riadky s vysokými predajmi) a potom selektívne extrahujete konkrétne dátové body z týchto filtrovaných riadkov.

Praktické aplikácie a globálne perspektívy

Tieto pokročilé techniky indexovania nie sú len teoretické konštrukty; sú to nevyhnutné nástroje v reálnych aplikáciách dátovej vedy po celom svete:

• Finančná analýza: Výber cien akcií pre konkrétne spoločnosti v konkrétne dátumy alebo identifikácia obchodov, ktoré splnili určité prahové hodnoty ziskovosti.
• Klimatická veda: Filtrovanie údajov o teplote alebo zrážkach pre konkrétne geografické oblasti alebo časové obdobia na základe definovaných kritérií. Napríklad identifikácia oblastí náchylných na sucho (napr. časti Austrálie, región Sahel v Afrike) výberom dát pod určitou hranicou zrážok.
• E-commerce: Segmentácia zákazníckych dát na identifikáciu zákazníkov s vysokou hodnotou alebo produktov so špecifickými metrikami predaja na rôznych trhoch (napr. Európa, Ázia, Severná Amerika).
• Zdravotníctvo: Analýza dát pacientov na výber záznamov jednotlivcov so špecifickými stavmi alebo anamnézami liečby naprieč rôznymi populáciami.
• Strojové učenie: Príprava dátových súborov výberom vlastností alebo vzoriek na základe komplexných kritérií alebo extrahovanie koeficientov modelu pre špecifické parametre.

Schopnosť presne a efektívne vyberať dáta je kľúčová pre budovanie presných modelov, získavanie zmysluplných poznatkov a prijímanie informovaných rozhodnutí, bez ohľadu na geografickú polohu alebo odvetvie.

Úvahy o výkone

Pokročilé indexovanie NumPy je vysoko optimalizované. Operácie, ktoré by si vyžadovali explicitné Python slučky, sú často vektorizované NumPy, čo vedie k výraznému zvýšeniu výkonu. Je však dôležité uvedomiť si niekoľko nuáns:

• Booleovské indexovanie zvyčajne vracia 1D pole vybraných prvkov. Ak potrebujete zachovať pôvodný tvar pre určité operácie, možno budete musieť preformátovať alebo použiť iné techniky.
• Fancy indexovanie vracia kópiu dát. Ak sú indexové polia celé čísla, výsledkom je kópia. Ak sú indexové polia booleovské, výsledkom je tiež kópia. To znamená, že zmeny vo vrátenom poli neovplyvňujú pôvodné pole.
• Pre veľmi veľké polia a komplexné indexovacie schémy môže byť faktorom využitie pamäte. Operácie NumPy vytvárajú prechodné polia, ktoré spotrebúvajú pamäť.

Keď je výkon kritický, najmä v časovo citlivých aplikáciách alebo pri práci s rozsiahlymi dátovými súbormi, profilovanie vášho kódu a pochopenie základných operácií NumPy vám môže pomôcť s ďalšou optimalizáciou. To môže zahŕňať voľbu medzi booleovským a fancy indexovaním alebo reštrukturalizáciu vašich dát.

Osvedčené postupy pre pokročilé indexovanie

Na efektívne využitie pokročilých indexovacích schopností NumPy:

• Pochopte svoje dáta: Pred písaním kódu jasne definujte kritériá pre výber.
• Používajte zmysluplné názvy premenných: Popíšte svoje booleovské masky a indexové polia (napr. high_value_customers_mask, target_product_indices).
• Uprednostnite čitateľnosť: Hoci je stručný kód dobrý, uprednostnite kód, ktorý je ľahko zrozumiteľný pre ostatných (a vaše budúce ja). Pre kombinované booleovské podmienky používajte správne zátvorky.
• Testujte prírastkovo: Komplexné indexovacie operácie budujte krok za krokom, pričom overujte výstup v každej fáze.
• Využívajte funkcie NumPy: Používajte funkcie ako np.where() pre podmienený výber, ktorý môže vracať indexy alebo hodnoty, alebo np.ix_() na vytvorenie kompletnej mriežky z indexových polí, čo môže byť užitočné v špecifických scenároch.
• Pamätajte na kópie vs. pohľady: Pamätajte, že fancy indexovanie a booleovské indexovanie zvyčajne vracajú kópie, nie pohľady na pôvodné dáta.

Záver

Pokročilé techniky indexovania polí NumPy, menovite booleovské indexovanie a fancy indexovanie, sú kľúčové pre vykonávanie sofistikovaného výberu a manipulácie s dátami v Pythone. Umožňujú dátovým vedcom, analytikom a výskumníkom po celom svete presne extrahovať dáta, ktoré potrebujú, čo vedie k hlbším poznatkom a robustnejším analýzam. Ovládnutím týchto techník môžete odomknúť plnú silu NumPy pre vaše projekty založené na dátach, prispievajúc k pokrokom v oblastiach od globálnych financií a výskumu klímy po personalizovanú medicínu a umelú inteligenciu. Pokračujte v skúmaní, experimentovaní a integrácii týchto výkonných metód výberu do vášho pracovného postupu s NumPy.