M

MLOG

Română

Dezvoltați puterea datelor din serii temporale cu funcțiile fereastră. Acest ghid acoperă concepte esențiale, exemple practice și tehnici avansate de analiză a datelor.

Analiza Seriei Temporale: Stăpânirea Funcțiilor Fereastră pentru Obținerea de Insights din Date

Datele din serii temporale, caracterizate prin natura lor secvențială și dependentă de timp, sunt omniprezente în toate industriile. De la urmărirea prețurilor acțiunilor și monitorizarea traficului pe site-uri web până la analiza citirilor de la senzori și prezicerea tendințelor de vânzări, capacitatea de a extrage informații relevante din datele din serii temporale este crucială pentru luarea deciziilor informate. Funcțiile fereastră oferă un set de instrumente puternic și flexibil pentru efectuarea calculelor pe un set de rânduri care sunt legate de rândul curent într-un tabel sau cadru de date, făcându-le indispensabile pentru analiza seriilor temporale.

Înțelegerea Datelor din Serii Temporale

Datele din serii temporale sunt o secvență de puncte de date indexate în ordinea timpului. Punctele de date pot reprezenta diverse metrici, cum ar fi:

Analiza datelor din serii temporale implică identificarea modelelor, tendințelor și sezonalității, care pot fi utilizate pentru prognozarea valorilor viitoare, detectarea anomaliilor și optimizarea proceselor de afaceri.

Introducere în Funcțiile Fereastră

Funcțiile fereastră, cunoscute și sub denumirea de agregări fereastră sau funcții analitice, vă permit să efectuați calcule pe un set de rânduri legate de rândul curent, fără a grupa rândurile într-un singur set de rezultate, cum ar fi funcțiile agregare tradiționale (de exemplu, SUM, AVG, COUNT). Această capacitate este deosebit de utilă pentru analiza seriilor temporale, unde aveți adesea nevoie să calculați medii mobile, sume cumulative și alte metrici bazate pe timp.

O funcție fereastră constă, de obicei, din următoarele componente:

  1. Funcție: Calculul care trebuie efectuat (de exemplu, AVG, SUM, RANK, LAG).
  2. Clauza OVER: Definește fereastra de rânduri utilizată pentru calcul.
  3. Clauza PARTITION BY (opțional): Împarte datele în partiții, iar funcția fereastră este aplicată fiecărei partiții independent.
  4. Clauza ORDER BY (opțional): Specifică ordinea rândurilor în fiecare partiție.
  5. Clauza ROWS/RANGE (opțional): Definește cadrul ferestrei, care este setul de rânduri relative la rândul curent utilizat pentru calcul.

Concepte și Sintaxă Cheie

1. Clauza OVER()

Clauza OVER() este inima unei funcții fereastră. Definește fereastra de rânduri asupra căreia va opera funcția. O simplă clauză OVER() fără argumente va considera întregul set de rezultate ca fiind fereastra. De exemplu:

Exemplu SQL:

SELECT
  data,
  vânzări,
  AVG(vânzări) OVER()
FROM
  date_vânzări;

Această interogare calculează media vânzărilor pe toate datele din tabelul date_vânzări.

2. PARTITION BY

Clauza PARTITION BY împarte datele în partiții, iar funcția fereastră este aplicată separat pentru fiecare partiție. Acest lucru este util atunci când doriți să calculați metrici pentru diferite grupuri din datele dvs.

Exemplu SQL:

SELECT
  data,
  id_produs,
  vânzări,
  AVG(vânzări) OVER (PARTITION BY id_produs)
FROM
  date_vânzări;

Această interogare calculează media vânzărilor pentru fiecare produs separat.

3. ORDER BY

Clauza ORDER BY specifică ordinea rândurilor în fiecare partiție. Acest lucru este esențial pentru calcularea totalurilor cumulative, a mediilor mobile și a altor metrici bazate pe timp.

Exemplu SQL:

SELECT
  data,
  vânzări,
  SUM(vânzări) OVER (ORDER BY data)
FROM
  date_vânzări;

Această interogare calculează suma cumulativă a vânzărilor în timp.

4. ROWS/RANGE

Clauzele ROWS și RANGE definesc cadrul ferestrei, care este setul de rânduri relative la rândul curent utilizat pentru calcul. Clauza ROWS specifică cadrul ferestrei pe baza numărului de rânduri fizice, în timp ce clauza RANGE specifică cadrul ferestrei pe baza valorilor coloanei ORDER BY.

Exemplu ROWS:

SELECT
  data,
  vânzări,
  AVG(vânzări) OVER (ORDER BY data ROWS BETWEEN 2 PRECEDING AND CURRENT ROW)
FROM
  date_vânzări;

Această interogare calculează media mobilă a vânzărilor pentru ultimele 3 zile (inclusiv ziua curentă).

Exemplu RANGE:

SELECT
  data,
  vânzări,
  AVG(vânzări) OVER (ORDER BY data RANGE BETWEEN INTERVAL '2' DAY PRECEDING AND CURRENT ROW)
FROM
  date_vânzări;

Această interogare calculează media mobilă a vânzărilor pentru ultimele 2 zile (inclusiv ziua curentă). Rețineți că `RANGE` necesită o coloană ordonată care este de tip de date numeric sau dată/oră.

Funcții Fereastră Comune pentru Analiza Seriilor Temporale

1. Medie Rulantă/Mobilă

Media rulantă, cunoscută și sub denumirea de medie mobilă, este o tehnică utilizată pe scară largă pentru atenuarea fluctuațiilor pe termen scurt în datele din serii temporale și evidențierea tendințelor pe termen lung. Se calculează prin calcularea mediei valorilor pe o fereastră de timp specificată.

Exemplu SQL:

SELECT
  data,
  vânzări,
  AVG(vânzări) OVER (ORDER BY data ROWS BETWEEN 6 PRECEDING AND CURRENT ROW) AS medie_mobilă_7_zile
FROM
  date_vânzări;

Această interogare calculează media mobilă a vânzărilor pe 7 zile.

Exemplu Python (folosind Pandas):

import pandas as pd

# Presupunând că aveți un DataFrame Pandas numit 'sales_df' cu coloanele 'data' și 'vânzări'

sales_df['medie_mobilă_7_zile'] = sales_df['vânzări'].rolling(window=7).mean()

Exemplu de aplicație globală: Un retailer multinațional ar putea utiliza o medie mobilă pe 30 de zile pentru a atenua fluctuațiile zilnice ale vânzărilor și pentru a identifica tendințele de vânzări de bază în diferite regiuni.

2. Suma Cumulativă

Suma cumulativă, cunoscută și sub denumirea de total parțial, calculează suma valorilor până la rândul curent. Este utilă pentru urmărirea valorii totale acumulate în timp.

Exemplu SQL:

SELECT
  data,
  vânzări,
  SUM(vânzări) OVER (ORDER BY data) AS vânzări_cumulative
FROM
  date_vânzări;

Această interogare calculează suma cumulativă a vânzărilor în timp.

Exemplu Python (folosind Pandas):

import pandas as pd

# Presupunând că aveți un DataFrame Pandas numit 'sales_df' cu coloanele 'data' și 'vânzări'

sales_df['vânzări_cumulative'] = sales_df['vânzări'].cumsum()

Exemplu de aplicație globală: O companie internațională de comerț electronic poate utiliza vânzările cumulative pentru a urmări venitul total generat dintr-o lansare de produs nou pe diferite piețe.

3. Avans și Întârziere

Funcțiile LEAD și LAG vă permit să accesați date din rândurile ulterioare sau precedente, respectiv. Acestea sunt utile pentru calcularea modificărilor de la o perioadă la alta, identificarea tendințelor și compararea valorilor pe diferite perioade de timp.

Exemplu SQL:

SELECT
  data,
  vânzări,
  LAG(vânzări, 1, 0) OVER (ORDER BY data) AS vânzări_ziua_precedentă,
  vânzări - LAG(vânzări, 1, 0) OVER (ORDER BY data) AS diferența_vânzărilor
FROM
  date_vânzări;

Această interogare calculează diferența vânzărilor în comparație cu ziua precedentă. Funcția LAG(vânzări, 1, 0) preia valoarea vânzărilor din rândul anterior (deplasare 1) și, dacă nu există un rând anterior (de exemplu, primul rând), returnează 0 (valoarea implicită).

Exemplu Python (folosind Pandas):

import pandas as pd

# Presupunând că aveți un DataFrame Pandas numit 'sales_df' cu coloanele 'data' și 'vânzări'

sales_df['vânzări_ziua_precedentă'] = sales_df['vânzări'].shift(1)
sales_df['diferența_vânzărilor'] = sales_df['vânzări'] - sales_df['vânzări_ziua_precedentă'].fillna(0)

Exemplu de aplicație globală: O companie aeriană globală poate utiliza funcțiile avans și întârziere pentru a compara vânzările de bilete pentru aceeași rută pe diferite săptămâni și pentru a identifica potențiale fluctuații ale cererii.

4. Rank și Dense Rank

Funcțiile RANK() și DENSE_RANK() atribuie un rang fiecărui rând dintr-o partiție pe baza ordinii specificate. RANK() atribuie ranguri cu lacune (de exemplu, 1, 2, 2, 4), în timp ce DENSE_RANK() atribuie ranguri fără lacune (de exemplu, 1, 2, 2, 3).

Exemplu SQL:

SELECT
  data,
  vânzări,
  RANK() OVER (ORDER BY vânzări DESC) AS rang_vânzări,
  DENSE_RANK() OVER (ORDER BY vânzări DESC) AS rang_dens_vânzări
FROM
  date_vânzări;

Această interogare clasează valorile vânzărilor în ordine descrescătoare.

Exemplu de aplicație globală: O piață online globală poate utiliza funcțiile de clasare pentru a identifica cele mai bine vândute produse în fiecare țară sau regiune.

Tehnici și Aplicații Avansate

1. Combinarea Funcțiilor Fereastră

Funcțiile fereastră pot fi combinate pentru a efectua calcule mai complexe. De exemplu, puteți calcula media mobilă a sumei cumulative.

Exemplu SQL:

SELECT
  data,
  vânzări,
  AVG(vânzări_cumulative) OVER (ORDER BY data ROWS BETWEEN 6 PRECEDING AND CURRENT ROW) AS medie_mobilă_vânzări_cumulative
FROM
  (
    SELECT
      data,
      vânzări,
      SUM(vânzări) OVER (ORDER BY data) AS vânzări_cumulative
    FROM
      date_vânzări
  ) AS subinterogare;

2. Utilizarea Funcțiilor Fereastră cu Agregare Condiționată

Puteți utiliza funcțiile fereastră împreună cu agregarea condiționată (de exemplu, utilizând instrucțiuni CASE) pentru a efectua calcule pe baza unor condiții specifice.

Exemplu SQL:

SELECT
  data,
  vânzări,
  AVG(CASE WHEN vânzări > 100 THEN vânzări ELSE NULL END) OVER (ORDER BY data ROWS BETWEEN 6 PRECEDING AND CURRENT ROW) AS medie_mobilă_vânzări_mari
FROM
  date_vânzări;

Această interogare calculează media mobilă a vânzărilor numai pentru zilele în care vânzările sunt mai mari de 100.

3. Descompunerea Seriilor Temporale

Funcțiile fereastră pot fi utilizate pentru a descompune o serie temporală în componentele sale de tendință, sezoniere și reziduale. Aceasta implică calcularea mediilor mobile pentru a estima tendința, identificarea modelelor sezoniere și apoi scăderea componentelor de tendință și sezoniere pentru a obține reziduurile.

4. Detectarea Anomaliilor

Funcțiile fereastră pot fi utilizate pentru a detecta anomalii în datele din serii temporale prin calcularea mediilor mobile și a abaterilor standard. Punctele de date care se încadrează în afara unei anumite game (de exemplu, +/- 3 abateri standard de la media mobilă) pot fi marcate ca anomalii.

Exemple Practice în Diferite Industrii

1. Finanțe

2. Retail

3. Producție

4. Sănătate

Alegerea Instrumentului Potrivit

Funcțiile fereastră sunt disponibile în diverse instrumente de prelucrare a datelor și limbaje de programare, inclusiv:

Alegerea instrumentului depinde de nevoile dvs. specifice și de expertiza tehnică. SQL este potrivit pentru datele stocate în baze de date relaționale, în timp ce Python și Spark sunt mai flexibile pentru prelucrarea seturilor mari de date și efectuarea analizei complexe.

Cele Mai Bune Practici

Concluzie

Funcțiile fereastră sunt un instrument puternic pentru analiza seriilor temporale, permițându-vă să calculați medii mobile, sume cumulative, valori de avans/întârziere și alte metrici bazate pe timp. Stăpânind funcțiile fereastră, puteți debloca informații valoroase din datele din seriile temporale și puteți lua decizii mai informate. Indiferent dacă analizați date financiare, date de vânzări, date de senzor sau date de trafic web, funcțiile fereastră vă pot ajuta să identificați modele, tendințe și anomalii care ar fi dificil de detectat utilizând tehnicile tradiționale de agregare. Prin înțelegerea conceptelor cheie și a sintaxei funcțiilor fereastră și prin urmarea celor mai bune practici, le puteți utiliza în mod eficient pentru a rezolva o gamă largă de probleme din lumea reală în diferite industrii.