InfluxDB ir TimescaleDB: išsami laiko eilučių duomenų titanų apžvalga

Mūsų hiper-susietame pasaulyje duomenys generuojami precedento neturinčiu greičiu. Nuo jutiklių išmaniojoje gamykloje Vokietijoje iki finansinių žymeklių Volstryte ir nuo programų našumo metrikų SaaS įmonei Singapūre iki aplinkos stebėsenos Amazonės atogrąžų miškuose, šios revoliucijos centre yra specifinis duomenų tipas: laiko eilučių duomenys.

Laiko eilučių duomenys – tai duomenų taškų seka, indeksuota laiko tvarka. Jų nenumaldomas, didelės apimties pobūdis kelia unikalius saugojimo, paieškos ir analizės iššūkius, kuriems spręsti tradicinės reliacinės duomenų bazės nebuvo sukurtos. Tai lėmė specializuotos duomenų bazių kategorijos, vadinamos laiko eilučių duomenų bazėmis (TSDB), atsiradimą.

Tarp daugelio žaidėjų TSDB erdvėje du vardai nuolat dominuoja diskusijose: InfluxDB ir TimescaleDB. Abi yra galingos, populiarios ir labai pajėgios, tačiau jos sprendžia problemą remdamosi iš esmės skirtingomis architektūrinėmis filosofijomis. Pasirinkimas tarp jų yra kritinis sprendimas, galintis reikšmingai paveikti jūsų programos našumą, mastelį ir operacinį sudėtingumą.

Šiame išsamiame gide išnagrinėsime šiuos du titanus, aptardami jų architektūrą, duomenų modelius, užklausų kalbas, našumo charakteristikas ir idealius panaudojimo atvejus. Pabaigoje turėsite aiškią sistemą, padėsiančią nustatyti, kuri duomenų bazė labiausiai tinka jūsų specifiniams poreikiams.

Kas yra InfluxDB? Specializuotas galiūnas

InfluxDB yra nuo pagrindų sukurta, specializuota laiko eilučių duomenų bazė, parašyta Go programavimo kalba. Ji buvo sukurta su vienu pagrindiniu tikslu: maksimaliai efektyviai apdoroti didžiulius duomenų, pažymėtų laiko žymomis, kiekius. Ji neturi bendros paskirties duomenų bazės naštos, todėl gali būti labai optimizuota specifinėms laiko eilučių duomenų darbo apkrovoms: didelio pralaidumo rašymui ir į laiką orientuotoms užklausoms.

Pagrindinė architektūra ir duomenų modelis

InfluxDB architektūra sukurta greičiui ir paprastumui. Daugelį metų jos branduolys buvo Time-Structured Merge Tree (TSM) saugojimo variklis, optimizuotas dideliam duomenų įkėlimo greičiui ir efektyviam glaudinimui. Duomenys InfluxDB organizuojami pagal paprastą, intuityvų modelį:

• Measurement: Jūsų laiko eilučių duomenų konteineris, analogiškas SQL lentelei. Pavyzdys: cpu_usage.
• Tags: Raktų ir reikšmių eilučių poros, kuriose saugomi metaduomenys apie duomenis. Žymos visada yra indeksuojamos ir yra labai svarbios efektyvioms užklausoms. Pavyzdys: host=serverA, region=us-west-1.
• Fields: Faktinės duomenų reikšmės, kurios gali būti slankiojo kablelio skaičiai, sveikieji skaičiai, eilutės ar loginės reikšmės. Laukai nėra indeksuojami. Pavyzdys: usage_user=98.5, usage_system=1.5.
• Timestamp: Didelio tikslumo laiko žyma, susieta su laukų reikšmėmis.

Vienas duomenų taškas InfluxDB gali atrodyti taip: cpu_usage,host=serverA,region=us-west-1 usage_user=98.5,usage_system=1.5 1672531200000000000. Suprasti skirtumą tarp žymų (indeksuotų metaduomenų) ir laukų (neindeksuotų duomenų) yra esminis dalykas kuriant efektyvią InfluxDB schemą.

Užklausų kalbos: InfluxQL ir Flux

InfluxDB siūlo dvi užklausų kalbas:

1. InfluxQL: Į SQL panaši užklausų kalba, kuri yra intuityvi visiems, turintiems patirties su tradicinėmis duomenų bazėmis. Ji puikiai tinka paprastoms agregacijoms ir duomenų paieškai.
2. Flux: Galinga, funkcinė duomenų scenarijų kalba. Flux yra daug pajėgesnė nei InfluxQL, leidžianti atlikti sudėtingas transformacijas, sujungimus tarp „measurements“ ir integraciją su išoriniais duomenų šaltiniais. Tačiau jos mokymosi kreivė yra žymiai statesnė.

Pagrindinės savybės ir ekosistema

• Didelis rašymo pralaidumas: Sukurta priimti milijonus duomenų taškų per sekundę.
• Integruota platforma: InfluxDB 2.0 ir vėlesnės versijos siūlo vieningą platformą, kuri apima duomenų rinkimą (pvz., Telegraf), vizualizavimą (prietaisų skydelius) ir perspėjimus (užduotis) viename binariniame faile. Tai pakeičia senesnį TICK Stack (Telegraf, InfluxDB, Chronograf, Kapacitor).
• Duomenų gyvavimo ciklo valdymas: Automatinės duomenų saugojimo politikos leidžia lengvai valdyti duomenų saugojimą, automatiškai sumažinant senų duomenų detalumą (downsampling) arba juos ištrinant.
• Atskiro įdiegimo paprastumas: Atvirojo kodo versija yra vienas binarinis failas be išorinių priklausomybių, todėl ją labai lengva paleisti ir naudoti.

Kas yra TimescaleDB? SQL laiko eilutėms

TimescaleDB taiko visiškai kitokį požiūrį. Užuot kūrus duomenų bazę nuo nulio, ji sukurta kaip galingas PostgreSQL plėtinys. Tai reiškia, kad ji paveldi visą stabilumą, patikimumą ir gausias vienos iš pažangiausių pasaulyje atvirojo kodo reliacinių duomenų bazių savybes, kartu pridedant specializuotus optimizavimus laiko eilučių duomenims.

Pagrindinė architektūra ir duomenų modelis

Įdiegę TimescaleDB, jūs iš esmės „sustiprinate“ standartinį PostgreSQL egzempliorių. Magija slypi jos pagrindinėse koncepcijose:

• Hypertables (hiperlentelės): Tai vartotojui matomos lentelės, kuriose saugote savo laiko eilučių duomenis. Jos atrodo ir veikia kaip įprastos PostgreSQL lentelės.
• Chunks (segmentai): Viduje TimescaleDB automatiškai padalija hiperlentelės duomenis į daugybę mažesnių antrinių lentelių, vadinamų segmentais, pagal laiką. Kiekvienas segmentas yra standartinė PostgreSQL lentelė. Šis skaidymas yra skaidrus vartotojui, bet yra raktas į TimescaleDB našumą.

Kadangi ji sukurta ant PostgreSQL, duomenų modelis yra grynai reliacinis. Jūs sukuriate standartinę SQL lentelę su stulpeliais laiko žymai, metaduomenims (pvz., įrenginio ID ar vieta) ir duomenų reikšmėms. Jei jau mokate SQL, nereikia mokytis jokio naujo duomenų modelio.

CREATE TABLE conditions ( time TIMESTAMPTZ NOT NULL, location TEXT NOT NULL, temperature DOUBLE PRECISION NULL, humidity DOUBLE PRECISION NULL ); SELECT create_hypertable('conditions', 'time');

Užklausų kalba: visos SQL galia

Didžiausias TimescaleDB pardavimo taškas yra jos užklausų kalba: standartinė SQL. Tai didžiulis pranašumas dėl kelių priežasčių:

• Nulinė mokymosi kreivė: Bet kuris programuotojas, analitikas ar įrankis, kuris „kalba“ SQL, gali iš karto dirbti su TimescaleDB.
• Neprilygstama galia: Jūs gaunate prieigą prie visos analitinės SQL galios, įskaitant po-užklausas, lango funkcijas ir, svarbiausia, JOIN jungtis.
• Turtinga ekosistema: Jums prieinama visa, milžiniška PostgreSQL įrankių, jungčių ir plėtinių (pvz., PostGIS pažangioms geoerdvinėms užklausoms) ekosistema.

TimescaleDB taip pat prideda šimtus specializuotų laiko eilučių funkcijų į SQL, tokių kaip time_bucket(), first() ir last(), kad supaprastintų ir pagreitintų įprastas laiko eilučių užklausas.

Pagrindinės savybės ir ekosistema

• Visiškas SQL palaikymas: Išnaudokite esamas SQL žinias ir įrankius be jokių pakeitimų.
• Reliaciniai ir laiko eilučių duomenys kartu: Sklandžiai sujunkite savo laiko eilučių duomenis (pvz., jutiklių rodmenis) su savo reliaciniais verslo duomenimis (pvz., įrenginių metaduomenimis, klientų informacija).
• Įrodytas patikimumas: Paveldi dešimtmečius PostgreSQL plėtros, tvirtą patikimumą ir ACID atitiktį.
• Pažangus glaudinimas: Siūlo geriausią savo klasėje stulpelinį glaudinimą, kuris gali sumažinti saugyklos poreikį daugiau nei 90%.

Tiesioginis palyginimas: InfluxDB vs. TimescaleDB

Panagrinėkime pagrindinius skirtumus pagal kelis esminius kriterijus, kad padėtume jums priimti pagrįstą sprendimą.

Pagrindinė filosofija ir architektūra

• InfluxDB: Specializuota, atskira sistema. Ji teikia pirmenybę našumui ir naudojimo paprastumui laiko eilučių darbo krūviams, viską kurdama nuo pagrindų. Tai lemia labai optimizuotą, bet potencialiai mažiau lanksčią sistemą.
• TimescaleDB: Plėtinys, kuris pagerina bendrosios paskirties duomenų bazę. Ji teikia pirmenybę patikimumui, užklausų galiai ir ekosistemos suderinamumui, remdamasi brandžiu PostgreSQL pagrindu. Tai suteikia neįtikėtiną lankstumą, bet gali sukelti operacinę naštą, susijusią su pilnos RDBMS valdymu.

Pasaulinė perspektyva: Startuolis Bangalore gali teikti pirmenybę paprastam, „viskas viename“ InfluxDB sprendimui greitam prototipų kūrimui. Priešingai, didelė finansų institucija Londone gali rinktis TimescaleDB dėl jos gebėjimo integruotis su esama PostgreSQL infrastruktūra ir įrodyto duomenų vientisumo.

Duomenų modelis ir schemos lankstumas

• InfluxDB: Naudoja ne reliacinį „measurements“, „tags“ ir „fields“ modelį. Tai labai efektyvu standartiniams laiko eilučių šablonams, bet apsunkina reliacinę logiką. Didelis kardinalumas (didelis unikalių žymų reikšmių skaičius) gali būti našumo iššūkis senesnėse versijose.
• TimescaleDB: Naudoja standartinį reliacinį (SQL) modelį. Tai reikalauja iš anksto apibrėžti schemą, bet suteikia didžiulį lankstumą sudėtingiems duomenų ryšiams per JOIN jungtis. Ji gerai tvarkosi su dideliu kardinalumu, traktuodama jį kaip bet kurį kitą indeksuotą stulpelį PostgreSQL.

Užklausų kalba

• InfluxDB: Dviejų kalbų pasaulis. InfluxQL yra paprasta, bet ribota. Flux yra nepaprastai galinga laiko eilučių analizei, tačiau tai yra patentuota kalba, reikalaujanti didelių jūsų komandos investicijų į mokymąsi.
• TimescaleDB: Standartinė SQL. Tai, be abejo, yra jos patraukliausia savybė. Ji sumažina patekimo į rinką barjerą, atveria didžiulį talentų fondą ir leidžia atlikti sudėtingas analitines užklausas, kurios yra trivialios SQL, bet sudėtingos arba neįmanomos InfluxQL.

Našumas: duomenų įkėlimas, užklausos ir saugojimas

Našumo testai yra žinomi dėl savo sudėtingumo ir priklausomybės nuo darbo krūvio. Tačiau galime aptarti bendras charakteristikas.

• Duomenų įkėlimo pralaidumas: Abi duomenų bazės siūlo fenomenalų rašymo našumą ir gali apdoroti milijonus metrikų per sekundę su tinkama aparatine įranga. Ilgą laiką InfluxDB dažnai turėjo nedidelį pranašumą gryno, paprasto įkėlimo greičio srityje dėl savo specializuoto TSM variklio. TimescaleDB našumas yra itin konkurencingas ir labai priklauso nuo paketinių rašymų.
• Užklausų našumas:
  • Paprastoms laiku pagrįstoms agregacijoms (pvz., `AVG(cpu_usage)` per paskutinę valandą, grupuojant pagal `host`), abi duomenų bazės yra žaibiškai greitos.
  • Sudėtingoms analitinėms užklausoms, apimančioms JOIN jungtis su reliaciniais metaduomenimis, TimescaleDB yra neabejotinas nugalėtojas. Šių tipų užklausų vykdymas InfluxDB reikalauja naudoti Flux ir gali būti žymiai sudėtingesnis ir mažiau našus.
• Duomenų glaudinimas: Abi siūlo puikų, pirmaujantį pramonėje glaudinimą. InfluxDB TSM naudoja tokias technikas kaip delta kodavimas ir pasikartojančių sekų kodavimas. TimescaleDB siūlo skaidrų, stulpelinį glaudinimą kiekvienam stulpeliui atskirai, leidžiantį maišyti ir derinti geriausius glaudinimo algoritmus pagal jūsų duomenų tipus, dažnai pasiekiant 90-98% glaudinimą.

Ekosistema ir integracijos

• InfluxDB: Turi stiprią, brandžią ekosistemą, ypač DevOps ir stebėsenos srityje. Ji turi natūralias kliento bibliotekas daugelyje kalbų ir sklandžiai integruojasi su įrankiais, tokiais kaip Grafana. „Viskas viename“ InfluxDB 2.0+ platforma yra išbaigtas sprendimas iš karto.
• TimescaleDB: Jos ekosistema yra visa PostgreSQL ekosistema. Tai yra milžiniškas pranašumas. Bet kuri programa, jungtis (JDBC, ODBC), BI įrankis (Tableau, Power BI) ar plėtinys, veikiantis su PostgreSQL, veikia ir su TimescaleDB. Tai apima galingus plėtinius, tokius kaip PostGIS, skirtus pasaulinio lygio geoerdvinei analizei, todėl ji idealiai tinka tokiems naudojimo atvejams kaip logistika ar turto sekimas.

Mastelio keitimas ir klasterizavimas

• InfluxDB: Atvirojo kodo versija yra vieno mazgo egzempliorius. Horizontalus mastelio keitimas ir aukštas prieinamumas yra komercinių InfluxDB Enterprise ir InfluxDB Cloud produktų savybės.
• TimescaleDB: Atvirojo kodo versija gali būti vertikaliai keičiamo mastelio, kad tvarkytų labai didelius duomenų rinkinius viename, galingame serveryje. Kelių mazgų klasterizavimas horizontalaus mastelio keitimui ir aukštam prieinamumui yra prieinamas jų debesijos ir savarankiškai talpinamose įmonių versijose.

Panaudojimo atvejų išsami analizė: kada kurį rinktis?

Pasirinkimas nėra apie tai, kuri duomenų bazė yra objektyviai „geresnė“, bet kuri yra „tinkamiausia“ jūsų projektui, komandai ir duomenims.

Rinkitės InfluxDB, kai...

• Jūsų panaudojimo atvejis yra grynas DevOps/metrikų stebėjimas: InfluxDB platforma yra specialiai sukurta rinkti ir analizuoti metrikas iš serverių, programų ir tinklų. Telegraf rinkiklis turi šimtus papildinių, todėl tai yra „plug-and-play“ sprendimas.
• Jums svarbiausias yra diegimo paprastumas: Greitai, atskirai veikiančiai TSDB be išorinių priklausomybių, InfluxDB vienas binarinis failas yra sunkiai pralenkiamas.
• Jūsų užklausų poreikiai daugiausia yra į laiką orientuotos agregacijos: Jei dažniausiai atliekate `GROUP BY time()` ir nereikia jungti su sudėtingais verslo duomenimis, InfluxDB yra labai efektyvus.
• Jūsų komanda yra pasirengusi investuoti į Flux: Jei matote vertę galingose Flux analitinėse galimybėse ir esate pasirengę mokymosi kreivei, tai gali būti reikšmingas privalumas.

Rinkitės TimescaleDB, kai...

• Jūs jau naudojate PostgreSQL: Jei jūsų organizacija jau turi PostgreSQL patirties ir infrastruktūrą, pridėti TimescaleDB yra natūralus ir mažai pastangų reikalaujantis pasirinkimas.
• Jums reikia derinti laiko eilučių ir reliacinius duomenis: Tai yra pagrindinė TimescaleDB savybė. Jei jums reikia vykdyti užklausas, tokias kaip „Parodykite vidutinę jutiklių temperatūrą visiems įrenginiams, pagamintiems konkrečioje gamykloje, priklausantiems „premium“ lygio klientams“, TimescaleDB yra aiškus pasirinkimas.
• Jūsų komanda gyvena ir kvėpuoja SQL: Išnaudoti esamas jūsų plėtros ir duomenų analizės komandų žinias yra didžiulis produktyvumo postūmis.
• Jums reikalinga geo-laikinė analizė: TimescaleDB ir PostGIS plėtinio derinys sukuria neprilygstamą platformą analizuoti duomenis, turinčius tiek laiko, tiek vietos komponentą (pvz., sekti pasaulinį laivybos laivyną).
• Jums reikalingas brandžios RDBMS patikimumas ir duomenų vientisumas: Finansinėms paslaugoms, pramoninėms valdymo sistemoms ar bet kuriai programai, kur duomenų praradimas yra nepriimtinas, PostgreSQL mūšyje išbandytas pagrindas yra didelis privalumas.

Ateitis: InfluxDB 3.0 ir Timescale evoliucija

Duomenų bazių peizažas nuolat keičiasi. Esminis pokytis yra InfluxDB 3.0. Ši nauja versija reiškia visišką architektūros pertvarkymą, perstatant saugojimo variklį (pavadintą IOx) Rust kalba, naudojant modernias duomenų ekosistemos technologijas, tokias kaip Apache Arrow ir Apache Parquet. Tai atneša transformuojančius pokyčius:

• Praktiškai neribotas kardinalumas: Naujasis variklis sukurtas tvarkyti beveik begalinį eilučių kardinalumą, istorinį skaudulį.
• SQL palaikymas: InfluxDB 3.0 siūlo pirmos klasės SQL palaikymą kaip pagrindinę užklausų kalbą, tiesioginį žingsnį konkuruoti su didžiausiu TimescaleDB pranašumu.
• Stulpelinė saugykla: Parquet naudojimas suteikia labai efektyvią, standartizuotą stulpelinę saugyklą.

Ši evoliucija ištrina ribas tarp dviejų duomenų bazių. Bręstant InfluxDB 3.0, ji pasiūlys daugelį privalumų (pvz., SQL ir stulpelinę saugyklą), kurie anksčiau buvo unikalūs TimescaleDB, išlaikydama savo specializuotą orientaciją.

Tuo tarpu TimescaleDB toliau diegia naujoves, pridėdama tokias funkcijas kaip pažangesnis glaudinimas, geresnis kelių mazgų našumas ir gilesnė integracija su debesų technologijų ekosistema, taip stiprindama savo poziciją kaip pagrindinis laiko eilučių sprendimas PostgreSQL pasaulyje.

Išvada: kaip teisingai pasirinkti jūsų globaliai programai

Mūšis tarp InfluxDB ir TimescaleDB yra klasikinis pasakojimas apie dvi filosofijas: specializuotą, pagal paskirtį sukurtą sistemą prieš išplečiamą, bendrosios paskirties galiūną. Nėra universalaus nugalėtojo.

Teisingas pasirinkimas priklauso nuo kruopštaus jūsų specifinių poreikių įvertinimo:

1. Duomenų modelio sudėtingumas: Ar jums reikia sujungti laiko eilučių duomenis su kitais verslo duomenimis? Jei taip, linkite prie TimescaleDB. Jei ne, InfluxDB yra stiprus pretendentas.
2. Esami komandos įgūdžiai: Ar jūsų komanda pilna SQL ekspertų? TimescaleDB jausis kaip namie. Ar jie atviri mokytis naujos, galingos kalbos, tokios kaip Flux, arba pradėti nuo nulio? InfluxDB galėtų tikti.
3. Operacinė našta: Ar norite paprasto, atskiro binarinio failo? InfluxDB. Ar jau valdote PostgreSQL arba jaučiatės patogiai tai darydami? TimescaleDB.
4. Ekosistemos poreikiai: Ar jums reikia specifinių PostgreSQL plėtinių, tokių kaip PostGIS? TimescaleDB yra jūsų vienintelė galimybė. Ar DevOps orientuota Telegraf ir InfluxDB platformos ekosistema puikiai tinka? Rinkitės InfluxDB.

Atsiradus InfluxDB 3.0 ir jos SQL palaikymui, sprendimas tampa vis subtilesnis. Tačiau pagrindinės filosofijos išlieka. InfluxDB yra laiko eilutėms skirta platforma, o TimescaleDB yra PostgreSQL skirta platforma su išskirtinėmis laiko eilučių galimybėmis.

Galiausiai, geriausias patarimas bet kuriai globaliai komandai yra atlikti koncepcijos įrodymą (proof-of-concept). Įdiekite abi duomenų bazes, įkelkite reprezentatyvų savo duomenų pavyzdį ir paleiskite tokias užklausas, kokių reikės jūsų programai. Praktinė patirtis atskleis, kuri duomenų bazė ne tik geriausiai veikia su jūsų darbo krūviu, bet ir labiausiai tinka jūsų komandai.