NewSQL: Izkliedētu ACID transakciju mērogošana globālām lietojumprogrammām

Mūsdienu datos balstītajā pasaulē lietojumprogrammām nepieciešama gan mērogojamība, gan datu konsekvence. Tradicionālās relāciju datubāzes, nodrošinot spēcīgas ACID (Atomitāte, Konsekvence, Izolācija, Izturība) garantijas, bieži vien saskaras ar grūtībām horizontālajā mērogošanā. NoSQL datubāzes, no otras puses, piedāvā mērogojamību, bet parasti upurē ACID īpašības par labu veiktspējai. NewSQL datubāzes parādās kā vidusceļš, cenšoties apvienot labāko no abām pasaulēm: NoSQL mērogojamību un veiktspēju ar tradicionālo RDBMS ACID garantijām.

Kas ir NewSQL?

NewSQL nav viena konkrēta datubāzes tehnoloģija, bet gan moderna relāciju datubāzu pārvaldības sistēmu (RDBMS) klase, kas cenšas nodrošināt tādas pašas ACID garantijas kā tradicionālās datubāzu sistēmas, vienlaikus sasniedzot NoSQL sistēmu mērogojamību. Tās ir izstrādātas, lai apstrādātu lielu transakciju apjomu un lielus datu apjomus, padarot tās piemērotas modernām, izkliedētām lietojumprogrammām.

Būtībā NewSQL sistēmas ir arhitektoniski veidotas, lai risinātu tradicionālo RDBMS ierobežojumus, darbojoties lielā mērogā. Tās izkliedē datus un apstrādi starp vairākiem mezgliem, nodrošinot horizontālu mērogojamību, vienlaikus garantējot, ka transakcijas tiek apstrādātas uzticamā un konsekventā veidā.

NewSQL datubāzu galvenās iezīmes

• ACID atbilstība: NewSQL datubāzes par prioritāti izvirza ACID īpašības, lai nodrošinātu datu integritāti un konsekvenci. Šī ir būtiska prasība lietojumprogrammām, kas apstrādā sensitīvus datus vai prasa stingras transakciju garantijas, piemēram, finanšu sistēmām vai e-komercijas platformām.
• Mērogojamība: Tās ir izstrādātas horizontālai mērogošanai, izkliedējot datus un apstrādi starp vairākiem mezgliem. Tas ļauj tām apstrādāt pieaugošas darba slodzes un datu apjomus, nezaudējot veiktspēju.
• SQL saskarne: Lielākā daļa NewSQL datubāzu nodrošina ar SQL saderīgu saskarni, kas atvieglo izstrādātājiem esošo lietojumprogrammu migrāciju vai esošo SQL prasmju izmantošanu.
• Izkliedēta arhitektūra: NewSQL datubāzes parasti ir veidotas uz izkliedētas arhitektūras pamata, kas ļauj tām sasniegt augstu pieejamību un kļūdu toleranci.
• Veiktspēja: Tās ir optimizētas augstas veiktspējas transakciju apstrādei, bieži izmantojot tādas tehnikas kā datu glabāšana atmiņā, izkliedēta vaicājumu apstrāde un bezbloķēšanas vienlaicīguma kontrole.

NewSQL arhitektūras pieejas

NewSQL datubāzu implementācijās tiek izmantotas vairākas arhitektūras pieejas. Šīs pieejas atšķiras ar to, kā tās sasniedz mērogojamību un ACID garantijas.

1. "Shared-Nothing" (bez koplietotiem resursiem) arhitektūra

"Shared-nothing" arhitektūrā katram klastera mezglam ir savi neatkarīgi resursi (CPU, atmiņa, krātuve). Dati tiek sadalīti un izkliedēti starp šiem mezgliem. Šī arhitektūra nodrošina izcilu mērogojamību, jo jaunu mezglu pievienošana lineāri palielina sistēmas kapacitāti. NewSQL datubāzu piemēri, kas izmanto "shared-nothing" arhitektūru, ir Google Spanner un CockroachDB.

Piemērs: Iedomājieties globālu e-komercijas platformu ar lietotājiem visā pasaulē. Izmantojot "shared-nothing" NewSQL datubāzi, platforma var izkliedēt savus datus vairākos ģeogrāfiski izkliedētos datu centros. Tas nodrošina zemu latentāti lietotājiem dažādos reģionos un augstu pieejamību reģionālu pārtraukumu gadījumā.

2. "Shared-Memory" (koplietotas atmiņas) arhitektūra

"Shared-memory" arhitektūrā visi klastera mezgli koplieto vienu atmiņas telpu. Tas nodrošina ātru datu piekļuvi un komunikāciju starp mezgliem. Tomēr šī arhitektūra parasti ir ierobežota mērogojamībā, jo koplietotā atmiņa kļūst par vājo posmu, palielinoties mezglu skaitam. Datubāzu piemēri (lai gan ne gluži NewSQL vistīrākajā nozīmē, bet ar līdzīgām transakciju mērogošanas pieejām), kas izmanto šo arhitektūru, ietver noteiktus atmiņā bāzētus datubāzu klasterus.

3. "Shared-Disk" (koplietota diska) arhitektūra

"Shared-disk" arhitektūrā visi klastera mezgli koplieto tās pašas krātuves ierīces. Tas vienkāršo datu pārvaldību un nodrošina augstu pieejamību. Tomēr šī arhitektūra var arī būt vājais posms, jo visiem mezgliem ir jāpiekļūst tai pašai krātuvei. Dažas tradicionālās RDBMS sistēmas, kad tās ir klasterizētas, var tikt aplūkotas plašākā mērogojamas transakciju apstrādes kontekstā, pat ja tās netiek dēvētas par NewSQL.

ACID transakcijas izkliedētā vidē

ACID īpašību uzturēšana izkliedētā vidē ir sarežģīts izaicinājums. NewSQL datubāzes izmanto dažādas tehnikas, lai nodrošinātu datu konsekvenci un uzticamību.

1. Divfāžu fiksēšanas protokols (2PC)

2PC ir plaši izmantots protokols, lai nodrošinātu atomitāti starp vairākiem mezgliem. 2PC protokolā koordinators koordinē transakciju starp visiem iesaistītajiem mezgliem. Transakcija norit divās fāzēs: sagatavošanās fāze un fiksēšanas fāze. Sagatavošanās fāzē katrs mezgls gatavojas fiksēt transakciju un informē koordinatoru. Ja visi mezgli ir gatavi, koordinators dod norādījumu tiem fiksēt. Ja kāds mezgls nespēj sagatavoties, koordinators dod norādījumu visiem mezgliem pārtraukt darbību.

Izaicinājums: 2PC var būt lēns un ieviest vienu kļūmes punktu (koordinatoru). Tāpēc modernas NewSQL sistēmas bieži dod priekšroku alternatīviem protokoliem.

2. Paxos un Raft konsensa algoritmi

Paxos un Raft ir konsensa algoritmi, kas ļauj izkliedētai sistēmai vienoties par vienu vērtību pat kļūmju klātbūtnē. Šie algoritmi bieži tiek izmantoti NewSQL datubāzēs, lai nodrošinātu datu konsekvenci un kļūdu toleranci. Tie nodrošina robustāku un efektīvāku alternatīvu 2PC.

Piemērs: CockroachDB izmanto Raft, lai replicētu datus starp vairākiem mezgliem un nodrošinātu, ka visas replikas ir konsekventas. Tas nozīmē, ka pat tad, ja viens mezgls neizdodas, sistēma var turpināt darboties bez datu zuduma vai nekonsekvences.

3. Spanner TrueTime API

Google Spanner izmanto globāli izkliedētu, ārēji konsekventu laika zīmogošanas sistēmu ar nosaukumu TrueTime. TrueTime nodrošina garantētu augšējo robežu pulksteņa nenoteiktībai, ļaujot Spanner sasniegt spēcīgu konsekvenci starp ģeogrāfiski izkliedētiem datu centriem. Tas ļauj Spanner veikt globāli izkliedētas transakcijas ar zemu latentāti un augstu caurlaidību.

Nozīmīgums: TrueTime ir būtiska Spanner arhitektūras sastāvdaļa, jo tas ļauj datubāzei uzturēt serializējamību, spēcīgāko izolācijas līmeni, pat izkliedētā vidē.

NewSQL datubāzu izmantošanas priekšrocības

• Mērogojamība: NewSQL datubāzes var mērogot horizontāli, lai apstrādātu pieaugošas darba slodzes un datu apjomus.
• ACID atbilstība: Tās nodrošina spēcīgas ACID garantijas, nodrošinot datu integritāti un konsekvenci.
• Veiktspēja: Tās ir optimizētas augstas veiktspējas transakciju apstrādei.
• Kļūdu tolerance: Tās ir izstrādātas, lai būtu kļūdu tolerantas, kas nozīmē, ka tās var turpināt darboties pat tad, ja daži mezgli neizdodas.
• SQL saderība: Lielākā daļa NewSQL datubāzu nodrošina ar SQL saderīgu saskarni, kas atvieglo esošo lietojumprogrammu migrāciju.

NewSQL datubāzu pielietojuma gadījumi

NewSQL datubāzes ir piemērotas plašam lietojumprogrammu klāstam, kam nepieciešama gan mērogojamība, gan datu konsekvence. Daži izplatīti pielietojuma gadījumi ietver:

1. Finanšu lietojumprogrammas

Finanšu lietojumprogrammām, piemēram, banku sistēmām un maksājumu procesoriem, nepieciešamas stingras ACID garantijas, lai nodrošinātu finanšu transakciju precizitāti un uzticamību. NewSQL datubāzes var nodrošināt nepieciešamo mērogojamību un veiktspēju, lai apstrādātu lielapjoma transakcijas, vienlaikus saglabājot datu integritāti.

Piemērs: Globālai maksājumu vārtejai, kas dienā apstrādā miljoniem transakciju, nepieciešama datubāze, kas spēj apstrādāt lielu datplūsmas apjomu un nodrošināt, ka visas transakcijas tiek apstrādātas pareizi. NewSQL datubāze var nodrošināt nepieciešamo mērogojamību un ACID garantijas, lai atbilstu šīm prasībām.

2. E-komercijas platformas

E-komercijas platformām ir jāapstrādā liels skaits vienlaicīgu lietotāju un transakciju. NewSQL datubāzes var nodrošināt nepieciešamo mērogojamību un veiktspēju, lai apstrādātu šo darba slodzi, vienlaikus nodrošinot, ka pasūtījumi tiek apstrādāti pareizi un krājumi tiek precīzi atjaunināti.

Piemērs: Lielam tiešsaistes mazumtirgotājam nepieciešama datubāze, kas spēj tikt galā ar maksimālo slodzi svētku iepirkšanās sezonās. NewSQL datubāze var mērogoties, lai apmierinātu pieaugošo pieprasījumu un nodrošinātu, ka visi pasūtījumi tiek apstrādāti bez kļūdām.

3. Spēļu lietojumprogrammas

Masveida daudzspēlētāju tiešsaistes spēlēm (MMO) ir jāapstrādā liels skaits vienlaicīgu spēlētāju un sarežģīta spēles loģika. NewSQL datubāzes var nodrošināt nepieciešamo mērogojamību un veiktspēju, lai apstrādātu šo darba slodzi, vienlaikus nodrošinot, ka spēles stāvoklis ir konsekvents un spēlētāji nevar krāpties.

Piemērs: Populārai MMO spēlei nepieciešama datubāze, kas var apstrādāt miljoniem vienlaicīgu spēlētāju un nodrošināt, ka visi spēlētāju dati ir konsekventi. NewSQL datubāze var nodrošināt nepieciešamo mērogojamību un ACID garantijas, lai atbilstu šīm prasībām.

4. Piegādes ķēžu pārvaldība

Mūsdienu piegādes ķēdes ir globāli izkliedētas un prasa reāllaika redzamību par krājumu līmeņiem, pasūtījumu statusu un sūtījumu izsekošanu. NewSQL datubāzes var nodrošināt nepieciešamo mērogojamību un veiktspēju, lai apstrādātu lielo datu apjomu, ko ģenerē piegādes ķēžu sistēmas, vienlaikus nodrošinot datu precizitāti un konsekvenci.

5. IoT (Lietu interneta) platformas

IoT platformas ģenerē milzīgu datu apjomu no savienotām ierīcēm. NewSQL datubāzes var izmantot, lai uzglabātu un analizētu šos datus, sniedzot ieskatu par ierīču veiktspēju, lietošanas modeļiem un potenciālām problēmām. Tās arī nodrošina, ka kritiski svarīgi IoT dati, piemēram, sensoru rādījumi un vadības komandas, tiek uzticami uzglabāti un apstrādāti.

NewSQL datubāzu piemēri

Šeit ir daži ievērojami NewSQL datubāzu piemēri:

• Google Spanner: Globāli izkliedēts, mērogojams un stingri konsekvents datubāzes pakalpojums.
• CockroachDB: Izkliedēta SQL datubāze, kas veidota uz transakcionālas un stingri konsekventas atslēgu-vērtību krātuves bāzes.
• TiDB: Atvērtā koda izkliedēta SQL datubāze, kas atbalsta gan tiešsaistes transakciju apstrādes (OLTP), gan tiešsaistes analītiskās apstrādes (OLAP) darba slodzes.
• VoltDB: Atmiņā bāzēta, mērogojama SQL datubāze, kas paredzēta liela ātruma datiem un ātriem lēmumiem.
• NuoDB: Izkliedēta SQL datubāze, kas paredzēta mākoņa vidēm.

Pareizās NewSQL datubāzes izvēle

Pareizās NewSQL datubāzes izvēle jūsu lietojumprogrammai ir atkarīga no vairākiem faktoriem, tostarp:

• Mērogojamības prasības: Cik daudz datu un datplūsmas jums ir jāapstrādā?
• ACID prasības: Cik svarīgas ir ACID garantijas jūsu lietojumprogrammai?
• Veiktspējas prasības: Cik ātri jums nepieciešams apstrādāt transakcijas?
• Izvietošanas vide: Kur jūs izvietosiet datubāzi (piemēram, uz vietas, mākonī)?
• SQL saderība: Cik svarīga ir SQL saderība jūsu esošajām lietojumprogrammām un izstrādes komandai?
• Izmaksas: Kāds ir jūsu budžets datubāzei?

Ir svarīgi rūpīgi izvērtēt savas prasības un salīdzināt dažādu NewSQL datubāzu funkcijas un veiktspēju pirms lēmuma pieņemšanas. Apsveriet veiktspējas testu veikšanu, lai pārbaudītu dažādu datubāzu veiktspēju ar jūsu specifisko darba slodzi.

NewSQL nākotne

NewSQL datubāzes ir strauji attīstoša tehnoloģija. Tā kā datu apjomi un lietojumprogrammu sarežģītība turpina pieaugt, pieprasījums pēc mērogojamām un konsekventām datubāzēm tikai palielināsies. Nākamajos gados mēs varam sagaidīt turpmākas inovācijas NewSQL arhitektūrās, algoritmos un rīkos.

Dažas potenciālās nākotnes tendences NewSQL ietver:

• Vairāk mākonim pielāgotu datubāzu: NewSQL datubāzes arvien vairāk tiks veidotas mākoņa vidēm, izmantojot mākonim pielāgotas tehnoloģijas, piemēram, Kubernetes un bezservera skaitļošanu.
• Uzlabota ģeogrāfiskā izkliede: NewSQL datubāzes kļūs vēl labākas ģeogrāfiski izkliedētu datu apstrādē un nodrošinās zemas latentitātes piekļuvi datiem no jebkuras vietas pasaulē.
• Integrācija ar mašīnmācīšanos: NewSQL datubāzes tiks arvien vairāk integrētas ar mašīnmācīšanās platformām, ļaujot veikt reāllaika analīzi un datos balstītu lēmumu pieņemšanu.
• Uzlabota drošība: NewSQL datubāzes ietvers modernākas drošības funkcijas, lai aizsargātu sensitīvus datus no nesankcionētas piekļuves.

Noslēgums

NewSQL datubāzes piedāvā pārliecinošu risinājumu lietojumprogrammām, kurām nepieciešama gan mērogojamība, gan datu konsekvence. Apvienojot labāko no tradicionālajām RDBMS un NoSQL datubāzēm, NewSQL datubāzes nodrošina jaudīgu platformu modernu, izkliedētu lietojumprogrammu izveidei. Tā kā pieprasījums pēc mērogojamām un konsekventām datubāzēm turpina pieaugt, NewSQL ir gatavs spēlēt arvien svarīgāku lomu datu pārvaldības nākotnē.

Neatkarīgi no tā, vai jūs veidojat finanšu sistēmu, e-komercijas platformu, spēļu lietojumprogrammu vai IoT platformu, NewSQL datubāzes var palīdzēt jums tikt galā ar mēroga un sarežģītības izaicinājumiem, vienlaikus nodrošinot jūsu datu integritāti un uzticamību. Apsveriet iespēju izpētīt NewSQL pasauli, lai redzētu, kā tā var dot labumu jūsu organizācijai.