Saga-malli: Hajautettujen transaktioiden toteuttaminen mikropalveluissa

Mikropalveluiden maailmassa datan yhtenäisyyden ylläpitäminen useiden palveluiden välillä voi olla merkittävä haaste. Perinteiset ACID-transaktiot (Atomicity, Consistency, Isolation, Durability), joita käytetään yleisesti monoliittisissa sovelluksissa, eivät usein sovellu hajautettuihin ympäristöihin. Tässä kohtaa Saga-malli astuu kuvaan, tarjoten vankan ratkaisun hajautettujen transaktioiden hallintaan ja datan eheyden varmistamiseen mikropalveluiden välillä.

Mikä on Saga-malli?

Saga-malli on suunnittelumalli, jota käytetään paikallisten transaktioiden sarjan hallintaan useiden mikropalveluiden välillä. Se tarjoaa tavan saavuttaa lopullinen yhtenäisyys (eventual consistency), mikä tarkoittaa, että vaikka data voi olla tilapäisesti epäyhtenäistä, se saavuttaa lopulta yhtenäisen tilan. Sen sijaan, että luotettaisiin yhteen, atomiseen transaktioon, joka kattaa useita palveluita, Saga-malli jakaa transaktion sarjaksi pienempiä, itsenäisiä transaktioita, joista kukin suoritetaan yhden palvelun toimesta.

Jokainen paikallinen transaktio Sagan sisällä päivittää yhden mikropalvelun tietokannan. Jos jokin transaktioista epäonnistuu, Saga suorittaa sarjan kompensoivia transaktioita kumotakseen edeltävien transaktioiden tekemät muutokset, käytännössä rullaten takaisin koko operaation.

Miksi käyttää Saga-mallia?

Useat tekijät tekevät Saga-mallista arvokkaan työkalun transaktioiden hallintaan mikropalveluarkkitehtuureissa:

• Irtikytkentä: Sagat edistävät löyhää kytkentää mikropalveluiden välillä, mikä mahdollistaa niiden kehittämisen itsenäisesti vaikuttamatta muihin palveluihin. Tämä on mikropalveluarkkitehtuurien keskeinen etu.
• Skaalautuvuus: Välttämällä pitkäkestoisia, hajautettuja transaktioita, Sagat parantavat skaalautuvuutta ja suorituskykyä. Jokainen mikropalvelu voi käsitellä omat transaktionsa itsenäisesti, mikä vähentää kilpailutilanteita ja parantaa läpisyöttöä.
• Vikasietoisuus: Sagat on suunniteltu kestämään vikatilanteita. Jos transaktio epäonnistuu, Saga voidaan rullata takaisin, mikä estää datan epäyhtenäisyyksiä ja varmistaa, että järjestelmä pysyy yhtenäisessä tilassa.
• Joustavuus: Saga-malli tarjoaa joustavuutta monimutkaisten, useita palveluita kattavien liiketoimintaprosessien hallintaan. Se mahdollistaa transaktioiden sarjan ja epäonnistumistapauksissa suoritettavien kompensoivien toimenpiteiden määrittelyn.

ACID vs. BASE

ACID:n ja BASE:n (Basically Available, Soft state, Eventually consistent) välisen eron ymmärtäminen on ratkaisevan tärkeää, kun päätetään Saga-mallin käytöstä.

• ACID (Atomicity, Consistency, Isolation, Durability): Takaa, että transaktiot käsitellään luotettavasti. Atomisuus varmistaa, että joko kaikki transaktion sisäiset operaatiot onnistuvat tai ei yhtään. Yhtenäisyys varmistaa, että transaktio siirtää tietokannan yhdestä validista tilasta toiseen. Eristys varmistaa, että samanaikaiset transaktiot eivät häiritse toisiaan. Pysyvyys varmistaa, että kun transaktio on vahvistettu, se pysyy sellaisena jopa järjestelmävian sattuessa.
• BASE (Basically Available, Soft state, Eventually consistent): Tämä on erilainen lähestymistapa, joka on suunniteltu hajautettuihin järjestelmiin. Basically Available tarkoittaa, että järjestelmä on saatavilla suurimman osan ajasta. Soft state tarkoittaa, että järjestelmän tila voi muuttua ajan myötä, jopa ilman syötettä. Eventually consistent tarkoittaa, että järjestelmästä tulee lopulta yhtenäinen, kun se lakkaa vastaanottamasta syötettä. Saga-malli on linjassa BASE-periaatteiden kanssa.

Kaksi pääasiallista Sagan toteutusstrategiaa

Saga-mallin toteuttamiseen on kaksi pääasiallista tapaa: Koreografia ja Orkestrointi.

1. Koreografiaan perustuva Saga

Koreografiaan perustuvassa Sagassa jokainen mikropalvelu osallistuu Sagaan kuuntelemalla muiden mikropalveluiden julkaisemia tapahtumia ja reagoimalla niihin vastaavasti. Keskusohjainta ei ole; jokainen palvelu tietää omat vastuunsa ja milloin suorittaa toimensa.

Miten se toimii:

1. Saga alkaa, kun mikropalvelu julkaisee tapahtuman, joka ilmaisee transaktion alkamisen.
2. Muut mikropalvelut tilaavat tämän tapahtuman ja suorittavat sen vastaanotettuaan paikallisen transaktionsa.
3. Transaktionsa suoritettuaan jokainen mikropalvelu julkaisee toisen tapahtuman, joka ilmaisee operaationsa onnistumisen tai epäonnistumisen.
4. Muut mikropalvelut kuuntelevat näitä tapahtumia ja ryhtyvät tarvittaviin toimiin, joko jatkamalla Sagan seuraavaan vaiheeseen tai käynnistämällä kompensoivia transaktioita virheen sattuessa.

Esimerkki: Verkkokaupan tilauksen tekeminen (Koreografia)

1. Tilauspalvelu: Vastaanottaa uuden tilauspyynnön ja julkaisee `OrderCreated`-tapahtuman.
2. Varastopalvelu: Tilaa `OrderCreated`-tapahtuman. Vastaanotettuaan tapahtuman se tarkistaa varastotilanteen. Jos tuotteita on riittävästi, se varaa tuotteet ja julkaisee `InventoryReserved`. Jos ei, se julkaisee `InventoryReservationFailed`.
3. Maksupalvelu: Tilaa `InventoryReserved`-tapahtuman. Vastaanotettuaan tapahtuman se käsittelee maksun. Onnistuessaan se julkaisee `PaymentProcessed`. Jos se epäonnistuu, se julkaisee `PaymentFailed`.
4. Toimituspalvelu: Tilaa `PaymentProcessed`-tapahtuman. Vastaanotettuaan tapahtuman se valmistelee lähetyksen ja julkaisee `ShipmentPrepared`.
5. Tilauspalvelu: Tilaa `ShipmentPrepared`-tapahtuman. Vastaanotettuaan tapahtuman se merkitsee tilauksen valmiiksi.
6. Kompensaatio: Jos `PaymentFailed`- tai `InventoryReservationFailed`-tapahtuma julkaistaan, muut palvelut kuuntelevat ja suorittavat kompensoivia transaktioita (esim. vapauttavat varatut tuotteet).

Koreografian edut:

• Yksinkertaisuus: Helppo toteuttaa yksinkertaisissa työnkuluissa.
• Hajautettu: Edistää löyhää kytkentää ja mikropalveluiden itsenäistä kehitystä.

Koreografian haitat:

• Monimutkaisuus: Hallinnointi voi muuttua monimutkaiseksi, kun Sagan osallistujien määrä kasvaa.
• Näkyvyys: Sagan kokonaisedistymisen ja tilan seuraaminen on vaikeaa.
• Kytkentä: Vaikka se edistää löyhää kytkentää, palveluiden on silti oltava tietoisia muiden palveluiden julkaisemista tapahtumista.

2. Orkestrointiin perustuva Saga

Orkestrointiin perustuvassa Sagassa keskusohjain (joka on usein toteutettu omistettuna palveluna tai tilakoneena) hallitsee Sagaa ja koordinoi osallistuvien mikropalveluiden suorittamia paikallisia transaktioita. Ohjain kertoo jokaiselle palvelulle, mitä tehdä ja milloin.

Miten se toimii:

1. Saga alkaa, kun asiakas pyytää ohjainta aloittamaan transaktion.
2. Ohjain lähettää komentoja osallistuville mikropalveluille niiden paikallisten transaktioiden suorittamiseksi.
3. Jokainen mikropalvelu suorittaa transaktionsa ja ilmoittaa onnistumisesta tai epäonnistumisesta ohjaimelle.
4. Tuloksen perusteella ohjain päättää, jatkaako se seuraavaan vaiheeseen vai käynnistääkö se kompensoivia transaktioita.

Esimerkki: Verkkokaupan tilauksen tekeminen (Orkestrointi)

1. Tilausohjain: Vastaanottaa uuden tilauspyynnön.
2. Tilausohjain: Lähettää komennon varastopalvelulle varaamaan tuotteet.
3. Varastopalvelu: Varaa tuotteet ja ilmoittaa tilausohjaimelle.
4. Tilausohjain: Lähettää komennon maksupalvelulle käsittelemään maksun.
5. Maksupalvelu: Käsittelee maksun ja ilmoittaa tilausohjaimelle.
6. Tilausohjain: Lähettää komennon toimituspalvelulle valmistelemaan lähetyksen.
7. Toimituspalvelu: Valmistelee lähetyksen ja ilmoittaa tilausohjaimelle.
8. Tilausohjain: Merkitsee tilauksen valmiiksi.
9. Kompensaatio: Jos jokin vaihe epäonnistuu, tilausohjain lähettää kompensoivia komentoja asiaankuuluville palveluille (esim. vapauttaa varatut tuotteet).

Orkestroinnin edut:

• Keskitetty hallinta: Sagan hallinta ja valvonta on helpompaa keskitetystä pisteestä.
• Parempi näkyvyys: Ohjain tarjoaa selkeän näkymän Sagan kokonaisedistymiseen ja tilaan.
• Vähentynyt kytkentä: Mikropalveluiden tarvitsee kommunikoida vain ohjaimen kanssa, mikä vähentää suoria riippuvuuksia niiden välillä.

Orkestroinnin haitat:

• Monimutkaisuus: Voi olla aluksi monimutkaisempi toteuttaa, erityisesti yksinkertaisissa työnkuluissa.
• Yksittäinen vikaantumispiste: Ohjaimesta voi tulla yksittäinen vikaantumispiste, vaikka tätä voidaan lieventää redundanssilla ja vikasietoisuustoimenpiteillä.

Kompensoivien transaktioiden toteuttaminen

Saga-mallin ratkaiseva osa on kompensoivien transaktioiden toteuttaminen. Nämä transaktiot suoritetaan kumoamaan aiemmin suoritettujen transaktioiden vaikutukset vikatilanteessa. Tavoitteena on palauttaa järjestelmä yhtenäiseen tilaan, vaikka koko Sagaa ei voida suorittaa loppuun.

Keskeisiä huomioita kompensoivista transaktioista:

• Idempotenssi: Kompensoivien transaktioiden tulisi olla idempotentteja, mikä tarkoittaa, että ne voidaan suorittaa useita kertoja muuttamatta lopputulosta. Tämä on tärkeää, koska vikoja voi tapahtua missä tahansa vaiheessa, ja kompensoivaa transaktiota saatetaan yrittää uudelleen.
• Vikatilanteiden käsittely: Myös kompensoivat transaktiot voivat epäonnistua. Sinulla on oltava strategia kompensoivien transaktioiden epäonnistumisten käsittelyyn, kuten uudelleenyritykset, virheiden kirjaaminen ja ylläpitäjien hälyttäminen.
• Datan yhtenäisyys: Kompensoivien transaktioiden tulisi varmistaa, että data pysyy yhtenäisenä. Tämä voi tarkoittaa datan palauttamista aiempaan tilaansa, vasta luodun datan poistamista tai datan päivittämistä vastaamaan transaktion peruuttamista.

Esimerkkejä kompensoivista transaktioista:

• Varastopalvelu: Jos varastopalvelu varasi tuotteita, mutta maksu epäonnistui, kompensoiva transaktio olisi vapauttaa varatut tuotteet.
• Maksupalvelu: Jos maksupalvelu käsitteli maksun, mutta toimitus epäonnistui, kompensoiva transaktio voisi sisältää hyvityksen myöntämisen.

Haasteet ja huomiot

Vaikka Saga-malli tarjoaa merkittäviä etuja, se tuo mukanaan myös joitakin haasteita ja huomioitavia seikkoja:

• Monimutkaisuus: Saga-mallin toteuttaminen voi olla monimutkaista, erityisesti monimutkaisissa liiketoimintaprosesseissa. Huolellinen suunnittelu on välttämätöntä.
• Lopullinen yhtenäisyys: Saga-malli tarjoaa lopullisen yhtenäisyyden, mikä tarkoittaa, että data voi olla tilapäisesti epäyhtenäistä. Tämä voi olla huolenaihe sovelluksille, jotka vaativat vahvoja yhtenäisyystakuita.
• Testaaminen: Sagojen testaaminen voi olla haastavaa niiden hajautetun luonteen ja mahdollisten vikatilanteiden vuoksi.
• Valvonta: Sagojen edistymisen ja tilan valvonta on ratkaisevan tärkeää ongelmien tunnistamiseksi ja ratkaisemiseksi. Tarvitset asianmukaiset valvontatyökalut ja -prosessit.
• Idempotenssi: Transaktioiden ja kompensoivien transaktioiden idempotenssin varmistaminen on ratkaisevan tärkeää datan epäyhtenäisyyksien estämiseksi.
• Eristys: Koska Sagat sisältävät useita paikallisia transaktioita, eristys voi olla huolenaihe. Strategiat, kuten semanttiset lukot tai optimistinen lukitus, voivat olla tarpeen.

Käyttötapaukset ja esimerkit

Saga-malli soveltuu hyvin monenlaisiin käyttötapauksiin, erityisesti hajautetuissa järjestelmissä ja mikropalveluarkkitehtuureissa. Tässä on joitakin yleisiä esimerkkejä:

• Verkkokaupan tilaustenhallinta: Kuten yllä olevissa esimerkeissä on kuvattu, Saga-mallia voidaan käyttää koko tilauksen elinkaaren hallintaan, tilauksen luomisesta maksunkäsittelyyn ja toimitukseen.
• Rahoitustransaktiot: Saga-mallia voidaan käyttää monimutkaisten rahoitustransaktioiden hallintaan, jotka koskevat useita järjestelmiä, kuten varainsiirtoja, lainahakemuksia ja vakuutuskorvauksia.
• Toimitusketjun hallinta: Saga-mallia voidaan käyttää toimintojen koordinoimiseen useiden toimitusketjun osapuolten, kuten valmistajien, jakelijoiden ja jälleenmyyjien, välillä.
• Terveydenhuoltojärjestelmät: Saga-mallia voidaan käyttää potilastietojen hallintaan ja hoidon koordinoimiseen eri osastojen ja palveluntarjoajien välillä.

Esimerkki: Maailmanlaajuinen pankkitransaktio

Kuvittele tilanne, jossa on kyseessä maailmanlaajuinen pankkitransaktio kahden eri maassa sijaitsevan pankin välillä, ja se on erilaisten säännösten ja vaatimustenmukaisuustarkistusten alainen. Saga-malli voi varmistaa, että transaktio noudattaa määriteltyjä vaiheita:

1. Transaktion aloitus: Asiakas aloittaa varainsiirron tililtään Pankista A (sijaitsee USA:ssa) vastaanottajan tilille Pankkiin B (sijaitsee Saksassa).
2. Pankki A - Tilin validointi: Pankki A validoi asiakkaan tilin, tarkistaa riittävät varat ja varmistaa, ettei tilillä ole pitoja tai rajoituksia.
3. Vaatimustenmukaisuustarkistus (Pankki A): Pankki A suorittaa vaatimustenmukaisuustarkistuksen varmistaakseen, ettei transaktio riko rahanpesun vastaisia (AML) säännöksiä tai kansainvälisiä pakotteita.
4. Varainsiirto (Pankki A): Pankki A veloittaa asiakkaan tiliä ja lähettää varat selvityskeskukseen tai välikäsipankkiin.
5. Selvityskeskuksen käsittely: Selvityskeskus käsittelee transaktion, suorittaa valuutanmuunnoksen (USD -> EUR) ja reitittää varat Pankkiin B.
6. Pankki B - Tilin validointi: Pankki B validoi vastaanottajan tilin ja varmistaa, että se on aktiivinen ja oikeutettu vastaanottamaan varoja.
7. Vaatimustenmukaisuustarkistus (Pankki B): Pankki B suorittaa oman vaatimustenmukaisuustarkistuksensa Saksan ja EU:n säännösten mukaisesti.
8. Tilin hyvitys (Pankki B): Pankki B hyvittää vastaanottajan tiliä.
9. Vahvistus: Pankki B lähettää vahvistusviestin Pankille A, joka sitten ilmoittaa asiakkaalle, että transaktio on valmis.

Kompensoivat transaktiot:

• Jos vaatimustenmukaisuustarkistus Pankissa A epäonnistuu, transaktio peruutetaan, eikä asiakkaan tiliä veloiteta.
• Jos vaatimustenmukaisuustarkistus Pankissa B epäonnistuu, varat palautetaan Pankille A, ja asiakkaan tili hyvitetään takaisin.
• Jos selvityskeskuksessa on ongelmia valuutanmuunnoksessa tai reitityksessä, transaktio peruutetaan, ja varat palautetaan Pankille A.

Työkalut ja teknologiat

Useat työkalut ja teknologiat voivat auttaa Saga-mallin toteuttamisessa:

• Viestijonot: Apache Kafka, RabbitMQ ja Amazon SQS voidaan käyttää tapahtumien julkaisemiseen ja tilaamiseen koreografiaan perustuvassa Sagassa.
• Työnkulkumoottorit: Camunda, Zeebe ja Apache Airflow voidaan käyttää ohjainten toteuttamiseen ja monimutkaisten työnkulkujen hallintaan.
• Tapahtumalähtöisyys (Event Sourcing): Tapahtumalähtöisyyttä voidaan käyttää Sagan tapahtumahistorian seuraamiseen ja takaisinrullauksen helpottamiseen vikatilanteessa.
• Hajautetut transaktionhallintaohjelmat: Joitakin hajautettuja transaktionhallintaohjelmia, kuten Atomikos, voidaan käyttää transaktioiden koordinoimiseen useiden palveluiden välillä. Ne eivät kuitenkaan välttämättä sovi kaikkiin mikropalveluarkkitehtuureihin niiden luontaisten rajoitusten vuoksi hajautetuissa ympäristöissä.
• Saga-kehykset: On olemassa myös Saga-kehyksiä, jotka tarjoavat abstraktioita ja työkaluja Saga-mallin toteuttamiseen.

Parhaat käytännöt Saga-mallin toteuttamiseen

Jotta Saga-malli voidaan toteuttaa tehokkaasti, harkitse seuraavia parhaita käytäntöjä:

• Huolellinen suunnittelu: Analysoi liiketoimintavaatimuksesi perusteellisesti ja suunnittele Saga sen mukaisesti. Tunnista osallistuvat mikropalvelut, transaktioiden järjestys ja kompensoivat toimet.
• Idempotenssi: Varmista, että kaikki transaktiot ja kompensoivat transaktiot ovat idempotentteja.
• Virheidenkäsittely: Toteuta vankat virheidenkäsittelymekanismit käsittelemään vikoja missä tahansa Sagan vaiheessa.
• Valvonta ja lokitus: Toteuta kattava valvonta ja lokitus Sagojen edistymisen ja tilan seuraamiseksi.
• Testaaminen: Testaa Sagasi perusteellisesti varmistaaksesi, että ne toimivat oikein ja käsittelevät vikatilanteet sulavasti.
• Semanttiset lukot: Toteuta semanttiset lukot estääksesi saman datan samanaikaiset päivitykset eri Sagojen toimesta.
• Optimistinen lukitus: Käytä optimistista lukitusta havaitsemaan ja estämään ristiriitoja samanaikaisten transaktioiden välillä.
• Valitse oikea toteutusstrategia: Harkitse huolellisesti koreografian ja orkestroinnin välisiä kompromisseja ja valitse tarpeisiisi parhaiten sopiva strategia.
• Määrittele selkeät kompensaatiokäytännöt: Luo selkeät käytännöt kompensaation käsittelyyn, mukaan lukien ehdot, joilla kompensaatio käynnistetään, ja toteutettavat toimet.

Yhteenveto

Saga-malli on tehokas työkalu hajautettujen transaktioiden hallintaan mikropalveluarkkitehtuureissa. Jakamalla transaktiot sarjaksi pienempiä, itsenäisiä transaktioita ja tarjoamalla mekanismin epäonnistumisten kompensoimiseksi, Saga-malli mahdollistaa datan yhtenäisyyden ylläpitämisen ja vikasietoisten, skaalautuvien ja irtikytkettyjen järjestelmien rakentamisen. Vaikka Saga-mallin toteuttaminen voi olla monimutkaista, sen tarjoamat edut joustavuuden, skaalautuvuuden ja vikasietoisuuden osalta tekevät siitä arvokkaan lisän mihin tahansa mikropalveluarkkitehtuuriin.

Saga-mallin vivahteiden, koreografian ja orkestroinnin välisten kompromissien sekä kompensoivien transaktioiden tärkeyden ymmärtäminen antaa sinulle valmiudet suunnitella ja toteuttaa vankkoja hajautettuja järjestelmiä, jotka vastaavat nykypäivän monimutkaisten liiketoimintaympäristöjen vaatimuksiin. Saga-mallin omaksuminen on askel kohti todella vikasietoisten ja skaalautuvien mikropalveluarkkitehtuurien rakentamista, jotka pystyvät käsittelemään luottavaisesti jopa kaikkein monimutkaisimmat hajautetut transaktiot. Muista ottaa huomioon omat tarpeesi ja kontekstisi soveltaessasi tätä mallia ja hioa toteutustasi jatkuvasti todellisen maailman kokemuksen ja palautteen perusteella.