Notikumu iegūšanas (Event Sourcing) arhitektūra: padziļināts ieskats domēna notikumu glabāšanas sistēmās

Notikumu iegūšana (Event Sourcing) ir arhitektūras modelis, kurā lietojumprogrammas stāvokli nosaka notikumu secība. Tā vietā, lai glabātu entītijas pašreizējo stāvokli, mēs saglabājam nemainīgu notikumu sēriju, kas atspoguļo izmaiņas šajā entītijā. Šajā bloga ierakstā tiks detalizēti izpētīta notikumu iegūšanas arhitektūra, īpašu uzmanību pievēršot domēna notikumu glabāšanas sistēmām.

Kas ir notikumu iegūšana?

Tradicionālajās sistēmās entītijas pašreizējais stāvoklis tiek tieši glabāts datubāzē. Kad notiek atjaunināšana, esošais ieraksts tiek modificēts vai pārrakstīts. Šī pieeja labi darbojas daudzām lietojumprogrammām, taču tai ir ierobežojumi, ja:

• Audits un vēstures izsekošana ir kritiski svarīgi.
• Ir nepieciešams rekonstruēt sarežģītas stāvokļa pārejas.
• Ir nepieciešama reāllaika datu izplatīšana un uz notikumiem balstītas arhitektūras.

Notikumu iegūšana risina šos ierobežojumus, saglabājot katru stāvokļa izmaiņu kā nemainīgu notikumu. Šie notikumi tiek saglabāti tikai papildināmā notikumu krātuvē. Lai rekonstruētu entītijas pašreizējo stāvokli, notikumi tiek atskaņoti to rašanās secībā. Iedomājieties to kā virsgrāmatu, kurā tiek reģistrēts katrs darījums, un atlikums tiek aprēķināts, summējot visus darījumus.

Galvenie jēdzieni

• Domēna notikums: Fakts, kas atspoguļo kaut ko, kas noticis domēnā. Tas ir nemainīgs stāvokļa izmaiņu ieraksts. Piemēri: PasūtījumsIzveidots, PasūtījumsNosūtīts, MaksājumsSaņemts.
• Notikumu krātuve: Tikai papildināma datu krātuve, kas optimizēta domēna notikumu glabāšanai un izgūšanai. Tā nodrošina mehānismus notikumu saglabāšanai, izgūšanai un abonēšanai.
• Notikumu apstrādātāji: Komponenti, kas reaģē uz domēna notikumiem. Tie var atjaunināt lasīšanas modeļus, iedarbināt ārējas integrācijas vai veikt citas darbības.
• Lasīšanas modeļi: Denormalizēti datu attēlojumi, kas optimizēti konkrētiem vaicājumu modeļiem. Tos atjaunina notikumu apstrādātāji, un tie nodrošina tikai lasāmu datu skatu.
• Momentuzņēmumu veidošana: Tehnika, ko izmanto, lai optimizētu stāvokļa rekonstrukciju, periodiski saglabājot entītijas pašreizējo stāvokli. Rekonstruējot stāvokli, sistēma ielādē jaunāko momentuzņēmumu un atskaņo tikai tos notikumus, kas notikuši pēc momentuzņēmuma uzņemšanas.

Notikumu iegūšanas priekšrocības

Notikumu iegūšana piedāvā vairākas priekšrocības salīdzinājumā ar tradicionālajām CRUD (Create, Read, Update, Delete) arhitektūrām:

• Pilnīgs audita pieraksts: Katra stāvokļa maiņa tiek reģistrēta kā notikums, nodrošinot visaptverošu lietojumprogrammas datu vēsturi. Tas ir nenovērtējami auditēšanai, atkļūdošanai un atbilstības nodrošināšanai.
• Laika vaicājumi: Spēja veikt vaicājumu par entītijas stāvokli jebkurā laika brīdī. Tas ļauj veikt vēsturisku analīzi un pārskatu veidošanu. Piemēram, jūs varat noteikt pasūtījumu skaitu, kas veikti noteiktā reģionā konkrētā datumā.
• Vienkāršota atkļūdošana: Atskaņojot notikumus, jūs varat atjaunot jebkuru iepriekšējo lietojumprogrammas stāvokli, kas atvieglo kļūdu identificēšanu un labošanu.
• Uzlabota veiktspēja noteiktām operācijām: Lai gan stāvokļa rekonstrukcija var būt lēnāka, lasīšanas modeļu atjaunināšanu var ļoti optimizēt konkrētiem vaicājumu modeļiem.
• Uz notikumiem balstīta arhitektūra: Notikumu iegūšana dabiski saskan ar uz notikumiem balstītām arhitektūrām, nodrošinot reāllaika datu izplatīšanu un integrāciju ar citām sistēmām.
• Vienkāršāka attīstība: Jaunu funkciju pievienošana vai esošo modificēšana bieži ir vienkāršāka, jo varat vienkārši pievienot jaunus notikumu apstrādātājus, neietekmējot esošo notikumu plūsmu.
• Uzlabota mērogojamība: Notikumu apstrādes sadalīšana starp vairākiem mezgliem var uzlabot mērogojamību un noturību.

Notikumu iegūšanas izaicinājumi

Notikumu iegūšana rada arī dažus izaicinājumus, kas ir rūpīgi jāapsver:

• Sarežģītība: Notikumu iegūšanas ieviešana prasa atšķirīgu domāšanas veidu un dziļāku izpratni par domēna modelēšanu un uz notikumiem balstītiem principiem.
• Galējā konsekvence: Lasīšanas modeļi ir galēji konsekventi ar notikumu krātuvi, kas var radīt aizkaves un nekonsekvences lietotāja saskarnē. Ir jāievieš stratēģijas galējās konsekvences pārvaldībai, piemēram, optimistiskā bloķēšana vai kompensējoši darījumi.
• Notikumu versiju veidošana: Lietojumprogrammai attīstoties, domēna notikumu struktūra var mainīties. Ir jāievieš stratēģijas notikumu versiju pārvaldībai, piemēram, notikumu migrācija vai shēmas attīstība, lai nodrošinātu atpakaļsaderību.
• Stāvokļa rekonstrukcija: Entītijas stāvokļa rekonstrukcija, atskaņojot notikumus, var būt laikietilpīga, īpaši entītijām ar lielu notikumu skaitu. Momentuzņēmumu veidošana var palīdzēt mazināt šo problēmu.
• Pareizās notikumu krātuves izvēle: Ir ļoti svarīgi izvēlēties atbilstošu notikumu krātuvi, kas atbilst lietojumprogrammas veiktspējas, mērogojamības un uzticamības prasībām.

Domēna notikumu glabāšanas sistēmas: salīdzinošs pārskats

1. Relāciju datubāzes (SQL)

Relāciju datubāzes, piemēram, PostgreSQL, MySQL un SQL Server, var izmantot kā notikumu krātuves. Lai gan tās piedāvā ACID (Atomitāte, Konsekvence, Izolācija, Izturība) īpašības un spēcīgu datu konsekvenci, tās var nebūt visefektīvākā izvēle augstas caurlaidības notikumu apstrādei.

Priekšrocības:

• ACID īpašības: Nodrošina datu integritāti un konsekvenci.
• Nobriedusi tehnoloģija: Labi izveidota tehnoloģija ar plašiem rīkiem un atbalstu.
• Pazīstamība: Lielākā daļa izstrādātāju ir pazīstami ar relāciju datubāzēm.
• Spēcīga konsekvence: Nodrošina spēcīgas konsekvences garantijas.

Trūkumi:

• Veiktspējas vājās vietas: Var kļūt par veiktspējas vājo vietu liela apjoma notikumu plūsmām.
• Shēmas attīstības izaicinājumi: Shēmas izmaiņu apstrāde var būt sarežģīta un prasa rūpīgu plānošanu.
• Mērogojamības ierobežojumi: Relāciju datubāzu mērogošana var būt izaicinājums, īpaši rakstīšanas intensīvām darba slodzēm.
• Nav optimizēta tikai papildināšanas operācijām: Relāciju datubāzes nav īpaši paredzētas tikai papildināšanas operācijām, kas var ietekmēt veiktspēju.

Ieviešanas piemērs (PostgreSQL):

Izveidojiet tabulu domēna notikumu glabāšanai:

            CREATE TABLE events (
  event_id UUID PRIMARY KEY,
  aggregate_id UUID NOT NULL,
  event_type VARCHAR(255) NOT NULL,
  event_data JSONB NOT NULL,
  created_at TIMESTAMP WITHOUT TIME ZONE NOT NULL DEFAULT (NOW() AT TIME ZONE 'utc')
);

            

              
                Copy
              
            
          

Ievietojiet jaunu notikumu:

            INSERT INTO events (event_id, aggregate_id, event_type, event_data)
VALUES (uuid_generate_v4(), 'a1b2c3d4-e5f6-7890-1234-567890abcdef', 'OrderCreated', '{"orderId": "ORD-123", "customerId": "CUST-456", "amount": 100}');

            

              
                Copy
              
            
          

2. NoSQL datubāzes

NoSQL datubāzes, piemēram, MongoDB, Cassandra un Couchbase, piedāvā lielāku elastību un mērogojamību salīdzinājumā ar relāciju datubāzēm. Tās ir labi piemērotas liela apjoma notikumu plūsmu apstrādei, taču tās var nodrošināt vājākas datu konsekvences garantijas.

Priekšrocības:

• Mērogojamība: Paredzētas horizontālai mērogojamībai un var apstrādāt lielus datu apjomus.
• Elastība: Bezshēmas vai elastīga shēma ļauj vieglāk veidot notikumu versijas.
• Veiktspēja: Optimizētas augstas caurlaidības lasīšanas un rakstīšanas operācijām.
• Izmaksu efektivitāte: Noteiktām darba slodzēm var būt izmaksu ziņā efektīvākas nekā relāciju datubāzes.

Trūkumi:

• Galējā konsekvence: Var nodrošināt vājākas datu konsekvences garantijas salīdzinājumā ar relāciju datubāzēm.
• Sarežģītība: Prasa dziļāku izpratni par NoSQL datubāzu koncepcijām un datu modelēšanas tehnikām.
• Briedums: Dažas NoSQL datubāzes ir mazāk nobriedušas nekā relāciju datubāzes.
• Vaicājumu ierobežojumi: Vaicājumu iespējas var būt ierobežotas salīdzinājumā ar relāciju datubāzēm.

Ieviešanas piemērs (MongoDB):

Glabājiet domēna notikumus kolekcijā:

            {
  "event_id": "a1b2c3d4-e5f6-7890-1234-567890abcdef",
  "aggregate_id": "f1g2h3i4-j5k6-l7m8-n9o0-p1q2r3s4t5uv",
  "event_type": "OrderCreated",
  "event_data": {
    "orderId": "ORD-123",
    "customerId": "CUST-456",
    "amount": 100
  },
  "created_at": ISODate("2023-10-27T10:00:00.000Z")
}

            

              
                Copy
              
            
          

3. Specializētas notikumu krātuves

Specializētas notikumu krātuves, piemēram, EventStoreDB un AxonDB, ir īpaši izstrādātas notikumu iegūšanai. Tās nodrošina tādas funkcijas kā tikai papildināma glabāšana, notikumu versiju veidošana un plūsmu pārvaldība. Šīs datubāzes parasti ir labākā izvēle, ja jūs nopietni domājat par notikumu iegūšanu.

Priekšrocības:

• Optimizētas notikumu iegūšanai: Īpaši izstrādātas notikumu iegūšanai ar tādām funkcijām kā tikai papildināma glabāšana, plūsmu pārvaldība un notikumu versiju veidošana.
• Augsta veiktspēja: Optimizētas augstas caurlaidības notikumu apstrādei.
• Galējās konsekvences apstrāde: Iebūvēti mehānismi galējās konsekvences pārvaldībai.
• Plūsmu pārvaldība: Vienkāršo notikumu plūsmu pārvaldību un vaicājumus.

Trūkumi:

• Piegādātāja piesaiste: Var radīt piegādātāja piesaisti.
• Izmaksas: Var būt dārgākas nekā citas iespējas.
• Apguves līkne: Prasa jaunas tehnoloģijas apguvi.
• Ierobežota adopcija: Mazāk plaši izmantotas nekā relāciju un NoSQL datubāzes.

Ieviešanas piemērs (EventStoreDB):

EventStoreDB izmanto plūsmas, lai glabātu notikumus. Jūs varat pievienot notikumus plūsmai, izmantojot EventStoreDB klienta bibliotēku.

4. Ziņojumu rindas (Kafka, RabbitMQ)

Ziņojumu rindas, piemēram, Apache Kafka un RabbitMQ, var izmantot kā notikumu krātuves, īpaši kopā ar plūsmas apstrādes ietvariem. Tās nodrošina augstu caurlaidību, mērogojamību un kļūmju noturību, padarot tās piemērotas liela mēroga uz notikumiem balstītām lietojumprogrammām. Tomēr tās parasti tiek izmantotas vairāk kā pārejas transporta mehānisms, nevis pastāvīga krātuve.

Priekšrocības:

• Augsta caurlaidība: Paredzētas augstas caurlaidības ziņojumu apstrādei.
• Mērogojamība: Ļoti mērogojamas un var apstrādāt lielus notikumu apjomus.
• Kļūmju noturība: Iebūvēti kļūmju noturības mehānismi.
• Reāllaika apstrāde: Nodrošina reāllaika notikumu apstrādi.

Trūkumi:

• Sarežģītība: Prasa dziļāku izpratni par ziņojumu rindu koncepcijām un plūsmas apstrādes ietvariem.
• Datu izturība: Datu izturība ir rūpīgi jākonfigurē.
• Notikumu atskaņošana: Notikumu atskaņošana var būt sarežģītāka nekā ar specializētām notikumu krātuvēm.
• Secības garantijas: Secības garantijas var būt ierobežotas atkarībā no konfigurācijas.

Ieviešanas piemērs (Apache Kafka):

Publicējiet domēna notikumus Kafka tēmā:

            // Producer configuration
Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

Producer<String, String> producer = new KafkaProducer<>(props);

// Create a record
ProducerRecord<String, String> record = new ProducerRecord<>("order-events", "ORD-123", "{"event_type": "OrderCreated", "customerId": "CUST-456", "amount": 100}");

// Send the record
producer.send(record);

producer.close();

            

              
                Copy
              
            
          

5. Mākoņdatošanas notikumu krātuves

Mākoņpakalpojumu sniedzēji piedāvā pārvaldītus notikumu krātuves pakalpojumus, piemēram, Azure Event Hubs, AWS Kinesis un Google Cloud Pub/Sub. Šie pakalpojumi nodrošina mērogojamību, uzticamību un lietošanas ērtumu, padarot tos par labu izvēli mākoņdatošanas lietojumprogrammām.

Priekšrocības:

• Mērogojamība: Ļoti mērogojamas un var apstrādāt lielus notikumu apjomus.
• Uzticamība: Iebūvēta uzticamība un kļūmju noturība.
• Lietošanas ērtums: Pārvaldīti pakalpojumi vienkāršo izvietošanu un uzturēšanu.
• Integrācija: Nevainojama integrācija ar citiem mākoņpakalpojumiem.

Trūkumi:

• Piegādātāja piesaiste: Rada piegādātāja piesaisti.
• Izmaksas: Var būt dārgākas nekā pašpārvaldīti risinājumi.
• Latentums: Tīkla latentums var ietekmēt veiktspēju.
• Kontrole: Mazāka kontrole pār pamatā esošo infrastruktūru.

Veiktspējas apsvērumi

Veiktspēja ir kritisks faktors, izvēloties domēna notikumu glabāšanas sistēmu. Šeit ir daži veiktspējas apsvērumi, kas jāpatur prātā:

• Rakstīšanas caurlaidība: Spēja apstrādāt lielu ienākošo notikumu apjomu.
• Lasīšanas latentums: Laiks, kas nepieciešams notikumu izgūšanai un entītijas stāvokļa rekonstrukcijai.
• Vienlaicīgums: Spēja apstrādāt vienlaicīgas lasīšanas un rakstīšanas operācijas.
• Glabāšanas ietilpība: Glabāšanas apjoms, kas nepieciešams notikumu glabāšanai.
• Tīkla latentums: Latentums starp lietojumprogrammu un notikumu krātuvi.

Lai optimizētu veiktspēju, apsveriet šādas tehnikas:

• Grupēšana: Notikumu grupēšana pirms to rakstīšanas notikumu krātuvē var uzlabot rakstīšanas caurlaidību.
• Kešatmiņa: Bieži piekļūstamu notikumu kešošana var samazināt lasīšanas latentumu.
• Momentuzņēmumu veidošana: Momentuzņēmumu veidošana var samazināt notikumu skaitu, kas jāatskaņo, rekonstruējot entītijas stāvokli.
• Indeksēšana: Notikumu indeksēšana, pamatojoties uz agregāta ID un citiem attiecīgiem atribūtiem, var uzlabot vaicājumu veiktspēju.
• Sadalīšana (Sharding): Notikumu krātuves sadalīšana starp vairākiem mezgliem var uzlabot mērogojamību un veiktspēju.

Datu integritāte

Datu integritāte notikumu iegūšanā ir vissvarīgākā. Ir ļoti svarīgi nodrošināt, lai notikumi tiktu saglabāti uzticami un pareizā secībā. Šeit ir dažas stratēģijas datu integritātes uzturēšanai:

• Darījumi: Izmantojiet darījumus, lai nodrošinātu, ka notikumi tiek atomāri ierakstīti notikumu krātuvē.
• Idempotence: Izstrādājiet notikumu apstrādātājus tā, lai tie būtu idempotenti, kas nozīmē, ka tie var apstrādāt vienu un to pašu notikumu vairākas reizes, neradot neparedzētas blakusparādības.
• Optimistiskā bloķēšana: Izmantojiet optimistisko bloķēšanu, lai novērstu vienlaicīgus atjauninājumus vienam un tam pašam agregātam.
• Notikumu validācija: Validējiet notikumus pirms to saglabāšanas notikumu krātuvē, lai nodrošinātu, ka tie ir derīgi un konsekventi.
• Kontrolsummas: Aprēķiniet notikumu kontrolsummas un glabājiet tās kopā ar notikumiem. Pārbaudiet kontrolsummas, izgūstot notikumus, lai nodrošinātu, ka tie nav bojāti.

Notikumu versiju veidošana

Lietojumprogrammai attīstoties, domēna notikumu struktūra var mainīties. Notikumu versiju apstrāde ir ļoti svarīga, lai nodrošinātu atpakaļsaderību un novērstu datu zudumu. Šeit ir dažas stratēģijas notikumu versiju apstrādei:

• Notikumu paaugstināšana (Upcasting): Pārveidojiet vecākas notikumu versijas uz jaunāko versiju, lasot tās no notikumu krātuves.
• Shēmas attīstība: Laika gaitā attīstiet notikumu shēmu, pievienojot jaunus laukus vai modificējot esošos. Nodrošiniet, ka vecākas notikumu versijas joprojām var pareizi apstrādāt.
• Notikumu migrācija: Migrējiet vecākus notikumus uz jaunāko shēmas versiju. To var darīt kā fona procesu.

Reālās pasaules piemēri

Notikumu iegūšana tiek izmantota dažādās nozarēs un lietojumprogrammās. Šeit ir daži reālās pasaules piemēri:

• E-komercija: Pasūtījumu vēstures, krājumu izmaiņu un klientu aktivitāšu izsekošana. Piemēram, globāla e-komercijas platforma varētu izmantot notikumu iegūšanu, lai izsekotu pasūtījumus no dažādām valstīm, apstrādātu valūtas konvertāciju un pārvaldītu krājumus vairākās noliktavās.
• Banku darbība: Darījumu reģistrēšana, kontu atlikumu izsekošana un finanšu darbību auditēšana. Starptautiska banka varētu izmantot notikumu iegūšanu, lai izsekotu darījumus dažādās filiālēs un valūtās, nodrošinot pilnīgu audita pierakstu.
• Spēles: Spēlētāju darbību, spēles stāvokļa izmaiņu un notikumu vēstures izsekošana. Tiešsaistes vairāku spēlētāju spēles bieži izmanto notikumu iegūšanu, lai uzturētu konsekventu spēles stāvokli starp vairākiem spēlētājiem un serveriem.
• Piegādes ķēdes pārvaldība: Produktu kustības, krājumu līmeņu un piegādes grafiku izsekošana. Globāls loģistikas uzņēmums var izmantot notikumu iegūšanu, lai izsekotu sūtījumus dažādās valstīs, apstrādātu muitas formalitātes un pārvaldītu piegādes grafikus.

Pareizās glabāšanas sistēmas izvēle: lēmumu pieņemšanas matrica

Lai palīdzētu jums izlemt, kura domēna notikumu glabāšanas sistēma ir piemērota jūsu lietojumprogrammai, apsveriet šādu lēmumu pieņemšanas matricu:

Praktiski ieteikumi

Šeit ir daži praktiski ieteikumi notikumu iegūšanas ieviešanai:

• Sāciet ar mazu: Sāciet ar mazu, labi definētu domēnu, lai gūtu pieredzi ar notikumu iegūšanu, pirms to piemērot lielākiem, sarežģītākiem domēniem.
• Koncentrējieties uz domēnu: Rūpīgi modelējiet savu domēnu un identificējiet galvenos domēna notikumus.
• Izvēlieties pareizo glabāšanas sistēmu: Izvēlieties notikumu krātuvi, kas atbilst jūsu lietojumprogrammas veiktspējas, mērogojamības un datu konsekvences prasībām.
• Ieviesiet notikumu versiju veidošanu: Plānojiet notikumu versiju veidošanu no paša sākuma, lai nodrošinātu atpakaļsaderību.
• Pārraugiet veiktspēju: Pārraugiet savas notikumu krātuves un notikumu apstrādātāju veiktspēju, lai identificētu iespējamās vājās vietas.
• Automatizējiet izvietošanu: Automatizējiet savas notikumu iegūšanas infrastruktūras izvietošanu un pārvaldību.
• Apsveriet kompromisus: Notikumu iegūšana ietver kompromisus. Saprotiet, ka, lai iegūtu modeļa sniegtās priekšrocības, rodas sarežģījumi.

Noslēgums

Notikumu iegūšana ir spēcīgs arhitektūras modelis, kas piedāvā daudzas priekšrocības, tostarp pilnīgu audita pierakstu, laika vaicājumus un uzlabotu veiktspēju noteiktām operācijām. Tomēr tas rada arī izaicinājumus, kas ir rūpīgi jāapsver, piemēram, sarežģītība, galējā konsekvence un notikumu versiju veidošana. Rūpīgi izvēloties domēna notikumu glabāšanas sistēmu un ieviešot labāko praksi, jūs varat veiksmīgi izmantot notikumu iegūšanu, lai veidotu mērogojamas, noturīgas un auditējamas lietojumprogrammas.

Šī rokasgrāmata sniedza pārskatu par notikumu iegūšanu un vairākām populārām domēna notikumu glabāšanas sistēmām. Izvēlieties labāko sistēmu, kas atbilst jūsu projekta prasību specifiskajām vajadzībām.

Atcerieties, ka šis saturs ir paredzēts globālai auditorijai, tāpēc pielāgojiet un piemērojiet koncepcijas saviem unikālajiem apstākļiem un kultūras kontekstam. Notikumu iegūšanas principi ir universāli, bet ieviešana var atšķirties atkarībā no jūsu specifiskajām vajadzībām un resursiem.