Paskirstytasis sekimas: užklausų srauto analizė modernioms programoms

Šiuolaikinėse sudėtingose ir paskirstytose programų architektūrose, norint užtikrinti našumą, patikimumą ir efektyvų derinimą, labai svarbu suprasti užklausų srautą tarp kelių servisų. Paskirstytasis sekimas suteikia reikiamas įžvalgas, sekdamas užklausas, kai jos keliauja per įvairius servisus, ir leidžia kūrėjų bei operacijų komandoms nustatyti našumo kliūtis, identifikuoti priklausomybes ir greitai išspręsti problemas. Šiame vadove gilinamasi į paskirstytojo sekimo koncepciją, jo naudą, diegimo strategijas ir praktinius naudojimo atvejus.

Kas yra paskirstytasis sekimas?

Paskirstytasis sekimas – tai metodas, naudojamas stebėti ir profiliuoti užklausas, kai jos sklinda per paskirstytąją sistemą. Jis suteikia holistinį užklausos gyvavimo ciklo vaizdą, parodydamas kelią, kurį ji nueina nuo pradinio įėjimo taško iki galutinio atsakymo. Tai leidžia nustatyti, kurie servisai dalyvauja apdorojant konkrečią užklausą, kiekvieno serviso sukeltą delsą ir visas pakeliui pasitaikančias klaidas.

Tradiciniai stebėjimo įrankiai dažnai yra nepakankami paskirstytose aplinkose, nes jie sutelkia dėmesį į pavienius, izoliuotus servisus. Paskirstytasis sekimas užpildo šią spragą, suteikdamas vieningą visos sistemos vaizdą, leidžiantį susieti įvykius keliuose servisuose ir suprasti tarpusavio ryšius.

Pagrindinės sąvokos

• Span (intervalas): Intervalas reiškia vieną darbo vienetą sekoje. Paprastai jis atitinka konkrečią operaciją ar funkcijos iškvietimą servise. Intervaluose yra metaduomenų, tokių kaip pradžios ir pabaigos laiko žymos, operacijos pavadinimas, serviso pavadinimas ir žymos (tags).
• Trace (seka): Seka reiškia visą užklausos kelią, kai ji keliauja per paskirstytąją sistemą. Ją sudaro intervalų medis, kurio šakninis intervalas reiškia pradinį užklausos įėjimo tašką.
• Trace ID (sekos ID): Unikalus identifikatorius, priskirtas sekai, leidžiantis susieti visus intervalus, priklausančius tai pačiai užklausai.
• Span ID (intervalo ID): Unikalus identifikatorius, priskirtas intervalui sekoje.
• Parent ID (pirminio intervalo ID): Pirminio intervalo ID, nustatantis priežastinį ryšį tarp sekos intervalų.
• Context Propagation (konteksto perdavimas): Mechanizmas, kuriuo sekos ID, intervalo ID ir kiti sekimo metaduomenys perduodami tarp servisų, kai užklausa sklinda per sistemą. Paprastai tai apima sekimo konteksto įterpimą į HTTP antraštes ar kitus pranešimų protokolus.

Paskirstytojo sekimo nauda

Paskirstytojo sekimo diegimas suteikia keletą pagrindinių privalumų organizacijoms, valdančioms sudėtingas paskirstytąsias sistemas:

• Geresnis našumo stebėjimas: Nustatykite našumo kliūtis ir delsos problemas tarp servisų, leisdami greičiau atlikti pagrindinės priežasties analizę ir optimizavimą.
• Patobulintas derinimas: Gaukite išsamų supratimą apie užklausų srautus, palengvinant klaidų, apimančių kelis servisus, diagnozavimą ir šalinimą.
• Sumažintas vidutinis laikas iki sprendimo (MTTR): Greitai nustatykite problemų šaltinį, sumažindami prastovų laiką ir pagerindami bendrą sistemos patikimumą.
• Geresnis priklausomybių supratimas: Vizualizuokite ryšius tarp servisų, atskleisdami paslėptas priklausomybes ir galimus gedimo taškus.
• Optimizuotas išteklių paskirstymas: Nustatykite nepakankamai arba per daug apkrautus servisus, leisdami efektyviau paskirstyti išteklius ir planuoti pajėgumus.
• Geresnis stebimumas: Gaukite gilesnį supratimą apie sistemos elgseną, leisdami aktyviai nustatyti ir spręsti galimas problemas, kol jos nepaveikė vartotojų.

Paskirstytojo sekimo diegimas

Paskirstytojo sekimo diegimas apima kelis etapus, įskaitant sekimo posistemės pasirinkimą, kodo instrumentavimą ir konteksto perdavimo konfigūravimą.

1. Sekimo posistemės (backend) pasirinkimas

Yra keletas atvirojo kodo ir komercinių sekimo posistemių, kurių kiekviena turi savo stipriąsias ir silpnąsias puses. Keletas populiarių variantų:

• Jaeger: Atvirojo kodo sekimo sistema, kurią iš pradžių sukūrė „Uber“. Ji puikiai tinka mikroservisų architektūroms ir turi patogią vartotojo sąsają (UI) sekų vizualizavimui.
• Zipkin: Atvirojo kodo sekimo sistema, kurią iš pradžių sukūrė „Twitter“. Ji žinoma dėl savo mastelio ir palaikymo įvairioms saugojimo posistemėms.
• OpenTelemetry: Atvirojo kodo stebimumo karkasas, teikiantis nuo tiekėjo nepriklausomą API jūsų kodo instrumentavimui ir telemetrijos duomenų rinkimui. Jis palaiko įvairias sekimo posistemes, įskaitant Jaeger, Zipkin ir kitas. OpenTelemetry tampa pramonės standartu.
• Komerciniai sprendimai: „Datadog“, „New Relic“, „Dynatrace“ ir kitos komercinės stebėjimo platformos taip pat siūlo paskirstytojo sekimo galimybes. Šie sprendimai dažnai teikia papildomų funkcijų, tokių kaip žurnalų agregavimas, metrikų stebėjimas ir įspėjimai.

Renkantis sekimo posistemę, atsižvelkite į tokius veiksnius kaip mastelis, našumas, naudojimo paprastumas, integracija su esama infrastruktūra ir kaina.

2. Kodo instrumentavimas

Kodo instrumentavimas apima kodo pridėjimą, kad būtų kuriami intervalai ir perduodamas sekimo kontekstas. Tai galima padaryti rankiniu būdu naudojant sekimo biblioteką arba automatiškai naudojant instrumentavimo agentą. Automatinis instrumentavimas tampa vis populiaresnis, nes reikalauja mažiau kodo pakeitimų ir yra lengviau prižiūrimas.

Rankinis instrumentavimas: Tai apima sekimo bibliotekos naudojimą intervalams kurti kiekvienos operacijos, kurią norite sekti, pradžioje ir pabaigoje. Taip pat reikia rankiniu būdu perduoti sekimo kontekstą tarp servisų. Štai paprastas pavyzdys naudojant OpenTelemetry Python kalboje:

from opentelemetry import trace
from opentelemetry.sdk.trace import TracerProvider
from opentelemetry.sdk.trace.export import BatchSpanProcessor
from opentelemetry.sdk.trace.export import ConsoleSpanExporter

# Konfigūruojame sekimo teikėją (tracer provider)
tracer_provider = TracerProvider()
processor = BatchSpanProcessor(ConsoleSpanExporter())
tracer_provider.add_span_processor(processor)
trace.set_tracer_provider(tracer_provider)

# Gauname sekiklį (tracer)
tracer = trace.get_tracer(__name__)

# Sukuriame intervalą (span)
with tracer.start_as_current_span("my_operation") as span:
 span.set_attribute("key", "value")
 # Atliekame operaciją
 print("Performing my operation")

Automatinis instrumentavimas: Daugelis sekimo bibliotekų teikia agentus, kurie gali automatiškai instrumentuoti jūsų kodą nereikalaudami jokių rankinių kodo pakeitimų. Šie agentai paprastai naudoja baitkodo manipuliavimą ar kitas technikas, kad įterptų sekimo kodą į jūsų programą vykdymo metu. Tai daug efektyvesnis ir mažiau invazinis būdas įdiegti sekimą.

3. Konteksto perdavimo konfigūravimas

Konteksto perdavimas yra mechanizmas, kuriuo sekimo metaduomenys perduodami tarp servisų. Dažniausias būdas – įterpti sekimo kontekstą į HTTP antraštes ar kitus pranešimų protokolus. Konkrečios antraštės, naudojamos konteksto perdavimui, priklauso nuo jūsų naudojamos sekimo posistemės. OpenTelemetry apibrėžia standartines antraštes (pvz., `traceparent`, `tracestate`), siekiant skatinti skirtingų sekimo sistemų sąveiką.

Pavyzdžiui, naudojant Jaeger, galite įterpti `uber-trace-id` antraštę į HTTP užklausas. Gaunantis servisas tada iš antraštės ištrauktų sekos ID ir intervalo ID ir sukurtų antrinį intervalą. Naudojant servisų tinklą, pvz., Istio ar Linkerd, taip pat galima automatiškai tvarkyti konteksto perdavimą.

4. Duomenų saugojimas ir analizė

Surinkus sekimo duomenis, juos reikia saugoti ir analizuoti. Sekimo posistemės paprastai teikia saugojimo komponentą sekimo duomenims išsaugoti ir užklausų sąsają sekoms gauti ir analizuoti. Pavyzdžiui, Jaeger gali saugoti duomenis Cassandra, Elasticsearch arba atmintyje. Zipkin palaiko Elasticsearch, MySQL ir kitas saugojimo parinktis. OpenTelemetry teikia eksportuotojus, kurie gali siųsti duomenis į įvairias posistemes.

Analizės įrankiai dažnai teikia tokias funkcijas kaip:

• Sekų vizualizavimas: Sekų rodymas krioklio diagramos pavidalu, parodant kiekvieno intervalo trukmę ir ryšius tarp jų.
• Servisų priklausomybių grafai: Servisų priklausomybių vizualizavimas remiantis sekimo duomenimis.
• Pagrindinės priežasties analizė: Našumo kliūčių ar klaidų pagrindinės priežasties nustatymas analizuojant sekimo duomenis.
• Įspėjimai: Įspėjimų konfigūravimas remiantis sekimo duomenimis, pvz., delsos slenksčiais ar klaidų dažniu.

Praktiniai naudojimo atvejai

Paskirstytasis sekimas gali būti taikomas įvairiems naudojimo atvejams moderniose programų architektūrose:

• Mikroservisų architektūra: Mikroservisų aplinkose užklausos dažnai keliauja per kelis servisus. Paskirstytasis sekimas padeda suprasti užklausų srautą tarp servisų ir nustatyti našumo kliūtis. Pavyzdžiui, el. prekybos programa gali naudoti paskirstytąjį sekimą stebėdama užklausas, kai jos keliauja per užsakymų, mokėjimų ir pristatymo servisus.
• Debesijos programos (Cloud-Native): Debesijos programos dažnai diegiamos keliuose konteineriuose ir virtualiose mašinose. Paskirstytasis sekimas padeda stebėti šių programų našumą ir nustatyti problemas, susijusias su tinklu ar išteklių paskirstymu.
• Beserverės funkcijos (Serverless): Beserverės funkcijos yra trumpalaikės ir dažnai neturi būsenos. Paskirstytasis sekimas gali padėti sekti šių funkcijų vykdymą ir nustatyti našumo problemas ar klaidas. Įsivaizduokite beserverę vaizdų apdorojimo programą; sekimas atskleistų kliūtis skirtinguose apdorojimo etapuose.
• Mobiliosios programos: Paskirstytasis sekimas gali būti naudojamas mobiliųjų programų našumui stebėti ir problemoms, susijusioms su tinklo ryšiu ar posistemių servisais, nustatyti. Duomenys iš mobiliųjų įrenginių gali būti susieti su posistemių sekomis, suteikiant pilną vaizdą.
• Senos programos (Legacy): Net ir monolitinėse programose paskirstytasis sekimas gali būti vertingas norint suprasti sudėtingus kodo kelius ir nustatyti našumo kliūtis. Sekimas gali būti selektyviai įjungtas kritinėms transakcijoms.

Pavyzdinis scenarijus: elektroninės prekybos programa

Apsvarstykite el. prekybos programą, sukurtą naudojant mikroservisų architektūrą. Programą sudaro keli servisai, įskaitant:

• Išorinės sąsajos (Frontend) servisas: Apdoroja vartotojų užklausas ir atvaizduoja vartotojo sąsają.
• Produktų servisas: Valdo produktų katalogą ir gauna informaciją apie produktus.
• Užsakymų servisas: Kuria ir valdo klientų užsakymus.
• Mokėjimų servisas: Apdoroja mokėjimus ir tvarko transakcijas.
• Pristatymo servisas: Organizuoja užsakymų pristatymą.

Kai vartotojas pateikia užsakymą, išorinės sąsajos servisas kviečia užsakymų servisą, kuris savo ruožtu kviečia produktų, mokėjimų ir pristatymo servisus. Be paskirstytojo sekimo gali būti sunku suprasti užklausų srautą ir nustatyti našumo kliūtis šioje sudėtingoje sistemoje.

Naudodami paskirstytąjį sekimą, galite sekti užklausą, kai ji keliauja per kiekvieną servisą, ir vizualizuoti kiekvieno serviso sukeltą delsą. Tai leidžia nustatyti, kuris servisas sukelia kliūtį, ir imtis taisomųjų veiksmų. Pavyzdžiui, galite atrasti, kad mokėjimų servisas veikia lėtai dėl duomenų bazės užklausos, kuri trunka per ilgai. Tada galite optimizuoti užklausą arba pridėti spartinančiąją atmintinę (caching), kad pagerintumėte našumą.

Geriausios paskirstytojo sekimo praktikos

Norėdami maksimaliai išnaudoti paskirstytąjį sekimą, laikykitės šių geriausių praktikų:

• Pradėkite nuo svarbiausių servisų: Sutelkite dėmesį į tų servisų instrumentavimą, kurie yra svarbiausi jūsų verslui arba kurie yra žinomi kaip problemiški.
• Naudokite nuoseklias pavadinimų taisykles: Naudokite nuoseklias pavadinimų taisykles intervalams ir žymoms, kad būtų lengviau analizuoti sekimo duomenis.
• Pridėkite prasmingas žymas: Pridėkite žymas prie intervalų, kad suteiktumėte papildomo konteksto apie atliekamą operaciją. Pavyzdžiui, galite pridėti žymas HTTP metodui, URL arba vartotojo ID.
• Atrinkite sekas (Sampling): Didelės apimties aplinkose gali tekti atrinkti sekas, kad sumažintumėte renkamų duomenų kiekį. Užtikrinkite, kad sekos būtų atrenkamos taip, kad tai neiškraipytų jūsų rezultatų. Egzistuoja strategijos, tokios kaip atranka pradžioje (head-based) arba pabaigoje (tail-based); atranka pabaigoje suteikia tikslesnius duomenis klaidų analizei.
• Stebėkite savo sekimo infrastruktūrą: Stebėkite savo sekimo posistemės našumą ir užtikrinkite, kad ji netaptų kliūtimi.
• Automatizuokite instrumentavimą: Kai tik įmanoma, naudokite automatinius instrumentavimo agentus, kad sumažintumėte pastangas, reikalingas jūsų kodui instrumentuoti.
• Integruokite su kitais stebimumo įrankiais: Integruokite paskirstytąjį sekimą su kitais stebimumo įrankiais, tokiais kaip žurnalų agregavimas ir metrikų stebėjimas, kad gautumėte išsamesnį sistemos vaizdą.
• Švieskite savo komandą: Užtikrinkite, kad jūsų komanda suprastų paskirstytojo sekimo naudą ir kaip efektyviai naudoti įrankius.

Paskirstytojo sekimo ateitis

Paskirstytasis sekimas sparčiai vystosi, nuolat atsiranda naujų įrankių ir metodų. Keletas pagrindinių paskirstytojo sekimo tendencijų:

• OpenTelemetry: OpenTelemetry tampa pramonės standartu paskirstytajam sekimui, teikiantis nuo tiekėjo nepriklausomą API jūsų kodo instrumentavimui ir telemetrijos duomenų rinkimui. Jo plačiai paplitęs pritaikymas supaprastina integraciją tarp skirtingų sistemų.
• eBPF: Extended Berkeley Packet Filter (eBPF) yra technologija, leidžianti paleisti izoliuotas programas Linux branduolyje. eBPF gali būti naudojamas automatiškai instrumentuoti programas ir rinkti sekimo duomenis nereikalaujant jokių kodo pakeitimų.
• Dirbtiniu intelektu pagrįsta analizė: Mašininio mokymosi algoritmai naudojami analizuoti sekimo duomenis ir automatiškai nustatyti anomalijas, prognozuoti našumo problemas ir rekomenduoti optimizacijas.
• Servisų tinklo integracija: Servisų tinklai, tokie kaip Istio ir Linkerd, teikia integruotą palaikymą paskirstytajam sekimui, palengvindami mikroservisų programų instrumentavimą ir stebėjimą.

Išvada

Paskirstytasis sekimas yra esminis įrankis norint suprasti ir valdyti sudėtingas paskirstytąsias sistemas. Suteikdamas holistinį užklausų srautų vaizdą, jis leidžia nustatyti našumo kliūtis, derinti klaidas ir optimizuoti išteklių paskirstymą. Kadangi programų architektūros tampa vis sudėtingesnės, paskirstytasis sekimas taps dar svarbesnis užtikrinant modernių programų našumą, patikimumą ir stebimumą.

Suprasdamos pagrindines sąvokas, taikydamos geriausias praktikas ir pasirinkdamos tinkamus įrankius, organizacijos gali pasinaudoti paskirstytuoju sekimu, kad gautų vertingų įžvalgų apie savo sistemas ir suteiktų geresnę vartotojo patirtį. OpenTelemetry yra standartizacijos priešakyje, todėl paskirstytasis sekimas tampa prieinamesnis nei bet kada anksčiau. Pasinaudokite paskirstytuoju sekimu, kad atskleistumėte visą savo modernių programų potencialą.