Budovanie základov NLP: Hĺbkový ponor do implementácie N-gramového jazykového modelu

V ére, ktorej dominuje umelá inteligencia, od inteligentných asistentov v našich vreckách až po sofistikované algoritmy, ktoré poháňajú vyhľadávače, sú jazykové modely neviditeľné motory, ktoré poháňajú mnohé z týchto inovácií. Sú dôvodom, prečo váš telefón dokáže predpovedať nasledujúce slovo, ktoré chcete napísať, a ako prekladateľské služby dokážu plynule previesť jeden jazyk do druhého. Ale ako tieto modely vlastne fungujú? Pred nástupom komplexných neurónových sietí, ako je GPT, bol základ výpočtovej lingvistiky postavený na prekrásne jednoduchom, no zároveň výkonnom štatistickom prístupe: N-gramovom modeli.

Tento komplexný sprievodca je určený pre globálne publikum ambicióznych dátových vedcov, softvérových inžinierov a zvedavých technických nadšencov. Vydáme sa späť k základom, aby sme objasnili teóriu za N-gramovými jazykovými modelmi a poskytli praktický, krok za krokom návod, ako si jeden postaviť od základov. Pochopenie N-gramov nie je len hodina dejepisu; je to kľúčový krok pri budovaní pevného základu v spracovaní prirodzeného jazyka (NLP).

Čo je jazykový model?

Vo svojej podstate je jazykový model (LM) rozdelenie pravdepodobnosti nad postupnosťou slov. Jednoduchšie povedané, jeho primárnou úlohou je odpovedať na zásadnú otázku: Vzhľadom na postupnosť slov, aké je najpravdepodobnejšie nasledujúce slovo?

Zoberme si vetu: "Študenti otvorili svoje ___."

Dobre trénovaný jazykový model by priradil vysokú pravdepodobnosť slovám ako "knihy", "laptopy" alebo "mysle" a extrémne nízku, takmer nulovú, pravdepodobnosť slovám ako "fotosyntéza", "slony" alebo "diaľnica". Kvantifikáciou pravdepodobnosti postupností slov umožňujú jazykové modely strojom rozumieť, generovať a spracovávať ľudský jazyk súvislým spôsobom.

Ich aplikácie sú rozsiahle a integrované do nášho každodenného digitálneho života, vrátane:

• Strojový preklad: Zabezpečenie toho, aby bola výstupná veta plynulá a gramaticky správna v cieľovom jazyku.
• Rozpoznávanie reči: Rozlišovanie medzi foneticky podobnými frázami (napr. "recognize speech" vs. "wreck a nice beach").
• Prediktívne písanie & Automatické dopĺňanie: Navrhovanie nasledujúceho slova alebo frázy počas písania.
• Kontrola pravopisu a gramatiky: Identifikácia a označovanie postupností slov, ktoré sú štatisticky nepravdepodobné.

Predstavujeme N-gramy: Základný koncept

N-gram je jednoducho súvislá postupnosť 'n' položiek z danej vzorky textu alebo reči. 'Položky' sú zvyčajne slová, ale môžu to byť aj znaky, slabiky alebo dokonca fonémy. 'n' v N-grame predstavuje číslo, čo vedie k špecifickým názvom:

• Unigram (n=1): Jedno slovo. (napr. "The", "quick", "brown", "fox")
• Bigram (n=2): Postupnosť dvoch slov. (napr. "The quick", "quick brown", "brown fox")
• Trigram (n=3): Postupnosť troch slov. (napr. "The quick brown", "quick brown fox")

Základná myšlienka N-gramového jazykového modelu je, že môžeme predpovedať nasledujúce slovo v postupnosti pohľadom na 'n-1' slov, ktoré mu predchádzali. Namiesto toho, aby sme sa snažili porozumieť plnej gramatickej a sémantickej zložitosti vety, urobíme zjednodušujúci predpoklad, ktorý dramaticky znižuje náročnosť problému.

Matematika za N-gramami: Pravdepodobnosť a zjednodušenie

Na formálny výpočet pravdepodobnosti vety (postupnosť slov W = w₁, w₂, ..., wₖ) môžeme použiť reťazové pravidlo pravdepodobnosti:

P(W) = P(w₁) * P(w₂|w₁) * P(w₃|w₁, w₂) * ... * P(wₖ|w₁, ..., wₖ₋₁)

Tento vzorec uvádza, že pravdepodobnosť celej postupnosti je súčin podmienených pravdepodobností každého slova, vzhľadom na všetky slová, ktoré mu predchádzali. Aj keď je tento prístup matematicky správny, je nepraktický. Výpočet pravdepodobnosti slova vzhľadom na dlhú históriu predchádzajúcich slov (napr. P(slovo | "The quick brown fox jumps over the lazy dog and then...")) by si vyžadoval nemožne veľké množstvo textových údajov na nájdenie dostatku príkladov na spoľahlivý odhad.

Markovov predpoklad: Praktické zjednodušenie

Tu N-gramové modely zavádzajú svoj najdôležitejší koncept: Markovov predpoklad. Tento predpoklad uvádza, že pravdepodobnosť slova závisí len od pevného počtu predchádzajúcich slov. Predpokladáme, že bezprostredný kontext stačí a môžeme zahodiť vzdialenejšiu históriu.

• Pre bigramový model (n=2) predpokladáme, že pravdepodobnosť slova závisí len od jedného predchádzajúceho slova:
  P(wᵢ | w₁, ..., wᵢ₋₁) ≈ P(wᵢ | wᵢ₋₁)
• Pre trigramový model (n=3) predpokladáme, že závisí od dvoch predchádzajúcich slov:
  P(wᵢ | w₁, ..., wᵢ₋₁) ≈ P(wᵢ | wᵢ₋₁, wᵢ₋₂)

Tento predpoklad robí problém výpočtovo zvládnuteľným. Už nepotrebujeme vidieť presnú celú históriu slova na výpočet jeho pravdepodobnosti, len posledných n-1 slov.

Výpočet N-gramových pravdepodobností

S Markovovým predpokladom na mieste, ako vypočítame tieto zjednodušené pravdepodobnosti? Používame metódu nazývanú Odhad maximálnej vierohodnosti (MLE), čo je sofistikovaný spôsob, ako povedať, že získavame pravdepodobnosti priamo z počtov v našom tréningovom texte (korpuse).

Pre bigramový model sa pravdepodobnosť slova wᵢ nasledujúceho po slove wᵢ₋₁ vypočíta ako:

P(wᵢ | wᵢ₋₁) = Count(wᵢ₋₁, wᵢ) / Count(wᵢ₋₁)

Slovami: Pravdepodobnosť videnia slova B po slove A je počet prípadov, keď sme videli pár "A B" vydelený počtom prípadov, keď sme videli slovo "A" celkovo.

Použime malý korpus ako príklad: "The cat sat. The dog sat."

• Count("The") = 2
• Count("cat") = 1
• Count("dog") = 1
• Count("sat") = 2
• Count("The cat") = 1
• Count("The dog") = 1
• Count("cat sat") = 1
• Count("dog sat") = 1

Aká je pravdepodobnosť "cat" po "The"?
P("cat" | "The") = Count("The cat") / Count("The") = 1 / 2 = 0.5

Aká je pravdepodobnosť "sat" po "cat"?
P("sat" | "cat") = Count("cat sat") / Count("cat") = 1 / 1 = 1.0

Implementácia krok za krokom od začiatku

Teraz preveďme túto teóriu do praktickej implementácie. Načrtneme kroky jazykovo agnostickým spôsobom, hoci logika sa priamo mapuje na jazyky ako Python.

Krok 1: Predspracovanie údajov a tokenizácia

Predtým, ako môžeme čokoľvek spočítať, musíme pripraviť náš textový korpus. Toto je kritický krok, ktorý formuje kvalitu nášho modelu.

1. Tokenizácia: Proces rozdelenia textu na menšie jednotky, nazývané tokeny (v našom prípade slová). Napríklad, "The cat sat." sa stane ["The", "cat", "sat", "."].
2. Prevod na malé písmená: Je štandardnou praxou previesť všetok text na malé písmená. Tým sa zabráni tomu, aby model považoval "The" a "the" za dve rôzne slová, čo pomáha konsolidovať naše počty a urobiť model robustnejším.
3. Pridanie počiatočných a koncových tokenov: Toto je kľúčová technika. Pridávame špeciálne tokeny, ako <s> (začiatok) a </s> (koniec), na začiatok a koniec každej vety. Prečo? To umožňuje modelu vypočítať pravdepodobnosť slova na samom začiatku vety (napr. P("The" | <s>)) a pomáha definovať pravdepodobnosť celej vety. Naša ukážková veta "the cat sat." by sa stala ["<s>", "the", "cat", "sat", ".", "</s>"].

Krok 2: Počítanie N-gramov

Keď máme čistý zoznam tokenov pre každú vetu, iterujeme cez náš korpus, aby sme získali počty. Najlepšia dátová štruktúra pre toto je slovník alebo hashovacia mapa, kde kľúče sú N-gramy (reprezentované ako tuple) a hodnoty sú ich frekvencie.

Pre bigramový model by sme potrebovali dva slovníky:

• unigram_counts: Ukladá frekvenciu každého jednotlivého slova.
• bigram_counts: Ukladá frekvenciu každej dvoj-slovnej postupnosti.

Prejdete cez vaše tokenizované vety. Pre vetu ako ["<s>", "the", "cat", "sat", "</s>"], by ste:

• Zvýšili počet pre unigramy: "<s>", "the", "cat", "sat", "</s>".
• Zvýšili počet pre bigramy: ("<s>", "the"), ("the", "cat"), ("cat", "sat"), ("sat", "</s>").

Krok 3: Výpočet pravdepodobností

S našimi slovníkmi počtov naplnenými, môžeme teraz zostaviť model pravdepodobnosti. Tieto pravdepodobnosti môžeme uložiť do iného slovníka alebo ich vypočítať za chodu.

Na výpočet P(slovo₂ | slovo₁), by ste získali bigram_counts[(slovo₁, slovo₂)] a unigram_counts[slovo₁] a vykonali delenie. Dobrou praxou je vopred vypočítať všetky možné pravdepodobnosti a uložiť ich pre rýchle vyhľadávania.

Krok 4: Generovanie textu (Zábavná aplikácia)

Skvelý spôsob, ako otestovať váš model, je nechať ho generovať nový text. Proces funguje nasledovne:

1. Začnite s počiatočným kontextom, napríklad, počiatočný token <s>.
2. Vyhľadajte všetky bigramy, ktoré začínajú na <s> a ich priradené pravdepodobnosti.
3. Náhodne vyberte nasledujúce slovo na základe tohto rozdelenia pravdepodobnosti (slová s vyššími pravdepodobnosťami sú pravdepodobnejšie, že budú vybrané).
4. Aktualizujte svoj kontext. Novo vybrané slovo sa stane prvou časťou nasledujúceho bigramu.
5. Opakujte tento proces, kým nevygenerujete koncový token </s> alebo nedosiahnete požadovanú dĺžku.

Text generovaný jednoduchým N-gramovým modelom nemusí byť dokonale súvislý, ale často vytvorí gramaticky uveriteľné krátke vety, čo dokazuje, že sa naučil základné vzťahy medzi slovami.

Výzva riedkeho zastúpenia a riešenie: Vyhladzovanie

Čo sa stane, ak náš model narazí na bigram počas testovania, ktorý nikdy nevidel počas tréningu? Napríklad, ak náš tréningový korpus nikdy neobsahoval frázu "the purple dog", potom:

Count("the", "purple") = 0

To znamená, že P("purple" | "the") by bola 0. Ak je tento bigram súčasťou dlhšej vety, ktorú sa snažíme vyhodnotiť, pravdepodobnosť celej vety bude nulová, pretože násobíme všetky pravdepodobnosti dohromady. Toto je problém nulovej pravdepodobnosti, prejav riedkeho zastúpenia údajov. Je nereálne predpokladať, že náš tréningový korpus obsahuje každú možnú platnú kombináciu slov.

Riešením tohto je vyhladzovanie. Základná myšlienka vyhladzovania je odobrať malé množstvo pravdepodobnostnej hmoty z N-gramov, ktoré sme videli, a distribuovať ju do N-gramov, ktoré sme nikdy nevideli. Tým sa zabezpečí, že žiadna postupnosť slov nemá pravdepodobnosť presne nula.

Laplaceovo (Pridaj-jednu) vyhladzovanie

Najjednoduchšia technika vyhladzovania je Laplaceovo vyhladzovanie, tiež známe ako pridaj-jednu vyhladzovanie. Myšlienka je neuveriteľne intuitívna: predstierame, že sme videli každý možný N-gram o jedenkrát viac, ako sme v skutočnosti videli.

Vzorec pre pravdepodobnosť sa mierne mení. Pridáme 1 do počtu v čitateli. Aby sme zabezpečili, že sa pravdepodobnosti stále sčítajú na 1, pridáme veľkosť celého slovníka (V) do menovateľa.

P_laplace(wᵢ | wᵢ₋₁) = (Count(wᵢ₋₁, wᵢ) + 1) / (Count(wᵢ₋₁) + V)

• Výhody: Veľmi jednoduché na implementáciu a zaručuje žiadne nulové pravdepodobnosti.
• Nevýhody: Často dáva príliš veľkú pravdepodobnosť nevídaným udalostiam, najmä s rozsiahlymi slovníkmi. Z tohto dôvodu často funguje zle v porovnaní s pokročilejšími metódami.

Pridaj-k vyhladzovanie

Mierne zlepšenie je Pridaj-k vyhladzovanie, kde namiesto pridania 1, pridáme malú zlomkovú hodnotu 'k' (napr. 0.01). To zmierňuje účinok prerozdelenia príliš veľkého množstva pravdepodobnostnej hmoty.

P_add_k(wᵢ | wᵢ₋₁) = (Count(wᵢ₋₁, wᵢ) + k) / (Count(wᵢ₋₁) + k*V)

Aj keď je lepšie ako pridaj-jednu, nájdenie optimálneho 'k' môže byť výzvou. Existujú pokročilejšie techniky, ako je Good-Turingovo vyhladzovanie a Kneser-Neyovo vyhladzovanie a sú štandardné v mnohých nástrojoch NLP, ktoré ponúkajú oveľa sofistikovanejšie spôsoby odhadu pravdepodobnosti nevídaných udalostí.

Vyhodnotenie jazykového modelu: Perplexita

Ako vieme, či je náš N-gramový model dobrý? Alebo či je trigramový model lepší ako bigramový model pre našu špecifickú úlohu? Potrebujeme kvantitatívnu metriku na vyhodnotenie. Najbežnejšia metrika pre jazykové modely je perplexita.

Perplexita je miera toho, ako dobre model pravdepodobnosti predpovedá vzorku. Intuitívne si ju možno predstaviť ako vážený priemerný faktor vetvenia modelu. Ak má model perplexitu 50, znamená to, že pri každom slove je model zmätený, ako keby si musel vybrať rovnomerne a nezávisle z 50 rôznych slov.

Nižšie skóre perplexity je lepšie, pretože naznačuje, že model je menej "prekvapený" testovacími údajmi a priraďuje vyššie pravdepodobnosti postupnostiam, ktoré skutočne vidí.

Perplexita sa vypočíta ako inverzná pravdepodobnosť testovacej sady, normalizovaná počtom slov. Často sa reprezentuje vo svojej logaritmickej forme pre jednoduchší výpočet. Model s dobrou prediktívnou silou priradí testovacím vetám vysoké pravdepodobnosti, čo vedie k nízkej perplexite.

Obmedzenia N-gramových modelov

Napriek ich zásadnému významu majú N-gramové modely významné obmedzenia, ktoré posunuli oblasť NLP smerom ku komplexnejším architektúram:

• Riedke zastúpenie údajov: Aj pri vyhladzovaní, pre väčšie N (trigramy, 4-gramy, atď.), počet možných kombinácií slov exploduje. Stáva sa nemožné mať dostatok údajov na spoľahlivé odhadnutie pravdepodobností pre väčšinu z nich.
• Ukladanie: Model pozostáva zo všetkých počtov N-gramov. Ako slovník a N rastú, pamäť potrebná na uloženie týchto počtov sa môže stať obrovskou.
• Neschopnosť zachytiť závislosti na veľké vzdialenosti: Toto je ich najkritickejšia chyba. N-gramový model má veľmi obmedzenú pamäť. Napríklad trigramový model nemôže spojiť slovo s iným slovom, ktoré sa objavilo viac ako dve pozície predtým. Zvážte túto vetu: "The author, who wrote several best-selling novels and lived for decades in a small town in a remote country, speaks fluent ___." Trigramový model, ktorý sa snaží predpovedať posledné slovo, vidí iba kontext "speaks fluent". Nemá žiadne znalosti o slove "author" alebo o mieste, ktoré sú kľúčové indície. Nedokáže zachytiť sémantický vzťah medzi vzdialenými slovami.

Za hranice N-gramov: Úsvit neurónových jazykových modelov

Tieto obmedzenia, najmä neschopnosť zvládnuť závislosti na veľké vzdialenosti, pripravili cestu pre vývoj neurónových jazykových modelov. Architektúry ako Rekurentné neurónové siete (RNN), siete s dlhou krátkodobou pamäťou (LSTM) a najmä teraz dominantné Transformátory (ktoré poháňajú modely ako BERT a GPT) boli navrhnuté na prekonanie týchto špecifických problémov.

Namiesto spoliehania sa na riedke počty, neurónové modely sa učia husté vektorové reprezentácie slov (embeddingy), ktoré zachytávajú sémantické vzťahy. Používajú mechanizmy vnútornej pamäte na sledovanie kontextu počas oveľa dlhších postupností, čo im umožňuje pochopiť zložité a rozsiahle závislosti, ktoré sú vlastné ľudskému jazyku.

Záver: Základný pilier NLP

Zatiaľ čo modernému NLP dominujú rozsiahle neurónové siete, N-gramový model zostáva nenahraditeľným vzdelávacím nástrojom a prekvapivo efektívnym základom pre mnohé úlohy. Poskytuje jasný, interpretovateľný a výpočtovo efektívny úvod do základnej výzvy jazykového modelovania: použitie štatistických vzorov z minulosti na predpovedanie budúcnosti.

Zostavením N-gramového modelu od začiatku získate hlboké pochopenie pravdepodobnosti, riedkeho zastúpenia údajov, vyhladzovania a hodnotenia v kontexte NLP. Tieto znalosti nie sú len historické; sú to koncepčné základy, na ktorých sú postavené týčiace sa mrakodrapy modernej AI. Učia vás premýšľať o jazyku ako o postupnosti pravdepodobností – perspektíva, ktorá je nevyhnutná na zvládnutie akéhokoľvek jazykového modelu, bez ohľadu na to, aký je zložitý.