NLP'nin Temellerini İnşa Etmek: N-gram Dil Modeli Uygulamasına Derin Bir Dalış

Akıllı telefonlarımızdaki asistanlardan arama motorlarını güçlendiren gelişmiş algoritmalara kadar yapay zeka tarafından domine edilen bir çağda, dil modelleri bu yeniliklerin çoğunu yönlendiren görünmez motorlardır. Telefonunuzun yazmak istediğiniz bir sonraki kelimeyi tahmin edebilmesinin ve çeviri hizmetlerinin bir dili akıcı bir şekilde başka bir dile dönüştürebilmesinin nedeni onlardır. Peki, bu modeller aslında nasıl çalışır? GPT gibi karmaşık sinir ağlarının yükselişinden önce, hesaplamalı dilbilimin temeli güzel bir şekilde basit ama güçlü bir istatistiksel yaklaşıma dayanıyordu: N-gram modeli.

Bu kapsamlı rehber, küresel ölçekte geleceğin veri bilimcileri, yazılım mühendisleri ve meraklı teknoloji meraklıları için tasarlanmıştır. Temellere geri dönecek, N-gram dil modellerinin arkasındaki teoriyi basitleştirecek ve bunları sıfırdan oluşturmanın nasıl yapılacağına dair pratik, adım adım bir yol haritası sunacağız. N-gram'ları anlamak sadece bir tarih dersi değildir; Doğal Dil İşleme (NLP) alanında sağlam bir temel oluşturmak için kritik bir adımdır.

Dil Modeli Nedir?

Özünde, bir dil modeli (LM) kelime dizileri üzerinde bir olasılık dağılımıdır. Daha basit bir ifadeyle, temel görevi temel bir soruyu yanıtlamaktır: Bir kelime dizisi verildiğinde, en olası sonraki kelime nedir?

Şu cümleyi ele alalım: "Öğrenciler kendi ___ açtılar."

İyi eğitilmiş bir dil modeli, "kitaplar", "dizüstü bilgisayarlar" veya "zihinler" gibi kelimelere yüksek bir olasılık ve "fotosentez", "filler" veya "otoyol" gibi kelimelere neredeyse sıfır, son derece düşük bir olasılık atayacaktır. Kelime dizilerinin olasılığını ölçerek, dil modelleri makinelerin insan dilini tutarlı bir şekilde anlamasını, üretmesini ve işlemesini sağlar.

Uygulamaları geniştir ve günlük dijital yaşamlarımıza entegre edilmiştir, şunları içerir:

• Makine Çevirisi: Hedef dilde çıktı cümlesinin akıcı ve dilbilgisel olarak doğru olmasını sağlamak.
• Konuşma Tanıma: Fonetik olarak benzer ifadeler arasındaki farkı ayırt etmek (örn. "konuşmayı tanı" vs. "güzel bir plajı çürüt").
• Tahminli Metin ve Otomatik Tamamlama: Yazarken bir sonraki kelimeyi veya ifadeyi önermek.
• Yazım ve Dilbilgisi Düzeltme: İstatistiksel olarak olasılığı düşük kelime dizilerini tanımlamak ve işaretlemek.

N-gram'lara Giriş: Temel Kavram

Bir N-gram, basitçe belirli bir metin veya konuşma örneğindeki 'n' öğenin ardışık bir dizisidir. 'Öğeler' tipik olarak kelimelerdir, ancak karakterler, heceler veya fonemler de olabilir. N-gram'daki 'n', bir sayıyı temsil eder ve belirli adlara yol açar:

• Unigram (n=1): Tek bir kelime. (Örn. "Bu", "hızlı", "kahverengi", "tilki")
• Bigram (n=2): İki kelimelik bir dizi. (Örn. "Bu hızlı", "hızlı kahverengi", "kahverengi tilki")
• Trigram (n=3): Üç kelimelik bir dizi. (Örn. "Bu hızlı kahverengi", "hızlı kahverengi tilki")

Bir N-gram dil modelinin temel fikri, bir dizideki sonraki kelimeyi, ondan önceki 'n-1' kelimeye bakarak tahmin edebilmemizdir. Bir cümlenin tam dilbilgisel ve anlamsal karmaşıklığını anlamaya çalışmak yerine, sorunun zorluğunu önemli ölçüde azaltan basitleştirici bir varsayımda bulunuruz.

N-gram'ların Arkasındaki Matematik: Olasılık ve Basitleştirme

Bir cümlenin (W = w₁, w₂, ..., wₖ kelime dizisi) olasılığını resmi olarak hesaplamak için olasılığın zincir kuralını kullanabiliriz:

P(W) = P(w₁) * P(w₂|w₁) * P(w₃|w₁, w₂) * ... * P(wₖ|w₁, ..., wₖ₋₁)

Bu formül, tüm dizinin olasılığının, ondan önceki tüm kelimeler verildiğinde her kelimenin koşullu olasılıklarının çarpımı olduğunu belirtir. Matematiksel olarak geçerli olsa da, bu yaklaşım pratik değildir. Bir kelimenin olasılığını, önceki kelimelerin uzun bir geçmişine dayanarak hesaplamak (örn. P(kelime | "Hızlı kahverengi tilki tembel köpeğin üzerinden atlar ve sonra...")) güvenilir bir tahmin yapmak için yeterli örnek bulmak için imkansız derecede büyük miktarda metin verisi gerektirir.

Markov Varsayımı: Pratik Bir Basitleştirme

N-gram modellerinin en önemli kavramı olan Markov Varsayımı işte burada devreye giriyor. Bu varsayım, bir kelimenin olasılığının yalnızca sabit sayıda önceki kelimeye bağlı olduğunu belirtir. Anında bağlamın yeterli olduğunu varsayıyoruz ve daha uzak geçmişi göz ardı edebiliriz.

• Bigram modeli (n=2) için, bir kelimenin olasılığının yalnızca bir önceki kelimeye bağlı olduğunu varsayarız:
  P(wᵢ | w₁, ..., wᵢ₋₁) ≈ P(wᵢ | wᵢ₋₁)
• Trigram modeli (n=3) için, iki önceki kelimeye bağlı olduğunu varsayarız:
  P(wᵢ | w₁, ..., wᵢ₋₁) ≈ P(wᵢ | wᵢ₋₁, wᵢ₋₂)

Bu varsayım, problemi hesaplama açısından çözülebilir hale getirir. Artık olasılığını hesaplamak için bir kelimenin tam geçmişini görmemiz gerekmiyor, yalnızca son n-1 kelimeyi görmemiz yeterli.

N-gram Olasılıklarını Hesaplama

Markov varsayımı yerindeyken, bu basitleştirilmiş olasılıkları nasıl hesaplarız? Maksimum Olabilirlik Tahmini (MLE) adı verilen bir yöntem kullanırız, bu da olasılıkları doğrudan eğitim metnimizdeki (corpus) sayımlardan aldığımız anlamına gelir.

Bir bigram modeli için, wᵢ₋₁ kelimesini takip eden wᵢ kelimesinin olasılığı şu şekilde hesaplanır:

P(wᵢ | wᵢ₋₁) = Count(wᵢ₋₁, wᵢ) / Count(wᵢ₋₁)

Yani: B kelimesini A kelimesinden sonra görme olasılığı, "A B" çiftini görme sayımızın "A" kelimesini toplam görme sayımıza bölünmesidir.

Küçük bir corpus örneği kullanalım: "Kedi oturdu. Köpek oturdu."

• Count("Kedi") = 1
• Count("Köpek") = 1
• Count("oturdu") = 2
• Count("Kedi oturdu") = 1
• Count("Köpek oturdu") = 1

"Kedi" kelimesinin "Bu" kelimesinden sonra gelme olasılığı nedir?
P("Kedi" | "Bu") = Count("Bu kedi") / Count("Bu") = 1 / 2 = 0.5

"Oturdu" kelimesinin "Kedi" kelimesinden sonra gelme olasılığı nedir?
P("oturdu" | "Kedi") = Count("Kedi oturdu") / Count("Kedi") = 1 / 1 = 1.0

Sıfırdan Uygulama Adım Adım

Şimdi bu teoriyi pratik bir uygulamaya dökelim. Adımları bir dile özgü olmayan bir şekilde özetleyeceğiz, ancak mantık Python gibi dillere doğrudan uyuyor.

Adım 1: Veri Ön İşleme ve Tokenizasyon

Bir şeyleri saymadan önce metin korpusumuzu hazırlamamız gerekiyor. Bu, modelimizin kalitesini etkileyen kritik bir adımdır.

1. Tokenizasyon: Bir metin bloğunu, token (bizim durumumuzda kelimeler) adı verilen daha küçük birimlere ayırma süreci. Örneğin, "Kedi oturdu." -> ["Bu", "kedi", "oturdu", "."].
2. Küçük Harfe Çevirme: Tüm metni küçük harfe çevirmek standart bir uygulamadır. Bu, modelin "Bu" ve "bu"yu iki farklı kelime olarak ele almasını engeller, bu da sayımlarımızı birleştirmeye yardımcı olur ve modeli daha sağlam hale getirir.
3. Başlangıç ve Durdurma Tokenleri Ekleme: Bu kritik bir tekniktir. Her cümlenin başına ve sonuna <s> (başlangıç) ve </s> (durdur) gibi özel tokenler ekleriz. Neden? Bu, modelin cümlenin en başında bir kelimenin olasılığını (örn. P("Bu" | <s>)) hesaplamasına olanak tanır ve tüm bir cümlenin olasılığını tanımlamaya yardımcı olur. "kedi oturdu." örneğimiz şu şekilde olur: ["<s>", "kedi", "oturdu", ".", "</s>"].

Adım 2: N-gram Sayımları

Her cümle için temiz bir token listemiz olduğunda, sayıları almak için korpusumuzda yineleme yaparız. Bunun için en iyi veri yapısı, anahtarların N-gram'lar (tuple olarak temsil edilir) ve değerlerin frekansları olduğu bir sözlük veya hash tablosudur.

Bir bigram modeli için iki sözlüğe ihtiyacımız olacaktır:

• unigram_counts: Her bir kelimenin frekansını saklar.
• bigram_counts: Her iki kelimelik dizinin frekansını saklar.

Tokenize edilmiş cümlelerinizde döngü yapmanız gerekir. ["<s>", "kedi", "oturdu", "</s>"] gibi bir cümle için şunları yaparsınız:

• Unigramlar için sayımı artırın: "<s>", "kedi", "oturdu", "</s>".
• Bigramlar için sayımı artırın: ("<s>", "kedi"), ("kedi", "oturdu"), ("oturdu", "</s>").

Adım 3: Olasılıkları Hesaplama

Sayı sözlüklerimiz doldurulduğunda, şimdi olasılık modelini oluşturabiliriz. Bu olasılıkları başka bir sözlükte saklayabilir veya anında hesaplayabiliriz.

P(kelime₂ | kelime₁) hesaplamak için bigram_counts[(kelime₁, kelime₂)] ve unigram_counts[kelime₁] değerlerini alıp bölme işlemini yapmanız gerekir. Hızlı bakımlar için tüm olası olasılıkları önceden hesaplayıp saklamak iyi bir uygulamadır.

Adım 4: Metin Üretimi (Eğlenceli Bir Uygulama)

Modelinizi test etmenin harika bir yolu, onu yeni metin üretmeye teşvik etmektir. Süreç şu şekilde işler:

1. Başlangıç tokeni <s> gibi başlangıç bir bağlamla başlayın.
2. <s> ile başlayan tüm bigramları ve ilgili olasılıklarını arayın.
3. Bu olasılık dağılımına göre bir sonraki kelimeyi rastgele seçin (daha yüksek olasılıklara sahip kelimelerin seçilme olasılığı daha yüksektir).
4. Bağlamınızı güncelleyin. Yeni seçilen kelime, bir sonraki bigramın ilk parçası olur.
5. Durdurma tokeni </s> üretene veya istenen uzunluğa ulaşana kadar bu işlemi tekrarlayın.

Basit bir N-gram modelinin ürettiği metin mükemmel derecede tutarlı olmayabilir, ancak sıklıkla dilbilgisel olarak makul kısa cümleler üretecektir, bu da temel kelimeden kelimeye ilişkileri öğrendiğini gösterecektir.

Seyreklik Sorunu ve Çözümü: Düzeltme (Smoothing)

Modelimiz test sırasında hiç görmediği bir bigramla karşılaşırsa ne olur? Örneğin, eğitim korpusumuzda hiç "mor köpek" ifadesi bulunmuyorsa:

Count("bu", "mor") = 0

Bu, P("mor" | "bu")'nun 0 olacağı anlamına gelir. Bu bigram, değerlendirmeye çalıştığımız daha uzun bir cümlenin parçasıysa, tüm cümle olasılığı sıfır olacaktır, çünkü tüm olasılıkları birbiriyle çarpıyoruz. Bu, veri seyrekliklerinin bir tezahürü olan sıfır olasılık sorunudur. Eğitim korpusumuzun her olası geçerli kelime kombinasyonunu içerdiğini varsaymak gerçekçi değildir.

Bunun çözümü düzeltmedir (smoothing). Düzeltmenin temel fikri, gördüğümüz N-gram'lardan küçük bir olasılık kütlesi almak ve hiç görmediğimiz N-gram'lara dağıtmaktır. Bu, hiçbir kelime dizisinin tam olarak sıfır olasılığa sahip olmamasını sağlar.

Laplace (Tek Ekleme) Düzeltme

En basit düzeltme tekniği Laplace düzeltmesidir, yani tek ekleme düzeltmesi olarak da bilinir. Fikir inanılmaz derecede sezgiseldir: her olası N-gram'ı aslında yaptığımızdan bir kez daha gördüğümüzü varsayarız.

Olasılık formülü biraz değişir. Payın sayımına 1 ekleriz. Olasılıkların hala 1'e kadar toplamlanmasını sağlamak için paydanın tamamına kelime dağarcığının boyutunu (V) ekleriz.

P_laplace(wᵢ | wᵢ₋₁) = (Count(wᵢ₋₁, wᵢ) + 1) / (Count(wᵢ₋₁) + V)

• Artıları: Uygulaması çok basittir ve sıfır olasılıkları garanti eder.
• Eksileri: Özellikle büyük kelime dağarcıklarıyla, görülmeyen olaylara genellikle çok fazla olasılık atar. Bu nedenle, daha gelişmiş yöntemlere kıyasla pratikte genellikle kötü performans gösterir.

Add-k Düzeltme

Küçük bir iyileştirme Add-k düzeltmesidir; 1 eklemek yerine, küçük bir kesirli değer olan 'k' (örneğin, 0.01) ekleriz. Bu, çok fazla olasılık kütlesini yeniden atama etkisini hafifletir.

P_add_k(wᵢ | wᵢ₋₁) = (Count(wᵢ₋₁, wᵢ) + k) / (Count(wᵢ₋₁) + k*V)

Birden daha iyi olsa da, en uygun 'k' değerini bulmak bir zorluk olabilir. Good-Turing düzeltmesi ve Kneser-Ney düzeltmesi gibi daha gelişmiş teknikler mevcuttur ve birçok NLP aracında standarttır, görülmeyen olayların olasılığını tahmin etmenin çok daha gelişmiş yollarını sunarlar.

Dil Modelini Değerlendirme: Karmaşıklık (Perplexity)

N-gram modelimizin iyi olup olmadığını nasıl anlarız? Veya trigram modelinin belirli görevimiz için bigram modelinden daha iyi olup olmadığını? Değerlendirme için nicel bir metriğe ihtiyacımız var. Dil modelleri için en yaygın metrik karmaşıklıktır (perplexity).

Karmaşıklık, bir olasılık modelinin bir örneği ne kadar iyi tahmin ettiğinin bir ölçüsüdür. Sezgisel olarak, modelin ağırlıklı ortalama dallanma faktörü olarak düşünülebilir. Bir modelin karmaşıklığı 50 ise, bu, modelin her kelimede, 50 farklı kelime arasından eşit ve bağımsız olarak seçim yapmak zorunda kaldığı kadar şaşırmış olduğu anlamına gelir.

Daha düşük bir karmaşıklık puanı daha iyidir, çünkü modelin test verileri karşısında daha az "şaşırdığını" ve gördüğü dizilere daha yüksek olasılıklar atadığını gösterir.

Karmaşıklık, test setinin ters olasılığı olarak hesaplanır ve kelime sayısına göre normalize edilir. Daha kolay hesaplama için genellikle logaritmik biçiminde temsil edilir. İyi tahmin gücüne sahip bir model, düşük karmaşıklıkla sonuçlanan test cümlelerine yüksek olasılıklar atayacaktır.

N-gram Modellerinin Sınırlılıkları

Temel önemlerine rağmen, N-gram modelleri, NLP alanını daha karmaşık mimarilere doğru yönlendiren önemli sınırlamalara sahiptir:

• Veri Seyrekliği: Düzeltme ile bile, daha büyük N (trigram, 4-gram vb.) için olası kelime kombinasyonlarının sayısı patlar. Çoğu için güvenilir olasılıkları tahmin etmek için yeterli veriye sahip olmak imkansız hale gelir.
• Depolama: Model tüm N-gram sayımlarından oluşur. Kelime dağarcığı ve N büyüdükçe, bu sayımları saklamak için gereken bellek muazzam hale gelebilir.
• Uzun Menzilli Bağımlılıkları Yakalayamama: Bu onların en kritik kusurudur. Bir N-gram modelinin çok sınırlı bir belleği vardır. Örneğin, bir trigram modeli bir kelimeyi kendisinden iki konumdan daha önce görünen başka bir kelimeyle bağlayamaz. Şu cümleyi düşünün: "Birkaç çok satan roman yazan ve uzak bir ülkedeki küçük bir kasabada on yıllarca yaşayan yazar, akıcı bir şekilde ___ konuşuyor." Son kelimeyi tahmin etmeye çalışan bir trigram modeli yalnızca "akıcı konuşuyor" bağlamını görür. "Yazar" kelimesi veya önemli ipuçları olan konum hakkında hiçbir bilgisi yoktur. Uzak kelimeler arasındaki anlamsal ilişkiyi yakalayamaz.

N-gram'ların Ötesinde: Sinirsel Dil Modellerinin Doğuşu

Bu sınırlılıklar, özellikle uzun menzilli bağımlılıklarla başa çıkamama, sinirsel dil modellerinin geliştirilmesine yol açtı. Tekrarlayan Sinir Ağları (RNN'ler), Uzun Kısa Süreli Bellek ağları (LSTM'ler) ve özellikle artık baskın olan Transformer'lar (BERT ve GPT gibi modelleri güçlendiren) gibi mimariler bu özel sorunların üstesinden gelmek için tasarlandı.

Seyrek sayımlara güvenmek yerine, sinirsel modeller kelimelerin yoğun vektör temsillerini (embedding'ler) öğrenirler ki bu da anlamsal ilişkileri yakalar. İnsan dilindeki karmaşık ve uzun menzilli bağımlılıkları anlamalarını sağlayan çok daha uzun diziler boyunca bağlamı izlemek için dahili bellek mekanizmalarını kullanırlar.

Sonuç: NLP'nin Temel Bir Direği

Modern NLP büyük ölçekli sinir ağları tarafından domine edilirken, N-gram modeli birçok görev için vazgeçilmez bir eğitim aracı ve şaşırtıcı derecede etkili bir temel olarak kalmaktadır. Dil modellemenin temel zorluğuna net, yorumlanabilir ve hesaplama açısından verimli bir giriş sağlar: geçmişteki istatistiksel kalıpları kullanarak geleceği tahmin etmek.

Bir N-gram modelini sıfırdan oluşturarak, olasılık, veri seyreklik, düzeltme ve NLP bağlamında değerlendirme konularında derin, ilk prensipler düzeyinde bir anlayış kazanırsınız. Bu bilgi sadece tarihsel değildir; modern yapay zekanın kuleli gökdelenlerinin inşa edildiği kavramsal temeldir. Dilin olasılık dizileri olarak düşünmenizi öğretir - ne kadar karmaşık olursa olsun, herhangi bir dil modelinde ustalaşmak için gerekli olan bir bakış açısı.