بناء أساس معالجة اللغة الطبيعية: نظرة معمقة في تطبيق نماذج اللغة N-gram

في عصر تهيمن عليه الذكاء الاصطناعي، بدءًا من المساعدين الأذكياء في جيوبنا وصولاً إلى الخوارزميات المتطورة التي تشغل محركات البحث، تُعد نماذج اللغة المحركات الخفية التي تقود العديد من هذه الابتكارات. إنها السبب وراء قدرة هاتفك على التنبؤ بالكلمة التالية التي ترغب في كتابتها وكيف يمكن لخدمات الترجمة تحويل لغة إلى أخرى بطلاقة. ولكن كيف تعمل هذه النماذج بالفعل؟ قبل ظهور الشبكات العصبية المعقدة مثل GPT، بني أساس اللغويات الحاسوبية على منهج إحصائي بسيط وفعال بشكل جميل: نموذج N-gram.

صُمم هذا الدليل الشامل لجمهور عالمي من علماء البيانات الطموحين، ومهندسي البرمجيات، وعشاق التكنولوجيا الفضوليين. سنعود إلى الأساسيات، لنزيل الغموض عن النظرية الكامنة وراء نماذج اللغة N-gram ونقدم شرحًا عمليًا خطوة بخطوة لكيفية بناء نموذج من الصفر. إن فهم N-grams ليس مجرد درس في التاريخ؛ بل هو خطوة حاسمة في بناء أساس متين في معالجة اللغة الطبيعية (NLP).

ما هو نموذج اللغة؟

في جوهره، نموذج اللغة (LM) هو توزيع احتمالي على تسلسل من الكلمات. بعبارة أبسط، مهمته الأساسية هي الإجابة على سؤال جوهري: بالنظر إلى تسلسل من الكلمات، ما هي الكلمة التالية الأكثر احتمالاً؟

لننظر إلى الجملة: "فتح الطلاب ___."

سيقوم نموذج لغوي مدرب جيدًا بتعيين احتمال عالٍ لكلمات مثل "الكتب"، "أجهزة الكمبيوتر المحمولة"، أو "العقول"، واحتمال منخفض جدًا، يكاد يكون صفراً، لكلمات مثل "التمثيل الضوئي"، "الفيلة"، أو "الطريق السريع". من خلال تحديد احتمالية تسلسل الكلمات كميًا، تمكّن نماذج اللغة الآلات من فهم اللغة البشرية وتوليدها ومعالجتها بطريقة متماسكة.

تطبيقاتها واسعة ومتكاملة في حياتنا الرقمية اليومية، بما في ذلك:

• الترجمة الآلية: ضمان أن الجملة الناتجة سلسة وصحيحة نحويًا في اللغة الهدف.
• التعرف على الكلام: التمييز بين العبارات المتشابهة صوتيًا (على سبيل المثال، "recognize speech" مقابل "wreck a nice beach").
• النص التنبؤي والإكمال التلقائي: اقتراح الكلمة أو العبارة التالية أثناء الكتابة.
• تصحيح الإملاء والنحو: تحديد ووضع علامة على تسلسلات الكلمات غير المحتملة إحصائيًا.

مقدمة إلى N-grams: المفهوم الأساسي

N-gram هو ببساطة تسلسل متجاور من 'ن' عناصر من عينة معينة من النص أو الكلام. تكون 'العناصر' عادة كلمات، ولكن يمكن أن تكون أيضًا أحرفًا أو مقاطع لفظية أو حتى فونيمات. يمثل الحرف 'ن' في N-gram رقمًا، مما يؤدي إلى تسميات محددة:

• أونيجرام (n=1): كلمة واحدة. (على سبيل المثال، "The", "quick", "brown", "fox")
• بايجرام (n=2): تسلسل من كلمتين. (على سبيل المثال، "The quick", "quick brown", "brown fox")
• ترايجرام (n=3): تسلسل من ثلاث كلمات. (على سبيل المثال، "The quick brown", "quick brown fox")

الفكرة الأساسية وراء نموذج اللغة N-gram هي أنه يمكننا التنبؤ بالكلمة التالية في تسلسل من خلال النظر إلى الكلمات "ن-1" التي سبقتها. بدلاً من محاولة فهم التعقيد النحوي والدلالي الكامل للجملة، نفترض افتراضًا تبسيطًا يقلل بشكل كبير من صعوبة المشكلة.

الرياضيات وراء N-grams: الاحتمالية والتبسيط

لحساب احتمالية جملة رسميًا (تسلسل من الكلمات W = w₁، w₂، ...، wₖ)، يمكننا استخدام قاعدة السلسلة للاحتمالية:

P(W) = P(w₁) * P(w₂|w₁) * P(w₃|w₁، w₂) * ... * P(wₖ|w₁، ...، wₖ₋₁)

تنص هذه الصيغة على أن احتمالية التسلسل بأكمله هي نتاج الاحتمالات الشرطية لكل كلمة، بالنظر إلى جميع الكلمات التي سبقتها. على الرغم من كون هذا النهج سليمًا من الناحية الرياضية، إلا أنه غير عملي. فحساب احتمالية كلمة بالنظر إلى تاريخ طويل من الكلمات السابقة (على سبيل المثال، P(word | "The quick brown fox jumps over the lazy dog and then...")) سيتطلب كمية هائلة مستحيلة من بيانات النص للعثور على أمثلة كافية لتقديم تقدير موثوق.

افتراض ماركوف: تبسيط عملي

هنا حيث تقدم نماذج N-gram أهم مفاهيمها: افتراض ماركوف. ينص هذا الافتراض على أن احتمالية كلمة تعتمد فقط على عدد ثابت من الكلمات السابقة. نفترض أن السياق الفوري كافٍ، ويمكننا التخلص من التاريخ الأبعد.

• بالنسبة لنموذج البايجرام (n=2)، نفترض أن احتمالية الكلمة تعتمد فقط على الكلمة السابقة الواحدة:
  P(wᵢ | w₁، ...، wᵢ₋₁) ≈ P(wᵢ | wᵢ₋₁)
• بالنسبة لنموذج الترايجرام (n=3)، نفترض أنها تعتمد على الكلمتين السابقتين:
  P(wᵢ | w₁، ...، wᵢ₋₁) ≈ P(wᵢ | wᵢ₋₁، wᵢ₋₂)

هذا الافتراض يجعل المشكلة قابلة للمعالجة حاسوبياً. لم نعد بحاجة لرؤية التاريخ الكامل والدقيق لكلمة لحساب احتماليها، بل الكلمات الـ "ن-1" الأخيرة فقط.

حساب احتمالات N-gram

مع افتراض ماركوف، كيف نحسب هذه الاحتمالات المبسطة؟ نستخدم طريقة تسمى تقدير الاحتمالية القصوى (MLE)، وهي طريقة فخمة للقول إننا نحصل على الاحتمالات مباشرة من التعدادات في نص التدريب (المدونة) الخاص بنا.

بالنسبة لنموذج البايجرام، يتم حساب احتمالية كلمة wᵢ تتبع كلمة wᵢ₋₁ على النحو التالي:

P(wᵢ | wᵢ₋₁) = Count(wᵢ₋₁، wᵢ) / Count(wᵢ₋₁)

بكلمات أخرى: احتمالية رؤية الكلمة B بعد الكلمة A هي عدد المرات التي رأينا فيها الزوج "A B" مقسومًا على عدد المرات التي رأينا فيها الكلمة "A" إجمالاً.

لنستخدم مدونة صغيرة كمثال: "The cat sat. The dog sat."

• Count("The") = 2
• Count("cat") = 1
• Count("dog") = 1
• Count("sat") = 2
• Count("The cat") = 1
• Count("The dog") = 1
• Count("cat sat") = 1
• Count("dog sat") = 1

ما هي احتمالية "cat" بعد "The"؟
P("cat" | "The") = Count("The cat") / Count("The") = 1 / 2 = 0.5

ما هي احتمالية "sat" بعد "cat"؟
P("sat" | "cat") = Count("cat sat") / Count("cat") = 1 / 1 = 1.0

تطبيق خطوة بخطوة من الصفر

الآن دعنا نترجم هذه النظرية إلى تطبيق عملي. سنوضح الخطوات بطريقة مستقلة عن اللغة، على الرغم من أن المنطق يتطابق مباشرة مع لغات مثل بايثون.

الخطوة 1: معالجة البيانات الأولية والتقطيع

قبل أن نتمكن من حساب أي شيء، نحتاج إلى إعداد مدونة النص الخاصة بنا. هذه خطوة حاسمة تشكل جودة نموذجنا.

1. التقطيع (Tokenization): عملية تقسيم نص إلى وحدات أصغر تسمى رموزًا (في حالتنا، كلمات). على سبيل المثال، تصبح "The cat sat." ["The", "cat", "sat", "."].
2. التحويل إلى أحرف صغيرة (Lowercasing): من الممارسات القياسية تحويل جميع النصوص إلى أحرف صغيرة. يمنع هذا النموذج من معالجة "The" و "the" ككلمتين مختلفتين، مما يساعد على توحيد التعدادات لدينا وجعل النموذج أكثر قوة.
3. إضافة رموز البدء والانتهاء: هذه تقنية حاسمة. نضيف رموزًا خاصة، مثل <s> (بدء) و </s> (انتهاء)، إلى بداية ونهاية كل جملة. لماذا؟ يتيح ذلك للنموذج حساب احتمالية كلمة في بداية الجملة (على سبيل المثال، P("The" | <s>)) ويساعد في تحديد احتمالية جملة كاملة. ستصبح جملتنا المثال "the cat sat." ["<s>", "the", "cat", "sat", ".", "</s>"].

الخطوة 2: عد N-grams

بمجرد أن يكون لدينا قائمة نظيفة من الرموز لكل جملة، نكرر عبر مدونتنا للحصول على التعدادات. أفضل هيكل بيانات لذلك هو قاموس أو خريطة تجزئة، حيث تكون المفاتيح هي N-grams (ممثلة كصفوف) والقيم هي تردداتها.

بالنسبة لنموذج البايجرام، سنحتاج إلى قاموسين:

• unigram_counts: يخزن تردد كل كلمة فردية.
• bigram_counts: يخزن تردد كل تسلسل من كلمتين.

ستقوم بالتكرار عبر جملك المقطعة. بالنسبة لجملة مثل ["<s>", "the", "cat", "sat", "</s>"]، ستقوم بما يلي:

• زيادة العداد لأحادي الغرام: "<s>", "the", "cat", "sat", "</s>".
• زيادة العداد لثنائي الغرام: ("<s>", "the"), ("the", "cat"), ("cat", "sat"), ("sat", "</s>").

الخطوة 3: حساب الاحتمالات

بعد ملء قواميس التعداد لدينا، يمكننا الآن بناء نموذج الاحتمالية. يمكننا تخزين هذه الاحتمالات في قاموس آخر أو حسابها فورًا.

لحساب P(word₂ | word₁)، ستقوم باسترداد bigram_counts[(word₁، word₂)] و unigram_counts[word₁] وإجراء القسمة. من الممارسات الجيدة حساب جميع الاحتمالات الممكنة مسبقًا وتخزينها للبحث السريع.

الخطوة 4: توليد النص (تطبيق ممتع)

طريقة رائعة لاختبار نموذجك هي جعله يولد نصًا جديدًا. تعمل العملية على النحو التالي:

1. ابدأ بسياق أولي، على سبيل المثال، رمز البدء <s>.
2. ابحث عن جميع ثنائيات الغرام التي تبدأ بـ <s> واحتمالاتها المرتبطة بها.
3. اختر الكلمة التالية عشوائيًا بناءً على توزيع الاحتمالية هذا (الكلمات ذات الاحتمالات الأعلى تكون أكثر عرضة للاختيار).
4. حدث سياقك. تصبح الكلمة المختارة حديثًا الجزء الأول من ثنائي الغرام التالي.
5. كرر هذه العملية حتى تولد رمز إيقاف </s> أو تصل إلى الطول المطلوب.

قد لا يكون النص الذي يولده نموذج N-gram بسيطًا متماسكًا تمامًا، ولكنه غالبًا ما ينتج جملًا قصيرة معقولة نحويًا، مما يدل على أنه قد تعلم العلاقات الأساسية بين الكلمات.

تحدي ندرة البيانات والحل: التنعيم

ماذا يحدث إذا واجه نموذجنا ثنائي غرام أثناء الاختبار لم يره أبدًا أثناء التدريب؟ على سبيل المثال، إذا كانت مدونة التدريب الخاصة بنا لم تحتوي أبدًا على عبارة "the purple dog"، فعندئذ:

Count("the"، "purple") = 0

هذا يعني أن P("purple" | "the") ستكون 0. إذا كان هذا الثنائي الغرام جزءًا من جملة أطول نحاول تقييمها، فستصبح احتمالية الجملة بأكملها صفرًا، لأننا نضرب جميع الاحتمالات معًا. هذه هي مشكلة الاحتمالية الصفرية، وهي مظهر من مظاهر ندرة البيانات. من غير الواقعي افتراض أن مدونة التدريب الخاصة بنا تحتوي على كل تركيبة كلمات صالحة ممكنة.

الحل لذلك هو التنعيم (Smoothing). الفكرة الأساسية للتنعيم هي أخذ كمية صغيرة من كتلة الاحتمالية من N-grams التي رأيناها وتوزيعها على N-grams التي لم نرها أبدًا. يضمن هذا عدم وجود أي تسلسل كلمات له احتمالية صفرية تمامًا.

تنعيم لابلاس (إضافة واحد)

أبسط تقنية تنعيم هي تنعيم لابلاس، المعروفة أيضًا باسم تنعيم إضافة واحد. الفكرة بديهية بشكل لا يصدق: نتظاهر بأننا رأينا كل N-gram ممكن مرة واحدة أكثر مما فعلنا بالفعل.

تتغير صيغة الاحتمال قليلاً. نضيف 1 إلى عدد البسط. ولضمان أن مجموع الاحتمالات لا يزال يساوي 1، نضيف حجم المفردات بالكامل (V) إلى المقام.

P_laplace(wᵢ | wᵢ₋₁) = (Count(wᵢ₋₁، wᵢ) + 1) / (Count(wᵢ₋₁) + V)

• الإيجابيات: بسيط جدًا في التطبيق ويضمن عدم وجود احتمالات صفرية.
• السلبيات: غالبًا ما يمنح الكثير من الاحتمالية للأحداث غير المرئية، خاصة مع المفردات الكبيرة. لهذا السبب، غالبًا ما يكون أداؤه ضعيفًا في الممارسة مقارنة بالطرق الأكثر تقدمًا.

تنعيم إضافة-k

تحسين طفيف هو تنعيم إضافة-k، حيث بدلاً من إضافة 1، نضيف قيمة كسرية صغيرة 'k' (على سبيل المثال، 0.01). هذا يخفف من تأثير إعادة تخصيص الكثير من كتلة الاحتمالية.

P_add_k(wᵢ | wᵢ₋₁) = (Count(wᵢ₋₁، wᵢ) + k) / (Count(wᵢ₋₁) + k*V)

على الرغم من أنه أفضل من إضافة واحد، إلا أن إيجاد القيمة المثلى لـ 'k' يمكن أن يكون تحديًا. توجد تقنيات أكثر تقدمًا مثل تنعيم Good-Turing و تنعيم Kneser-Ney وهي معيارية في العديد من أدوات NLP، وتقدم طرقًا أكثر تطورًا لتقدير احتمالية الأحداث غير المرئية.

تقييم نموذج اللغة: الحيرة (Perplexity)

كيف نعرف ما إذا كان نموذج N-gram الخاص بنا جيدًا؟ أو ما إذا كان نموذج ترايجرام أفضل من نموذج بايجرام لمهمتنا المحددة؟ نحتاج إلى مقياس كمي للتقييم. المقياس الأكثر شيوعًا لنماذج اللغة هو الحيرة (Perplexity).

الحيرة هي مقياس لمدى جودة نموذج الاحتمالية في التنبؤ بعينة. يمكن فهمها بشكل بديهي على أنها عامل التفرع المرجح المتوسط للنموذج. إذا كان النموذج لديه حيرة قدرها 50، فهذا يعني أنه عند كل كلمة، يكون النموذج مشوشًا كما لو كان عليه الاختيار بشكل موحد ومستقل من 50 كلمة مختلفة.

درجة الحيرة الأقل أفضل، حيث تشير إلى أن النموذج "أقل تفاجئًا" ببيانات الاختبار ويخصص احتمالات أعلى للتسلسلات التي يراها بالفعل.

تحسب الحيرة كمعكوس احتمالية مجموعة الاختبار، مقسومة على عدد الكلمات. غالبًا ما يتم تمثيلها بشكلها اللوغاريتمي لتسهيل الحساب. سيقوم النموذج ذو القوة التنبؤية الجيدة بتعيين احتمالات عالية لجمل الاختبار، مما يؤدي إلى حيرة منخفضة.

قيود نماذج N-gram

على الرغم من أهميتها الأساسية، فإن نماذج N-gram لديها قيود كبيرة دفعت مجال معالجة اللغة الطبيعية نحو معماريات أكثر تعقيدًا:

• ندرة البيانات: حتى مع التنعيم، وبالنسبة لقيم N الأكبر (ثلاثيات الغرام، رباعيات الغرام، وما إلى ذلك)، يتزايد عدد تركيبات الكلمات الممكنة بشكل هائل. يصبح من المستحيل توفير بيانات كافية لتقدير الاحتمالات لمعظمها بشكل موثوق.
• التخزين: يتكون النموذج من جميع تعدادات N-gram. ومع نمو المفردات و N، يمكن أن تصبح الذاكرة المطلوبة لتخزين هذه التعدادات هائلة.
• عدم القدرة على التقاط التبعيات طويلة المدى: هذا هو عيبها الأكثر أهمية. يمتلك نموذج N-gram ذاكرة محدودة للغاية. على سبيل المثال، لا يمكن لنموذج ثلاثي الغرام ربط كلمة بكلمة أخرى ظهرت قبلها بأكثر من موضعين. لننظر في هذه الجملة: "الكاتب، الذي كتب العديد من الروايات الأكثر مبيعًا وعاش لعقود في بلدة صغيرة في بلد ناءٍ، يتحدث بطلاقة ___." نموذج ثلاثي الغرام الذي يحاول التنبؤ بالكلمة الأخيرة يرى فقط السياق "يتحدث بطلاقة". ليس لديه معرفة بكلمة "الكاتب" أو الموقع، وهما دلالات حاسمة. لا يمكنه التقاط العلاقة الدلالية بين الكلمات البعيدة.

ما وراء N-grams: فجر نماذج اللغة العصبية

هذه القيود، وخاصة عدم القدرة على التعامل مع التبعيات طويلة المدى، مهدت الطريق لتطوير نماذج اللغة العصبية. تم تصميم معماريات مثل الشبكات العصبية المتكررة (RNNs)، وشبكات الذاكرة طويلة المدى القصيرة (LSTMs)، وخاصة المحولات المهيمنة حاليًا (التي تشغل نماذج مثل BERT و GPT) للتغلب على هذه المشاكل المحددة.

بدلاً من الاعتماد على التعدادات المتفرقة، تتعلم النماذج العصبية تمثيلات متجهة كثيفة للكلمات (التضمينات) التي تلتقط العلاقات الدلالية. وتستخدم آليات ذاكرة داخلية لتتبع السياق عبر تسلسلات أطول بكثير، مما يسمح لها بفهم التبعيات المعقدة وبعيدة المدى المتأصلة في اللغة البشرية.

الخاتمة: ركيزة أساسية في معالجة اللغة الطبيعية

بينما تهيمن الشبكات العصبية واسعة النطاق على معالجة اللغة الطبيعية الحديثة، يظل نموذج N-gram أداة تعليمية لا غنى عنها ونقطة مرجعية فعالة بشكل مفاجئ للعديد من المهام. إنه يقدم مقدمة واضحة وقابلة للتفسير وفعالة حاسوبياً للتحدي الأساسي لنمذجة اللغة: استخدام الأنماط الإحصائية من الماضي للتنبؤ بالمستقبل.

من خلال بناء نموذج N-gram من الصفر، تكتسب فهمًا عميقًا ومبدئيًا للاحتمالات وندرة البيانات والتنعيم والتقييم في سياق معالجة اللغة الطبيعية. هذه المعرفة ليست تاريخية فقط؛ إنها الأساس المفاهيمي الذي بنيت عليه ناطحات السحاب الشاهقة للذكاء الاصطناعي الحديث. إنها تعلمك التفكير في اللغة كتسلسل من الاحتمالات - وهو منظور أساسي لإتقان أي نموذج لغوي، مهما كان معقدًا.