การสร้างรากฐาน NLP: เจาะลึกการใช้งานโมเดลภาษา N-gram

ในยุคที่ปัญญาประดิษฐ์ครองโลก ตั้งแต่ผู้ช่วยอัจฉริยะในกระเป๋าของเราไปจนถึงอัลกอริทึมที่ซับซ้อนซึ่งขับเคลื่อนเครื่องมือค้นหา โมเดลภาษาก็คือเครื่องมือที่มองไม่เห็นซึ่งขับเคลื่อนนวัตกรรมเหล่านี้จำนวนมาก นี่คือเหตุผลที่โทรศัพท์ของคุณสามารถคาดเดาคำถัดไปที่คุณต้องการพิมพ์ได้ และบริการแปลภาษาสามารถแปลงภาษาหนึ่งไปเป็นอีกภาษาหนึ่งได้อย่างคล่องแคล่ว แต่โมเดลเหล่านี้ทำงานได้อย่างไรจริงๆ? ก่อนที่เครือข่ายประสาทที่ซับซ้อนอย่าง GPT จะได้รับความนิยม รากฐานของภาษาศาสตร์เชิงคำนวณถูกสร้างขึ้นบนแนวทางทางสถิติที่เรียบง่ายแต่ทรงพลัง นั่นคือ โมเดล N-gram

คู่มือฉบับสมบูรณ์นี้ออกแบบมาสำหรับผู้ชมทั่วโลกของนักวิทยาศาสตร์ข้อมูล วิศวกรซอฟต์แวร์ และผู้ที่สนใจเทคโนโลยี เราจะเดินทางย้อนกลับไปสู่พื้นฐาน ทำความเข้าใจทฤษฎีเบื้องหลังโมเดลภาษา N-gram และให้คำแนะนำทีละขั้นตอนเกี่ยวกับวิธีการสร้างโมเดลดังกล่าวตั้งแต่ต้น การทำความเข้าใจ N-grams ไม่ใช่แค่บทเรียนประวัติศาสตร์เท่านั้น แต่ยังเป็นขั้นตอนสำคัญในการสร้างรากฐานที่มั่นคงในการประมวลผลภาษาธรรมชาติ (NLP) อีกด้วย

N-gram คืออะไร?

ที่แกนหลัก โมเดลภาษา (LM) คือการแจกแจงความน่าจะเป็นเหนือลำดับของคำ พูดง่ายๆ ก็คือ งานหลักของมันคือการตอบคำถามพื้นฐาน: เมื่อกำหนดลำดับของคำ คำถัดไปที่มีความเป็นไปได้มากที่สุดคือคำว่าอะไร?

พิจารณาวลี: "นักเรียนเปิด ___ ของพวกเขา"

โมเดลภาษาที่ได้รับการฝึกฝนมาอย่างดีจะกำหนดความน่าจะเป็นสูงให้กับคำเช่น "หนังสือ" "แล็ปท็อป" หรือ "ความคิด" และความน่าจะเป็นที่ต่ำมาก เกือบเป็นศูนย์ให้กับคำเช่น "การสังเคราะห์ด้วยแสง" "ช้าง" หรือ "ทางหลวง" ด้วยการวัดความน่าจะเป็นของลำดับคำ โมเดลภาษาช่วยให้เครื่องจักรสามารถเข้าใจ สร้าง และประมวลผลภาษามนุษย์ได้อย่างสอดคล้องกัน

การใช้งานนั้นกว้างขวางและรวมอยู่ในชีวิตดิจิทัลประจำวันของเรา รวมถึง:

• การแปลภาษาด้วยเครื่อง: เพื่อให้แน่ใจว่าประโยคผลลัพธ์มีความคล่องแคล่วและถูกต้องตามหลักไวยากรณ์ในภาษาเป้าหมาย
• การรู้จำเสียงพูด: เพื่อแยกความแตกต่างระหว่างวลีที่มีเสียงคล้ายกัน (เช่น "recognize speech" กับ "wreck a nice beach")
• การพิมพ์คาดการณ์ & การเติมข้อความอัตโนมัติ: การแนะนำคำหรือวลีถัดไปขณะที่คุณพิมพ์
• การแก้ไขการสะกดและไวยากรณ์: การระบุและแจ้งเตือนลำดับคำที่มีความน่าจะเป็นต่ำทางสถิติ

แนะนำ N-grams: แนวคิดหลัก

N-gram คือลำดับของ 'n' รายการที่ต่อเนื่องกันจากตัวอย่างข้อความหรือคำพูดที่กำหนด 'รายการ' โดยทั่วไปคือคำ แต่ก็สามารถเป็นตัวอักษร พยางค์ หรือแม้แต่หน่วยเสียงก็ได้ 'n' ใน N-gram แสดงถึงจำนวน ซึ่งนำไปสู่ชื่อเฉพาะ:

• Unigram (n=1): คำเดียว (เช่น "The", "quick", "brown", "fox")
• Bigram (n=2): ลำดับของสองคำ (เช่น "The quick", "quick brown", "brown fox")
• Trigram (n=3): ลำดับของสามคำ (เช่น "The quick brown", "quick brown fox")

แนวคิดพื้นฐานเบื้องหลังโมเดลภาษา N-gram คือเราสามารถคาดเดาคำถัดไปในลำดับโดยดูที่คำ 'n-1' คำที่มาก่อน แทนที่จะพยายามทำความเข้าใจความซับซ้อนทางไวยากรณ์และความหมายทั้งหมดของประโยค เราทำการสมมติฐานที่ง่ายขึ้นซึ่งช่วยลดความยากของปัญหาลงอย่างมาก

คณิตศาสตร์เบื้องหลัง N-grams: ความน่าจะเป็นและการทำให้ง่ายขึ้น

ในการคำนวณความน่าจะเป็นของประโยค (ลำดับของคำ W = w₁, w₂, ..., wₖ) อย่างเป็นทางการ เราสามารถใช้กฎลูกโซ่ของความน่าจะเป็น:

P(W) = P(w₁) * P(w₂|w₁) * P(w₃|w₁, w₂) * ... * P(wₖ|w₁, ..., wₖ₋₁)

สูตรนี้ระบุว่าความน่าจะเป็นของลำดับทั้งหมดคือผลคูณของความน่าจะเป็นแบบมีเงื่อนไขของแต่ละคำ โดยพิจารณาจากคำทั้งหมดที่มาก่อน แต่แนวทางนี้ไม่สามารถนำไปปฏิบัติได้จริง การคำนวณความน่าจะเป็นของคำโดยพิจารณาจากประวัติยาวนานของคำก่อนหน้า (เช่น P(word | "The quick brown fox jumps over the lazy dog and then...")) จะต้องใช้ข้อมูลข้อความจำนวนมหาศาลเกินกว่าจะหาตัวอย่างเพียงพอสำหรับการประมาณค่าที่เชื่อถือได้

สมมติฐานมาร์คอฟ: การทำให้ง่ายขึ้นในทางปฏิบัติ

นี่คือจุดที่โมเดล N-gram นำเสนอแนวคิดที่สำคัญที่สุด นั่นคือ สมมติฐานมาร์คอฟ สมมติฐานนี้ระบุว่าความน่าจะเป็นของคำขึ้นอยู่กับจำนวนคำก่อนหน้าเพียงจำนวนหนึ่งเท่านั้น เราสมมติว่าบริบททันทีเพียงพอ และเราสามารถละทิ้งประวัติที่ไกลออกไปได้

• สำหรับ โมเดล bigram (n=2) เราสมมติว่าความน่าจะเป็นของคำขึ้นอยู่กับคำก่อนหน้าเพียงคำเดียว:
  P(wᵢ | w₁, ..., wᵢ₋₁) ≈ P(wᵢ | wᵢ₋₁)
• สำหรับ โมเดล trigram (n=3) เราสมมติว่ามันขึ้นอยู่กับคำก่อนหน้าสองคำ:
  P(wᵢ | w₁, ..., wᵢ₋₁) ≈ P(wᵢ | wᵢ₋₁, wᵢ₋₂)

สมมติฐานนี้ทำให้ปัญหาสามารถคำนวณได้ง่ายขึ้น เราไม่จำเป็นต้องเห็นประวัติเต็มรูปแบบของคำเพื่อคำนวณความน่าจะเป็นอีกต่อไป เพียงแค่ n-1 คำสุดท้าย

การคำนวณความน่าจะเป็น N-gram

เมื่อมีสมมติฐานมาร์คอฟแล้ว เราจะคำนวณความน่าจะเป็นที่ง่ายขึ้นเหล่านี้ได้อย่างไร? เราใช้วิธีที่เรียกว่า Maximum Likelihood Estimation (MLE) ซึ่งเป็นวิธีที่ซับซ้อนกว่าในการบอกว่าเราได้ความน่าจะเป็นโดยตรงจากจำนวนในข้อความฝึก (คลังข้อมูล) ของเรา

สำหรับโมเดล bigram ความน่าจะเป็นของคำ wᵢ ที่ตามหลังคำ wᵢ₋₁ จะคำนวณดังนี้:

P(wᵢ | wᵢ₋₁) = Count(wᵢ₋₁, wᵢ) / Count(wᵢ₋₁)

ในคำพูด: ความน่าจะเป็นที่จะเห็นคำ B หลังจากคำ A คือจำนวนครั้งที่เราเห็นคู่ "A B" หารด้วยจำนวนครั้งที่เราเห็นคำ "A" ทั้งหมด

มาใช้คลังข้อมูลเล็กๆ เป็นตัวอย่าง: "แมวนั่งอยู่ แมวนั่งอยู่"

• Count("The") = 2
• Count("cat") = 1
• Count("dog") = 1
• Count("sat") = 2
• Count("The cat") = 1
• Count("The dog") = 1
• Count("cat sat") = 1
• Count("dog sat") = 1

ความน่าจะเป็นของ "cat" หลัง "The" คือเท่าใด?
P("cat" | "The") = Count("The cat") / Count("The") = 1 / 2 = 0.5

ความน่าจะเป็นของ "sat" หลัง "cat" คือเท่าใด?
P("sat" | "cat") = Count("cat sat") / Count("cat") = 1 / 1 = 1.0

ขั้นตอนการใช้งานทีละขั้นตอนจากศูนย์

ตอนนี้เรามาแปลงทฤษฎีนี้ให้เป็นการใช้งานจริง เราจะสรุปขั้นตอนต่างๆ โดยไม่ขึ้นกับภาษา แม้ว่าตรรกะจะสอดคล้องโดยตรงกับภาษาต่างๆ เช่น Python

ขั้นตอนที่ 1: การประมวลผลข้อมูลและการแบ่งโทเค็น

ก่อนที่เราจะนับอะไรได้ เราต้องเตรียมคลังข้อความของเรา นี่เป็นขั้นตอนสำคัญที่กำหนดคุณภาพของโมเดลของเรา

1. การแบ่งโทเค็น: กระบวนการแบ่งข้อความออกเป็นหน่วยย่อยๆ ที่เรียกว่าโทเค็น (ในกรณีของเราคือคำ) ตัวอย่างเช่น "The cat sat." จะกลายเป็น ["The", "cat", "sat", "."].
2. การแปลงเป็นตัวพิมพ์เล็ก: เป็นการปฏิบัติมาตรฐานในการแปลงข้อความทั้งหมดเป็นตัวพิมพ์เล็ก สิ่งนี้จะป้องกันไม่ให้โมเดลปฏิบัติต่อ "The" และ "the" เป็นคำที่แตกต่างกันสองคำ ซึ่งช่วยในการรวมจำนวนของเราและทำให้โมเดลมีความแข็งแกร่งมากขึ้น
3. การเพิ่มโทเค็นเริ่มต้นและสิ้นสุด: นี่เป็นเทคนิคที่สำคัญ เราเพิ่มโทเค็นพิเศษ เช่น <s> (เริ่มต้น) และ </s> (สิ้นสุด) ที่ต้นและท้ายประโยคแต่ละประโยค ทำไม? สิ่งนี้ช่วยให้โมเดลสามารถคำนวณความน่าจะเป็นของคำที่จุดเริ่มต้นของประโยค (เช่น P("The" | <s>)) และช่วยกำหนดความน่าจะเป็นของประโยคทั้งหมด ประโยคตัวอย่างของเรา "the cat sat." จะกลายเป็น ["<s>", "the", "cat", "sat", ".", "</s>"].

ขั้นตอนที่ 2: การนับ N-grams

เมื่อเรามีรายการโทเค็นที่สะอาดสำหรับแต่ละประโยคแล้ว เราจะวนซ้ำคลังข้อมูลของเราเพื่อรับจำนวน โครงสร้างข้อมูลที่ดีที่สุดสำหรับสิ่งนี้คือพจนานุกรมหรือแผนที่แฮช โดยมีคีย์เป็น N-grams (แสดงเป็นทูเพิล) และค่าเป็นความถี่

สำหรับโมเดล bigram เราจะต้องมีพจนานุกรมสองเล่ม:

• unigram_counts: เก็บความถี่ของแต่ละคำ
• bigram_counts: เก็บความถี่ของแต่ละลำดับสองคำ

คุณจะวนซ้ำประโยคที่แบ่งโทเค็นของคุณ สำหรับประโยคเช่น ["<s>", "the", "cat", "sat", "</s>"] คุณจะ:

• เพิ่มจำนวนสำหรับ unigrams: "<s>", "the", "cat", "sat", "</s>".
• เพิ่มจำนวนสำหรับ bigrams: ("<s>", "the"), ("the", "cat"), ("cat", "sat"), ("sat", "</s>").

ขั้นตอนที่ 3: การคำนวณความน่าจะเป็น

เมื่อพจนานุกรมจำนวนของเราเต็มแล้ว เราก็สามารถสร้างโมเดลความน่าจะเป็นได้ เราสามารถเก็บความน่าจะเป็นเหล่านี้ไว้ในพจนานุกรมอื่นหรือคำนวณได้ทันที

ในการคำนวณ P(word₂ | word₁), คุณจะเรียก bigram_counts[(word₁, word₂)] และ unigram_counts[word₁] และทำการหาร การปฏิบัติที่ดีคือการคำนวณความน่าจะเป็นที่เป็นไปได้ทั้งหมดล่วงหน้าและเก็บไว้สำหรับการค้นหาที่รวดเร็ว

ขั้นตอนที่ 4: การสร้างข้อความ (แอปพลิเคชันที่สนุก)

วิธีที่ดีในการทดสอบโมเดลของคุณคือให้มันสร้างข้อความใหม่ กระบวนการนี้ทำงานดังนี้:

1. เริ่มต้นด้วยบริบทเริ่มต้น เช่น โทเค็นเริ่มต้น <s>.
2. ค้นหา bigrams ทั้งหมดที่ขึ้นต้นด้วย <s> และความน่าจะเป็นที่เกี่ยวข้อง
3. เลือกคำถัดไปแบบสุ่มตามการแจกแจงความน่าจะเป็นนี้ (คำที่มีความน่าจะเป็นสูงกว่ามีแนวโน้มที่จะถูกเลือก)
4. อัปเดตบริบทของคุณ คำที่เลือกใหม่จะกลายเป็นส่วนแรกของ bigram ถัดไป
5. ทำซ้ำกระบวนการนี้จนกว่าคุณจะสร้างโทเค็นสิ้นสุด </s> หรือถึงความยาวที่ต้องการ

ข้อความที่สร้างโดยโมเดล N-gram แบบง่ายอาจไม่สอดคล้องกันอย่างสมบูรณ์ แต่บ่อยครั้งจะสร้างประโยคสั้นๆ ที่เป็นไปได้ตามหลักไวยากรณ์ แสดงให้เห็นว่ามันได้เรียนรู้ความสัมพันธ์ระหว่างคำพื้นฐานแล้ว

ความท้าทายของความกระจายตัวและวิธีแก้ปัญหา: การทำให้ราบเรียบ

จะเกิดอะไรขึ้นถ้าโมเดลของเราพบ bigram ในระหว่างการทดสอบที่มันไม่เคยพบระหว่างการฝึก? ตัวอย่างเช่น ถ้าคลังข้อมูลการฝึกของเราไม่เคยมีวลี "the purple dog" มาก่อน:

Count("the", "purple") = 0

ซึ่งหมายความว่า P("purple" | "the") จะเป็น 0 หาก bigram นี้เป็นส่วนหนึ่งของประโยคที่ยาวขึ้นที่เราพยายามประเมิน ความน่าจะเป็นของประโยคทั้งหมดจะกลายเป็นศูนย์ เนื่องจากเรากำลังคูณความน่าจะเป็นทั้งหมดเข้าด้วยกัน นี่คือ ปัญหาความน่าจะเป็นเป็นศูนย์ ซึ่งเป็นอาการของความกระจายตัวของข้อมูล มันไม่สมจริงที่จะสมมติว่าคลังข้อมูลการฝึกของเรามีชุดค่าผสมของคำที่เป็นไปได้ทั้งหมด

วิธีแก้ปัญหานี้คือ การทำให้ราบเรียบ (smoothing) แนวคิดหลักของการทำให้ราบเรียบคือการนำมวลความน่าจะเป็นเล็กน้อยจาก N-grams ที่เราเห็นและกระจายไปยัง N-grams ที่เราไม่เคยเห็น วิธีนี้จะช่วยให้มั่นใจได้ว่าไม่มีลำดับคำใดมีความน่าจะเป็นเป็นศูนย์

Laplace (Add-One) Smoothing

เทคนิคการทำให้ราบเรียบที่ง่ายที่สุดคือ Laplace smoothing หรือที่เรียกว่า add-one smoothing แนวคิดนั้นเข้าใจง่ายอย่างเหลือเชื่อ: สมมติว่าเราเคยเห็น N-gram ที่เป็นไปได้ทุกตัวหนึ่งครั้งมากกว่าที่เราเคยเห็นจริง

สูตรสำหรับความน่าจะเป็นจะเปลี่ยนไปเล็กน้อย เราเพิ่ม 1 ให้กับจำนวนในตัวเศษ เพื่อให้แน่ใจว่าความน่าจะเป็นยังคงรวมกันเป็น 1 เราจะเพิ่มขนาดของคำศัพท์ทั้งหมด (V) ให้กับตัวส่วน

P_laplace(wᵢ | wᵢ₋₁) = (Count(wᵢ₋₁, wᵢ) + 1) / (Count(wᵢ₋₁) + V)

• ข้อดี: ง่ายต่อการใช้งานและรับประกันว่าไม่มีความน่าจะเป็นเป็นศูนย์
• ข้อเสีย: มักจะให้ความน่าจะเป็นมากเกินไปกับเหตุการณ์ที่มองไม่เห็น โดยเฉพาะอย่างยิ่งกับคำศัพท์ขนาดใหญ่ ด้วยเหตุนี้ มันมักจะมีประสิทธิภาพไม่ดีในทางปฏิบัติเมื่อเทียบกับวิธีการขั้นสูงกว่า

Add-k Smoothing

การปรับปรุงเล็กน้อยคือ Add-k smoothing ซึ่งแทนที่จะเพิ่ม 1 เราจะเพิ่มค่าเศษส่วนเล็กๆ 'k' (เช่น 0.01) สิ่งนี้จะลดผลกระทบของการกำหนดมวลความน่าจะเป็นมากเกินไป

P_add_k(wᵢ | wᵢ₋₁) = (Count(wᵢ₋₁, wᵢ) + k) / (Count(wᵢ₋₁) + k*V)

แม้ว่าจะดีกว่า add-one แต่การหาค่า 'k' ที่เหมาะสมอาจเป็นเรื่องท้าทาย เทคนิคขั้นสูงกว่า เช่น Good-Turing smoothing และ Kneser-Ney smoothing มีอยู่และเป็นมาตรฐานในชุดเครื่องมือ NLP จำนวนมาก โดยนำเสนอวิธีที่ซับซ้อนกว่ามากในการประมาณความน่าจะเป็นของเหตุการณ์ที่มองไม่เห็น

การประเมินโมเดลภาษา: Perplexity

เราจะทราบได้อย่างไรว่าโมเดล N-gram ของเราดีหรือไม่? หรือว่าโมเดล trigram ดีกว่าโมเดล bigram สำหรับงานเฉพาะของเรา? เราต้องการเกณฑ์เชิงปริมาณสำหรับการประเมิน ตัวชี้วัดที่พบบ่อยที่สุดสำหรับโมเดลภาษาคือ perplexity

Perplexity เป็นการวัดว่าโมเดลความน่าจะเป็นทำนายตัวอย่างได้ดีเพียงใด โดยสัญชาตญาณ มันสามารถคิดได้ว่าเป็น ค่าเฉลี่ยถ่วงน้ำหนักของปัจจัยการแยกสาขา ของโมเดล หากโมเดลมี perplexity 50 นั่นหมายความว่าในแต่ละคำ โมเดลจะสับสนราวกับว่าต้องเลือกระหว่าง 50 คำที่แตกต่างกันอย่างเท่าเทียมกันและเป็นอิสระ

คะแนน perplexity ที่ต่ำกว่าจะดีกว่า เนื่องจากแสดงว่าโมเดล "ประหลาดใจ" น้อยลงกับข้อมูลทดสอบและกำหนดความน่าจะเป็นที่สูงขึ้นให้กับลำดับที่เห็นจริง

Perplexity คำนวณจากส่วนกลับของความน่าจะเป็นของชุดทดสอบ โดยปรับด้วยจำนวนคำ มักแสดงในรูปแบบลอการิทึมเพื่อการคำนวณที่ง่ายขึ้น โมเดลที่มีความสามารถในการทำนายที่ดีจะกำหนดความน่าจะเป็นที่สูงให้กับประโยคทดสอบ ซึ่งส่งผลให้ perplexity ต่ำ

ข้อจำกัดของโมเดล N-gram

แม้ว่าความสำคัญพื้นฐานของมัน โมเดล N-gram ก็มีข้อจำกัดที่สำคัญซึ่งได้ผลักดันให้สาขา NLP มุ่งสู่สถาปัตยกรรมที่ซับซ้อนยิ่งขึ้น:

• ความกระจายตัวของข้อมูล: แม้จะมีการทำให้ราบเรียบ สำหรับ N ที่ใหญ่ขึ้น (trigrams, 4-grams ฯลฯ) จำนวนชุดค่าผสมของคำที่เป็นไปได้จะเพิ่มขึ้นอย่างมาก มันเป็นไปไม่ได้ที่จะมีข้อมูลเพียงพอที่จะประมาณค่าความน่าจะเป็นสำหรับส่วนใหญ่ได้อย่างน่าเชื่อถือ
• การจัดเก็บ: โมเดลประกอบด้วยจำนวน N-gram ทั้งหมด เมื่อคำศัพท์และ N เพิ่มขึ้น หน่วยความจำที่จำเป็นในการจัดเก็บจำนวนเหล่านี้อาจมีขนาดใหญ่มาก
• ความไม่สามารถจับการพึ่งพาระยะยาว: นี่คือข้อบกพร่องที่สำคัญที่สุด โมเดล N-gram มีหน่วยความจำที่จำกัดมาก โมเดล trigram เช่น ไม่สามารถเชื่อมโยงคำหนึ่งกับอีกคำหนึ่งที่ปรากฏมากกว่าสองตำแหน่งก่อนหน้าได้ พิจารณาประโยคนี้: "ผู้เขียน ซึ่งเขียนนวนิยายขายดีหลายเล่มและอาศัยอยู่หลายทศวรรษในเมืองเล็กๆ ในประเทศห่างไกล พูดภาษา ___ ได้อย่างคล่องแคล่ว" โมเดล trigram ที่พยายามคาดเดาคำสุดท้ายจะเห็นเพียงบริบท "speaks fluent" เท่านั้น มันไม่มีความรู้เกี่ยวกับคำว่า "author" หรือสถานที่ ซึ่งเป็นเบาะแสสำคัญ มันไม่สามารถจับความสัมพันธ์ทางความหมายระหว่างคำที่ห่างไกลกันได้

นอกเหนือจาก N-grams: รุ่งอรุณของโมเดลภาษาประสาท

ข้อจำกัดเหล่านี้ โดยเฉพาะความไม่สามารถจัดการกับการพึ่งพาระยะยาว ได้ปูทางไปสู่การพัฒนาโมเดลภาษาประสาท สถาปัตยกรรมเช่น Recurrent Neural Networks (RNNs), Long Short-Term Memory networks (LSTMs) และโดยเฉพาะอย่างยิ่ง Transformers ที่ครอบงำในปัจจุบัน (ซึ่งขับเคลื่อนโมเดลเช่น BERT และ GPT) ได้รับการออกแบบมาเพื่อเอาชนะปัญหาเฉพาะเหล่านี้

แทนที่จะพึ่งพาจำนวนที่กระจายตัว โมเดลประสาทจะเรียนรู้การแสดงเวกเตอร์แบบหนาแน่นของคำ (embeddings) ที่จับความสัมพันธ์ทางความหมาย พวกมันใช้กลไกหน่วยความจำภายในเพื่อติดตามบริบทในลำดับที่ยาวกว่ามาก ทำให้พวกมันสามารถเข้าใจการพึ่งพิงที่ซับซ้อนและระยะยาวซึ่งมีอยู่ในภาษามนุษย์

บทสรุป: เสาหลักพื้นฐานของ NLP

แม้ว่า NLP สมัยใหม่จะถูกครอบงำโดยเครือข่ายประสาทขนาดใหญ่ แต่โมเดล N-gram ยังคงเป็นเครื่องมือการศึกษาที่ขาดไม่ได้และเป็นพื้นฐานที่มีประสิทธิภาพอย่างน่าประหลาดใจสำหรับหลายๆ งาน มันให้การแนะนำที่ชัดเจน เข้าใจง่าย และมีประสิทธิภาพทางคอมพิวเตอร์เกี่ยวกับความท้าทายหลักของการสร้างแบบจำลองภาษา: การใช้รูปแบบทางสถิติจากอดีตเพื่อคาดการณ์อนาคต

ด้วยการสร้างโมเดล N-gram ตั้งแต่ต้น คุณจะได้รับความเข้าใจอย่างลึกซึ้งในหลักการแรกเกี่ยวกับความน่าจะเป็น ความกระจายตัวของข้อมูล การทำให้ราบเรียบ และการประเมินผลในบริบทของ NLP ความรู้นี้ไม่ใช่แค่ประวัติศาสตร์เท่านั้น แต่เป็นรากฐานทางแนวคิดที่ซึ่งตึกระฟ้าอันยิ่งใหญ่ของ AI สมัยใหม่ถูกสร้างขึ้น มันสอนให้คุณคิดเกี่ยวกับภาษาในฐานะลำดับของความน่าจะเป็น — มุมมองที่จำเป็นสำหรับการเชี่ยวชาญโมเดลภาษาใดๆ ไม่ว่าจะซับซ้อนเพียงใด