NLPの基礎構築：Nグラム言語モデル実装の詳細解説

スマートアシスタントから検索エンジンを動かす洗練されたアルゴリズムまで、人工知能が主流の時代において、言語モデルはこれらのイノベーションの多くを駆動する目に見えないエンジンです。スマートフォンが次に入力したい単語を予測できたり、翻訳サービスが流暢にある言語を別の言語に変換できるのは、言語モデルのおかげです。しかし、これらのモデルは実際にどのように機能するのでしょうか？GPTのような複雑なニューラルネットワークが登場する以前、計算言語学の基礎は、美しくシンプルでありながら強力な統計的アプローチ、すなわちNグラムモデルの上に築かれていました。

この包括的なガイドは、データサイエンティストやソフトウェアエンジニアを目指す人々、そして好奇心旺盛なテクノロジー愛好家という世界中の読者を対象としています。私たちは基本に立ち返り、Nグラム言語モデルの背後にある理論を解き明かし、ゼロからモデルを構築するための実践的でステップバイステップのウォークスルーを提供します。Nグラムを理解することは、単なる歴史の勉強ではありません。それは、自然言語処理（NLP）における強固な基盤を築くための重要なステップなのです。

言語モデルとは何か？

言語モデル（LM）の核心は、単語のシーケンスに対する確率分布です。簡単に言えば、その主なタスクは「ある単語のシーケンスが与えられたとき、次に来る可能性が最も高い単語は何か？」という基本的な問いに答えることです。

次の文を考えてみましょう：「生徒たちは自分たちの ___ を開いた。」

よく訓練された言語モデルは、「本」「ラップトップ」「心」のような単語には高い確率を割り当て、「光合成」「象」「高速道路」のような単語には極めて低い、ほぼゼロの確率を割り当てます。単語シーケンスの尤度を定量化することにより、言語モデルは機械が人間言語を首尾一貫した方法で理解、生成、処理することを可能にします。

その応用範囲は広大で、私たちの日常のデジタルライフに統合されています。以下はその一部です：

• 機械翻訳： 出力文が対象言語で流暢かつ文法的に正しいことを保証する。
• 音声認識： 音声的に似たフレーズ（例：「recognize speech」と「wreck a nice beach」）を区別する。
• 予測テキストとオートコンプリート： 入力中に次の単語やフレーズを提案する。
• スペルと文法チェック： 統計的にあり得ない単語シーケンスを特定し、フラグを立てる。

Nグラムの紹介：中核となる概念

Nグラムとは、与えられたテキストや音声のサンプルから得られる「n」個のアイテムの連続したシーケンスのことです。「アイテム」は通常は単語ですが、文字、音節、あるいは音素であることもあります。Nグラムの「n」は数字を表し、特定の名前につながります：

• ユニグラム (n=1)： 1つの単語。（例：「The」、「quick」、「brown」、「fox」）
• バイグラム (n=2)： 2つの単語のシーケンス。（例：「The quick」、「quick brown」、「brown fox」）
• トライグラム (n=3)： 3つの単語のシーケンス。（例：「The quick brown」、「quick brown fox」）

Nグラム言語モデルの基本的な考え方は、シーケンス内の次の単語を、その前に来た「n-1」個の単語を見ることによって予測できるというものです。文の完全な文法的・意味的複雑さを理解しようとする代わりに、問題の難易度を劇的に下げる単純化の仮定を置きます。

Nグラムの背後にある数学：確率と単純化

文（単語のシーケンス W = w₁, w₂, ..., wₖ）の確率を形式的に計算するために、確率の連鎖律を使用できます：

P(W) = P(w₁) * P(w₂|w₁) * P(w₃|w₁, w₂) * ... * P(wₖ|w₁, ..., wₖ₋₁)

この式は、シーケンス全体の確率は、各単語がそれ以前のすべての単語を条件とする条件付き確率の積であると述べています。数学的には正しいものの、このアプローチは非現実的です。長い先行単語の履歴（例：P(単語 | 「The quick brown fox jumps over the lazy dog and then...」)）が与えられた場合の単語の確率を計算するには、信頼できる推定を行うのに十分な例を見つけるために、膨大な量のテキストデータが必要になります。

マルコフの仮定：実用的な単純化

ここでNグラムモデルが最も重要な概念であるマルコフの仮定を導入します。この仮定は、ある単語の確率が、固定された数の直前の単語にのみ依存すると述べています。私たちは、直前の文脈だけで十分であり、より遠い履歴は破棄できると仮定します。

• バイグラムモデル (n=2) の場合、ある単語の確率は直前の1つの単語にのみ依存すると仮定します：
  P(wᵢ | w₁, ..., wᵢ₋₁) ≈ P(wᵢ | wᵢ₋₁)
• トライグラムモデル (n=3) の場合、直前の2つの単語に依存すると仮定します：
  P(wᵢ | w₁, ..., wᵢ₋₁) ≈ P(wᵢ | wᵢ₋₁, wᵢ₋₂)

この仮定により、問題は計算上扱いやすくなります。単語の確率を計算するために、その単語の完全な履歴を見る必要はなく、直前のn-1個の単語だけでよくなります。

Nグラム確率の計算

マルコフの仮定を置いた上で、これらの単純化された確率をどのように計算するのでしょうか？私たちは最尤推定（Maximum Likelihood Estimation, MLE）と呼ばれる方法を使用します。これは、訓練テキスト（コーパス）のカウントから直接確率を得るということを、洗練された言葉で表現したものです。

バイグラムモデルの場合、単語wᵢ₋₁の後に単語wᵢが続く確率は次のように計算されます：

P(wᵢ | wᵢ₋₁) = Count(wᵢ₋₁, wᵢ) / Count(wᵢ₋₁)

言葉で説明すると、単語Aの後に単語Bが現れる確率は、ペア「A B」を見た回数を、単語「A」を合計で見た回数で割ったものです。

小さなコーパスを例に使いましょう：「The cat sat. The dog sat.」

• Count("The") = 2
• Count("cat") = 1
• Count("dog") = 1
• Count("sat") = 2
• Count("The cat") = 1
• Count("The dog") = 1
• Count("cat sat") = 1
• Count("dog sat") = 1

「The」の後に「cat」が来る確率は？
P("cat" | "The") = Count("The cat") / Count("The") = 1 / 2 = 0.5

「cat」の後に「sat」が来る確率は？
P("sat" | "cat") = Count("cat sat") / Count("cat") = 1 / 1 = 1.0

ゼロからのステップバイステップ実装

それでは、この理論を実践的な実装に移してみましょう。ここでは言語に依存しない方法でステップを概説しますが、このロジックはPythonのような言語に直接マッピングできます。

ステップ1：データの前処理とトークン化

何かを数える前に、テキストコーパスを準備する必要があります。これはモデルの品質を左右する重要なステップです。

1. トークン化： テキストの本体をトークン（この場合は単語）と呼ばれる小さな単位に分割するプロセスです。例えば、「The cat sat.」は ["The", "cat", "sat", "."] になります。
2. 小文字化： すべてのテキストを小文字に変換するのが標準的な慣行です。これにより、モデルが「The」と「the」を2つの異なる単語として扱うのを防ぎ、カウントを統合してモデルをより堅牢にするのに役立ちます。
3. 開始・終了トークンの追加： これは非常に重要なテクニックです。各文の最初と最後に<s>（開始）や</s>（終了）のような特別なトークンを追加します。なぜでしょうか？これにより、モデルは文の冒頭の単語の確率（例：P("The" | <s>)）を計算でき、文全体の確率を定義するのに役立ちます。私たちの例文「the cat sat.」は ["<s>", "the", "cat", "sat", ".", "</s>"] になります。

ステップ2：Nグラムのカウント

各文に対してクリーンなトークンのリストができたら、コーパスを反復処理してカウントを取得します。これに最適なデータ構造は辞書またはハッシュマップで、キーはNグラム（タプルとして表現）、値はその頻度です。

バイグラムモデルの場合、2つの辞書が必要になります：

• unigram_counts：各個別の単語の頻度を格納します。
• bigram_counts：各2単語シーケンスの頻度を格納します。

トークン化された文をループ処理します。["<s>", "the", "cat", "sat", "</s>"]のような文に対して、次の操作を行います：

• ユニグラムのカウントをインクリメント："<s>"、"the"、"cat"、"sat"、"</s>"。
• バイグラムのカウントをインクリメント：("<s>", "the")、("the", "cat")、("cat", "sat")、("sat", "</s>")。

ステップ3：確率の計算

カウント辞書が作成されたら、確率モデルを構築できます。これらの確率は別の辞書に格納するか、その都度計算することができます。

P(word₂ | word₁)を計算するには、bigram_counts[(word₁, word₂)]とunigram_counts[word₁]を取得して割り算を行います。すべての可能な確率を事前に計算し、高速なルックアップのために保存しておくのが良い方法です。

ステップ4：テキスト生成（楽しい応用）

モデルをテストする素晴らしい方法は、新しいテキストを生成させることです。プロセスは次のようになります：

1. 開始トークン<s>のような初期コンテキストから始めます。
2. <s>で始まるすべてのバイグラムと、それに関連する確率を検索します。
3. この確率分布に基づいて次の単語をランダムに選択します（確率が高い単語ほど選ばれやすくなります）。
4. コンテキストを更新します。新しく選ばれた単語が次のバイグラムの最初の部分になります。
5. 終了トークン</s>を生成するか、希望の長さに達するまでこのプロセスを繰り返します。

単純なNグラムモデルによって生成されたテキストは、完全に首尾一貫しているとは限らないかもしれませんが、しばしば文法的に妥当な短い文を生成し、基本的な単語間の関係を学習したことを示します。

スパース性の課題とその解決策：スムージング

もしモデルがテスト中に、訓練中には一度も見たことのないバイグラムに遭遇したらどうなるでしょうか？例えば、訓練コーパスに「the purple dog」というフレーズが含まれていなかった場合、次のようになります：

Count("the", "purple") = 0

これは、P("purple" | "the") が0になることを意味します。もしこのバイグラムが評価しようとしている長い文の一部であれば、すべての確率を掛け合わせているため、文全体の確率がゼロになってしまいます。これはゼロ確率問題であり、データスパース性の一つの現れです。訓練コーパスが考えられるすべての有効な単語の組み合わせを含んでいると仮定するのは非現実的です。

これに対する解決策がスムージングです。スムージングの核心的な考え方は、観測されたNグラムから少量の確率質量を取り、観測されなかったNグラムに分配することです。これにより、どの単語シーケンスも確率が厳密にゼロにならないように保証されます。

ラプラス（加算1）スムージング

最も単純なスムージング手法は、ラプラススムージング、別名「加算1スムージング」です。この考え方は非常に直感的です：すべての可能なNグラムを、実際よりも1回多く見たと仮定するのです。

確率の計算式が少し変わります。分子のカウントに1を加えます。確率の合計が1になるように、分母には語彙全体のサイズ（V）を加えます。

P_laplace(wᵢ | wᵢ₋₁) = (Count(wᵢ₋₁, wᵢ) + 1) / (Count(wᵢ₋₁) + V)

• 長所： 実装が非常に簡単で、ゼロ確率を保証します。
• 短所： 特に語彙が大きい場合、未観測のイベントに過剰な確率を与えすぎることが多いです。このため、より高度な手法と比較して、実際には性能が低いことが多いです。

加算kスムージング

わずかな改善が加算kスムージングです。1を加える代わりに、小さな小数値「k」（例：0.01）を加えます。これにより、確率質量を再割り当てしすぎる影響を和らげます。

P_add_k(wᵢ | wᵢ₋₁) = (Count(wᵢ₋₁, wᵢ) + k) / (Count(wᵢ₋₁) + k*V)

加算1スムージングよりは優れていますが、最適な「k」を見つけるのは難しい場合があります。Good-TuringスムージングやKneser-Neyスムージングのような、より高度なテクニックが存在し、多くのNLPツールキットで標準となっており、未観測イベントの確率を推定するための、はるかに洗練された方法を提供しています。

言語モデルの評価：パープレキシティ

私たちのNグラムモデルが良いものかどうか、あるいは特定のタスクに対してトライグラムモデルがバイグラムモデルよりも優れているかを、どうやって知ることができるでしょうか？評価のためには定量的な指標が必要です。言語モデルで最も一般的な指標はパープレキシティです。

パープレキシティは、確率モデルがサンプルをどれだけうまく予測できるかの尺度です。直感的には、モデルの加重平均分岐因子と考えることができます。モデルのパープレキシティが50である場合、それは各単語において、モデルが50個の異なる単語から一様かつ独立に選択しなければならないのと同じくらい混乱していることを意味します。

パープレキシティのスコアは低いほど良いです。これは、モデルがテストデータにあまり「驚かず」、実際に観測されたシーケンスにより高い確率を割り当てていることを示します。

パープレキシティは、テストセットの逆確率を単語数で正規化して計算されます。計算を容易にするため、しばしば対数形式で表現されます。優れた予測能力を持つモデルは、テスト文に高い確率を割り当てるため、結果として低いパープレキシティになります。

Nグラムモデルの限界

その基礎的な重要性にもかかわらず、Nグラムモデルには、NLP分野をより複雑なアーキテクチャへと向かわせた重要な限界があります：

• データスパース性： スムージングを用いても、より大きなN（トライグラム、4グラムなど）の場合、考えられる単語の組み合わせの数は爆発的に増加します。そのほとんどについて、信頼できる確率を推定するのに十分なデータを持つことは不可能になります。
• ストレージ： モデルはすべてのNグラムのカウントで構成されます。語彙とNが大きくなるにつれて、これらのカウントを保存するために必要なメモリは膨大になる可能性があります。
• 長距離の依存関係を捉えられないこと： これが最も致命的な欠点です。Nグラムモデルの記憶は非常に限られています。例えば、トライグラムモデルは、ある単語を2つ以上前に現れた別の単語と結びつけることができません。この文を考えてみてください：「ベストセラー小説を何冊も書き、遠い国の小さな町に何十年も住んでいたその作家は、流暢な ___ を話す。」最後の単語を予測しようとするトライグラムモデルは、「流暢な」という文脈しか見ていません。重要な手がかりである「作家」や場所についての知識がありません。遠く離れた単語間の意味的関係を捉えることができないのです。

Nグラムを超えて：ニューラル言語モデルの夜明け

これらの限界、特に長距離の依存関係を扱えないという問題が、ニューラル言語モデルの開発への道を開きました。リカレントニューラルネットワーク（RNN）、長・短期記憶ネットワーク（LSTM）、そして特に現在主流となっているトランスフォーマー（BERTやGPTのようなモデルを動かしている）といったアーキテクチャは、これらの特定の問題を克服するために設計されました。

スパースなカウントに頼る代わりに、ニューラルモデルは単語の密なベクトル表現（埋め込み）を学習し、それが意味的な関係を捉えます。内部の記憶メカニズムを使用して、はるかに長いシーケンスにわたって文脈を追跡し、人間言語に固有の複雑で長距離の依存関係を理解することを可能にします。

結論：NLPの基礎となる柱

現代のNLPは大規模なニューラルネットワークに支配されていますが、Nグラムモデルは依然として不可欠な教育ツールであり、多くのタスクにおいて驚くほど効果的なベースラインです。これは、言語モデリングの中核的な課題、すなわち過去の統計的パターンを用いて未来を予測するという課題に対して、明確で、解釈可能で、計算効率の良い導入を提供します。

Nグラムモデルをゼロから構築することで、NLPの文脈における確率、データスパース性、スムージング、評価について、深く、第一原理的な理解を得ることができます。この知識は単に歴史的なものではなく、現代のAIという高層ビルが建てられている概念的な岩盤です。それは、言語を確率のシーケンスとして考えることを教えてくれます。この視点は、どんなに複雑な言語モデルであっても、それを習得するために不可欠なものです。