生成モデルの数理 3 —— ランジュバン方程式とウィーナー過程

前章までで、データを生成する確率分布を「エネルギー（ポテンシャル）」を用いてモデル化する手法を学びました。 本章では、このポテンシャルの上を粒子が「熱ゆらぎ（ノイズ）」を受けながら連続的に移動していく様子を記述する方程式を導出します。これは物理学において「ランジュバン方程式」と呼ばれ、現代の強力な生成AIである「拡散モデル」の理論的根幹をなす極めて重要な数理です。

1. 微小時間のランダムウォーク

空間上にある粒子が、微小な時間 の間に、距離 だけ移動するランダムウォークを考えます。 もし空間が平坦であれば、右に行く確率も左に行く確率も完全に半々（）です。しかし、空間にポテンシャルエネルギー の「傾き」がある場合、低い方へ転がろうとする力が働くため、確率はわずかに偏ります。

この遷移確率 を、ポテンシャルの傾き（力） を用いて次のように置きます。

この微小な動きを、平均と分散を持つ「ガウス分布（正規分布）」として近似し、さらに標準正規分布 に従うノイズ を用いた「リパラメトリゼーション（再パラメータ化）」を行うと、粒子の位置の更新は次のように書けます。

2. アインシュタインのスケーリングとランジュバン方程式

ここから時間を連続（極限）に近づけていくための魔法を使います。 ランダムウォークする粒子の分散（広がりの大きさ）は、経過時間に比例することが知られています。これを「アインシュタインのスケーリング」と呼びます。

これを先ほどの更新式に代入し、連続極限（）をとります。ノイズの項 を、確率的に変動する微小な量 と置くと、次のような微分方程式が得られます。

さらに、物理学的な「温度 」によるゆらぎの大きさを導入したものが、以下の「ランジュバン方程式」です。

第1項は「ポテンシャルの低い方へ下ろうとする力（ドリフト項）」、第2項は「ランダムに揺さぶるノイズ（拡散項）」を表しています。

3. ウィーナー過程と「」の不思議

方程式に登場した は、平均 、分散 の正規分布に従うランダムな変数です。このような確率過程を「ウィーナー過程（ブラウン運動）」と呼びます。

ここで非常に奇妙な性質が現れます。分散が であるということは、 を2乗したものの期待値 が に等しくなるということです。 細かい極限の計算を省いて直感的に言えば、確率微積分において以下のルールが成立するのです。

通常の微積分では、微小量 の2乗 は「ゼロ」として無視されますが、ウィーナー過程を含むノイズの2乗は という「時間と同じオーダーの量」として生き残ってしまうのです。

4. 伊藤の公式（伊藤ルール）

この奇妙な性質により、確率変数に対する微分（テイラー展開）のルールが通常とは変わってしまいます。 ある関数 の微小変化 をテイラー展開してみます。

ここにランジュバン方程式 を代入して を計算します。 や の項は小さすぎて消えますが、唯一 の項だけが のルールによって生き残ります。

このように、通常の微分則に「2階微分のノイズ補正項」が加わる法則を「伊藤の公式（伊藤ルール）」と呼びます。

5. 個の動きから分布の動きへ —— フォッカー・プランク方程式

ランジュバン方程式は「個々の粒子」の軌跡を追うものでした。最後に、無数の粒子が集まったときの「確率分布 全体の時間変化」を導出します。 任意のテスト関数 の期待値の時間変化 を考えます。

一方では、確率分布 自体が時間変化すると考えて積分で表します。

もう一方では、伊藤ルールで求めた の式を用いて積分で表します。

ここで「部分積分」というテクニックを使い、テスト関数 にかかっている微分を、強引に確率分布 の方に押し付けます。 境界（無限遠）での値がゼロになると仮定して整理し、両者の式を見比べると、任意の について成り立つためには、確率分布 自体が次の方程式を満たさなければならないことが導かれます。

これを「フォッカー・プランク方程式（Fokker-Planck Equation）」と呼びます。 右辺の第1項は確率の「流れ（移流）」、第2項は確率の「広がり（拡散）」を意味します。個々の粒子のランダムな動き（SDE）が、全体としてどのように滑らかな分布の変化（偏微分方程式）を生み出すのかを完璧に結びつける、極めて美しい数理的結果です。