最尤推定を誤り訂正したらベイズ推定になった話

一木輝久氏（福岡大学）

2023/05/16 10:00-

データの背景にある確率密度を推定する際に最もよく用いられるのは最尤法であろう．最尤推定の目的は真の確率密度に最も近い確率モデルを選択することにある．しかし真の確率密度は未知であるため、経験分布を手掛かりに確率モデルを選択することになる．このため最尤推定はデータに過剰にフィットしてしまうという問題点を持っている．よく考えてみるとこの状況は通信分野と似ていることに気がつく．すなわち、通信路のノイズのために劣化したメッセージから正しいメッセージを復元することと似ている．通信分野では正しいメッセージを復元するために誤り訂正の技術が用いられる．本講演では、最尤推定の問題点を誤り訂正の観点から再考察する．誤り訂正符号ではゲージ対称性が重要な役割を果たしていることが指摘されているが、最尤推定においてもKullback-Leiblerダイバージェンスのゲージ対称性に注目することにより、誤り訂正と同様の確率モデル選択ができることを示す．これにより得られる確率モデルは、従来の最尤法で得られる確率モデルよりも真の分布に近いことを示す．