前後だけ見れば良いマルコフ連鎖とは？
うぱうぱ～！今回はマルコフ連鎖について述べます。先にマルコフ連鎖がどのような場面で使うかを知ってからマルコフ連鎖について知っていきましょう。
マルコフ連鎖の使う場面
マルコフ連鎖は以下のような場面で有用なモデルとして使用されます。
確率的な系列データのモデリング
マルコフ連鎖は、時間的な依存関係を持つ系列データのモデリングに適しています。例えば、自然言語処理では文章や文の生成、単語の予測などに利用されます。また、天候の変化や株価の変動、トラフィックパターンなどの時間的なパターンを予測するためにも使用されます。
マルコフ決定過程
マルコフ連鎖の一種であるマルコフ決定過程（Markov Decision Process）は、強化学習において状態、行動、報酬の関係をモデル化するために使用されます。エージェントが状態を観測し、行動を選択することで報酬を獲得する問題に対して、最適な行動方策を見つける手法として利用されます。
サンプリングや乱数の生成
マルコフ連鎖はランダムな系列を生成するためにも使用されます。特にマルコフ連鎖モンテカルロ法（Markov Chain Monte Carlo, MCMC）は、複雑な確率分布からのサンプリングに利用され、統計的な推論やベイズ推定などで重要な役割を果たします。
パターン認識やデータ解析
マルコフ連鎖はパターン認識やデータ解析においても応用されます。例えば、音声や画像の認識、テキストマイニング、ネットワーク解析などのタスクにおいて、マルコフ連鎖を用いた統計モデルや機械学習手法が使用されます。
このようにマルコフ連鎖は機械学習やデータ解析の分野で利用されます。次はこれの正しい基礎的な理解について知ってい
きましょう。
マルコフ連鎖で重要な確率過程とは
確率過程の定義は、確率変数の時間(n回目など)と紐づいており、時間についてひとまとめにしたものです。ざっくりというと、n回目の出来事を表す確率変数を集めたものです。
マルコフ連鎖(Markov Chain)とは
ランダムな繊維の連続的な体系を記述するための確率的なモデルです。簡単に言うと、現在の状態は一個前の過去の状態に依存し、次の状態は現在の状態にのみ依存(確率的に決定する)することを意味します。具体的な例を見ていきましょう。
以下の状態について考えます。
3つの状態A、Bを持つマルコフ連鎖の遷移確率行列Pを考えましょう。
P = [[0.6, 0.4],[0.7, 0.3]について考えてみましょう。
状態は状態遷移図で書くと分かりやすくなります。
上記は状態AからAに行く確率は0.6を表しています。
絶対に理解しておくべき定常分布
状態遷移を繰り返していくとマルコフ連鎖は定常分布になるということが分かっています。これは回数を重ねれば重ねるほど一定の分布に変化することを意味します。この性質がマルコフ連鎖で重要です。その計算をするには、
[tex:\pi=\pi A
]になるを求めます。
は行が全て同じ確率になるので分布は一行のみで十分です。
まとめ
マルコフ連鎖は前後関係のみに依存し、最終的には定常分布になります。定常分布は計算で求めることができ、状態遷移は図を書くことでわかりやすくなるということが分かりましたか？ここでは言葉中心で残しています。
