強化学習

キョウカガクシュウ

著：森村　哲郎

理論は裏切らない
・強化学習で必要になる数理を広くカバーした。
・一貫したていねいな解説なので、じっくり読める。付録・参考文献も充実！
・ベルマン方程式、TD学習、方策勾配、POMDP、深層強化学習をより深く！

【おもな内容】
第1章　準備
1.1　強化学習とは
1.2　マルコフ決定過程と逐次的意思決定問題
1.3　方策
1.4　逐次的意思決定問題の定式化

第2章　プランニング
2.1　準備
2.2　動的計画法
2.3　動的計画法による解法
2.4　線形計画法による解法

第3章　探索と活用のトレードオフ
3.1　概要
3.2　探索と活用のトレードオフ
3.3　方策モデル

第4章　モデルフリー型の強化学習
4.1　データにもとづく意思決定
4.2　価値関数の推定
4.3　方策と行動価値関数の学習
4.4　収束性
4.5　アクター・クリティック法

第5章　モデルベース型の強化学習
5.1　問題設定の整理
5.2　環境推定
5.3　ブラックボックス生成モデルに対するプランニング
5.4　オンラインのモデルベース型強化学習

第6章　関数近似を用いた強化学習
6.1　概要
6.2　価値関数の関数近似
6.3　方策の関数近似

第7章　部分観測マルコフ決定過程
7.1　部分観測マルコフ決定過程（POMDP）の基礎
7.2　POMDP のプランニング
7.3　POMDP の学習

第8章　最近の話題
8.1　分布強化学習
8.2　深層強化学習

付録A　補足
A.1　証明
A.2　ノルム
A.3　線形計画法
A.4　自然勾配法の補足