Ｐｙｔｈｏｎで学ぶ強化学習
ﾊﾟｲｿﾝﾃﾞﾏﾅﾌﾞｷｮｳｶｶﾞｸｼｭｳ
マイページに作品情報をお届け!
強化学習が実装できる！ エンジニアのために、Ｐｙｔｈｏｎのサンプルコードとともに、ゼロからていねいに解説。実用でのネックとなる強化学習の弱点とその克服方法、さらに活用領域まで紹介した。コードも公開！ ・Pythonプログラミングとともに、ゼロからていねいに解説。 ・コードが公開されているから、すぐ実践できる。 ・実用でのネックとなる強化学習の弱点と、その克服方法まで紹介。 【おもな内容】 Day1 強化学習の位置づけを知る Day2 強化学習の解法(1): 環境から計画を立てる 価値の定義と算出: Bellman Equation 動的計画法による状態評価の学習: Value Iteration 動的計画法による戦略の学習: Policy Iteration モデルベースとモデルフリーとの違い Day3 強化学習の解法(2): 経験から計画を立てる 経験の蓄積と活用のバランス: Epsilon-Greedy法 計画の修正を実績から行うか、予測で行うか: Monte Carlo vs Temporal Difference 経験を状態評価、戦略どちらの更新に利用するか Day4 強化学習に対するニューラルネットワークの適用 強化学習にニューラルネットワークを適用する 状態評価を、パラメーターを持った関数で実装する: Value Function Approximation 状態評価に深層学習を適用する: Deep Q-Network 戦略を、パラメーターを持った関数で実装する: Policy Gradient 戦略に深層学習を適用する: Advantage Actor Critic(A2C) 状態評価か、戦略か Day5 強化学習の弱点 サンプル効率が悪い 局所最適な行動に陥る、過学習をすることが多い 再現性が低い 弱点を前提とした対応策 Day6 強化学習の弱点を克服するための手法 サンプル効率の悪さへの対応：モデルベースとの併用／表現学習 再現性の低さへの対応：進化戦略 局所最適な行動/過学習への対応：模倣学習／逆強化学習 Day7 強化学習の活用領域 行動の最適化 学習の最適化
TOPICS
機械学習スタートアップシリーズ Ｐｙｔｈｏｎで学ぶ強化学習 ［改訂第２版］ 入門から実践まで
発売日：2019年09月22日
「Ｐｙｔｈｏｎで強化学習が実装できる！」と好評を得た入門書の改訂版。読者からの要望・指摘を反映させた。主に、Ｐｏｌｉｃｙ ＧｒａｄｉｅｎｔとＡ２Ｃの記述・実装を見直した。 ・Pythonプログラミングとともに、ゼロからていねいに解説。 ・コードが公開されているから、すぐ実践できる。 ・実用でのネックとなる強化学習の弱点と、その克服方法まで紹介。 【おもな内容】 Day1 強化学習の位置づけを知る 強化学習とさまざまなキーワードの関係 強化学習のメリット・デメリット 強化学習における問題設定：Markov Decision Process Day2 強化学習の解法(1): 環境から計画を立てる 価値の定義と算出: Bellman Equation 動的計画法による状態評価の学習: Value Iteration 動的計画法による戦略の学習: Policy Iteration モデルベースとモデルフリーとの違い Day3 強化学習の解法(2): 経験から計画を立てる 経験の蓄積と活用のバランス: Epsilon-Greedy法 計画の修正を実績から行うか、予測で行うか: Monte Carlo vs Temporal Difference 経験を価値評価、戦略どちらの更新に利用するか：Valueベース vs Policyベース Day4 強化学習に対するニューラルネットワークの適用 強化学習にニューラルネットワークを適用する 価値評価を、パラメーターを持った関数で実装する：Value Function Approximation 価値評価に深層学習を適用する：Deep Q-Network 戦略を、パラメーターを持った関数で実装する：Policy Gradient 戦略に深層学習を適用する：Advantage Actor Critic (A2C) 価値評価か、戦略か Day5 強化学習の弱点 サンプル効率が悪い 局所最適な行動に陥る、過学習をすることが多い 再現性が低い 弱点を前提とした対応策 Day6 強化学習の弱点を克服するための手法 サンプル効率の悪さへの対応: モデルベースとの併用/表現学習 再現性の低さへの対応: 進化戦略 局所最適な行動/過学習への対応: 模倣学習/逆強化学習 Day7 強化学習の活用領域 行動の最適化 学習の最適化
PUBLICATIONS
全2件