基礎から学べる強化学習〜アルゴリズムの基本原理から応用例まで〜

【強化学習　入門セミナー】

簡単な例題やデモを通して、強化学習が
うまく働く仕組みや応用例を解説！
マルコフ決定過程や代表的なアルゴリズムなどの基礎から、
実装時に生じる諸問題と解決策、Pythonによる実装デモ、
ロボット制御や脳の意思決定モデル等への応用まで

セミナー講師

奈良先端科学技術大学院大学
先端科学技術研究科情報科学領域　准教授　吉本 潤一郎 先生

■ご略歴：
1998年　関西大学総合情報学部卒業
2002年　奈良先端科学技術大学院大学情報科学研究科博士後期課程修了（博士（工学）取得）
2002-2004年　科学技術振興機構CREST研究員
2004-2015年　沖縄科学技術大学院大学神経計算ユニット研究員（2010よりグループリーダに昇格）
2015年-現在　奈良先端科学技術大学院大学情報科学研究科（2018より先端科学技術研究科情報科学領域に改組）准教授

■ご専門および得意な分野・研究：
ニューロコンピューティング、機械学習、計算神経科学、ニューロインフォマティクス

■本テーマ関連学協会でのご活動：
・電子情報通信学会和文論文誌D編集副委員長
・情報処理学会バイオ情報学研究会幹事
・IEEE Computational Intelligence Society JAPAN CHAPTER Secretaryなど

セミナー受講料

1名41,800円(税込（消費税10％）、資料付)
　＊1社2名以上同時申込の場合、1名につき30,800円
　＊学校法人割引；学生、教員のご参加は受講料50％割引。

セミナー趣旨

　強化学習とは環境とのインタラクションを通して試行錯誤的に最適な戦略や行動選択則を獲得する機械学習法の枠組みです。囲碁や将棋の世界では、人工知能が人間エキスパートを超えるようになり世の中を驚かせましたが、それには強化学習が大きな貢献を果たしました。では、強化学習を使えば何でもできるのでしょうか？それとも、強化学習にも苦手な応用分野はあるのでしょうか？それを知るには強化学習の基本原理を理解する必要があります。
　本セミナーでは、簡単な例題やプログラム演習を通して、強化学習がうまく働く仕組みや応用例を解説するとともに、脳の情報処理との相同性や相違性をご紹介したいと思います。

受講対象・レベル

・強化学習についてゼロから学びたいと考えている方
・強化学習アルゴリズムのプログラム実装にチャレンジしたいと考えている方
・強化学習モデルを利用して行動データの解析を試してみたいと考えている方
・その他、本テーマに興味のある方なら、どなたでも受講可能です。

必要な予備知識

高校卒業レベルの線形代数と基礎解析の知識があると望ましいですが、この分野に興味のある方なら、特に予備知識は必要ありません。

習得できる知識

・強化学習の基礎知識と応用例
・Pythonによる強化学習アルゴリズムの実装方法
・強化学習モデルを利用したヒトや動物の行動解析法など

セミナープログラム

１．はじめに
　1）例題から学ぶ機械学習と強化学習の位置づけ
　2）強化学習の歴史

２．強化学習の基礎理論
　1）マルコフ決定過程による問題の定式化とその解法
　　① マルコフ決定過程
　　② 価値反復法
　　③ 方策反復法
　2）代表的な強化学習アルゴリズム
　　① モンテカルロ法
　　② TD学習法
　　③ Q学習法
　　④ SARSA法
　　⑤ モデル同定型強化学習法
　　⑥ 方策勾配法
　3）アルゴリズム実装時に生じる諸問題とその解決法
　　① 探索と知識利用のジレンマ
　　② メタ学習
　　③ 連続空間・高次元空間への対応とDQN
　　④ 部分観測問題への対応

３．プログラミング演習：Pythonによる強化学習アルゴリズムの実装

４．強化学習の応用例
　1）ロボットの自動制御
　2）ゲームエージェントの学習
　3）脳の意思決定モデルと行動解析

５．質疑応答・名刺交換・個別相談