ロボット制御のための深層強化学習入門と最前線～フィジカルAIを支える中核理論～

セミナー趣旨

  強化学習（Reinforcement Learning: RL）は、近年のフィジカルAIを支える中核的な理論の一つとして、大きな期待が寄せられています。本セミナーでは、ロボットの高度な運動制御技術の最前線とも言える強化学習について、以下の内容を目的意識ベースで体系的に解説します。
  基礎:強化学習の問題設定（マルコフ決定過程など）のレベルから、基礎を固めます。
  理論とアルゴリズム:深層強化学習（Deep RL）としてこれまで行われてきた様々な理論・アルゴリズムの改善について、その背景と目的を明確にしながら解説します。
  最新の枠組み:世界的に開発・量産が急加速している最新ヒューマノイドロボットが採用している、近年の強化学習の主要な枠組みについても、そのエッセンスを簡潔にご紹介します。
  本セミナーを通して、受講者の皆様が強化学習をロボット制御に応用するための確かな基礎知識と、最新動向を理解する視点を養うことを目指します。

受講対象・レベル

・深層強化学習の基礎知識を身につけたい方
・最先端のロボット制御を実装したい方
・近年のフィジカルAIについて理解を深めたい方

必要な予備知識

大学１～２年度の数学知識（線形代数、微積分・偏微分、確率）

習得できる知識

・深層強化学習の基礎
・ロボット制御に関する最新動向
など

セミナープログラム

１．強化学習とは
　1.1　強化学習の目的
　1.2　マルコフ決定過程
　1.3　学習すべき要素
２．基礎となるアルゴリズム
　2.1　価値関数の学習：TD学習
　2.2　方策関数の学習：方策勾配法
３．深層強化学習への発展
　3.1　学習を安定化・効率化させるテクニック
　　3.1.1　経験再生
　　3.1.2　ターゲットネットワーク
　3.2　最新のActor-Criticアルゴリズム
　　3.2.1　方策更新の制限：PPO
　　3.2.2　方策エントロピーの最大化：SAC
４．モデルベース強化学習
　4.1　世界モデルの学習
　4.2　世界モデルの活用例
５．ドメイン知識を活用した発展
　5.1　Sim-to-Real転移
　5.2　Guided強化学習
＜質疑応答＞

＊途中、小休憩を挟みます。

セミナー講師

 国立情報学研究所 情報学プリンシプル研究系 助教　小林 泰介 氏

■ご略歴
2016年9月に名古屋大学大学院を修了、博士（工学）取得。2016年11月から2022年3月まで奈良先端大学院大学助教。
2022年4月から現在まで国立情報学研究所／総合研究大学院大学助教。　
2016年4月から10月まで日本学術振興会特別研究員、2018年5月から2019年3月までミュンヘン工科大学滞在研究員、
2020年12月から2022年3月までJSTさきがけ研究者。
専門はロボットの運動制御、機械学習理論。

セミナー受講料

【オンライン受講（見逃し視聴なし）】：1名 46,200円(税込（消費税10％）、資料付)
＊1社2名以上同時申込の場合、1名につき35,200円

【オンライン受講（見逃し視聴あり）】：1名 51,700円(税込（消費税10％）、資料付)
＊1社2名以上同時申込の場合、1名につき40,700円

＊学校法人割引：学生、教員のご参加は受講料50％割引。

受講について

• 配布資料はPDF等のデータで送付予定です。受取方法はメールでご案内致します。
  （開催1週前～前日までには送付致します）
  ※準備の都合上、開催1営業日前の12:00までにお申し込みをお願い致します。
  （土、日、祝日は営業日としてカウント致しません。）
• 受講にあたってこちらをご確認の上、お申し込みください。
• Zoomを使用したオンラインセミナーです
  →環境の確認についてこちらからご確認ください
• 申込み時に（見逃し視聴有り）を選択された方は、見逃し視聴が可能です
  →こちらをご確認ください