深層学習による自然言語処理

深層学習の初歩から
Transformer・BERTの基本的な考え方まで

セミナー講師

須藤 克仁（すどうかつひと）　氏
奈良先端科学技術大学院大学 先端科学技術研究科 情報科学領域 准教授（博士（情報学））
（データ駆動型サイエンス創造センター 兼務）

セミナー受講料

お1人様受講の場合　50,600円[税込]／1名
1口でお申込の場合　61,600円[税込]／1口（3名まで受講可能）

受講申込ページで2～3名を同時に申し込んだ場合、自動的に1口申し込みと致します。

受講について

• 本セミナーの受講にあたっての推奨環境は「Zoom」に依存しますので、ご自分の環境が対応しているか、お申込み前にZoomのテストミーティング（http://zoom.us/test）にアクセスできることをご確認下さい。
• インターネット経由でのライブ中継ため、回線状態などにより、画像や音声が乱れる場合があります。講義の中断、さらには、再接続後の再開もありますが、予めご了承ください。
• 受講中の録音・撮影等は固くお断りいたします。

セミナー趣旨

  　深層学習の手法が自然言語処理に導入され始めて10年ほどが経過し、機械翻訳を筆頭に自然言語処理技術を取り巻く環境は大きく変貌を遂げたと言ってよい。
　本講義では、最近の技術的基盤となっているTransformerとBERTの基本的な考え方を理解することを目標に、深層学習の初歩的な内容からの主要な技術とその自然言語処理への応用について概説する。

セミナープログラム

1. ニューラルネットワークの基礎
   1. ロジスティック回帰
   2. 多層ニューラルネットワーク
   3. 誤差逆伝播による学習
2. 深層学習による系列変換モデル
   1. 回帰型ニューラルネットワーク（RNN）
   2. RNNによる系列変換モデル
   3. 注視機構を持つ系列変換モデル
3. Transformerとその応用
   1. RNNによる系列変換モデルの課題
   2. Transformerの構成要素
   3. Transformerの学習
   4. Transformerの応用
4. BERTとその応用
   1. BERTの構成
   2. BERTの学習
   3. BERTの応用