Transformerの応用と最新技術動向

様々な分野で使われはじめている機械学習モデル
Transformerについて、基礎となる理論と応用を解説！

BERTとGPTの2つのモデルについて、人工的なタスク設定と表現学習の観点から説明します。

自然言語 / 音声 / 画像への応用

セミナー講師

速水 悟（はやみずさとる）氏　 早稲田大学　研究院教授（博士（工学））

セミナー受講料

お1人様受講の場合　51,700円[税込]／1名
1口でお申込の場合　62,700円[税込]／1口（3名まで受講可能）

受講申込ページで2～3名を同時に申し込んだ場合、自動的に1口申し込みと致します。

受講について

• 本セミナーの受講にあたっての推奨環境は「Zoom」に依存しますので、ご自分の環境が対応しているか、お申込み前にZoomのテストミーティング（http://zoom.us/test）にアクセスできることをご確認下さい。
• インターネット経由でのライブ中継ため、回線状態などにより、画像や音声が乱れる場合があります。講義の中断、さらには、再接続後の再開もありますが、予めご了承ください。
• 受講中の録音・撮影等は固くお断りいたします。

セミナー趣旨

  本セミナーでは、様々な分野で使われるようになってきたTransformerについて、基礎となる理論と応用を解説します。
  自然言語、音声、画像の3つの分野における応用を解説します。Transformerは再帰型ネットワークを用いず並列処理が可能なモデルであるとともに、複数の自己注意機構を実現できるという特徴があります。BERTとGPTの2つのモデルについて、人工的なタスク設定と表現学習の観点から解説します。最後にGPT-3 の応用として、テキストからの画像生成を紹介します。

セミナープログラム

1　系列変換モデルと注意機構
　1.1　再帰型ネットワークとLSTM
　1.2　系列変換モデル
　1.3　注意機構による対応付け
　1.4　自己注意機構
　1.5　Transformer

2　 Transformerの応用
　2.1　機械翻訳への適用
　2.2　音声分野における応用（Conformer）
　2.3　画像分野における応用（Vision Transformer）

3　言語処理と言語生成への適用
　3.1　人工的なタスク設定と表現学習
　3.2　BERT（Bidirectional Encoder Representations from Transformers）
　3.3　GPT（Generative Pre-trained Transformer）
　3.4　テキストからの画像生成（DALL-E）