Transformerの応用と最新技術動向

セミナー趣旨

  　本セミナーでは、様々な分野で使われるようになってきた Transformerについて、基礎となる理論と応用を解説します。
　自然言語、音声、画像の3つの分野での応用と留意点を解説します。またTransformer を用いた事前学習のモデルであるBERTについて、人工的なタスク設定と表現学習の観点から解説し、文書検索や言語理解などの応用を解説します。また自己回帰型の言語モデルとテキストからの画像生成を紹介します。

セミナープログラム

　1　Transformer の基礎となる理論
　　1.1　再帰型ネットワーク
　　1.2　系列変換モデルによる機械翻訳
　　1.3　注意機構による対応付け
　　1.4　自己注意機構
　　1.5　Transformer

　2　 Transformerの応用
　　2.1　機械翻訳への適用
　　2.2　音声分野における応用（Conformer）
　　2.3　画像分野における応用（Vision Transformer）
　　2.4　最近の技術動向の紹介

　3　言語処理と言語生成への適用
　　3.1　人工的なタスク設定と表現学習
　　3.2　BERT（Bidirectional Encoder Representations from Transformers）
　　3.3　BERT を用いた文書検索と言語理解
　　3.4　言語モデル（GPT、GPT-2、GPT-3：Generative Pre-trained Transformer）
　　3.5　テキストからの画像生成（DALL-E）

セミナー講師

速水　悟（はやみずさとる）　氏　 　　　早稲田大学　研究院教授（博士（工学））

セミナー受講料

お1人様受講の場合　51,700円[税込]／1名
1口でお申込の場合　62,700円[税込]／1口（3名まで受講可能）
 
受講申込ページで2～3名を同時に申し込んだ場合、自動的に1口申し込みと致します。

受講について

• 本セミナーの受講にあたっての推奨環境は「Zoom」に依存しますので、ご自分の環境が対応しているか、お申込み前にZoomのテストミーティング（http://zoom.us/test）にアクセスできることをご確認下さい。
• インターネット経由でのライブ中継ため、回線状態などにより、画像や音声が乱れる場合があります。講義の中断、さらには、再接続後の再開もありますが、予めご了承ください。
• 受講中の録音・撮影等は固くお断りいたします。