Transformerの言語・画像・音声分野への応用

セミナー講師

速水　悟（はやみずさとる）　氏　 　　　早稲田大学　研究院教授（博士（工学））

 ＜略歴＞ 　

　1981年　東京大学大学院　工学系研究科　修士課程修了。
　同年 　　通商産業省工業技術院　電子技術総合研究所（現、国立研究開発法人産業技術総合研究所）。
　1989年　カーネギーメロン大学　客員研究員。
　1994年　フランス国立科学研究院機械情報学研究所　客員研究員。 2002年　岐阜大学　教授。
　2021年　早稲田大学　グリーンコンピューティングシステム研究機構　知覚情報システム研究所　上級研究員
　　　　　研究院教授。
　　現在に至る。

＜研究分野＞  　知覚情報処理／メディア情報学／機械学習。

セミナー受講料

お1人様受講の場合　51,700円[税込]／1名
1口でお申込の場合　62,700円[税込]／1口（3名まで受講可能）
 
受講申込ページで2～3名を同時に申し込んだ場合、自動的に1口申し込みと致します。

受講について

• 本セミナーの受講にあたっての推奨環境は「Zoom」に依存しますので、ご自分の環境が対応しているか、お申込み前にZoomのテストミーティング（http://zoom.us/test）にアクセスできることをご確認下さい。
• インターネット経由でのライブ中継ため、回線状態などにより、画像や音声が乱れる場合があります。講義の中断、さらには、再接続後の再開もありますが、予めご了承ください。
• 受講中の録音・撮影等は固くお断りいたします。

セミナー趣旨

  　本セミナーでは、様々な分野で使われるようになってきた Transformerについて、基礎と応用を解説します。
　応用として、自然言語、画像、音声分野への適用を紹介します。言語分野で用いられるBERT、自己回帰型言語モデルにおける自己教師あり学習との関連を解説し、文書検索・言語理解などの応用を紹介します。画像分野における応用を紹介し、フローモデルと拡散モデルを解説し、テキストからの画像生成を紹介します。

セミナープログラム

　1　Transformer の基礎となる理論
　　1.1　再帰型ネットワーク
　　1.2　系列変換モデルによる機械翻訳
　　1.3　注意機構による対応付け
　　1.4　自己注意機構
　　1.5　Transformer

　2　自己教師あり学習
　　2.1　対照学習による特徴ベクトルへの変換
　　2.2　CLIP：Contrastive Language-Image Pre-training
　　2.3　マスクを用いた自己教師あり学習

　3　Transformerの言語処理への適用
　　3.1　機械翻訳への適用
　　3.2　BERT（Bidirectional Encoder Representations from Transformers）
　　3.3　BERTを用いた文書検索と言語理解
　　3.4　自己回帰型の言語モデル（GPT、GPT-3：Generative Pre-trained Transformer）

　4　Transformerの音声と画像分野への応用
　　4.1　音声分野における応用（Conformer）
　　4.2　画像分野における応用（Vision Transformer、Mobile-former、Masked-Autoencoder）
　　4.3　フローモデルと拡散モデル
　　4.4　テキストからの画像生成（DALL-E、DALL-E2）
　　4.5　今後の展望