Transformer 徹底解説

今注目を集める深層学習モデル「Transformer」を解説！

～典型的モデルの仕組みから最新モデルまで～

セミナー講師

田村 晃裕　氏
同志社大学　理工学部　情報システムデザイン学科　准教授

セミナー受講料

お1人様受講の場合　51,700円[税込]／1名
1口でお申込の場合　62,700円[税込]／1口（3名まで受講可能）

受講申込ページで2～3名を同時に申し込んだ場合、自動的に1口申し込みと致します。

受講について

• 本セミナーの受講にあたっての推奨環境は「Zoom」に依存しますので、ご自分の環境が対応しているか、お申込み前にZoomのテストミーティング（http://zoom.us/test）にアクセスできることをご確認下さい。
• インターネット経由でのライブ中継ため、回線状態などにより、画像や音声が乱れる場合があります。講義の中断、さらには、再接続後の再開もありますが、予めご了承ください。
• 受講中の録音・撮影等は固くお断りいたします。

セミナー趣旨

　近年、「Transformer」という深層学習モデルが、自然言語処理や画像処理、音声処理といった様々な分野の多くのタスクで最高性能を達成し、注目を集めています。
　本講座では、そのTransformerの典型的モデルの仕組みから、自然言語処理、画像処理、音声認識に応用した最新モデルまでを解説します。ニューラルネットワークの基礎的な知識をお持ちの方向けのセミナーです。

セミナープログラム

1. Transformerの仕組み
　1.1 エンコーダ・デコーダモデル
　1.2 アテンション機構
　1.3 位置エンコーディング

2. 自然言語処理への応用（BERT）
　2.1 事前学習とファインチューニング
　2.2 マスク化言語モデル
　2.3 次文予測

3. 画像処理への応用（ViT）
　3.1 パッチ埋め込み
　3.2 ViTブロック

4. 音声認識への応用（Conformer）
　4.1 Conformerブロック
　4.2 相対位置埋め込み