詳解 Transformer

Transformerの仕組みから自然言語処理、画像処理、音声認識への最新応用 （BERT、ViT、Conformer） まで　　　　　　

※ニューラルネットワークの基本的な知識をお持ちの方向け※

セミナー講師

田村 晃裕　氏　　　　同志社大学　理工学部　情報システムデザイン学科　准教授

セミナー受講料

お1人様受講の場合　51,700円[税込]／1名
1口でお申込の場合　62,700円[税込]／1口（3名まで受講可能）
 
受講申込ページで2～3名を同時に申し込んだ場合、自動的に1口申し込みと致します。

受講について

• 本セミナーの受講にあたっての推奨環境は「Zoom」に依存しますので、ご自分の環境が対応しているか、お申込み前にZoomのテストミーティング（http://zoom.us/test）にアクセスできることをご確認下さい。
• インターネット経由でのライブ中継ため、回線状態などにより、画像や音声が乱れる場合があります。講義の中断、さらには、再接続後の再開もありますが、予めご了承ください。
• 受講中の録音・撮影等は固くお断りいたします。

※　テキストは２日前を目安に、PDFファイルをダウンロードできるようにする予定です。

セミナー趣旨

近年、「Transformer」という深層学習モデルが、自然言語処理や画像処理、音声処理といった様々な分野の多くのタスクで最高性能を達成し、注目を集めています。
本講座では、そのTransformerの典型的モデルの仕組みから、自然言語処理、画像処理、音声認識に応用した最新モデルまでを解説します。ニューラルネットワークの基礎的な知識をお持ちの方向けのセミナーです。

セミナープログラム

　　1. Transformerの仕組み
　　　1.1 エンコーダ・デコーダモデル
　　　1.2 アテンション機構
　　　1.3 位置エンコーディング

　　2. 自然言語処理への応用（BERT）
　　　2.1 事前学習とファインチューニング
　　　2.2 マスク化言語モデル
　　　2.3 次文予測

　　3. 画像処理への応用（ViT）
　　　3.1 パッチ埋め込み
　　　3.2 ViTブロック

　　4. 音声認識への応用（Conformer）
　　　4.1 Conformerブロック
　　　4.2 相対位置埋め込み