【中止】Transformerの基礎と最新応用展開 〜BERT、ViT、Conformer〜

セミナー趣旨

  人工知能の各分野において近年注目を集めている深層学習モデル 「Transformer」について解説します。Transformerモデルは、機械翻訳や自動要約、対話 システムなど自然言語処理の多くのタスクで従来モデルの性能を凌駕し、今ではデファク トスタンダードなモデルになりつつあります。また、自然言語処理の分野に限らず、画像処理、音声認識など様々な分野に応用され、成功を収めています。本セミナーでは、その Transformerについて基礎から解説します。また、Transformerの典型的なモデルの解説にとどまらず、自然言語処理、画像処理、音声認識に応用した最新モデルも概説します。

セミナープログラム

1. RNNに基づくエンコーダ・デコーダモデル
　　1.1 RNN
　　1.2 エンコーダ・デコーダモデル
　　1.3 RNNに基づくエンコーダ・デコーダモデル
　　1.4 注意機構の導入
2. Transformer
　　2.1 Transformerの概要
　　2.2 Transformerの長所
　　2.3 Transformerの短所
　　2.4 Transformerの各コンポーネント
　　　　2.4.1 位置エンコーディング
　　　　2.4.2 注意機構
　　　　2.4.3 順伝搬層
　　　　2.4.4 残差接続と層正規化
3. Transformerの応用
　　3.1 自然言語処理への応用（BERT）
　　　　3.1.1 マスク化言語モデル
　　　　3.1.2 次文予測
　　　　3.1.3 ファインチューニング
　　3.2 画像処理への応用（ViT）
　　　　3.2.1 パッチ埋め込み
　　　　3.2.2 ViTのTransformerブロック
　　3.3 音声認識への応用（Conformer）
　　　　3.3.1 畳み込み演算（pointwiseとdepthwise）
　　　　3.3.2 Conformerブロック
【質疑応答】

セミナー講師

 田村 晃裕 先生   同志社大学 理工学部 情報システムデザイン学科 准教授　

セミナー受講料

1名につき55,000円（消費税込、資料付）　
〔1社2名以上同時申込の場合1名につき49,500円（税込）〕

受講について

• 本講座はZoomを利用したLive配信セミナーです。セミナー会場での受講はできません。
• 下記リンクから視聴環境を確認の上、お申し込みください。
  　→ https://zoom.us/test
• 開催日が近くなりましたら、視聴用のURLとパスワードをメールにてご連絡申し上げます。
  セミナー開催日時に、視聴サイトにログインしていただき、ご視聴ください。
• Zoomクライアントは最新版にアップデートして使用してください。
  Webブラウザから視聴する場合は、Google Chrome、Firefox、Microsoft Edgeをご利用ください。
• パソコンの他にタブレット、スマートフォンでも視聴できます。
• セミナー資料はお申込み時にお知らせいただいた住所へお送りいたします。
  お申込みが直前の場合には、開催日までに資料の到着が間に合わないことがあります。ご了承ください。
• 当日は講師への質問をすることができます。可能な範囲で個別質問にも対応いたします。
• 本講座で使用される資料や配信動画は著作物であり、
  録音・録画・複写・転載・配布・上映・販売等を禁止いたします。
• 本講座はお申し込みいただいた方のみ受講いただけます。
  複数端末から同時に視聴することや複数人での視聴は禁止いたします。
• Zoomのグループにパスワードを設定しています。
  部外者の参加を防ぐため、パスワードを外部に漏洩しないでください。
  万が一部外者が侵入した場合は管理者側で部外者の退出あるいはセミナーを終了いたします。