自然言語処理技術におけるTransformerモデルの基礎・応用技術と今後の展望

セミナー趣旨

  近年、自然言語処理（NLP）技術におけるブレークスルーとして登場したTransformerモ デルは、画像処理への応用や、画像・言語など異なるデータを統合するマルチモーダルAIへの応用も可能である事から、AI技術の新たな潮流を生み出す可能性のある、極めて有望な技術である。 本講演では、Transformerモデルの登場したそもそものタスクである、NLPにおけるTransformerモデルの動作について詳細に解説し、Transformerモデルの動作原理について学ぶ。さらに、NLP以外の分野におけるTransformerモデルの採用例について紹介する事で、Transformerモデルの今後の発展について展望する。講演の前半では、Transformerモデルの登場から今後登場するであろう技術まで、その概要を紹介する事で、技術の大きな潮流を把握する。また後半では、より詳細にTransformerモデルの動作を紹介し、技術的な理解を深める。

セミナープログラム

1．Transformerモデルの登場
　　1.1 自然言語処理技術の歴史
　　1.2 BERT登場の衝撃
　　1.3 様々なTransformerモデルの登場
　　1.4 パラメーター数競争の時代へ
2．自然言語処理AIとは
　　2.1 様々な自然言語処理タスク
　　2.2 巨大コーパスと事前学習モデル
　　2.3 汎用モデルの公開競争
　　2.4 日本語と国家間デバイド
3．マルチモーダルAIとは
　　3.1 マルチモーダルAIの現状
　　3.2 TransformerとマルチモーダルAI
　　3.3 NLPによるセミ汎用AI
　　3.4 真の汎用AI時代へ向けて
4．Transformerの技術
　　4.1 Transformerモデルの基礎
　　4.2 Self-Attention機構
　　4.3 Normalization機構
　　4.4 単語埋め込み層
5．Transformerモデルの学習
　　5.1 Masked Language Modelとは
　　5.2 BERTにおける学習
　　5.3 Whole-Wordな学習
　　5.4 BERT亜種の差違
6．Language Model
　　6.1 GPTにおける学習
　　6.2 GPTにおける文章生成
　　6.3 T5モデル
　　6.4 aMLPモデル
7．Transformerモデルの応用
　　7.1 文章のクラス分類
　　7.2 文章の抽出
　　7.3 抽象型要約
　　7.4 マルチモーダルTransformer
【質疑応答】

セミナー講師

 坂本 俊之氏   フリーランスエンジニア・機械学習コンサルタント　

セミナー受講料

1名につき55,000円（消費税込、資料付）　
〔1社2名以上同時申込の場合1名につき49,500円（税込）〕

受講について

• 本講座はZoomを利用したLive配信セミナーです。セミナー会場での受講はできません。
• 下記リンクから視聴環境を確認の上、お申し込みください。
  　→ https://zoom.us/test
• 開催日が近くなりましたら、視聴用のURLとパスワードをメールにてご連絡申し上げます。
  セミナー開催日時に、視聴サイトにログインしていただき、ご視聴ください。
• Zoomクライアントは最新版にアップデートして使用してください。
  Webブラウザから視聴する場合は、Google Chrome、Firefox、Microsoft Edgeをご利用ください。
• パソコンの他にタブレット、スマートフォンでも視聴できます。
• セミナー資料はお申込み時にお知らせいただいた住所へお送りいたします。
  お申込みが直前の場合には、開催日までに資料の到着が間に合わないことがあります。ご了承ください。
• 当日は講師への質問をすることができます。可能な範囲で個別質問にも対応いたします。
• 本講座で使用される資料や配信動画は著作物であり、
  録音・録画・複写・転載・配布・上映・販売等を禁止いたします。
• 本講座はお申し込みいただいた方のみ受講いただけます。
  複数端末から同時に視聴することや複数人での視聴は禁止いたします。
• Zoomのグループにパスワードを設定しています。
  部外者の参加を防ぐため、パスワードを外部に漏洩しないでください。
  万が一部外者が侵入した場合は管理者側で部外者の退出あるいはセミナーを終了いたします。