大規模事前学習済み言語モデルの進展と課題

セミナー趣旨

　Word2vecの登場以降ELMo、BERTといった事前学習済みモデルの発展により自然言語処理における各タスクの精度は飛躍的に向上した。
　本講座ではそれらの発展を順に説明し、ChatGPTやGPT-4といった産業上重要な位置を占めると考えられるモデルの歴史的な位置づけを把握することを助ける。また現在の大規模事前学習済み言語モデルとっての残された課題についても紹介する。

セミナープログラム

1. 本日紹介する内容
2. 単語分散表現とその利用
   1. word2vec
   2. word2vecの派生
   3. 言語モデル
      1. 再帰型ニューラルネットワーク
      2. Long short-term memory（LSTM）
   4. 系列変換モデル（seq2seq）
      1. エンコーダ・デコーダ
      2. 注意付きエンコーダ・デコーダ
3. 事前学習済み言語モデル
   1. ELMo
   2. Transformer
   3. BERT
   4. BERTの派生
   5. 系列変換モデル
4. 大規模事前学習済み言語モデル（LLM）
5. 最新の動向
6. 残された課題

セミナー講師

上垣外英剛（かみがいとひでたか）　氏
奈良先端科学技術大学院大学　先端科学技術研究科 自然言語処理学研究室（渡辺研究室）　准教授（博士（工学））

＜略歴＞
　2012年4月〜2014年3月　東京工業大学大学院　総合理工学研究科　知能システム科学専攻　修士課程
　2014年4月〜2017年3月　東京工業大学大学院　総合理工学研究科　知能システム科学専攻　博士課程
　2017年4月〜2018年3月 NTT コミュニケーション科学基礎研究所 リサーチアソシエイト
　2018年4月〜2022年3月 東京工業大学　科学技術創成研究院　助教
　2022年4月〜現在　奈良先端科学技術大学院大学　先端科学技術研究科　自然言語処理学研究室（渡辺研究室）　准教授

＜学会委員＞
　2022年4月〜現在　情報処理学会　自然言語処理研究会　 運営委員
　2021年3月〜現在　自然言語処理、編集委員

＜主な受賞歴＞
　2022年3月　2021年度 論文賞, Effectiveness of Syntactic Dependency Information for Higher-Order Syntactic Attention Network, 言語処理学会
　2022年3月　2021年度 論文賞, 数値気象予報からの天気予報コメントの自動生成, 言語処理学会
　2022年3月　第28回年次大会 優秀賞, 知識グラフ埋め込みにおける負例サンプリング損失の分析, 言語処理学会
　2022年3月　第28回年次大会 リーガルフォース賞, 否定の理解へのprompt-based finetuningの効果, 言語処理学会

セミナー受講料

お1人様受講の場合　51,700円[税込]／1名
1口でお申込の場合　66,000円[税込]／1口（3名まで受講可能）

受講申込ページで2～3名を同時に申し込んだ場合、自動的に1口申し込みと致します。