ChatGPTに代表される大規模言語モデルに用いられた諸技法【実習つき】

セミナー趣旨

  大規模言語モデル (LLM: Large Language Modeling) を用いた生成AIは、先進国主要七カ国会議、いわゆるサミットでも議題として取り上げられるほどの活況を呈しています。chatGPT の出力を、御神託と考えるような輩や、ビジネス応用を考える向きも存在するほどです。このように生成AIは、我々の社会に及ぼす影響が大きい技術ですが、その内部はどのように動作しているでしょうか。
  今回は、次に来る技術を予測する縁とするためにも、生成AIの内部動作を歴史的な背景も含めて点描することを試みます。後半では、理解を深めるためにもハンズオンによる実習を用意しました。簡単なデモンストレーションを含めたハンズオンにより、用いられている技術の本質を議論する機会を提供いたします。

習得できる知識

HuggingFace の model hub を利用したコード実装

セミナープログラム

【座学パート】大規模言語モデルの内訳
・Transformer: マルチヘッド注意機構、位置符号化器、埋め込み表現、ソフトマックス関数
・事前訓練とファインチューニング: マスク言語モデル、次文予測
・GTP-4: 符号化器・復号化器モデルを用いた画像と言語との融合
・プロンプトエンジニアリング
・幻覚、ミスアラインメントの抑制、回避。
   RLHF (人間のフィードバックによる強化学習): 報酬モデルと代理方針最適化 (Proximal Policy Optimization)

【実習パート】
Hugging Face の model hub の 2、3 を題材にして、実際のファンチューニングの実装を行います。

◎本セミナーでは「Google Colaboratory」を用いた演習を行います。
・使用するプログラムは事前に送付予定です。
・実習にあたりPCをご持参ください。事前にgoogle chromeのインストールをお願い致します。
・最低限のgoogle colaboratryの操作は説明いたしますが、予め操作に慣れていれば理解が促進されるかと思います。

◎Googleのアカウントとブラウザがあれば、本講演のPythonプログラムは実行可能です．
　https://colab.research.google.com/
　　1）上記リンクにアクセスできる
　　2）ページ上部の「＋ コード」に例えば「1+1」と入力、実行し答えが出力される
　　上記2点を満たせば、問題なく利用できるかと存じます。
※よくあるケースとして、セキュリティ設定のご関係で上記にアクセスできない事がございます。
　必ず事前にご確認の上、もし可能でしたらアクセスできる設定にご変更お願い致します。

※質疑応答は逐次ご自由にどうぞ

※途中、お昼休みと小休憩を挟みます。

■講演中のキーワード
Transformer、大規模言語モデル (LLM)、GPT、BERT、プロンプトエンジニアリング、
ゼロショット転移、ファインチューニング

セミナー講師

 東京女子大学 情報処理センター 助手　 浅川 伸一 先生

■ご略歴
東京女子大学情報処理センター勤務
1994年 早稲田大学大学院 修了、1991年 文教大学人間科学部 助手、1994年 東京女子大学情報処理センター 助手
* 早稲田大学卒業後、エルマンネットの考案者ジェフ・エルマンに師事。
以来人間の高次認知機能をシミュレートする研究に従事。
主な著書： AI白書 2019、2018 (2019年、アスキー出版、共著)、
深層学習教科書ディープラーニング G検定（ジェネラリスト）公式テキスト (2018年、翔泳社、共著)、
Pythonで体験する深層学習(コロナ社、2016)、 ディープラーニング、ビッグデータ、
機械学習あるいはその心理学(新曜社、2015)、 ニューラルネットワークの数理的基礎、
脳損傷とニューラルネットワークモデル、神経心理学への適用例」
いずれも守一雄他編「コネクショニストモデルと心理学」(2001) 北大路書房
■所属学会等
日本人工知能学会、日本神経回路学会、日本認知科学会、自然言語処理学会、情報処理学会、
日本心理学会、日本認知科学会、IEEE 等

セミナー受講料

1名47,300円(税込（消費税10％）、資料付)
＊1社2名以上同時申込の場合、1名につき36,300円
＊学校法人割引；学生、教員のご参加は受講料50％割引。

受講について

• 感染拡大防止対策にご協力下さい。
• セミナー会場での現金支払いを休止しております。
• 新型コロナウイルスの感染防止の一環として当面の間、昼食の提供サービスは中止させて頂きます。
• 配布資料は、当日セミナー会場でのお渡しとなります。
• 希望者は講師との名刺交換が可能です。
• 録音・録画行為は固くお断り致します。
• 講義中の携帯電話の使用はご遠慮下さい。
• 講義中のパソコン使用は、講義の支障や他の方の迷惑となる場合がありますので、極力お控え下さい。
  場合により、使用をお断りすることがございますので、予めご了承下さい。(＊PC実習講座を除きます。)