【中止】深層学習を用いた自然言語処理技術～Transformer・BERTの基本的な考え方～

セミナー趣旨

　この10年ほどのニューラルネットワークに基づく深層学習の技術の発展によって、いわゆる人工知能と呼ばれる多くの分野で飛躍的な進歩がありました。人間のことばを対象とする自然言語処理の分野でも、様々な問題に対する処理性能が大きく向上し、注目を集めています。本セミナーでは、BERTと呼ばれる自然言語処理のための深層学習モデルとその活用方法の基本的な理解を目標に、自然言語処理における深層学習手法の基礎的な内容と、BERTの基盤となっているTransformerと呼ばれるモデルについて紹介します。

受講対象・レベル

・機械学習を用いたメディア処理のご経験をお持ちで、自然言語処理における深層学習についての知見を得たいと
   考えている方
・自然言語処理のツールは使ったことがあるが、その仕組みを理解したいと考えている方
・自然言語処理に興味があり、TransformerやBERT等のキーワードは聞いたことがあるが、その考え方や活用方法に
   ついて大まかに知りたい方

必要な予備知識

■予備知識
・機械学習の予備知識としての確率・統計
・（できたら）機械学習の基礎的なモデル（ロジスティック回帰等）
■さらに理解を深めるための書籍
・自然言語処理の基礎、例えば書籍「自然言語処理〔改訂版〕 (放送大学教材)」（黒橋禎夫 著）
・自然言語処理における機械学習、例えば書籍「自然言語処理シリーズ 1言語処理のための機械学習入門」
 （コロナ社、高村大也 著）

習得できる知識

・BERTとその応用に関する基礎知識
・Transformerの基礎知識
・ニューラル機械翻訳の基礎知識
・自然言語処理で用いられる深層学習の基礎知識

セミナープログラム

1　ニューラルネットワークの基礎
　1) ロジスティック回帰
　　　ロジスティック（シグモイド）関数、最尤推定、勾配降下法
　2) 多層ニューラルネットワーク
　　　全結合層、活性化関数
　3) 誤差逆伝播による学習
　　　合成関数の微分、勾配降下法、勾配消失問題
2　深層学習による系列変換モデル
　1) 回帰型ニューラルネットワーク (RNN)
　　　単純なRNN・LSTM・GRU
　2) RNNによる系列変換モデル
　　　エンコーダ・デコーダモデル、系列長と精度の問題
　3) 注視機構を持つ系列変換モデル
　　　種々の注視機構
3　Transformerとその応用
　1) RNNによる系列変換モデルの課題
　　　直列計算の短所
　2) Transformerの構成要素
　　　自己注視、位置符号化、複数ヘッド注視
　3) Transformerの学習
　　　学習の並列化
　4) Transformerの応用（機械翻訳を中心に）
　　　機械翻訳、音声認識、画像処理等への広がり
4　BERTとその応用
　1) BERTの構成
　　　Transformerの応用、文対入力
　2) BERTの学習
　　　マスクされた入力記号の復元、次文予測
　3) BERTの応用（文書分類、質問応答等）
　　　文書分類、質問応答、その他の応用例

セミナー講師

 須藤 克仁 先生  
 奈良先端科学技術大学院大学 先端科学技術研究科 情報科学領域／データ駆動型サイエンス創造センター 准教授

セミナー受講料

【オンラインセミナー（見逃し視聴なし）】：1名47,300円(税込（消費税10％）、資料付)
＊1社2名以上同時申込の場合、1名につき36,300円

【オンラインセミナー（見逃し視聴あり）】：1名52,800円(税込（消費税10％）、資料付)
＊1社2名以上同時申込の場合、1名につき41,800円

＊学校法人割引；学生、教員のご参加は受講料50％割引。

受講について

※本講座は、お手許のPCやタブレット等で受講できるオンラインセミナーです。

配布資料・講師への質問等について

• 配布資料は、印刷物を郵送もしくはメール送付のどちらかを検討中です。
  お申込については4営業日前までのお申込みを推奨します。
  それ以降でもお申込みはお受けしておりますが（開催1営業日前の12:00まで）、
  テキストが郵送となった場合、資料の到着がセミナー後になる可能性がございます。
• 当日、可能な範囲で質疑応答も対応致します。
  （全ての質問にお答えできない可能性もございますので、予めご容赦ください。）
• 本講座で使用する資料や配信動画は著作物であり、
  無断での録音・録画・複写・転載・配布・上映・販売等を禁止致します。

下記ご確認の上、お申込み下さい

• PCもしくはタブレット・スマートフォンとネットワーク環境をご準備下さい。
• ご受講にあたり、環境の確認をお願いしております（20Mbbs以上の回線をご用意下さい）。
  各ご利用ツール別の動作確認の上、お申し込み下さい。
• 開催が近くなりましたら、当日の流れ及び視聴用のURL等をメールにてご連絡致します。

Zoomを使用したオンラインセミナーとなります

• ご受講にあたり、環境の確認をお願いしております。
  お手数ですが下記公式サイトからZoomが問題なく使えるかどうか、ご確認下さい。
  → 確認はこちら
  ※Skype／Teams／LINEなど別のミーティングアプリが起動していると、Zoomでカメラ・マイクが使えない事があります。お手数ですがこれらのツールはいったん閉じてお試し下さい。
• Zoomアプリのインストール、Zoomへのサインアップをせずブラウザからの参加も可能です。
  ※一部のブラウザは音声（音声参加ができない）が聞こえない場合があります。
  　必ずテストサイトからチェック下さい。
  　対応ブラウザーについて(公式) ;
  　「コンピューターのオーディオに参加」に対応してないものは音声が聞こえません。

申込み時に（見逃し視聴有り）を選択された方は、見逃し視聴が可能です

• 開催5営業日以内に録画動画の配信を行います（一部、編集加工します）。
• 視聴可能期間は配信開始から1週間です。
  セミナーを復習したい方、当日の受講が難しい方、期間内であれば動画を何度も視聴できます。
  尚、閲覧用のURLはメールにてご連絡致します。
  ※万一、見逃し視聴の提供ができなくなった場合、
  （見逃し視聴有り）の方の受講料は（見逃し視聴無し）の受講料に準じますので、ご了承下さい。
  →こちらから問題なく視聴できるかご確認下さい（テスト視聴動画へ）パスワード「123456」