自然言語処理モデル「BERT」及びその各種改良モデルの基礎と利用方法＜Zoomによるオンラインセミナー＞

セミナー趣旨

　2018年末に Google が発表した事前学習済みモデル BERT は、それまでの自然言語処理の解析方法を一変させました。その後の自然言語処理の研究は今日に至るまで BERT を中心に進められたと言って良く、現在、自然言語処理で利用されるディープラーニング手法の中で、最も注目されている手法と言えます。
　それほど画期的なモデルである BERT ですが、その利用にあたっては、アルゴリズムが複雑で実際に何をやっているのかわかりにくい・また BERT のモデルは巨大なため学習に多大な時間が必要となり、処理速度も遅くなってしまう等の課題が挙げられます。
　また、どうやって利用したら良いかわからないという意見も見受けられます。
　本講座では、まず BERT とは何であるのかを解説した後に、文書分類と品詞タグ付けを実際のタスクとして、どのように BERT を使うのかを説明します。また BERT をスクラッチから構築する方法や、対象領域のコーパスを利用してBERT を追加学習する方法も解説します。
また後半には BERT を各種方向に改良したモデルを紹介し、その利用方法を解説します。具体的には、主に BERT を小型軽量化したモデルを中心に解説します。その他 SentenceBERT、ELECTRA、Longformer、RoBERTa、Reformer、BART などを解説します。

受講対象・レベル

• BERT を利用をしたい方
• 自然言語処理システムの構築に関わっている方
• HuggingFace のライブラリの利用方法を知りたい方
• Transformer 系の技術に興味を持たれている方

習得できる知識

• BERT の基礎知識
• BERT の利用方法
• BERT の構築方法
• BERT の小型軽量化の技術
• BERT の各種改良モデルの概要

セミナープログラム

1. BERT の基礎
   BERT には何を入力して何が出力されるのか、そしてその出力を使って何ができるのかの大枠を示します。また BERT の処理の核となる Self-Attention の技術を系列変換と辞書構造の捉え方から説明します。BERT 層はSelf-Attention に様々な工夫を加えて構成された層です。この BERT 層についても解説します。
   1. BERT の入出力
   2. Self-Attention
   3. BERT 層
2. BERT の利用
   ここでは日本語 BERT モデルの具体的な利用例として文書分類を扱います。ライブラリとしてHuggingFace の transformers を利用して、BERT の fine-tuning と feature based の各々の処理方法を解説します。また実際に日本語 BERT を利用する際には Tokenizer の利用やバッチ処理の部分が問題になるので、その点も合わせて解説します。最後に応用的なタスクとして品詞タグ付けや2文入力タイプのタスクに対する BERT の利用方法も示します。
   1. HuggingFace の transformers
   2. Tokenizer
   3. fine-tuning
   4. feature based の利用
   5. バッチ処理
   6. 品詞タグ付け
   7. 2文入力タイプのタスク
3. BERT の構築
   既存の BERT モデルではなく、自身のタスクに特化した BERT モデルを利用したい場合も多いと思います。そのために BERT をスクラッチから構築する方法と、既存の BERT を初期値として更に自身のコーパスを使って追加学習する方法を解説します。
   1. 構築環境の準備
   2. スクラッチからの構築
   3. 追加学習
4. BERT の軽量化
   BERT は高性能なモデルですが、欠点もいくつかあります。その1つはモデルが巨大すぎることです。そのため学習に多大な時間が必要ですし、推論の処理も遅いです。この問題の対処のために BERT を小型軽量化する研究が活発に行われています。その中で蒸留というモデル圧縮手法を利用した DistilBERT を解説します。その他有用な BERT の軽量化手法を紹介します。
   1. DistilBERT
   2. DistilBERT の学習
   3. Poor Man's BERT
   4. MobileBERT
   5. その他の BERT 軽量化モデル
5. BERT の改良、発展
   BERT の出現以来、様々な方向で BERT の改良、発展が行われています。ここではその中でも特に有用あるいは重要と考えられるモデルとして、SentenceBERT、ELECTRA、Longformer、RoBERTa、Reformer 及び BARTを紹介します。
   1. SentenceBERT
   2. ELECTRA
   3. Longformer
   4. RoBERTa
   5. Reformer
   6. BART

＜質疑応答＞

セミナー講師

茨城大学 工学部　情報工学科　教授 　新納 浩幸 先生

セミナー受講料

【オンライン(ライブ配信)（見逃し視聴なし）】1名47,300円(税込（消費税10％）、資料付)
　　＊1社2名以上同時申込の場合、1名につき36,300円

【オンライン(ライブ配信)（見逃し視聴あり）】1名52,800円(税込（消費税10％）、資料付)
　＊1社2名以上同時申込の場合、1名につき41,800円

＊学校法人割引；学生、教員のご参加は受講料50％割引。

受講について

※本講座は、お手許のPCやタブレット等で受講できるオンラインセミナーです。

配布資料・講師への質問等について

• 配布資料は、印刷物を郵送で送付致します。
  お申込の際はお受け取り可能な住所をご記入ください。
  お申込みは4営業日前までを推奨します。
  それ以降でもお申込みはお受けしておりますが（開催1営業日前の12:00まで）、
  テキスト到着がセミナー後になる可能性がございます。
• 当日、可能な範囲で質疑応答も対応致します。
  （全ての質問にお答えできない可能性もございますので、予めご容赦ください。）
• 本講座で使用する資料や配信動画は著作物であり、
  無断での録音・録画・複写・転載・配布・上映・販売等を禁止致します。

下記ご確認の上、お申込み下さい

• PCもしくはタブレット・スマートフォンとネットワーク環境をご準備下さい。
• ご受講にあたり、環境の確認をお願いしております（20Mbbs以上の回線をご用意下さい）。
  各ご利用ツール別の動作確認の上、お申し込み下さい。
• 開催が近くなりましたら、当日の流れ及び視聴用のURL等をメールにてご連絡致します。

Zoomを使用したオンラインセミナーとなります

• ご受講にあたり、環境の確認をお願いしております。
  お手数ですが下記公式サイトからZoomが問題なく使えるかどうか、ご確認下さい。
  → 確認はこちら
  ※Skype／Teams／LINEなど別のミーティングアプリが起動していると、Zoomでカメラ・マイクが使えない事があります。お手数ですがこれらのツールはいったん閉じてお試し下さい。
• Zoomアプリのインストール、Zoomへのサインアップをせずブラウザからの参加も可能です。
  ※一部のブラウザは音声（音声参加ができない）が聞こえない場合があります。
  　必ずテストサイトからチェック下さい。
  　対応ブラウザーについて(公式) ;
  　「コンピューターのオーディオに参加」に対応してないものは音声が聞こえません。

申込み時に（見逃し視聴有り）を選択された方は、見逃し視聴が可能です

• 開催5営業日以内に録画動画の配信を行います（一部、編集加工します）。
• 視聴可能期間は配信開始から1週間です。
  セミナーを復習したい方、当日の受講が難しい方、期間内であれば動画を何度も視聴できます。
  尚、閲覧用のURLはメールにてご連絡致します。
  ※万一、見逃し視聴の提供ができなくなった場合、
  （見逃し視聴有り）の方の受講料は（見逃し視聴無し）の受講料に準じますので、ご了承下さい。
  →こちらから問題なく視聴できるかご確認下さい（テスト視聴動画へ）パスワード「123456」