ディープラーニングを用いた自然言語処理のすすめ方 ～各手法・ツールの特徴・使い方とその実践～

自然言語処理で利用されるディープラーニング手法の中で
注目されているBERTの利用法や、転移学習の活用についても解説！

数式的な説明は深く触れずに、実践面の解説を中心に行います

セミナー講師

茨城大学 工学部　情報工学科　教授 　新納 浩幸 先生
【ご略歴】
　1985年　東京工業大学理学部情報科学科卒業。
　1987年　同大学大学院理工学研究科情報科学専攻修士課程修了。
　　 同年　富士ゼロックス、翌年松下電器を経て、1993年茨城大学工学部助手。
　2015年　同学部教授。現在に至る。
【ご専門】
　自然言語処理、機械学習、統計学
【主な著書】
　『 Chainer v2 による実践深層学習 』　オーム社
　『 ニューラルネットワーク自作入門 （翻訳）』　マイナビ出版
　『 Rで学ぶクラスタ解析 』　オーム社
　『 数理統計学の基礎 』　森北出版

セミナー受講料

1名41,800円(税込（消費税10％）、資料付)
　＊1社2名以上同時申込の場合、1名につき30,800円
　＊学校法人割引；学生、教員のご参加は受講料50％割引。

セミナー趣旨

　ディープラーニングは画像認識からブレークした機械学習の手法ですが、現在、自然言語処理の分野でも一般的に利用される手法になりました。word2vec による分散表現、LSTM による時系列データの解析、seq2seq モデルによるニューラルネット翻訳の 3つが代表的な利用分野になります。また近年 Self-Attention を基礎とした事前学習モデルの BERT が注目されています。
　本セミナーではそれらの技術の基本的な部分を解説します。数式的な説明は深くは触れずに、それぞれが直感的にどういったものなのかを中心に解説します。
　そして、どのような処理に向いているのか、どういった問題を解くことができるのかといった各手法の特徴や長短所について、さらに、各手法を用いるためにどういったツールが存在するのか、またそれは具体的にどう使うのか、さらにディープラーニングではない従来手法を使う場合はどうするのか、などといった実践面での解説を中心に行います。

受講対象・レベル

　・テキスト処理にディープラーニングの技術を使うことを考えている方
　・ディープラーニングを用いた自然言語処理の概要や基礎を知りたい方
　・word2vec、LSTM、seq2seq 翻訳の基礎を学びたい方
　・系列ラベリング問題の基礎を学びたい方
　・Self-Attention の基礎を学びたい方
　・BERT の基礎、使い方を学びたい方

習得できる知識

　・ディープラーニングを用いた自然言語処理の概要を知ることができる
　・ツールを用いてword2vec、LSTM、seq2seq 翻訳を試せるようになる
　・ツールを用いて系列ラベリング問題を試せるようになる
　・Self-Attention がどういった技術であるかを理解できる
　・日本語 BERT モデルを利用出来るようになる

セミナープログラム

1. word2vecによる分散表現
　自然言語処理システムでは単語を何らかの形でベクトル化する必要があります。
　従来は one hot vector を基本にした高次元疎なベクトルで表現していましたが、ディープラーニングの word2vec と呼ばれる手法により単語を低次元密なベクトルで表現できるようになりました。これが分散表現です。
　現在、単語のベクトル化には分散表現が使われるのが標準です。
　1.1 分散表現とは何か
　1.2 word2vec による分散表現の構築
　1.3 ツール word2vec の使い方
　1.4 構築された分散表現の利用方法
　1.5 従来手法との違い・従来手法を使う場合はどうするのか

2. LSTMによる時系列データ解析
　ディープラーニングの中で時系列データを扱うのが LSTM です。テキストは単語が時系列的に出現したものと見なせるので、LSTM は自然言語処理の様々なタスクに利用されます。ここでは系列ラベリング問題を LSTM で解く方法を中心に解説します。
　2.1 LSTM とは何か
　2.2 系列ラベリング問題
　2.3 PyTorchによる LSTM の利用方法
　2.4 PyTorch によるツールの紹介・使い方
　2.5 ディープラーニングではない手法を使う場合はどうするのか（CRF++との比較）

3. ニューラルネット機械翻訳(NMT)
　ディープラーニングの手法の中で、ニューラルネット機械翻訳 (NMT) は自然言語処理において最も大きな影響を与えた手法と言えます。
　従来、機械翻訳に対しては統計的機械翻訳が中心的手法でしたが、かなり理論が込み入っており、容易に試せる手法ではありませんでした。それに反して NMT は大量の対訳データだけを入力すれば、その言語対に対する翻訳機を構築できます。しかもその翻訳の精度は統計的機械翻訳のものよりも良いです。
　3.1 NMT の仕組み
　3.2 代表的 NMT のツールと使い方
　3.3 サブワード BPE とSentencePiece
　3.4 NMT の学習例と実行例
　3.5 翻訳の評価 BLUE

4. 事前学習モデル BERT
　事前学習モデルとは、予め大量のコーパスから学習させておいた言語モデルのような学習モデルです。
　このモデルを利用することで、少ないデータから対象とするタスクのモデルが学習できます。
　様々な事前学習モデルが提案されていますが、Google が2018年10月に発表した BERT が、現在でも標準的に利用されています。BERT を用いることで、多くの自然言語処理のタスクの SOTA が向上しました。
　BERT はNMT の Transformer で使われる Multi-head Attention を12層（あるいは24層）重ねたモデルです。そしてMulti-head Attention の要素技術は self-Attention です。
　現在、自然言語処理で利用されるディープラーニング手法の中で最も注目されている手法と言えます。
　4.1 Self-Attention とは
　4.2 Transformer
　4.3 BERT
　4.4 公開されている日本語BERT モデル
　4.5 日本語BERT モデルの利用方法

5. 自然言語処理における転移学習の手法とトレンド
　転移学習とは、概略、既に学習できたモデルや獲得できた知識を利用して、新たなタスクを解くモデルを学習する学習手法です。
　通常、新たなタスクを解くモデルを学習するには、そのタスク用の大量の訓練データを必要としますが、転移学習によりそれが少量の訓練データで済むというのが大きな特徴です。自然言語処理では領域適応という形で転移学習が現れます。
　例えば本のレビュー文書のポジネガを判定するために構築した識別モデルを、映画のレビュー文書のポジネガ判定の識別モデルの構築に利用するのが領域適応です。
　領域適応は古くから自然言語処理の重要な研究テーマでしたが、画像に対してディープラーニングの転移学習が大きな成功を収めたことから、自然言語処理においてもネットワークを用いたモデルに対する転移学習が活発に研究されています。
　5.1　転移学習と領域適応
　5.2　ネットワークの最上位層の付け替えによる転移学習
　5.3　事前学習モデルを用いた転移学習

　＜質疑応答＞