ディープラーニングを用いた 自然言語処理のすすめ方 ～各手法・ツールの特徴・使い方とその実践～

★各手法はどのような処理に向いているのか、どういった問題を解くことができるのか、どのようなツールが存在し、具体的にどう使うのか等々・・

★数式的な説明は深くは触れずに、実践面での解説を中心に行います。

講師

茨城大学 工学部　情報工学科　教授　 新納 浩幸 先生

受講料

1名41,040円(税込（消費税8％）、資料付) 　

＊1社2名以上同時申込の場合 、1名につき30,240円 　　　　　

＊学校法人割引 ；学生、教員のご参加は受講料50％割引。

セミナーポイント

　ディープラーニングは画像認識からブレークした機械学習の手法ですが、現在、自然言語処理の分野でも一般的に利用される手法になりました。word2vec による分散表現、LSTM による時系列データの解析、seq2seq モデルによるニューラルネット翻訳の 3つが代表的な利用分野になります。また近年 Attention と呼ばれる技術が注目されており、翻訳や事前学習に利用されています。
　本セミナーではそれらの技術の基本的な部分を解説します。数式的な説明は深くは触れずに、それぞれが直感的にどういったものなのかを中心に解説します。
　そして、どのような処理に向いているのか、どういった問題を解くことができるのかといった各手法の特徴や長短所について、さらに、各手法を用いるためにどういったツールが存在するのか、またそれは具体的にどう使うのか、さらにディープラーニングではない従来手法を使う場合はどうするのか、などといった実践面での解説を中心に行います。

○受講対象：
　・テキスト処理にディープラーニングの技術を使うことを考えている方
　・ディープラーニングを用いた自然言語処理の概要や基礎を知りたい方
　・word2vec、LSTM、seq2seq 翻訳の基礎を学びたい方
　・系列ラベリング問題の基礎を学びたい方
　・Attention の基礎を学びたい方

○受講後、習得できること：
　・ディープラーニングを用いた自然言語処理の概要を知ることができる
　・ツールを用いてword2vec、LSTM、seq2seq 翻訳を試せるようになる
　・ツールを用いて系列ラベリング問題を試せるようになる
　・Attention がどういった技術であるかを理解できる

セミナー内容

1. word2vecによる分散表現
　自然言語処理システムでは単語を何らかの形でベクトル化する必要があります。
　従来は one hot vector を基本にした高次元疎なベクトルで表現していましたが、ディープラーニングの word2vec と呼ばれる手法により単語を低次元密なベクトルで表現できるようになりました。これが分散表現です。
　現在、単語のベクトル化には分散表現が使われるのが標準です。

　1.1 分散表現とは何か
　1.2 word2vec による分散表現の構築
　1.3 ツール word2vec の使い方
　1.4 構築された分散表現の利用方法
　1.5 従来手法との違い・従来手法を使う場合はどうするのか

2. LSTMによる時系列データ解析
　ディープラーニングの中で時系列データを扱うのが LSTM です。テキストは単語が時系列的に出現したものと見なせるので、LSTM は自然言語処理の様々なタスクに利用されます。ここでは系列ラベリング問題を LSTM で解く方法を中心に解説します。

　2.1 LSTM とは何か
　2.2 系列ラベリング問題
　2.3 Chainer による LSTM の利用方法
　　2.2.1 NSTepLSTM
　　2.2.2 BiNSTepLSTM
　2.4 ツール DeepCRF の紹介・使い方
　2.5 ディープラーニングではない手法を使う場合はどうするのか（CRF++との比較）

3. ニューラルネット機械翻訳(NMT)
　ディープラーニングの手法の中で、ニューラルネット機械翻訳 (NMT) は自然言語処理において最も大きな影響を与えた手法と言えます。
　従来、機械翻訳に対しては統計的機械翻訳が中心的手法でしたが、かなり理論が込み入っており、容易に試せる手法ではありませんでした。それに反して NMT は大量の対訳データだけを入力すれば、その言語対に対する翻訳機を構築できます。しかもその翻訳の精度は統計的機械翻訳のものよりも良いです。

　3.1 NMT の仕組み
　3.2 代表的 NMT のツールと使い方
　3.3 サブワード BPE
　3.4 NMT の学習例と実行例
　3.5 翻訳の評価 BLUE

4. Attention の利用法
　Attention は seq2seq のような Encoder・Decoder モデルを改良するために使われる手法です。具体的には入力情報の一部に焦点をあてたベクトルを Decoder で利用する仕組みを提供しています。これにより Decoder のある時点で必要になる入力情報を精度良く取り出せます。Attention を利用することで NMT の精度が大きく改善されます。また現在 Attention は辞書オブジェクトとして見直され、入力された系列全てのシンボルを参照して新たなベクトル表現を作成する self attention の技術に発展しました。これにより Attention のみを利用した NMT である Transformer や BERT と呼ばれる自然言語処理における汎用的な事前学習モデルが開発されました。現在、自然言語処理で利用されるディープラーニング手法の中で最も注目されている手法と言えます。

　4.1 Attention とは
　4.2 Attention を利用した NMT
　4.3 辞書オブジェクトとしての attention
　4.4 self-attention
　4.5 Transformer
　4.6 BERT

 ＜質疑応答＞