Chainerによるディープラーニングのプログラム作成方法

★ CNN・RNNから近年注目の生成モデルVAE（Variational Autoencoder）まで、Chainerによる様々な実装方法・実装例を解説します！

講師

茨城大学 工学部 情報工学科
教授　博士（工学） 新納 浩幸 先生

【ご略歴】
 1985年　東京工業大学理学部情報科学科卒業。
 1987年　同大学大学院理工学研究科情報科学専攻修士課程修了。
 　同年　富士ゼロックス、翌年松下電器を経て、1993年茨城大学工学部助手。
 2015年　同学部教授。現在に至る。

【ご専門】
 自然言語処理、機械学習、統計学

【主な著書】
 『 Chainer v2 による実践深層学習 』　オーム社
 『 ニューラルネットワーク自作入門 （翻訳）』　マイナビ出版
 『 Rで学ぶクラスタ解析 』　オーム社
 『 数理統計学の基礎 』　森北出版

受講料

1名41,040円(税込（消費税8％）、資料付)
＊1社2名以上同時申込の場合 、1名につき30,240円
＊学校法人割引 ；学生、教員のご参加は受講料50％割引。

セミナーポイント

　Chainer は日本生まれの比較的新しいフレームワークであり、その扱いやすさが大きな特徴です。複雑なネットワークであっても、比較的容易に実装できます。
　本セミナーでは Chainer を使ってディープラーニングのプログラムの作成方法を解説します。
　一般にディープラーニングはネットワークによって複雑な関数を表現し、その関数のパラメータに対応するネットワークのユニット間の重みを最急降下法を利用して求めます。この枠組みを理解すれば Chainer によるディープラーニングのプログラムは容易です。
　簡単な feed forward のニューラルネットからはじめ、少し複雑な関数に対応する CNN と RNN（ LSTM） の実装例を示します。LSTM に対しては Attention の導入例や、多層化とバッチ処理に対応したNStepLSTM、またそれを双方向化した NStepBiLSTM も解説します。　最後に、近年注目されている Variational Autoencoder (VAE) を解説し、その Chainer による実装例を示します。

○受講対象：
　・ニューラルネットワークの誤差逆伝播法と最急降下法について理解したい方
　・Chainer によるディープラーニングのプログラムの作り方を知りたい方
　・CNN とその Chainer による実装を知りたい方
　・RNN（ LSTM, NStepLSTM, NStepBiLSTM ）とその Chainer による実装を知りたい方
　・VAE とは何かを知りたい方
　・VAE の Chainer による実装を知りたい方

○受講にあたり必要となる予備知識：
　・機械学習とは何かくらいは知っている方
　・プログラミングの経験のある方・またはプログラムの基本をある程度ご存じの方
　 （どんな言語でもよいですが、少しでもプログラミング経験があれば大丈夫だと思います）
　・Python のエキスパートである必要はありませんが、ある程度、その文法を知っている方が
　　理解しやすいと思います。

○受講後、習得できること：
　・最急降下法と誤差逆伝播法について理解できます
　・Chainer によるディープラーニングのプログラム作成法が習得できます
　・CNN, RNN（ LSTM, NStepLSTM, NStepBiLSTM ）の Chainer による実装方法が理解できます
　・VAE について理解できます

セミナー内容

1. ニューラルネットと最急降下法
　一般にディープラーニングはネットワークによって複雑な関数を表現し、その関数のパラメータを訓練データから学習するという枠組みで捉えられます。そして一般に関数のパラメータを推定するには最急降下法が利用できます。ニューラルネットワークに対する最急降下法がいわゆる誤差逆伝播法と呼ばれるものです。

　1.1 ニューラルネットの概要
　1.2 ニューラルネットにおける学習
　1.3 目的関数
　1.4 最急降下法

2. Chainer の基本
　まず Chainer の仕組みと基本オブジェクトを説明し、次にプログラムのひな形を示します。簡単な分類問題を例として、その問題を解く Chainer のプログラムをひな形に沿って作ってみます。ポイントはネットワークのモデルを関数で表現し、その損失関数（目的関数）を設定し、最急降下法を利用する点です。

　2.1 合成関数と計算グラフ
　2.2 計算グラフを利用した勾配計算
　2.3 Chainer 基本オブジェクト
　　　2.3.1 Variable
　　　2.3.2 functions
　　　2.3.3 links
　2.4 最適化
　2.5 NN の実装例

3. Chainer による複雑なネットワークの実装
　前述したひな形を用いて、複雑なネットワークに対する Chainer のプログラム例を示します。複雑なネットワークの例としては、CNN や RNN （LSTM） を扱います。どのようなネットワークなのかを説明してから、プログラム例を示します。CNN については MNIST データを題材にします。RNN （LSTM） については簡単な時系列データを題材にします。更に LSTM については Attention の導入例や、多層化とバッチ処理に対応したNStepLSTM、またそれを双方向化した NStepBiLSTM も解説します。RNNは各データが時系列データであり、その長さがばらばらであるためにバッチ処理には煩雑な作業が伴います。NStepLSTM を使うと、長さの違いを気にせずにバッチ処理ができます。

　3.1 CNN の概要
　3.2 CNN の Chainer による実装例
　3.3 RNN（LSTM） の概要
　3.4 LSTM の Chainer による実装例
　3.5 Attention の導入例
　3.6 NStepLSTM と NStepBiLSTM の Chainer による実装例

4. VAE (Variational Autoencoder)
　VAE は深層生成モデルの１つです。VAE とは何であり、何ができるのかを示します。特に以下の論文で示された半教師あり学習の応用が重要であり、この論文の手法を解説します。
　Kingma, D. P., Mohamed, S., Rezende, D. J., & Welling, M. "Semi-supervised learning with deep generative models", NIPS-2014, pp.3581-3589 (2014).

　4.1 生成モデル
　4.2 変分下限により目的関数の設定
　4.3 変数変換のトリック
　4.4 半教師あり学習の実現

5. Chainer による VAE の実装
　前述した論文は M1 と呼ばれる教師なし学習、 M2 と呼ばれる半教師あり学習、およびそれらを組み合わせた M1+M2 の3つの手法が提案されています。これらの Chainer による実装例を解説します。

　5.1 M1 の実装
　5.2 M2 の実装
　5.3 M1+M2 の実装

 ＜質疑応答＞