ニューラルネットワークの原理とその高速化技術

講師

名古屋工業大学 工学研究科 情報工学専攻　准教授　博士（情報学）　津邑 公暁 氏

受講料

48,600円 ( S&T会員受講料 46,170円 )
(まだS&T会員未登録の方は、申込みフォームの通信欄に「会員登録情報希望」と記入してください。詳しい情報を送付します。ご登録いただくと、今回から会員受講料が適用可能です。)

【2名同時申込みで1名分無料キャンペーン（１名あたり定価半額 の24,300円）】
※2名様ともS&T会員登録をしていただいた場合に限ります。
※同一法人内(グループ会社でも可)による2名同時申込みのみ適用いたします。
※3名様以上のお申込みの場合、上記１名あたりの金額で追加受講できます。
※受講券、請求書は、代表者にご郵送いたします。
※請求書および領収書は1名様ごとに発行可能です。
　(申込みフォームの通信欄に「請求書１名ごと発行」と記入ください。)
※他の割引は併用できません。

得られる知識

・ニューラルネットワーク，特に深層学習に用いられる畳み込みニューラルネットワークの原理と仕組み
・ニューラルネットワークに必要な計算とその特徴
・ニューラルネットワーク計算の既存高速化手法の概要
・ニューラルネットワーク高速化に関する研究動向

趣旨

　本講演では、ニューラルネットワークおよび深層学習の基礎知識からはじめ、ニューラルネットワーク計算を高速化するための技術について概観します。高速化技術については、既に実用化されているものから研究段階のものまで幅広く紹介します。具体的には、ＧＰＵを用いた高速化技術，ＦＰＧＡを用いた高速化技術、そしてニューラルネットワーク計算専用ハードウェアについて紹介します。

プログラム

１．はじめに
　・ニューラルネットワークの流行
　・流行のきっかけ
　・深層学習とは
　・深層学習の効果
　・深層学習の爆発的普及
　・応用事例
　・ニューラルネットワークの計算環境
　・ニューラルネットワークの規模と計算時間
　・高速な計算環境の必要性

２．ニューラルネットワーク
　・人工知能とニューラルネットワーク
　・ニューラルネットワークの歴史
　・脳と神経細胞
　・人工ニューラルネットワーク
　・ニューラルネットワークの種類
　・畳み込みニューラルネットワーク（CNN）
　・畳み込み層の処理
　・プーリング層の処理
　・さまざまなニューラルネットワーク
　・ニューラルネットワークにおける学習
　・教師あり学習
　・誤差逆伝播法（Back Propagation）
　・通時的誤差逆伝播法
　・誤差逆伝播法の勾配消失問題
　・シグモイド関数の特徴
　・勾配消失問題の回避法
　・ニューラルネットワーク計算の特徴
　・畳み込みニューラルネットワークの特徴

３．ニューラルネットワーク計算高速化のための一般的なテクニック
　・ニューラルネットワーク計算のボトルネック
　・全結合層の計算の行列積表現
　・畳み込み層の計算の行列積表現
　・行列積の並列化
　・キャッシュの基本
　・行列積とキャッシュ
　・タイリング（ブロッキング）
　・データ圧縮
　・計算に必要な精度
　・数の表現
　・枝刈り（Pruning）とニューロン刈り（Dropout）

４．GPUを用いた高速化
　・GPUのアーキテクチャ
　・SMのアーキテクチャ
　・GPUのプログラミングモデル
　・SIMDとSIMT
　・Warp実行方式
　・Branch Divergence
　・GPUにおけるメモリアクセス
　・ニューラルネットワーク計算とGPU
　・cuBLASを用いた行列積プログラム
　・Pascalアーキテクチャ
　・cuDNN

５．FPGAを用いた高速化
　・FPGA
　・PGAのアーキテクチャ
　・FPGAのプログラミング
　・FPGA v.s. GPU
　・FPGAとニューラルネットワーク計算
　・FPGAによる高速化事例　

６．専用ハードウェアを用いた高速化
　・ニューラルネットワークアクセラレータ（NNA）
　・NNAを利用するメリット
　・Tensor Processing Unit (TPU)
　・DianNao
　・DaDianNao
　・Cambricon
　・Cambricon-X
　・Eyeriss
　・TrueNorth
　・講演者の研究から

７．おわりに

 □質疑応答□