ディープラーニングの推論高速化に役立つモデル軽量化技術の基礎と最新動向

セミナー趣旨

  　ディープラーニングのモデルは、その他の機械学習モデルと比べて推論処理に必要なメモリ使用量・演算量が膨大であり、さらにそれらを多く必要とするモデルほど性能（認識精度など）が良くなる傾向があります。一般に、メモリ使用量や演算量は、処理速度・消費電力・部品コスト等に直接関わるため、なるべく小さく抑えたいところです。そのようなニーズに対し、ディープラーニングモデルの性能をできる限り維持しつつメモリ使用量・演算量を削減する軽量化技術が登場し、研究が進められています。
　本講演では、画像認識問題を題材として、まず軽量化の観点からディープラーニングの基礎を説明した後、様々な軽量化技術のテクニックを紹介していきます。各テクニックに関しては、AI系の有力国際会議（CVPR、ICLRなど）やプレプリントサーバ（ArXiv）に掲載されている最新技術を主に扱い、理論的な厳密さよりもイメージやコンセプト重視でわかりやすくご説明します。

セミナープログラム

　1　ディープラーニングの基礎

　　1.1　データ表現と問題設定
　　1.2　全結合ネットワークモデル
　　1.3　畳み込みネットワークモデル
　　1.4　代表的なモデルとその構成要素

　2　モデルプルーニング

　　2.1　非構造化プルーニング
　　　・Magnitude-based Pruning
　　　・Lottery Ticket Hypothesis
　　　・Weight Rewinding
　　　・Learning-rate Rewinding
　　2.2　構造化プルーニング
　　　・L1norm-based Pruning
　　　・ThiNet
　　　・PCAS

　3　ネットワーク量子化

　　3.1　二値化
　　　・XNOR-Net
　　　・Bi-Real Net
　　3.2　一様量子化
　　　・Integer Arithmetic Only Inference
　　　・PACT
　　　・Learned Step-size Quantization
　　3.3　非一様量子化
　　　・LogNet
　　　・Learnable Companding Quantization

　4　軽量アーキテクチャ設計

　　4.1　分岐・合流接続の工夫
　　　・PeleeNet
　　　・CSPNet
　　4.2　畳み込みの要素分解
　　　・MobileNet-V1
　　　・MobileNet-V2
　　4.3　構造の自動探索
　　　・FBNet

　5　その他の軽量化技術

　　5.1　重み共有
　　　・Product Quantization
　　5.2　知識蒸留
　　　・Few Sample Knowledge Distillation
　　5.3　低ランク近似
　　　・Compression-aware Training

　6　まとめ

セミナー講師

山本 康平（やまもとこうへい）氏
沖電気工業株式会社　イノベーション推進センター　AI技術研究開発部

セミナー受講料

お1人様受講の場合　51,700円[税込]／1名
1口でお申込の場合　62,700円[税込]／1口（3名まで受講可能）
 
受講申込ページで2～3名を同時に申し込んだ場合、自動的に1口申し込みと致します。

受講について

• 本セミナーの受講にあたっての推奨環境は「Zoom」に依存しますので、ご自分の環境が対応しているか、お申込み前にZoomのテストミーティング（http://zoom.us/test）にアクセスできることをご確認下さい。
• インターネット経由でのライブ中継ため、回線状態などにより、画像や音声が乱れる場合があります。講義の中断、さらには、再接続後の再開もありますが、予めご了承ください。
• 受講中の録音・撮影等は固くお断りいたします。