ディープラーニングの推論高速化に役立つモデル軽量化技術の基礎と最新動向
開催日 |
11:00 ~ 16:30 締めきりました |
---|---|
主催者 | 株式会社トリケップス |
キーワード | 機械学習・ディープラーニング AI(人工知能) 情報技術 |
開催エリア | 全国 |
開催場所 | お好きな場所で受講が可能 |
画像認識問題を題材として、まず軽量化の観点から
ディープラーニングの基礎を説明した後、
様々な軽量化技術のテクニックを紹介していきます!
セミナー講師
山本 康平(やまもとこうへい)氏
沖電気工業株式会社 イノベーション推進センター AI技術研究開発部
セミナー受講料
お1人様受講の場合 51,700円[税込]/1名
1口でお申込の場合 62,700円[税込]/1口(3名まで受講可能)
受講申込ページで2~3名を同時に申し込んだ場合、自動的に1口申し込みと致します。
受講について
- 本セミナーの受講にあたっての推奨環境は「Zoom」に依存しますので、ご自分の環境が対応しているか、お申込み前にZoomのテストミーティング(http://zoom.us/test)にアクセスできることをご確認下さい。
- インターネット経由でのライブ中継ため、回線状態などにより、画像や音声が乱れる場合があります。講義の中断、さらには、再接続後の再開もありますが、予めご了承ください。
- 受講中の録音・撮影等は固くお断りいたします。
セミナー趣旨
ディープラーニングのモデルは、その他の機械学習モデルと比べて推論処理に必要なメモリ使用量・演算量が膨大であり、さらにそれらを多く必要とするモデルほど性能(認識精度など)が良くなる傾向があります。一般に、メモリ使用量や演算量は、処理速度・消費電力・部品コスト等に直接関わるため、なるべく小さく抑えたいところです。そのようなニーズに対し、ディープラーニングモデルの性能をできる限り維持しつつメモリ使用量・演算量を削減する軽量化技術が登場し、研究が進められています。
本講演では、画像認識問題を題材として、まず軽量化の観点からディープラーニングの基礎を説明した後、様々な軽量化技術のテクニックを紹介していきます。各テクニックに関しては、AI系の有力国際会議(CVPR、ICLRなど)やプレプリントサーバ(ArXiv)に掲載されている最新技術を主に扱い、理論的な厳密さよりもイメージやコンセプト重視でわかりやすくご説明します。
セミナープログラム
1 ディープラーニングの基礎
1.1 データ表現と問題設定
1.2 全結合ネットワークモデル
1.3 畳み込みネットワークモデル
1.4 代表的なモデルとその構成要素
2 モデルプルーニング
2.1 非構造化プルーニング
・Magnitude-based Pruning
・Lottery Ticket Hypothesis
・Weight Rewinding
・Learning-rate Rewinding
2.2 構造化プルーニング
・L1norm-based Pruning
・ThiNet
・PCAS
3 ネットワーク量子化
3.1 二値化
・XNOR-Net
・Bi-Real Net
3.2 一様量子化
・Integer Arithmetic Only Inference
・PACT
・Learned Step-size Quantization
3.3 非一様量子化
・LogNet
・Learnable Companding Quantization
4 軽量アーキテクチャ設計
4.1 分岐・合流接続の工夫
・PeleeNet
・CSPNet
4.2 畳み込みの要素分解
・MobileNet-V1
・MobileNet-V2
4.3 構造の自動探索
・FBNet
5 その他の軽量化技術
5.1 重み共有
・Product Quantization
5.2 知識蒸留
・Few Sample Knowledge Distillation
5.3 低ランク近似
・Compression-aware Training
6 まとめ