Vision Transformerの仕組み

～コンピュータビジョン応用を中心とした最前線～

セミナー講師

藤吉弘亘（ふじよしひろのぶ）　氏
中部大学　工学部　情報科学科　/　大学院 工学研究科 情報工学専攻　教授（博士（工学））

＜略歴＞
　1997年　中部大学大学院 博士後期課程了
　1997〜2000年　米国カーネギーメロン大学 ロボット工学研究所　Postdoctoral Fellow
　2000年　中部大学　講師
　2004年　中部大学　准教授
　2005〜2006年　米国カーネギーメロン大学　ロボット工学研究所　客員研究員
　2010年　中部大学　教授
　2014年　名古屋大学　客員教授
　　現在に至る
＜学会＞ 　電子情報通信学会、情報処理学会、ロボット学会、IEEE
＜主な受賞＞ 　ロボカップ研究賞（2005年）
　情報処理学会論文誌CVIM優秀論文賞（2009年）
　情報処理学会山下記念研究賞（2009年）
　画像センシングシンポジウム優秀学術賞（2010, 2013, 2014年）
　電子情報通信学会 情報・システムソサイエティ論文賞（2013年）
＜研究＞ 　計算機視覚、動画像処理、パターン認識・理解の研究に従事

セミナー受講料

お1人様受講の場合　51,700円[税込]／1名
1口でお申込の場合　62,700円[税込]／1口（3名まで受講可能）

受講申込ページで2～3名を同時に申し込んだ場合、自動的に1口申し込みと致します。

セミナー趣旨

　自己注意機構を活用したニューラルネットワークであるTransformerは、機械翻訳タスクでSoTAを達成し実用化を加速させている。このTransformerをコンピュータビジョンタスクに適用したモデルがVision Transformerであり、2019年以降、急速に応用と改良が加えられている。Vision Transformerは、CNNとは異なる新たな特徴表現獲得が可能となり、テクスチャノイズに対してロバストな認識が可能となっている。
　本セミナーではVision Transformerについて従来の手法と対比しながらその仕組みを解説し、コンピュータビジョン応用を中心とした最前線についても紹介する。

セミナープログラム

1. 再帰型ニューラルネットワークの仕組み
   1. 再帰型ニューラルネットワーク（RNN）
   2. LSTM
   3. Seq2seq、Attention Seq2seq
2. Transformerの仕組み
   1. Transformer
   2. 大規模言語モデル
3. Vision Transformerの仕組み
   1. 特徴表現獲得の変遷
   2. VIsion Transformer（ViT)
   3. ViTによる画像認識
   4. ViTによる特徴表現獲得
4. ViTの最新動向
   1. ViTの派生手法（Swin Transformer、ConvNeXtなど）
   2. ViTの派生手法の傾向