多様な行動情報から人間の性格・スキル・認知状態などの内面を推定する社会的信号処理技術

セミナー趣旨

　性格，感情，認知状態，社会的コミュニケーションスキルといった人間の内面は，行動・言語といったマルチモーダル情報として観測されることが社会学・心理学・認知科学等の知見として得られている． マルチモーダル情報より多様な内面状態を推定・生成する技術は「社会的信号処理（Social Signal Processing）」と呼ばれている．
　本講義では社会的信号処理の根幹となる，カメラ・マイク・生体センサといった複数のセンサから取得されるマルチモーダル時系列データより，多様な人間の内面状態を自動推定するためのマルチモーダル情報処理・機械学習技術を体系的に解説する．また社会的信号処理の応用として，「対話中の感情認識」，「プレゼンテーション・対人コミュニケーションスキルの推定」，「運転行動情報に基づく認知機能の推定」，「日常行動計測に基づく認知症傾向の推定」，「マルチモーダル対話ロボット」といった幅広い事例を紹介する．

セミナープログラム

1. マルチモーダル社会的信号処理の導入
2. マルチモーダル社会的信号処理のための理論
   1. 社会言語学の知見
   2. 社会心理学の知見
   3. 社会的信号処理に用いるマルチモーダル情報処理のための基礎
      1. 音声情報処理
      2. 画像情報処理
      3. 言語情報処理
      4. 生体情報，その他のセンサ情報処理
   4. 社会的信号処理のためのＡＩ技術
      1. 機械学習
         ①分類・回帰学習
         ②転移学習、半教師付き学習、弱教師付き学習
      2. マルチモーダル機械学習
   5. 社会的信号処理モデルの構築方法
      1. データコーパスの収集
      2. 心理学の知見を利用した正解ラベルデータの作成方法
      3. 入力モダリティの選定
      4. マルチモーダル特徴量の抽出
      5. マルチモーダル情報の機械学習・評価
   6. 社会的信号処理の応用実例
      1. マルチメディアコンテンツ解析
      2. マルチモーダル感情認識
         ①生体信号処理に基づく認識
         ②対話ロボットとの対話満足度の認識
         ③外部言語知識を利用した感情に紐づく情報の拡張
         ④複数のコーパスを用いた感情認識習
      3. コミュニケーション・プレゼンテーション能力の推定
      4. 運転行動データに基づく認知機能の推定
      5. 行動情報に基づくストレス推定
      6. 行動データに基づく認知症傾向の推定
      7. マルチモーダル会話ロボット
      8. ユーザの内的状態推定に基づくロボットの会話戦略
      9. ユーザの面接対話スキル判定機能を備えた就職面接訓練エージェントシステム

セミナー講師

岡田将吾（おかだしょうご）　氏
北陸先端科学技術大学院大学　先端科学技術研究科　准教授（博士（工学））  

＜学位＞ 　横浜国立大学学士(工学)(2003)、東京工業大学修士(工学)(2005)、東京工業大学博士(工学)(2008)  

＜経歴＞ 
　2008年　京都大学　特定助教
　2011年　東京工業大学　助教
　2014年　IDIAP research institute 滞在研究員
　　2018年7月〜2020年3月　理化学研究所　革新知能統合センター　客員研究員
　2017年5月〜現在　北陸先端科学技術大学院大学 先端科学技術研究科 准教授 

＜受賞＞ 
 　2019年10月　ACM International Conference on Multimodal Interaction(ICMI 2019) Outstanding Reviewers
　2019年10月　ACM International Conference on Multimodal Interaction(ICMI 2019) Best Paper Runner-up Award
　2019年8月　International Conference on Human-Computer Interaction(HCI International 2019) Best paper award
　2019年6月　人工知能学会 2019年度 人工知能学会全国大会 優秀賞
　2016年　人工知能学会創立30周年記念特集論文最優秀賞

＜専門＞  　ヒューマンインタフェース、インタラクション, 知能情報学

セミナー受講料

お1人様受講の場合　53,900円[税込]／1名
1口でお申込の場合　66,000円[税込]／1口（3名まで受講可能）

受講申込ページで2～3名を同時に申し込んだ場合、自動的に1口申し込みと致します。

受講について

• 本セミナーの受講にあたっての推奨環境は「Zoom」に依存しますので、ご自分の環境が対応しているか、お申込み前にZoomのテストミーティング（http://zoom.us/test）にアクセスできることをご確認下さい。
• インターネット経由でのライブ中継ため、回線状態などにより、画像や音声が乱れる場合があります。講義の中断、さらには、再接続後の再開もありますが、予めご了承ください。
• 受講中の録音・撮影等は固くお断りいたします。