3Dセンシング技術(Light Coding / Time of Flight / Infrared Depth)の 動作原理と非接触生体センシング

 デプス・センシング・アルゴリズム( Structured Light技術[V1/RealSense] / Time of Flight技術[V2] / Infrared Depth [次世代] )の理解から、それを用いた非接触生体センシングの動作原理、ヒューマン・ヘルスケア関連アプリケーションへの展開、及び次世代デバイスHololensのデモまで解説


【講師】


上田智章(うえだともあき)氏:株式会社フォスメガ 代表取締役社長


【プログラム】


第1章 3Dセンサの開発動向〜3Dセンサの開発動向を方式別に紹介します。


  1.1 ストラクチャ光照明方式(Kinect V1, Carmine, Intel RealSense F-200 / R-200)
  1.2 ToF(Time of Flight)方式(Kinect V2, Senz3D他)
  1.3 InfraredDepth方式(SIGGRAPH2014:Microsoft)
  1.4 Stereoカメラ方式
  1.5 Leap Motion(魚眼レンズステレオカメラ+赤外線照明)
  1.6 PTAM方式(単眼カメラ)
  1.7 Make3D方式(単眼カメラ)Cornell大学
  1.8 3Dセンサの現状
  1.9 日本の3Dの開発動向


第2章 Kinect V2イントロダクション〜Microsoft社Kinect V2の実機デモによる概要説明(Kinect for Windows SDK 2.0の基本機能)を行います。


  2.1 推奨ハードウェア条件とPCの適合性診断方法
  2.2 ハードウェア編
   2.2.1 接続構成と接続台数の制約 
   2.2.2 フルHDカラーカメラ
   2.2.3 赤外線カメラ
   2.2.4 赤外線レーザ
   2.2.5 3軸直交加速度センサ
   2.2.6 マイクロフォン・アレイ
  2.3 ソフトウェア編(SDK2.0 Build1409版)
   2.3.1 Color フルHDカラーカメラのキャプチャ
   2.3.2 Depth ToF(Time of Flight)方式デプスデータの画像化
   2.3.3 BodyIndex 人検出(人物のいる領域を示すデータ)
   2.3.4 Infrare アクティブ赤外線画像データ
   2.3.5 Body 骨格トラッキング(25点の関節3次元座標、手のグー、チョキ、パー検出)
   2.3.6 Audio 音声データ(音源方向検出とビームフォーミング、音声認識)
   2.3.7 Face 5つ(両眼、鼻、口角)の特徴点の3次元座標と数種類の表情や状態を検出
   2.3.8 HD Face 2,000点の顔モデルと多数の特徴点のキャプチャ
   2.3.9 Kinect Fusion 3Dスキャナ
   2.3.10 捕捉事項
 Appendix A 3次元グラフィックスの基礎知識〜3D-CGモデルについて、ポリゴン描画について、透視変換と光源計算について、Kinect Fusionと光源計算について、光源計算について、Bone、Boneと物理演算


  3D-CGモデルについて
  ポリゴン描画について
  透視変換と光源計算について
  Kinect Fusionと光源計算について
  光源計算について
  Bone
  Boneと物理演算


第3章 RealSense F-200 / R-200イントロダクション…Intel社RealSense SR-200 / R-200の実機デモによる概要説明(RealSense SDKの基本機能)を行います。


  3.1 推奨ハードウェア条件とPCの適合性診断方法
  3.2 ハードウェア編
   3.2.1 F-200(後継機はSR-300)
   3.2.2 R-200
  3.3 ソフトウェア編
   3.3.1 Color
   3.3.2 Depth
   3.3.3 Infrared
   3.3.4 Hand Tracking
   3.3.5 Face Tracking
   3.3.6 3Dスキャン
   3.3.7 捕捉事項
 Appendix B Kinect V1〜Kinect for Windows [V1]の概略構造〜


  拡張現実とは?
  拡張現実関連の時代の流れ
  Kinectとは?
  Kinectの差異
  推奨ハードウェア条件
   ・本体形状 ・USB2.0 I/Fと電源 ・スティックPCでも動作
  Kinectの概略構成
   ・RGBカメラ ・赤外線プロジェクタ ・赤外線カメラ


   ・3軸直交加速度センサ ・仰角制御モータ ・4つのマイクロフォン
  Kinectの内部構造
  Kinectの赤外線プロジェクタ
  デプスカメラ
  Kinectの機能概要
  Kinect V1ソフトウェア編〜Kinect for Windows SDK Ver.1.8の基本機能紹介とデモ〜
   1 カラー画像キャプチャ
   2 デプスイメージ(カラールックアップテーブル方式を例示)
   3 赤外線カメラ
   4 骨格トラッキング
   5 人物検出
   6 カメラ位置補正の方法
   7 3軸加速度センサと仰角制御
   8 オーディオ
  ・音声認識と音声合成 ・音源方向検出とビームフォーミング
   9 アバターアニメーション
   10 顔トラッキング
   11 手の状態検出(手のGrab/Pan検出)
   12 Kinect Fusion
   13 動画作成フリーウェアMikuMikuDance Appendix C LeapMotion


 第4章 アプリケーション事例紹介


  4.1 基本技術…骨格トラッキングにより取得した関節3次元座標の時間履歴をFIFOメモリを用いて残像表示。
  4.2 拡張現実センシング…センサ1個で物理量の分布状態を可視化する
  4.3 非接触加速度センシング
  4.4 平衡感覚の衰えをセンシング
  4.5 ハンド・モーション判定
  4.6 円運動推定
  4.7 ハンドジェスチャによる家電制御
  4.8 エア楽器
  4.9 Cyber Eye…聴覚で視覚を代替する知覚コンバータ
  4.10 赤外線近接NUIによる指先トラッキング
  4.11 ロボット視線トラッキング
  4.12 非接触バイタルセンシング…在宅介護見守りシステムなど


 第5章 ToF方式デプスカメラの動作原理〜Kinect for Windows V2のTime of Flight方式〜


  5.1 ToF方式デプスカメラのジッターノイズ
  5.2 ジッターノイズの大きくなる条件
   ビーム指向性、赤外線吸光度、法線ベクトル、距離減衰(距離の2乗に反比例)
  5.3 ToF方式デプスカメラの基本動作原理
  5.4 ToF方式デプスカメラの測定ステップ
  5.5 ToF方式デプスカメラの演算動作
   環境光オフセット除去、アクティブ赤外線、デプス値の演算
  5.6 Microsoft社の米国特許出願内容
  5.7 C.E.Shannonのチャンネル容量の法則
  5.8 フレーム移動平均処理(チャンネル容量の法則)
  5.9 法線ベクトルセンシング
  5.10 Depth Fusion
   光源計算(Lighting)による陰影付け(Shading)
  5.11 床面法線ベクトル学習によるポイントクラウドの活用
   5.11.1 見守りシステム(病院、介護施設、在宅)
   5.11.2 浴室見守り
  5.12 非接触バイタルセンシングへの応用
   矩形領域内加算平均処理と時間履歴データの最小2乗法放物線補間処理(チャンネル容量の法則)
   呼吸・心拍センシング
  5.13 補足説明


 第6章 Light Coding方式の動作原理、デプスカメラの動作原理〜デプスカメラを1から作り、機能を再現する〜〜乱数パターンの相互相関で距離を演算〜


  6.1 光切断法による測距(レーザポインタ)
  6.2 光切断法による測距の多重化(ラインレーザ)
  6.3 Light Codingとは
   ランダム・ドット・パターンの自己相関特性による個別ドットの識別方法
  6.4 イスラエルのPrime Sense社の米国特許出願内容
  6.5 乱数投影パターンの数学的性質と相互相関
  6.6 可視光プロジェクタとWebカメラによる検証
  6.7 pre-convoluted patter法(高速アルゴリズム) 
  6.8 ランダムドットプロジェクタ
  6.9 Hyper Depth
  6.10 RealSense SR300
 Appendix E Stereo Ir_Cam + Projector


第7章 InfraredDepth方式の動作原理〜学習で普通のWebカメラをデプスカメラにしてしまう〜


  7.1 Microsoft社のSIGGRAPH2014発表内容
  7.2 Webカメラを赤外線カメラに改造
  7.3 InverseSquare法とは
  7.4 InverseSquare法の検証結果
  7.5 InverseSquare法の問題点
  7.6 InverseSquare法の改善策
  7.7 NeoTechLabのオリジナル・アルゴリズム


第8章 非接触バイタルセンシングの基礎知識


  ◆心拍・呼吸に関する基礎知識
  8.1 心臓の構造と心電図
  8.2 呼吸動作と酸素供給の関係
  8.3 呼吸と心拍揺らぎの関係
  8.4 入浴中の心拍揺らぎと年齢
  ◆心拍・呼吸センシングの原理
  8.5 カラー画像または赤外線画像からの心拍センシング
  8.6 デプスデータからの呼吸・心拍センシング
  8.7 KinectV1での非接触呼吸・心拍センシング
  8.8 スポット光方式
    反射光強度分布を放物面関数で近似して精密測距
  8.9 マーカー方式
    濃度分布関数または円形マーカーを用いた精密測距


第9章 アルゴリズムの原理


  9.1 FIFOアルゴリズム
   9.1.1 FIFO
   9.1.2 高速移動平均
   9.1.3 矩形波相関法
  9.2 基底遷移アルゴリズム
   9.2.1 放物線補間と3軸加速度検出やノイズ除去
   9.2.2 放物面補間(輝度分布中心の推定)
   9.2.3 線スペクトルとDCオフセットノイズ除去
   9.2.4 適応フィルタ
   9.2.5 デコンボリューション(逆畳み込み演算)
   9.2.6 2次元ポイントクラウド⇒円の中心座標⇒半径
   9.2.7 3次元ポイントクラウド⇒円の中心座標⇒半径
   9.2.8 3次元ポイントクラウド⇒球の中心座標⇒半径
  9.3 最小2乗法
   9.3.1 放物線補間
   9.3.2 放物面補間


 第10章 Kinect/RealSenseソフトウェア開発環境


 第11章 基本プログラミング編〜基本的な使い方〜


  11.1 Kinect V2編
   11.1.1 Visual C#でWindows Form アプリケーションを作成
   11.1.2 Formデザイン
   11.1.3 コーディング(宣言部分)
   11.1.4 コーディング(初期化処理と終了処理)
   11.1.5 マルチ・ソース・フレーム
   11.1.6 表示例
  11.2 RealSense SR-300編
   11.2.1 Visual C#でWindows Form アプリケーションを作成
   11.2.2 Formデザイン
   11.2.3 コーディング(宣言部分)
   11.2.4 コーディング(初期化処理と終了処理)
   11.2.5 コーディング(キャプチャ処理部分)
   11.2.6 表示例
 第12章 東芝カラー開口撮像技術
 第13章 日立レンズレスカメラ
 第13章 付録  付録1 赤外線ハンドモーションセンサ
  付録2 カメラで回転角度を検出する方法
  付録3 Webカメラで心拍センシング
  付録4 8Mピクセル以上のカメラ解像度で可能になること  
 Appendix D Hololens
  LCOSプロジェクタと直交リフレクタ
  WLOを用いたSLAMとHPU
  ToFカメラによるハンドトラッキング
  2017年春に登場する$299からのVR HMDとWindows10 Creators Update
  HP, DELL, LENOVO, ACER, ASUSがVR HMDに参入


【受講料】


・お1人受講の場合 47,000円[税別]/1名
・1口でお申込の場合 59,000円[税別]/1口(3名まで受講可能)


 受講申込ページで2~3名を同時に申し込んだ場合、自動的に1口申し込みと致します。 


      


※セミナーに申し込むにはものづくりドットコム会員登録が必要です

開催日時


10:00

受講料

50,760円(税込)/人

※本文中に提示された主催者の割引は申込後に適用されます

※銀行振込

開催場所

東京都

主催者

キーワード

電気・電子技術   光学技術   情報技術

※セミナーに申し込むにはものづくりドットコム会員登録が必要です

開催日時


10:00

受講料

50,760円(税込)/人

※本文中に提示された主催者の割引は申込後に適用されます

※銀行振込

開催場所

東京都

主催者

キーワード

電気・電子技術   光学技術   情報技術

関連記事

もっと見る