3Dセンシング技術（Light Coding / Time of Flight / Infrared Depth）の 動作原理と非接触生体センシング』　 ～Microsoft Kinect V2, Intel RealSense F-200,R-200など～

　デプス・センシング・アルゴリズム（ Structured Light技術[V1/RealSense] / Time of Flight技術[V2] / Infrared Depth [次世代] ）の理解から、それを用いた非接触生体センシングの動作原理、ヒューマン・ヘルスケア関連アプリケーションへの展開、及び次世代デバイスHololensのデモまで解説

はじめに
　　・2017年８月末、Intel社がSR-300, R-200の生産を終了。
　　・2017年10月25日、Microsoft社がKinectの生産を終了。
　　・ASUS Xtion2 (ToF方式) 640x480画素
　　・D415、D435（Structured Light方式）1280x720画素

　【イントロダクション編】
第１章　3Dセンサに要求される機能概要
　　☆基本機能
　1　Color　…　フルHDカラーカメラのキャプチャ
　2　Depth　…　 ToF（Time of Flight）方式デプスデータの画像化
　3　BodyIndex　…　人検出（人物のいる領域を示すデータ）
　4　Infrared　…　アクティブ赤外線画像データ
　5　Body　…　骨格トラッキング(25点の関節3次元座標、手のグー、チョキ、パー検出)
　6　Audio　…　音声データ (音源方向検出とビームフォーミング、音声認識)
　7　Face　…　5つ(両眼、鼻、口角)の特徴点の3次元座標と数種類の表情や状態を検出
　8　HD Face　…　2,000点の顔モデルと多数の特徴点のキャプチャー
　9　Kinect Fusion　…　3Dスキャナ
　　☆拡張機能
　・PC間通信
　10　WebSocket　…　サーバー⇔クライアント
　11　UDP　…　一方的送信
　・FIFO利用（ノイズ抑制、残像等）
　12　DepthFIFO　…　フレームFIFOを用いた時系列方向の移動平均
　13　InfraredFIFO　…　フレームFIFOを用いた時系列方向の移動平均
　14　AfterImage　…　骨格トラッキングされた関節の軌跡（残像）
　15　Gesture(Circle) 軌跡（点群データ）から円の中心座標を推定
　・法線ベクトル推定
　16　DepthFusion　…　デプスの放物曲面推定で法線ベクトルを推定し、光源計算（Lighting）により立体感のある表示法
　・非接触バイタルセンシング
　17　Acceleration　…　骨格トラッキングで加速度検出（速度も可）
　18　FaceHeartBeat　…　顔の観測（Color or Infrared）で心拍を観測
　19　Breathing　…　胸部観測(Depth)で呼吸・心拍を観測
　20　PointCloud　…　点群データの活用により観察方向を任意変更　沈水、転倒、うずくまり、横たわり
　21　BodyBalance　…　平衡感覚の老化測定
　・応用
　22　HandGesture　…　NUI（Natural User Interface）
　23　AR Sensing　…　1チャンネルのセンサで空間に分布状態を可視化
　24　CyberEye　…　距離を音に変換する視覚障碍者向けデバイス　聴覚で視覚を代替する知覚コンバータ
　25　EyeTracking　…　瞳孔輪郭を検出し、視線ベクトルを算出
　26　RobotEyeContact　…　前に立った人を見つめるロボット制御
　27　VirtualMusicalInstrument　…　仮想楽器
　28　HomeControl　…　家電制御
　・ToFデプス精度の検証
　29　DepthPrecision デプスのノイズ原因の検証用
　　☆その他のアプリケーション
　30　残像表示　…　骨格トラッキングにより取得した関節３次元座標の時間履歴をFIFOメモリ保持
　31　非接触加速度センシング
　32　平衡感覚の衰えをセンシング
　33　ハンド・モーション判定
　34　円運動推定
　35　ハンドジェスチャーによる家電制御
　36　エア楽器
　37　赤外線近接NUIによる指先トラッキング
　38　ロボット視線トラッキング
　39　非接触バイタルセンシング　…　在宅介護見守りシステムなど

　【構造と動作原理概要説明編】
第2章　3Dセンサの概要
　1　光源と観測位置の座標の違いを利用する（光三角法）
　　1.1　光切断法
　　1.2　モアレ法
　　1.3　Structured Light法
　　　1.3.1　固定パターン法
　　　　・ランダムドットパターンを用いた相関方法（iPhone X, KinectV1, Carmine, RealSense D415，D435）
　　　　・高速高分解能カメラで各ドットを追尾するHyper Depth
　　　1.3.2　時分割パターン法（RealSense F-200, SR-300）
　2　光パルスの往復時間または位相遅れを利用する（Time of Flight）
　　2.1　ToFカメラ
　　2.2　LiDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）
　3　カメラ位置の違いから特徴点/テクスチャのマッチングを利用
　　3.1　PTAM（Point Tracking and Mapping）
　　3.2　ステレオ・マッチング
　　3.3　SLAM（Simultaneous Localization and Mapping）　…　自己位置推定と環境地図作成を同時に行う
　　3.4　マルチカメラ
　　3.5　自己位置推定用シートマーカーを用いる方法（Qlone）
　4　機械学習から静止画から3D顔モデルを再構成する
　　cvl-demos.cs.nott.ac.uk/vrn/
　5　拡散反射光の性質を利用する（Infrared Depth）
　6　拡散反射光を仮定して法線ベクトルを求めデプスを推定する
　7　Make3D（視覚処理の模倣）
　8　カラー開口フィルタ（東芝）

　【動作原理説明上級編】
第3章　ToF方式デプスカメラの動作原理～Kinect for Windows V2のTime of Flight方式～
　1　ToF方式デプスカメラのジッターノイズ
　2　ジッターノイズの大きくなる条件
　　　ビーム指向性、赤外線吸光度、法線ベクトル、距離減衰（距離の2乗に反比例）
　3　ToF方式デプスカメラの基本動作原理
　4　ToF方式デプスカメラの測定ステップ
　5　ToF方式デプスカメラの演算動作
　　　環境光オフセット除去、アクティブ赤外線、デプス値の演算
　6　Microsoft社の米国特許出願内容
　7　C.E.Shannonのチャンネル容量の法則
　8　フレーム移動平均処理（チャンネル容量の法則）
　9　法線ベクトルセンシング
　10　Depth Fusion
　　　 光源計算（Lighting）による陰影付け（Shading）
　11　床面法線ベクトル学習によるポイント・クラウドの活用
　　11.1　見守りシステム（病院、介護施設、在宅）
　　11.2　浴室見守り
　12　非接触バイタルセンシングへの応用
　　　矩形領域内加算平均処理と時間履歴データの
　　　最小二乗法放物線補間処理（チャンネル容量の法則）
　　　呼吸・心拍センシング
　13　補足説明

第4章　Light Coding方式の動作原理…デプスカメラの動作原理
　　～デプスカメラを１から作り、機能を再現する～
　　～乱数パターンの相互相関で距離を演算～
　1　光切断法による測距(レーザーポインタ)
　2　光切断法による測距の多重化（ラインレーザー）
　3　Light Codingとは
　　　ランダム・ドット・パターンの自己相関特性による個別ドットの識別方法
　4　イスラエルのPrime Sense社の米国特許出願内容
　5　乱数投影パターンの数学的性質と相互相関
　6　可視光プロジェクタとWebカメラによる検証
　7　pre-convoluted patter法(高速アルゴリズム)
　8　ランダムドットプロジェクタの製作方法
　　　レーザーダイオード＋コリメートレンズ＋回折格子

第5章　InfraredDepth方式の動作原理
　　～学習で普通のWebカメラをデプスカメラにしてしまう～
　1　Microsoft社のSIGGRAPH2014発表内容
　2　Webカメラを赤外線カメラに改造
　3　InverseSquare法とは
　4　InverseSquare法の検証結果
　5　InverseSquare法の問題点
　6　InverseSquare法の改善策
　7　NeoTechLabのオリジナル・アルゴリズム

第6章　次世代情報濃縮アルゴリズム
　　～圧縮ノイズや量子化ノイズに埋もれた情報を抽出する技術～
　1　JPEG圧縮された画像データからの血管分布や表面凹凸を抽出
　2　アルゴリズム
　　2.1　周囲画素を使った空間フィルタで高解像度化
　　2.2　観測波長の差異で深さ別に情報抽出
　3　将来の可能性

　【非接触生体センシング編】
第7章　非接触生体センシングの基礎知識
　　☆心拍・呼吸に関する基礎知識
　1　心臓の構造と心電図
　2　呼吸動作と酸素供給の関係
　3　呼吸と心拍揺らぎの関係
　4　入浴中の心拍揺らぎと年齢
　☆心拍・呼吸センシングの原理
　5　カラー画像または赤外線画像からの心拍センシング
　6　デプスデータからの呼吸・心拍センシング
　7　KinectV1での非接触呼吸・心拍センシング
　8　スポット光方式
　　　反射光強度分布を放物面関数で近似して精密測距
　9　マーカー方式
　　　濃度分布関数または円形マーカーを用いた精密測距

　【その他の関連アルゴリズム説明編】
第8章　アルゴリズムの原理
　1　FIFOアルゴリズム
　　1.1　FIFO
　　1.2　高速移動平均
　　1.3　矩形波相関法
　2　基底遷移アルゴリズム
　　2.1　放物線補間と3軸加速度検出やノイズ除去
　　2.2　放物面補間（輝度分布中心の推定）
　　2.3　線スペクトルとDCオフセットノイズ除去
　　2.4　適応フィルタ
　　2.5　デコンボリューション（逆畳み込み演算）
　　2.6　2次元ポイントクラウド⇒円の中心座標⇒半径
　　2.7　3次元ポイントクラウド⇒円の中心座標⇒半径
　　2.8　3次元ポイントクラウド⇒球の中心座標⇒半径
　3 最小2乗法
　　3.1　放物線補間
　　3.2　放物面補間
　4　ジェスチャ
　　4.1　Air Tap
　　4.2　Bloom

　【まとめ】
Appendix A　3Dセンサの動向
　1　ストラクチャ光照明方式
　　1.1　固定パターン投影型
　　　　　Kinect V1, Carmine
　　1.2　時分割パターン投影型
　　　　　Intel RealSense F-200, SR-300 / R-200 / D415, D435
　2　ToF（Time of Flight）方式
　　Kinect V2, Senz3D, Xtion2
　3　InfraredDepth方式（SIGGRAPH2014：Microsoft）
　4　Stereoカメラ方式
　5　Leap Motion（魚眼レンズステレオカメラ＋赤外線照明）
　6　PTAM方式（単眼カメラ）
　7　Make3D方式（単眼カメラ）Cornelｌ大学
　8　3Dセンサの現状
　9　日本の3Dセンサの開発動向

Appendix B　Kinect V2
　　～Microsoft社Kinect V2の実機デモによる概要説明（Kinect for Windows SDK 2.0の基本機能）を行います。
　1　推奨ハードウェア条件とPCの適合性診断方法
　2　ハードウェア編
　　2.1　接続構成と接続台数の制約
　　2.2　フルHDカラーカメラ
　　2.3　赤外線カメラ
　　2.4　赤外線レーザー
　　2.5　3軸直交加速度
　　2.6　マイクロフォン・アレイ
　3　ソフトウェア編（SDK2.0 Build1409版）
　　3.1　Color　…　フルHDカラーカメラのキャプチャ
　　3.2　Depth　…　ToF（Time of Flight）方式デプスデータの画像化
　　3.3　BodyIndex　…　人検出（人物のいる領域を示すデータ）
　　3.4　Infrared　…　アクティブ赤外線画像データ
　　3.5　Body　…　骨格トラッキング（25点の関節3次元座標、手のグー、チョキ、パー検出）
　　3.6　Audio　…　音声データ (音源方向検出とビームフォーミング、音声認識)
　　3.7　Face　…　5つ（両眼、鼻、口角）の特徴点の3元座標と数種類の表情や状態を検出
　　3.8　HD Face　…　2,000点の顔モデルと多数の特徴点のキャプチャ
　　3.9　Kinect Fusion　…　3Dスキャナ
　　3.10　補足事項

Appendix C　3次元グラフィックスの基礎知識
　1　3D-CGモデル
　2　ポリゴン描画
　3　透視変換と光源計算
　4　Kinect Fusionと光源計算
　5　光源計算
　6　Bone
　7　Boneと物理演算センサ

Appendix D　RealSense SR-300 / R-200イントロダクション
　～Intel社RealSense SR-300 / R-200の実機デモによる概要説明（RealSense SDKの基本機能）を行います。
　1　推奨ハードウェア条件とPCの適合性診断方法
　2　ハードウェア編
　　2.1　SR-300（F-200の後継機）
　　2.2　R-200
　3　ソフトウェア編
　　3.1　Color
　　3.2　Depth
　　3.3　Infrared
　　3.4　Hand Tracking
　　3.5　Face Tracking
　　3.6　3Dスキャン
　　3.7　補足事項
　　
Appendix E　Kinect V1イントロダクション～Kinect for Windows [V1]の概略構造～
　1　拡張現実とは？
　2　拡張現実関連の時代の流れ
　3　Kinectとは？
　4　Kinectの差異
　5　推奨ハードウェア条件
　　　本体形状、USB2.0 I/Fと電源、スティックPCでも動作
　6　Kinectの概略構成
　　　・RGBカメラ　・赤外線プロジェクタ　・赤外線カメラ　・３軸直交加速度センサ　・仰角制御モーター　・４つのマイクロフォン
　7　Kinectの内部構造
　8　Kinectの赤外線プロジェクタ
　9　デプスカメラ
　10　Kinectの機能概要
　11　Kinect V1ソフトウェア編～Kinect for Windows SDK Ver.1.8の基本機能紹介とデモ～
　　11.1　カラー画像キャプチャ
　　11.2　デプスイメージ　(カラールックアップテーブル方式を例示)
　　11.3　赤外線カメラ
　　11.4　骨格トラッキング
　　11.5　人物検出
　　11.6　カメラ位置補正の方法
　　11.7　3軸加速度センサと仰角制御
　　11.8　オーディオ
　　　　・音声認識と音声合成　・音源方向検出とビームフォーミング
　　11.9　アバターアニメーション
　　11.10　顔トラッキング
　　11.11　手の状態検出（手のGrab/Pan検出）
　　11.12　Kinect Fusion
　　11.13　動画作成フリーウェアMikuMikuDance

Appendix F　LeapMotion

Appendix G　See-Through HMD
　　 Hololens, DAQRI, Meta2

Appendix H　Mixed Reality Immersive HMD

Appendix I　その他の付録
　1　赤外線ハンドモーションセンサ
　2　カメラで回転角度を検出する方法
　3　Webカメラで心拍センシング