各距離画像センサの原理から3Dセンサへの展開、周辺ソフトウェアや応用事例まで～StructuredLight,TimeofFlight,LiDAR等の様々なセンサを基礎から解説～＜デモあり＞

セミナー趣旨

　自動車分野では、自動運転化を実現するための探索センサ、搭乗者の健康状態モニタ、ユーザーインターフェースとして、距離画像センサを組み込んだ3Ｄセンサに関心が集まっている。また、世界的な先進国少子高齢化を踏まえ、2025年開催予定の大阪万博のテーマは『健康と医療』に決まり、非接触な見守り・看取りシステムに対する関心も高い。
　本セミナーでは距離画像センサとカラーカメラを組み込んだ3Ｄセンサの基本機能、ソフトウェアで実現できる応用事例をデモを通して紹介するとともに、方式別に測距原理の説明を行い、非接触生体センシングを中心とする応用とその原理について解説を行う。また、Shannonのチャンネル容量の法則を利用した増感処理やマッチング処理の原理や応用についても触れる。

受講対象・レベル

・デプスカメラを開発されようとお考えの方
・3D認証や3Dスキャン、ヒューマンインターフェース等のデプスカメラを用いた応用システムの開発をお考えの方
・通常のカラーカメラやデプスカメラによる非接触生体センシングでどのような生体情報が抽出できるのかについて興味をお持ちの方
・高解像度カラーカメラの動画や静止画からの非接触生体センシング・システムを開発されようとお考えの方

必要な予備知識

・高校卒業程度の数学知識
・Visual C#の基礎的な記述と文法に関する知識

習得できる知識

・各種デプスカメラの動作原理の理解
・センサアレイを用いた超高感度センシングの動作原理の理解
・デプスカメラを用いた非接触生体センシングで抽出できる生体情報の知識
・生体認証の危険性の理解
・監視カメラ画像で侵害されるプライバシーの範囲と活用による社会的貢献度
・可視光静止画（JPEGフォーマット）から抽出できる生体情報の知識
・非接触生体センシングを使いこなす上で必要な数学知識
など

セミナープログラム

★当日はデモを行いながら説明を行います。時間の都合により1～3章を中心に説明を行います。配布資料については以下の範囲が含まれます。

【イントロダクション編】
【3Ｄセンサとは？】
【拡大するデプスカメラ市場】
【デプスカメラの技術マップ】

***********************************************
【第1章】　『3Ｄセンサの機能』
***********************************************
　デモを行いながら、3Ｄセンサに要求される機能について説明を行います。
【イントロダクション編】
1.1　3Ｄセンサとは？
　1.1.1　画素単位に測距を行う機能を有するイメージデバイス
　1.1.2　デプスカメラの応用分野
　1.1.3　主な低価格市販デプスカメラ

1.2　Azure Kinect（Kinect v4）の概要
　1.2.1　Azure Kinect vs. Kinect v2
　1.2.2　Color（16:9/4:3のアスペクト比のMJPEGフォーマット4Kカメラ）
　1.2.3　Depth（ToF方式）
　　1.2.3.1　NFoVモード（75°×65°）とWFoVモード（120°×120°）
　　1.2.3.2　Unbinnedモード（短距離高解像度）と2×2 binnedモード（長距離低解像度）
　　1.2.3.3　Passive IRモード
　1.2.4　Azure Kinectの内部構造
　　1.2.4.1　7個のマイクロフォンからなる360°マイクロフォンアレイ
　　1.2.4.2　IMU:慣性測定ユニット（3軸加速度、3軸ジャイロ）
　　1.2.4.3　多チャンネル同期
　1.2.5　オープンソースのSDK（Windows10/Linux）
　　1.2.5.1　C言語ベースのDLL
　　1.2.5.2　Sensor SDK
　　1.2.5.3　Body Tracking SDK（プレビュー）
　　1.2.5.4　Computer Vision サービス SDK（Azure）
　　1.2.5.5　Speech SDK（Azure）
　　1.2.5.6　C++ラッパー
　　1.2.5.7　C#のラッパー
　1.2.6　稼働に必要なシステム要件
　1.2.7　C#プログラミング
　　1.2.7.1　初期化処理
　　1.2.7.2　Colorカメラ
　　1.2.7.3　Depthカメラ
　　　距離はmm単位整数で出力するものが多い。
　　　0）モノクロ（256階調）表示
　　　1）カラーＬＵＴ表示
　　　2）光源計算（Lighting）による反射光表示
　　　　デプス⇒法線ベクトル⇒反射光画像
　　　3）ポイントクラウド
　　　4）ポリゴン表示
　　1.2.7.4 IRカメラ
　　1.2.7.5 Body Tracking
　　1.2.7.6 3D-Scan
　1.3　Azure Kinect DK
　1.4　SONY ToF
　1.5　Intel RealSense
　1.6　過去の国内デプスカメラ

***********************************************
【第2章】　『3Ｄセンサの機能』
***********************************************
【3Ｄセンサの基本機能】
　2.1　Color　フルHDカラーカメラのキャプチャ
　2.2　Depth　ToF（Time of Flight）方式デプスデータの画像化
　2.3　BodyIndex　人検出（人物のいる領域を示すデータ）
　2.4　Infrared　アクティブ赤外線画像データ
　2.5　Body　骨格トラッキング（25点の関節3次元座標、手のグー、チョキ、パー検出）
　2.6　Audio　音声データ（音源方向検出とビームフォーミング、音声認識）

【3Ｄセンサの拡張機能】
　2.7　Face　5つ（両眼、鼻、口角）の特徴点の3次元座標と数種類の表情や状態を検出
　2.8　HD Face　2,000点の顔モデルと多数の特徴点のキャプチャー
　2.9　Kinect Fusion　3Dスキャナ

【ソフトウェアで実現可能な拡張機能】
　2.10　AfterImage　骨格トラッキングされた関節の軌跡（残像）
　2.11　BodyBalance　平衡感覚の老化測定をおこなう
　2.12　AR Sensing　1チャンネルのセンサで空間に分布状態を可視化
　2.13　Acceleration　非接触3軸加速度センシング
　　関節3次元座標{ x（t）, y（t）, z（t） }を要素ごとに放物線近似
　　O（t） = a*t*t + b*t + c とすれば、時刻t=0の加速度は2a, 速度はb
　2.14　PointCloud 　床法線ベクトルの検出。点群データの活用により観察方向を任意変更
　　沈水、転倒、うずくまり、横たわり
　2.15　Face3D　3次元顔認証（顔の3次元形状の切り出し）
　2.16　Body3D　実測デプス値に基づいて3D Bodyポリゴンモデルをフィッティング
　　　　　体重参照があれば非接触体脂肪率測定が行える
　2.17　HandGesture　NUI（Natural User Interface）　Air Tap, Bloom
　2.18　Cyber Eye　距離を音に変換する視覚障碍者向けデバイス

【非接触バイタルセンシング】【第一世代】
　2.19　FaceHeartBeat　顔の観測（Color or Infrared）で心拍を観測
　2.20　Breathing　胸部観測（Depth）で呼吸・心拍を観測

【HyperSenseによる機能】【第二世代】
　チャンネル容量の法則を利用して高感度化。カラーカメラ画像をマルチスペクトルカメラとして取り扱う
　2.21　ColorVector　色をベクトルとして精密分析
　2.22　ColorMap　ヘモグロビン、メラニン色素、ビリルビン、ウロビリノーゲン等の色変化を観測
　2.23　VesselVisualizer　血管の可視化
　　　 　（BとGから真皮層の毛細血管分布を、GとRから皮下組織内の血管を可視化）
　2.24　Hyper_HeartBeat　脈波の2次元観測（血流等も）
　2.25　BumpVisualizer　指紋・掌紋の可視化

【3Ｄセンサ応用】
　2.26　EyeTracking　瞳孔輪郭を検出し、視線ベクトルを算出
　2.27　RobotEyeContact　前に立った人を見つめるロボット制御
　2.28　Virtual Musical Instrument　仮想楽器
　2.29　HomeControl　家電制御

【PC間通信、ToFセンサの特性】
　2.30　WebSocket　サーバー⇔クライアント
　2.31　UDP　一方的送信
　2.32　DepthPrecision　ToFデプス精度の検証

【最新】
　2.33　3D Polygon Model　ポイントクラウドを用いて、放物曲面近似でジッターノイズを除去

【Appendix】3次元グラフィックスの基礎

***********************************************
【第3章】　『3Ｄセンサの動作原理』
***********************************************
　3.1　光源と観測位置の座標の違いを利用する（光三角法）
　　3.1.1　光切断法
　　3.1.2　モアレ法
　　3.1.3　Structured Light法
　　　3.1.3.1　Structured Light固定パターン投影法
　　　　・ランダムドットパターンを用いた相関方法（KinectV1, Carmine）
　　　　・高速高分解能カメラで各ドットを追尾するHyper Depth
　　　3.1.3.2　Structured Light時分割パターン法
　3.2　光パルスの往復時間または位相遅れを利用する（Time of Flight）
　　3.2.1 ～ 3.2.3 ToF方式とLiDAR方式導入
　　3.2.4 ～ 3.2.12 ToF方式
　　3.2.13 ～ 3.2.15 LiDAR（Light Detection and Ranging）[Laser Imaging Detection and Ranging]

【その他のデプスアルゴリズム】
　3.3　拡散反射光の性質を利用する（Infrared Depth）
　3.4　カメラ位置の違いから特徴点/テクスチャのマッチングを利用
　　3.4.1　PTAM（Parallel Tracking and Mapping）
　　3.4.2　SLAM（Simultaneous Localization and Mapping）自己位置推定と環境地図作成を同時に行う
　　3.4.3　マルチカメラ
　　3.4.4　自己位置推定用シートマーカーを用いる方法（Qlone）
　3.5　ステレオ・マッチング
　3.6　機械学習から静止画から3Ｄ顔モデルを再構成する　cvl-demos.cs.nott.ac.uk/vrn/
　3.7　Make3D（視覚処理の模倣）
　3.8　カラー開口フィルタ（東芝）

【 Appendix 】 Hyper Depth

***********************************************
【第4章】『HyperSense方式の動作原理』
***********************************************
　特殊なカメラを使用せずに、デプスセンシングと非接触生体センシングを行う方式の提案（ＣＱ出版インターフェース誌5月号記事に関連）
　4.1　CMOSイメージセンサについて
　4.2　C.E.Shannonのチャンネル容量の法則
　4.3　①増感処理 ～近接画素情報を活用してノイズ除去～
　4.4　②マッチング処理 ～波長別浸透深度の違いを可視化～
　4.5　色ベクトルとカラーマップ
　4.6　色ベクトルとメラニン色素
　4.7　血中溶存酸素濃度
　4.8　ビリルビンと黄疸症状
　4.9　ウロビリノーゲン
　4.10　血糖値
　4.11　単眼3Ｄセンシング
　4.12　単眼3Ｄセンシングの問題点
　4.13　ステレオ3Ｄセンシング
　4.14　まとめ

***********************************************
【第5章】　『非接触バイタル・センシング』
***********************************************
【心拍・呼吸に関する基礎知識】
　5.1　心臓の構造と心電図
　5.2　呼吸動作と酸素供給の関係
　5.3　呼吸と心拍揺らぎの関係
　5.4　入浴中の心拍揺らぎと年齢

【心拍・呼吸センシングの原理】
　5.5 カラー画像または赤外線画像からの心拍センシング
　5.6 デプスデータからの呼吸・心拍センシング
　5.7 KinectV1での非接触呼吸・心拍センシング
　5.8 スポット光方式
　　　　反射光強度分布を放物面関数で近似して精密測距
　5.9　マーカー方式
　　　　濃度分布関数または円形マーカーを用いた精密測距

★以下はテキストに含まれますが時間の関係で割愛します。
～～～～～～～～～～～～～～～～～～～～～～～～～～～～～

***********************************************
【第6章】　『アルゴリズムの原理』
***********************************************
【アルゴリズムの原理】
　6.1　FIFOアルゴリズム
　　6.1.1　FIFO
　　6.1.2　高速移動平均
　　6.1.3　矩形波相関法
　6.2　基底遷移アルゴリズム
　　6.2.1　放物線補間と3軸加速度検出 や ノイズ除去
　　6.2.2　放物面補間（輝度分布中心の推定）
　　6.2.3　線スペクトルとDCオフセットノイズ除去
　　6.2.4　適応フィルタ
　　6.2.5　デコンボリューション（逆畳み込み演算）
　　6.2.6　2次元ポイントクラウド⇒円の中心座標⇒半径
　　6.2.7　3次元ポイントクラウド⇒円の中心座標⇒半径
　　6.2.8　3次元ポイントクラウド⇒球の中心座標⇒半径
　6.3　最小2乗法
　　6.3.1　放物線補間
　　6.3.2　放物面補間

＜質疑応答・個別質問・講師との名刺交換＞

■ご講演中のキーワード：
ToF（Time of Flight）, Structured Light, LiDAR

セミナー講師

株式会社フォスメガ（東工大発ベンチャーNo.45）　代表取締役社長
私設研究所Neo-Tech-Lab
上田 智章 先生

■略歴：
1982年　同志社大学 工学部 電子工学科 卒
1984年　同志社大学大学院 工学研究科 電気工学専攻 修了
1984-1998年　ダイキン工業株式会社 電子技術研究所 勤務
1998-2000年　株式会社計測器センター 開発部長
2000年-　株式会社関西新技術研究所 SQUID研究部 主任研究員
　　　　　　 株式会社KRI センシング技術部 主席研究員
2006年12月-2010年3月　東京工業大学 統合研究院 ソリューション研究機構 特任教授
2010年 4月-2012年3月　東京工業大学 ソリューション研究機構 特任教授
2007年8月～　株式会社フォスメガ（PhosMega Co., Ltd.）代表取締役
現在に至る。
■専門および得意な分野・研究：
・センシング技術（センサ全般、非接触画像バイタルセンシング、測距等）
・推定型情報処理（逆問題を含む）

セミナー受講料

1名48,400円(税込（消費税10％）、資料付)
　＊1社2名以上同時申込の場合、1名につき37,400円
　＊学校法人割引；学生、教員のご参加は受講料50％割引。

※新型コロナウイルスの感染防止の一環として当面の間、昼食の提供サービスは中止させて頂きます。