TOP > 国内特許検索 > 心拍に連動する周期的変動の計測装置及び計測方法 > 明細書

明細書 :心拍に連動する周期的変動の計測装置及び計測方法

発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2017-093760 (P2017-093760A)
公開日 平成29年6月1日(2017.6.1)
発明の名称または考案の名称 心拍に連動する周期的変動の計測装置及び計測方法
国際特許分類 A61B   5/0245      (2006.01)
A61B   5/02        (2006.01)
A61B   5/00        (2006.01)
FI A61B 5/02 710Z
A61B 5/02 310Z
A61B 5/00 101A
請求項の数または発明の数 21
出願形態 OL
全頁数 19
出願番号 特願2015-228248 (P2015-228248)
出願日 平成27年11月22日(2015.11.22)
発明者または考案者 【氏名】アントニー・ミング・ラム
【氏名】久野 義徳
出願人 【識別番号】504190548
【氏名又は名称】国立大学法人埼玉大学
個別代理人の代理人 【識別番号】100100918、【弁理士】、【氏名又は名称】大橋 公治
【識別番号】100108729、【弁理士】、【氏名又は名称】林 紘樹
審査請求 未請求
テーマコード 4C017
4C117
Fターム 4C017AA09
4C017AA10
4C017AB06
4C017BB01
4C017BB07
4C017BC11
4C017BC16
4C017BC17
4C017FF05
4C117XE13
4C117XE14
4C117XE43
4C117XJ03
4C117XJ21
4C117XK05
4C117XK09
4C117XL30
4C117XR17
要約 【課題】被験者の動きや照明変化があってもカメラ画像から被験者の脈拍数を精確に計測できる計測装置を提供する。
【解決手段】顔画像に設定された所定領域から小領域の対をサンプルとして選択するサンプル選択部11と、各フレームのサンプル位置を追跡し、その画素値から各サンプルの輝度信号の対を得る輝度信号取得部12と、輝度信号の対が線形BSSの適用可能条件を満たすと仮定してヘモグロビンが寄与する脈波信号を抽出するサンプル脈波信号抽出部13と、サンプルの脈波信号の信頼度を判定する信頼度判定部14と、信頼できるサンプルの脈波信号から脈拍数を算出するサンプルデータ算出部15と、各サンプルの脈拍数をグループ別に仕分けるサンプルデータグループ化部16と、グループ別の数が最大のサンプルの脈拍数を被験者の脈拍数とする測定結果決定部17とを備える。
【選択図】図3
特許請求の範囲 【請求項1】
被験者の顔の画像から被験者の心拍に連動する周期的変動を計測する計測装置であって、
前記被験者の顔の画像に設定された所定領域から複数の画素から成る小領域の対をサンプルとして複数個選択するサンプル選択部と、
前記サンプルの各画像フレームでの位置を追跡し、該位置の画素値から各サンプルの時間的に変位する輝度信号の対を取得するサンプル輝度信号取得部と、
前記サンプルの輝度信号の対が線形BSS(ブラインド信号源分離)の適用可能条件を満たすと仮定して、前記輝度信号の対から皮膚のメラニンが主に寄与する信号と血管のヘモグロビンが寄与する信号とを推定する線形BSS問題を解き、前記ヘモグロビンが寄与する信号を脈波信号として抽出するサンプル脈波信号抽出部と、
前記サンプル脈波信号抽出部で抽出された各サンプルの脈波信号の信頼度を判定する信頼度判定部と、
前記信頼度判定部が信頼できると判定した各サンプルの脈波信号から各サンプルの脈拍数を算出するサンプルデータ算出部と、
前記サンプルデータ算出部が算出した各サンプルの脈拍数をグループ別に仕分けるサンプルデータグループ化部と、
前記グループ別の数が最大の前記サンプルの脈拍数に基づいて被験者の前記周期的変動の計測結果を決定する測定結果決定部と、
を備えることを特徴とする計測装置。
【請求項2】
請求項1に記載の計測装置であって、前記小領域は四角形から成り、該四角形の一辺が、顔の横幅の画素数の約10~20%の画素数の大きさを有することを特徴とする計測装置。
【請求項3】
請求項1に記載の計測装置であって、前記測定結果決定部は、前記グループ別の数が最大の前記サンプルの脈拍数を前記被験者の脈拍数として決定することを特徴とする計測装置。
【請求項4】
請求項1に記載の計測装置であって、前記測定結果決定部は、前記グループ別のサンプルの脈拍数の数が最大となった前記サンプルの前記脈波信号を平均して前記被験者の脈波信号として決定することを特徴とする計測装置。
【請求項5】
請求項1に記載の計測装置であって、前記サンプル選択部は、顔の中で有効なサンプルが得られる有効領域を示す地図を有し、前記有効領域の中から前記サンプルを選択することを特徴とする計測装置。
【請求項6】
請求項1に記載の計測装置であって、前記サンプル輝度信号取得部は、前記小領域を構成する複数の画素の画素値を平均して前記サンプルの輝度信号を得ることを特徴とする計測装置。
【請求項7】
請求項1に記載の計測装置であって、前記サンプル脈波信号抽出部は、ICA(独立成分分析)の手法を用いて前記線形BSS問題を解くことを特徴とする計測装置。
【請求項8】
請求項1に記載の計測装置であって、前記サンプル脈波信号抽出部は、前記線形BSS問題を解いて得た二つの前記信号の各々と原信号との平均的ユークリッド距離を算出し、前記平均的ユークリッド距離が遠い方の信号を前記ヘモグロビンが寄与する信号として決定することを特徴とする計測装置。
【請求項9】
請求項1に記載の計測装置であって、前記信頼度判定部は、前記サンプルの脈波信号のパワースペクトル密度を算出し、最大ピークのパワーと2番目の大きさの第2ピークのパワーとの比を閾値と比較して前記脈波信号の信頼度を判定することを特徴とする計測装置。
【請求項10】
請求項9に記載の計測装置であって、前記サンプルデータ算出部は、前記最大ピークをもたらす周波数から前記サンプルの脈拍数を算出することを特徴とする計測装置。
【請求項11】
請求項1に記載の計測装置であって、前記サンプルデータグループ化部は、前記サンプルデータ算出部が前記サンプルの脈拍数を算出するごとに、該脈拍数に対応するヒストグラムの階級の度数を1加算することを特徴とする計測装置。
【請求項12】
請求項11に記載の計測装置であって、前記測定結果決定部は、度数が最大のヒストグラムの階級に対応する脈拍数を前記被験者の脈拍数として決定することを特徴とする計測装置。
【請求項13】
請求項1に記載の計測装置であって、前記サンプルデータグループ化部は、前記サンプルデータ算出部が算出した各サンプルの脈拍数を前記被験者の他の周期的変動を示す値と関連付けて分類し、前記測定結果決定部は、最大クラスターのデータを平均して前記被験者の心拍に連動する周期的変動の計測結果を決定することを特徴とする計測装置。
【請求項14】
請求項1から13のいずれかに記載の計測装置であって、さらに、前記被験者の顔の画像から該被験者の表情を認識する表情認識手段を備えることを特徴とする計測装置。
【請求項15】
被験者の顔の画像から被験者の心拍に連動する周期的変動を計測する計測方法であって、
前記被験者の顔の画像に設定された所定領域から複数の画素から成る小領域の対をサンプルとして複数個選択するサンプル選択ステップと、
前記サンプルの各画像フレームでの位置を追跡し、該位置の画素値から各サンプルの時間的に変位する輝度信号の対を取得するサンプル輝度信号取得ステップと、
前記サンプルの輝度信号の対が線形BSS(ブラインド信号源分離)の適用可能条件を満たすと仮定して、前記輝度信号の対から皮膚のメラニンが主に寄与する信号と血管のヘモグロビンが寄与する信号とを推定する線形BSS問題を解き、前記ヘモグロビンが寄与する信号を脈波信号として抽出するサンプル脈波信号抽出ステップと、
前記サンプル脈波信号抽出ステップで抽出された各サンプルの脈波信号の信頼度を判定する信頼度判定ステップと、
前記信頼度判定ステップで信頼できると判定した各サンプルの脈波信号から各サンプルの脈拍数を算出するサンプルデータ算出ステップと、
前記サンプルデータ算出ステップで算出した各サンプルの脈拍数をグループ別に仕分けるサンプルデータグループ化ステップと、
前記グループ別の数が最大の前記サンプルの脈拍数に基づいて被験者の前記周期的変動の計測結果を決定する測定結果決定ステップと、
を備えることを特徴とする計測方法。
【請求項16】
請求項15に記載の計測方法であって、前記測定結果決定ステップでは、前記グループ別の数が最大の前記サンプルの脈拍数を前記被験者の脈拍数として決定することを特徴とする計測方法。
【請求項17】
請求項15に記載の計測方法であって、前記測定結果決定ステップでは、前記グループ別のサンプルの脈拍数の数が最大となった前記サンプルの前記脈波信号を平均して前記被験者の脈波信号として決定することを特徴とする計測方法。
【請求項18】
請求項15に記載の計測方法であって、前記サンプル脈波信号抽出ステップでは、ICA(独立成分分析)の手法を用いて前記線形BSS問題を解くことを特徴とする計測方法。
【請求項19】
請求項15に記載の計測方法であって、前記サンプル脈波信号抽出ステップでは、前記線形BSS問題を解いて得た二つの前記信号の各々と原信号との平均的ユークリッド距離を算出し、前記平均的ユークリッド距離が遠い方の信号を前記ヘモグロビンが寄与する信号として決定することを特徴とする計測方法。
【請求項20】
請求項15に記載の計測方法であって、前記信頼度判定ステップでは、前記サンプルの脈波信号のパワースペクトル密度を算出し、最大ピークのパワーと2番目の大きさの第2ピークのパワーとの比を閾値と比較して前記脈波信号の信頼度を判定し、前記サンプルデータ算出ステップでは、前記最大ピークをもたらす周波数から前記サンプルの脈拍数を算出することを特徴とする計測方法。
【請求項21】
請求項15に記載の計測方法であって、前記サンプルデータグループ化ステップでは、前記サンプルデータ算出ステップで前記サンプルの脈拍数を算出するごとに、該脈拍数に対応するヒストグラムの階級の度数を1加算し、前記測定結果決定ステップでは、度数が最大のヒストグラムの階級に対応する脈拍数を前記被験者の脈拍数として決定することを特徴とする計測方法。
発明の詳細な説明 【技術分野】
【0001】
本発明は、被験者の顔の画像から被験者の脈拍数や脈波信号等、心拍に連動する周期的変動を計測する計測装置とその計測方法に関し、顔が動いても、顔に当たる光が変化しても精確に計測できるようにしたものである。
【背景技術】
【0002】
被験者の顔を撮影した画像から被験者の脈拍数や呼吸数を計測する技術は従来から知られている。例えば、下記特許文献1には、撮像手段で撮像した被験者の顔画像から、顔面の興味領域(ROI:Region of interest)の平均輝度を算出して、この輝度を興味領域の位置や顔向きに基づいて補正し、補正した輝度の時間的変化の波形から被験者の脈拍数を算出することが記載されている。
【0003】
また、下記非特許文献1には、顔のROIを撮影したビデオ信号をR,G,Bの成分から成る3つの信号に分解し、これらの信号から、独立成分分析(ICA:Independent Component Analysis)を用いて心拍に対応する脈波信号(PG(plethysmograph)signal)を抽出する方法が記載されている。
【0004】
また、下記非特許文献2には、被験者の顔のビデオ画像から被験者の脈拍数を測定する際に、照明の変動による測定精度の低下を防ぐため、背景の濃度の変動を利用して照明変動の影響を除く方法が記載されている。
【先行技術文献】
【0005】

【特許文献1】特開2011-130996号公報
【0006】

【非特許文献1】M.-Z. Poh, D. J. McDuff, and R. W. Picard.“ Non-contact, automated cardiac pulse measurements using video imaging and blind source separation.” Optics Express, 18(10):10762-10774, May 2010.
【非特許文献2】X. Li, J. Chen, G. Zhao, and M. Pietikainen. “Remote heart rate measurement from face videos under realistic situations.” In IEEE Computer Vision and Pattern Recognition (CVPR), pages 4264-4271, June 2014.
【発明の概要】
【発明が解決しようとする課題】
【0007】
被験者の顔の画像から脈拍数や脈波信号を計測する装置では、撮影の際の背景や照明、顔の動き等に制約されずに、被験者の顔をカメラで撮影するだけで精確に計測できることが望ましい。
しかし、特許文献1及び非特許文献1、2に記載された技術では、顔画像に設定したROIに含まれる多数の画素の平均値化したデータを用いて脈拍等を算出しているため、高精度の計測結果を得ることが難しい。
また、ICAを用いる非特許文献1の技術では、ROIのビデオ信号から生成したR,G,B成分の信号が、ICAを適用する条件を満たしているかを確かめていないため、抽出したPG信号に誤差が含まれる可能性があり、測定精度の低下が懸念される。
また、非特許文献2の技術を実施するためには、被験者の背景を均一で単純なものにする必要があり、背景についての制約がある。
【0008】
本発明は、こうした事情を考慮して創案したものであり、被験者が動いていても、被験者を照らす照明が変化しても、被験者を映すカメラの画像から被験者の脈拍数や脈波信号を精確に計測できる計測装置及び計測方法を提供することを目的としている。
【課題を解決するための手段】
【0009】
本発明は、被験者の顔の画像から被験者の心拍に連動する周期的変動を計測する計測装置であって、被験者の顔の画像に設定された所定領域から複数の画素から成る小領域の対をサンプルとして複数個選択するサンプル選択部と、サンプルの各画像フレームでの位置を追跡し、その位置の画素値から各サンプルの時間的に変位する輝度信号の対を取得するサンプル輝度信号取得部と、サンプルの輝度信号の対が線形BSS(ブラインド信号源分離)の適用可能条件を満たすと仮定して、この輝度信号の対から皮膚のメラニンが主に寄与する信号と血管のヘモグロビンが寄与する信号とを推定する線形BSS問題を解き、ヘモグロビンが寄与する信号を脈波信号(PG信号)として抽出するサンプル脈波信号抽出部と、サンプル脈波信号抽出部で抽出された各サンプルのPG信号の信頼度を判定する信頼度判定部と、信頼度判定部が信頼できると判定した各サンプルのPG信号から各サンプルの脈拍数を算出するサンプルデータ算出部と、サンプルデータ算出部が算出した各サンプルの脈拍数をグループ別に仕分けるサンプルデータグループ化部と、グループ別の数が最大のサンプルの脈拍数に基づいて被験者の周期的変動の計測結果を決定する測定結果決定部と、を備えることを特徴とする。
この計測装置では、所定領域(ROI)から選択した小領域の対をサンプルとして、各サンプルの輝度信号の対から“皮膚のメラニンが主に寄与する信号”と“血管のヘモグロビンが寄与する信号”とを推定する線形BSS問題を解き、PG信号を抽出する。このとき、サンプルの輝度信号の対が線形BSSの適用可能条件を満たすと仮定して問題を解くが、得られたPG信号の信頼度を判定し、信頼度の低いサンプルのPG信号を計測結果の算出から外しているため、結果的に線形BSSの適用可能条件への適合が担保されることになる。
【0010】
また、本発明の計測装置では、小領域を四角形とし、この四角形の一辺が、顔の横幅の画素数の約10~20%の画素数の大きさとすることが望ましい。
小領域が大きい程、そこに含まれる各画素のバラツキが平均化されて雑音が減るが、その分、微小な変動が捉えられなくなる。また、小領域が大きい程、平均値を取るための加算回数が増えるので処理時間が長くなる。
【0011】
また、本発明の計測装置では、測定結果決定部が、グループ別の数が最大のサンプルの脈拍数を被験者の脈拍数として決定し、または、グループ別のサンプルの脈拍数の数が最大となったサンプルのPG信号を平均して被験者のPG信号として決定する。
このように、この装置では、被験者の脈拍数やPG信号を精確に計測することができる。
【0012】
また、本発明の計測装置では、サンプル選択部が、顔の中で有効なサンプルが得られる有効領域を示す地図を具備し、有効領域の中からサンプルを選択することが望ましい。
こうすることで、無駄なサンプルの選択を減らすことができ、処理時間の短縮が可能になる。
【0013】
また、本発明の計測装置では、サンプルの小領域が複数の画素で構成される場合、サンプル輝度信号取得部は、小領域を構成する複数の画素の画素値を平均してサンプルの輝度信号を得る。
画素の画素値のバラツキに起因する計測結果の誤差を、小領域内の画素の画素値を平均化することで低減できる。
【0014】
また、本発明の計測装置では、サンプル脈波信号抽出部が、線形BSS問題を解いて得た二つの信号の各々と原信号との平均的ユークリッド距離を算出し、平均的ユークリッド距離が遠い方の信号を“ヘモグロビンが寄与する信号”(=PG信号)として決定する。
メラニンは皮膚の色を決める主要要素であるため、“メラニンが主に寄与する信号”は原信号と類似しており、ユークリッド距離が近い。それに比べて“ヘモグロビンが寄与する信号”の方は距離が遠い。
【0015】
また、本発明の計測装置では、サンプル脈波信号抽出部が、ICA(独立成分分析)の手法を用いて線形BSS問題を解く。
“メラニンが主に寄与する信号”と“ヘモグロビンが寄与する信号”とは独立と見られるため、観測データを独立な成分に分解するICAの手法が適用できる。
【0016】
また、本発明の計測装置では、信頼度判定部が、サンプルのPG信号のパワースペクトル密度を算出し、最大ピークのパワーと2番目の大きさの第2ピークのパワーとの比rを閾値と比較してPG信号の信頼度を判定する。サンプルデータ算出部は、信頼できると判定されたPG信号の最大ピークに対応する周波数からサンプルの脈拍数を算出する。
この比rから、PG信号の中で最大ピークの周波数が他の周波数に比べてどのくらい主要であるかが分かる。この値rが大きいことはPG信号が一つの主要な周波数を持つことであり、その周波数から求めた脈拍数の信頼性が高いことを示している。
【0017】
また、本発明の計測装置では、サンプルデータグループ化部が、サンプルデータ算出部でサンプルの脈拍数が算出されるごとに、この脈拍数に対応するヒストグラムの階級の度数を1加算する。測定結果決定部は、度数が最大のヒストグラムの階級に対応する脈拍数を被験者の脈拍数として決定する。
このように、この装置では、サンプルデータの多数決により被験者の脈拍数を決定する。
【0018】
また、本発明の計測装置では、サンプルデータグループ化部が、サンプルデータ算出部で算出された各サンプルの脈拍数を、被験者の他の周期的変動(心拍変動や呼吸数等)を示す値と関連付けて分類し、測定結果決定部が、最大クラスターのデータを平均して被験者の心拍に連動する周期的変動の計測結果を決定するようにしてしても良い。
こうすることで、健康に関する多くの指標を得ることができる。
【0019】
また、本発明の計測装置では、さらに、被験者の顔の画像から被験者の表情を認識する表情認識手段を併せて備えるようにしても良い。
被験者の脈拍の変動と併せて表情の変化を識別することで、被験者が快い状態で高揚しているのか、不快な状態で興奮しているのかが分かる。
【0020】
また、本発明は、被験者の顔の画像から被験者の心拍に連動する周期的変動を計測する計測方法であって、被験者の顔の画像に設定された所定領域から複数の画素から成る小領域の対をサンプルとして複数個選択するサンプル選択ステップと、サンプルの各画像フレームでの位置を追跡し、その位置の画素値から各サンプルの時間的に変位する輝度信号の対を取得するサンプル輝度信号取得ステップと、サンプルの輝度信号の対が線形BSSの適用可能条件を満たすと仮定して、輝度信号の対から“皮膚のメラニンが主に寄与する信号”と“血管のヘモグロビンが寄与する信号”とを推定する線形BSS問題を解き、“ヘモグロビンが寄与する信号”を脈波信号として抽出するサンプル脈波信号抽出ステップと、サンプル脈波信号抽出ステップで抽出された各サンプルの脈波信号の信頼度を判定する信頼度判定ステップと、信頼度判定ステップで信頼できると判定した各サンプルの脈波信号から各サンプルの脈拍数を算出するサンプルデータ算出ステップと、サンプルデータ算出ステップで算出した各サンプルの脈拍数をグループ別に仕分けるサンプルデータグループ化ステップと、前記グループ別の数が最大の前記サンプルの脈拍数に基づいて被験者の周期的変動の計測結果を決定する測定結果決定ステップと、を備えることを特徴とする。
この計測方法では、サンプルの輝度信号の対が線形BSSの適用可能条件を満たすと仮定して線形BSS問題を解くが、得られた各サンプルのPG信号の信頼度を判定し、信頼度の低いサンプルのPG信号を計測結果の算出から外しているため、結果的に線形BSSの適用可能条件への適合が担保される。
【0021】
また、本発明の計測方法では、測定結果決定ステップで、グループ別の数が最大のサンプルの脈拍数を被験者の脈拍数として決定し、または、グループ別のサンプルの脈拍数の数が最大となったサンプルのPG信号を平均して被験者のPG信号として決定する。
【0022】
また、本発明の計測方法では、サンプル脈波信号抽出ステップで、ICAの手法を用いて線形BSS問題を解く。
【0023】
また、本発明の計測方法では、サンプル脈波信号抽出ステップで、線形BSS問題を解いて得た二つの信号の各々と原信号との平均的ユークリッド距離を算出し、平均的ユークリッド距離が遠い方の信号を“ヘモグロビンが寄与する信号”として決定する。
【0024】
また、本発明の計測方法では、信頼度判定ステップで、サンプルのPG信号のパワースペクトル密度を算出し、最大ピークのパワーと2番目の大きさの第2ピークのパワーとの比rを閾値と比較してPG信号の信頼度を判定し、サンプルデータ算出ステップで、最大ピークをもたらす周波数からサンプルの脈拍数を算出する。
PG信号の信頼度をヒューリスティックな方法で短時間に評価できる。
【0025】
また、本発明の計測方法では、サンプルデータグループ化ステップで、サンプルデータ算出ステップにおいてサンプルの脈拍数が算出されるごとに、この脈拍数に対応するヒストグラムの階級の度数を1加算し、測定結果決定ステップでは、度数が最大のヒストグラムの階級に対応する脈拍数を被験者の脈拍数として決定する。
サンプルデータの多数決により被験者の脈拍数を決定する。
【発明の効果】
【0026】
本発明の計測装置及び計測方法では、被験者が動いても、被験者を照らす照明が変化しても、被験者の顔を映すカメラの画像から被験者の脈拍数や脈波信号を精確に計測することができる。
【図面の簡単な説明】
【0027】
【図1】本発明の実施形態に係る計測装置の構成を模式的に示す図
【図2】顔画像のROI、特徴点及び小領域の対p1、p2を示す図
【図3】図1の演算部の構成を示すブロック図
【図4】図3の演算部の動作手順を示すフロー図
【図5】(a)PG信号と、(b)そのパワースペクトル密度を示す図
【図6】各手法で計測した脈拍数の計測精度を比較する図
【図7】先に提案した「コミュニケーション支援ロボットシステム」を示す図
【発明を実施するための形態】
【0028】
図1は、本発明の実施形態に係る計測装置を模式的に示している。この装置は、被験者4の顔を撮影する撮像装置1と、撮像装置で撮影された被験者の顔画像から脈拍数や脈波信号(PG信号)を計測するコンピュータ2と、コンピュータで計測された計測結果を表示する表示部3とを備えている。コンピュータ2は、撮像装置1で撮影された連続する複数の画像フレーム(動画像データ)を保存する画像記録部20と、画像記録部に保存された画像フレームを読み出して脈拍数やPG信号の計測を実行する演算部10と、演算部で算出された計測結果を表示部3に表示する表示制御部30とを備えている。

【0029】
まず、皮膚の見え方について説明する。
皮膚の色は、主にメラニンの存在によるが、血液中のヘモグロビンによる光の吸収にも影響される。したがって、皮膚の分光反射率曲線(spectral reflectance curve)の形は、主にメラニンとヘモグロビンの組合せによる。
皮膚はLambertian(ランバート反射、完全拡散反射)であると仮定すると、波長λに対する皮膚の分光反射率Rs(λ)は(数式1)により定義される。
【数1】
JP2017093760A_000003t.gif

ここで、amとahはスカラーでRm(λ), Rh(λ)は正規化された分光反射率、ah Rh(λ)はヘモグロビンの寄与、am Rm(λ)はヘモグロビンの影響のない場合の分光反射率、すなわち、主にメラニンの影響によるものである。
したがって、あるカメラのチャネルの皮膚上の1点における明るさを示す画素値は(数2)でモデル化できる。
【数2】
JP2017093760A_000004t.gif

ここでalはスカラー、L(λ)は正規化された照明(光源)のスペクトル(分光分布)、Ck(λ)はカメラのチャネルkのspectral response(スペクトル応答)である。

【0030】
ここまでは、ある時点の皮膚上の1点の見え方だったが、時間変化を考えるために、時間の次元を付与すると以下の(数3)ようになる。
【数3】
JP2017093760A_000005t.gif

メラニンの生成はビデオ撮影で考えているよりずっと長い時間スケールで起こるので、メラニンによる分光反射率の成分は一定であると仮定できる。一方、心臓の拍動に影響されるヘモグロビンに対する成分はビデオ上で変動する。カメラのスペクトル応答はもちろん時間により変動せずに一定である。

【0031】
さて、図1のコンピュータ2の演算部10は、図2に示すように、被験者の顔の画像に設定した矩形状の興味領域(ROI)41から、複数の画素から成る小領域の対(p1、p2)をサンプルとして選択し、多数のサンプルの画素値を用いて被験者の心拍に連動する周期的変動を計測する。ROI内のサンプルの位置は任意に設定できる。
なお、小領域は、顔の横幅の画素数の約10~20%の画素数の大きさを一辺とする四角形であることが望ましい。後述するように、小領域に含まれる画素の画素値を平均化して小領域の画素値とするため、小領域が大きい程、各画素のバラツキが平均化されて雑音が減る。そのため、小領域の一辺は、顔の横幅の画素数の10%以上の画素数の長さであることが望ましい。しかし、顔の横幅の画素数の20%を超えると、微小な変動が捉え難くなり、また、平均値を取るための加算の回数が増えるので、処理時間が長くなる。

【0032】
図3は、演算部10を構成する機能ブロックを示している。この演算部10は、最初の画像フレームにROIを設定してサンプル(小領域の対)位置を選択するサンプル選択部11と、サンプルの各画像フレームにおける位置を追跡して、その位置の画素値から各サンプルの時間的に変位する輝度信号の対を取得するサンプル輝度信号取得部12と、この輝度信号の対から“皮膚のメラニンが主に寄与する信号”と“血管のヘモグロビンが寄与する信号”とを推定する線形BSS問題を解き、“ヘモグロビンが寄与する信号”(=脈波信号:PG信号)を抽出するサンプル脈波信号抽出部13と、抽出されたPG信号の信頼度を判定する信頼度判定部14と、信頼できるPG信号から脈拍数を算出するサンプルデータ算出部15と、その脈拍数をグループ別に仕分けるサンプルデータグループ化部16と、グループ別の数が最大のサンプルの脈拍数を被験者の脈拍数として決定する測定結果決定部17とを有している。
なお、サンプル選択部11、サンプル輝度信号取得部12、サンプル脈波信号抽出部13、信頼度判定部14、サンプルデータ算出部15、サンプルデータグループ化部16及び測定結果決定部17は、コンピュータ2がプログラムに基づく処理を実行することにより実現される。

【0033】
図4は、演算部10の処理手順を示している。
サンプル選択部11は、画像記録部20に蓄積された画像フレームの中から最初の画像フレームを読出して矩形状のROIを設定し(ステップ1)、ROI内からランダムに最初のサンプル(小領域の対p1、p2)を選択する(ステップ2)。
サンプル輝度信号取得部12は、画像記録部20に蓄積された全ての画像フレームを読み出し、各画像フレームにおけるp1、p2位置を追跡する。

【0034】
この追跡は、次のように行う。
図2には、下記論文において顔の特徴点の検出・追跡に使われた66の特徴点を示している。
X. Yu, J. Huang, S. Zhang, W. Yan, and D. Metaxas. Posefree facial landmark fitting via optimized part mixtures and cascaded deformable shape model. In IEEE International Conference on Computer Vision (ICCV), pages 1944-1951, 2013. 4, 7
この66点の特徴点は、全画像フレームの画像に対して追跡することができる。
ここでは、図2において1から17までの番号で示した顔の輪郭部分の17点の特徴点を追跡に用いている。そして、最初の画像フレームで矩形に設定したROIの後続フレームでの形状は、追跡した特徴点に対して相対的な位置が変わらないように剛体変換を適用することで求めることができる。剛体変換の変換行列Aと並進ベクトルbは、(数4)により決定される。
【数4】
JP2017093760A_000006t.gif

ここで、ベクトルv1,iはフレーム1でのi番目の特徴点の位置、ベクトルvn,iはn番目のフレームでのi番目の特徴点の位置である。この17点以外の特徴点は非剛体運動を示す可能性があるため用いていない。(数4)は最小二乗法で解くことができる。

【0035】
最初のフレームのROI中に設定した点p1、p2のn番目のフレームでの座標値は、変換行列Aと並進ベクトルbにより決まる。
サンプル輝度信号取得部12は、このように全フレームにおけるサンプル位置を算出し、その位置の画素値を求めることにより、サンプルの画素値(輝度)の時間変化を示す信号Ip1(t)、Ip2(t)を得る(ステップ3)。
なお、ここでは、各画素の画素値のバラツキによるノイズを減らすため、小領域に含まれる画素の画素値を平均してサンプルの輝度としている。

【0036】
サンプル脈波信号抽出部13は、二つの信号Ip1(t)、Ip2(t)に対して線形BSS(Blind Source Separation)を適用してPG信号を求めることを目指す(ステップ4)。
線形BSSの問題は、(数5)に示すように、信号源S1,S2の値の線形和が観測値x1、x2となる式から信号源S1,S2を分離することに帰着する。
【数5】
JP2017093760A_000007t.gif

ここで、a1,a2,b1,b2は時刻に依存しない定数である。S1,S2が互いに独立であれば、(数5)は、ICAの手法を用いて解くことができる。

【0037】
信号Ip1(t)、Ip2(t)は、(数3)から次式(数6)のように表せる。
【数6】
JP2017093760A_000008t.gif

この信号は、いくつかのスカラーが時間変化するので(例えばal(t))、直接には線形BSSが適用できない。さらに、照明の分光分布(L1,L2)が同時刻でも異なる可能性がある。

【0038】
この信号に線形BSSを適用するためには、Ip1(t)、Ip2(t)が以下のような条件を満たすことを確かめなければならない。
(条件1)すべての時刻t、すべての波長λに対してL1(λ,t)=L2(λ,t)であること。すなわち、照明のスペクトルは時間的にどのように変化してもよいが、2つの点p1、p2を照らしている正規化された照明のスペクトルは同時点では同じでなければならない。本質的には、光源の色は時間により変化してもよいが、同じ時点では2つの点p1、p2に対して同じ色でなければならないということである。相対的な明るさは同時刻で異なっていても構わない。
(条件2)時刻t=1,2、・・・nのスカラーを並べて(数7)のベクトルを定義し、他のスカラーについても同様に定義する。
【数7】
JP2017093760A_000009t.gif

このように定義したとき、正規化したベクトルが次式(数8)を満たすこと。
【数8】
JP2017093760A_000010t.gif

言い換えると、2点間での時間による明るさの変化は、スケールは違ってもよいが、相対的な変化は等しくなければならない。

【0039】
(条件3)同様に、次式(数9)を満たすこと。
【数9】
JP2017093760A_000011t.gif

なお、この計測装置の場合、この条件は満たされる。なぜなら、血流量は心臓の拍動によるが、フレームレートが30~60Hzの普通のカメラでは、顔の中の最も離れた点の間でもPG信号の遅れは無視できるからである。
(条件4)照明、ヘモグロビン、メラニンは顔全体に対して均一ではないこと。すなわち、(数10)の関係を満たすこと。
【数10】
JP2017093760A_000012t.gif

この計測装置の場合、顔への照明は均一でないことが期待できる。また、血液の流れも顔の各部で異なっている。

【0040】
サンプルに選択したすべての2点の対が以上のすべての条件を満たすとは期待できないが、とりあえず、これらの条件を満たす点が見つかると仮定して、サンプル脈波信号抽出部13は、処理を続ける。
これらの条件が満たされるとすると、Ip1(t)、Ip2(t)は次式(数11)のようになる。
【数11】
JP2017093760A_000013t.gif

ここで、cl(t)は(数8)で定義したベクトルclのt番目の要素であり、ch(t)は(数9)で定義したベクトルchのt番目の要素である。

【0041】
(数11)を簡便にするために、次式(数12)のように置き換える。
【数12】
JP2017093760A_000014t.gif

Ip2(t)についても同様の置き換えを行う。
そうすると、(数11)は、次式(数13)のように表せる。
【数13】
JP2017093760A_000015t.gif

また、条件4から、(数14)の関係がある。
【数14】
JP2017093760A_000016t.gif

【0042】
(数13)においてImとIhの要素が独立だとすると、(数13)は、独立成分分析の標準的なアルゴリズムであるFastICA等を使って解くことができ、ImとIhとを(絶対値のスケールは別として)求めることができる。
サンプル脈波信号抽出部13は、得られたImとIhの内、どちらがPG信号であるかを確かめるため、どちらが原信号(Ip1、Ip2)との平均的ユークリッド距離が近いかを計算し、近い方をImと判定する。これは、メラニンが皮膚の色を決める主要な要素であり、原信号に近いためである。
残りのもう一つの信号IhがPG信号となる(ステップ4)。

【0043】
信頼度判定部14は、得られたPG信号から時間フィルタや移動平均フィルタを使って非定常な傾向や雑音を除いた後、信号の信頼性を判定するために、この信号を周波数領域に変換し、パワースペクトル密度(PSD)を計算する(ステップ5)。
図5には、同図(a)に示すPG信号のPSDを同図(b)に示している。ここでは、通常の人間の心拍数を考慮して、PSDの周波数範囲を0.7~4Hzに設定している。
信頼度判定部14は、パワースペクトル密度の最大ピークのパワーV1と2番目の大きさの第2ピークのパワーV2との比V1/V2(=r)を計算し(ステップ6)、その比rを閾値(例えば、2)と比較する(ステップ7)。
この比rは、PG信号の中で、最大ピークの周波数が他の周波数に比べてどのくらい主要であるかを識別する目安になる。この値が大きいことは、PG信号が一つの主要な周波数を持つことであり、その周波数から求めた脈拍数の信頼性が高いことを示している。
比rが閾値以下の場合(ステップ7でNo)は、ステップ2に戻り、最初の画像フレームのROI内から別のサンプル(小領域の対p1、p2)を選択し、ステップ3以下の処理を繰り返す。

【0044】
比rが閾値より大きい場合(ステップ7でYes)、信頼度判定部14は、ステップ4で抽出したPG信号が信頼できると判定する。サンプルデータ算出部15は、信頼できるPG信号の最大ピークの周波数を60倍して毎分の脈拍数を算出する(ステップ8)。
サンプルデータグループ化部16は、サンプルデータ算出部15がサンプルの脈拍数を算出するごとに、その脈拍数に対応するヒストグラムの階級の度数を1加算する(ステップ9)。
サンプルデータ算出部15で算出されたサンプルの脈拍数の数が規定数に達しない場合は(ステップ10でNo)、ステップ2に戻り、最初の画像フレームのROI内から別のサンプル(小領域の対p1、p2)を選択し、ステップ3以下の処理を繰り返す。
ステップ10において、算出されたサンプルの脈拍数の数が規定数に達すると(ステップ10でYes)、測定結果決定部17は、ヒストグラムの各階級の度数を比較し、多数決に基づいて、最大度数の階級に仕分けられた脈拍数を被験者の脈拍数として決定する(ステップ11)。
なお、ステップ10では、ステップ2で選択した小領域の対の数をカウントし、その数が所定数に達するまでステップ2~ステップ9の処理を繰り返し、その数(繰り返し数)が所定数に達したとき、あるいは、それ以前に信頼できる脈拍の数が規定数に達したとき、ステップ11に移行するようにしても良い。
測定結果決定部17が決定した脈拍数は、表示部3に出力されて表示される(ステップ12)。

【0045】
このように、この計測装置では、ROIから選択した小領域の対をサンプルとし、多数のサンプルの画素値を用いてPG信号を算出している。そのため、ROIの平均画素値に基づいて脈拍等の算出を行う従来の方式に比べて高い計測精度が得られる。
また、この計測装置では、各サンプルの画素値が線形BSSの適用条件を満たすと仮定してPG信号の算出を行っているが、得られたサンプルのPG信号の信頼性を判定し、信頼性の低いサンプルのPG信号を除いて被験者のPG信号を決定しているため、結果的に線形BSSの適用条件への適合が担保されて、高い計測精度が得られる。

【0046】
図6には、脈拍を本発明により計測した結果と他の手法で計測した結果とを比較して示している。
図6では、公開されているデータベース(MANHOB-HCI Database)の487例に対し、図6の各手法で得た結果を比較している。
図6において、「全小領域データ使用」方法では、ROIを重なりのないように小領域(1つの大きさは41×41画素)で分割し、各小領域内の画素の平均の時間変化データを求め、全部の小領域のデータ全体に対しICAを適用して二つの信号を算出し、その一つのPG信号から脈拍を計算している。つまり、本発明と比べて、小領域の対を対象とする計算を行っていない点、及び、脈拍数の計算に際して、信頼性の高い小領域の選択を行っていない点が違っている。
また、「Poh2011[1]」は非特許文献1に記載されて手法であり、「Li2014[2]」は非特許文献2に記載された手法である。
本発明は、その実施に際し、小領域の大きさを41×41画素、小領域の対の選択回数(繰り返し数)は500、信頼性比r判定の閾値を2に設定している。なお、小領域の一辺の41画素は、顔の横幅の画素数300の13.7%に当たる。
図6から、本発明の方法を用いた場合、精度よく脈拍数が得られていることが分かる。
本発明では、PG信号の信頼性を、PG信号のパワースペクトル密度の最大ピークと第2ピークとの比から判断し、また、最終的な脈拍の計測値を、サンプルの脈拍数の多数決で決めている。図6は、こうしたヒューリスティックな手法を用いて計測時間の短縮化を図っても、計測精度が低下しないことを示している。

【0047】
本発明でサンプルとして設定する小領域の対と線形BSSの適用条件(条件1~4)との関係については次のように考えられる。
すべての点の対が条件1~4を満足するわけではないが、十分な数の点の対がこれらの条件を満たす(あるいはほぼ満たす)と考えられる。
条件1及び条件2は、対の2点がそれぞれの時点で同じ光源に照らされている(ただし、2点に対する照明の強度は異なってもよい)必要がある。これは限定的な条件に思われるかもしれないが、多くのカメラ画像でこれを満たす点が多数あると期待することができる。実環境には多くの光源があるが、同じ光源が顔のある部分全体に影響を及ぼすと考えられる。
言い換えれば、殆どの点が、全く違う光源に照らされているというようなことはあり得ない。
また、この条件1及び条件2では、同じ光源であれば、スペクトルが時間的にどのように変化してもよいとしているので、柔軟性はある。例えば、コンピュータのモニター(ディスプレイ)は光源のスペクトルが変動する一つの光源である。
条件3及び条件4については、先に述べたように、本発明で設定する小領域の対は満たしていると考えられる。
しかし、条件1~4を満たす点を見出すことは簡単でない。これらの条件が満足されるかどうかは、多くの要因が関係するからである。
そこで、本発明では、前述するように、各サンプルの画素値が線形BSSの適用条件を満たすと仮定してPG信号の算出を行い、得られたPG信号の内で信頼性の低いものを除く方法を採っている。こうすることで、どの対が条件を満たすかと言う難しい判断を避けることができる。

【0048】
なお、ここでは、サンプルをROIからランダムに選択する場合について説明したが、本発明の実施を繰り返すことにより、信頼性の高いPG信号が得られるサンプルの位置を把握することができ、そうしたサンプル位置を含む地図を作成することができる。この地図を保持してサンプルを選択するようにすれば、無駄な演算が減り、処理の高速化が可能になる。
また、ここでは、被験者の脈拍数の計測について説明したが、本発明の装置により被験者の脈波信号(PG信号)を計測することもできる。この場合、度数が最大のヒストグラムの階級に分類されたサンプルのPG信号を平均化して被験者のPG信号とする。
また、ここでは、サンプルのPG信号を、ヒストグラムを用いて仕分ける場合について示したが、各サンプルの脈拍やPG信号を被験者の心拍変動や呼吸数等の値と関連付けてK平均法や階層的クラスタリングを使って分類し、最大クラスターのデータを平均化して被験者の生体情報を得るようにしても良い。また、RANSAC(random sample consensus)と呼ばれる方法を使って生体情報を得るようにしても良い。

【0049】
本発明の計測装置は、本発明者等が先に提案した「コミュニケーション支援ロボットシステム」(特開2015-184597号公報)、すなわち、ロボットを使って単身高齢者と近親者とのコミュニケーションを支援するシステムにも使用することができる。
このシステムでは、図7に示すように、認知症の虞がある高齢者の側に、ロボット37と、テレビ電話機能を実現するカメラ33、スピーカ361、マイク362、ディスプレイ35及びコンピュータ31を配置し、カメラ33で撮影した高齢者の画像やマイク362で集音した高齢者の音声が近親者側のテレビ電話のディスプレイ45やスピーカ461で表示できるようにしている。
近親者は、テレビ電話を通じて高齢者と直接コミュニケーションを取る「直接対応モード」と、ロボット37を介して高齢者に近親者の意図を伝える「間接対話モード」と、ロボット37が自主的に高齢者と対話するように求める「ロボット対応モード」とを選択することができる。

【0050】
このシステムに本発明の装置を導入し、近親者やロボット37と対話する高齢者の脈拍数を継続的に計測して、その変動を調べることは、高齢者の感情の変化を知る上で有効である。感情に変化があると、脈拍に変化が現れることは良く知られている。
ただ、その際の感情が快いものなのか、不快なものなのかは分からない。
そこで、高齢者の顔の画像から高齢者の表情を認識する表情認識手段と組み合わせることで、脈拍変動があり、かつ、快を表す表情のときには、対話の話題を好み、ポジティブに反応していると判断することができる。また、脈拍数の変動がない場合は、感情状況に問題がある可能性がある。このように、対話時の脈拍数変動の大小・有無が認知症の程度を知る指標の一つになる。
【産業上の利用可能性】
【0051】
本発明の計測装置及び計測方法は、被験者の顔が動いたり、被験者に当たる照明が変化したりしても、被験者のビデオ画像から被験者の脈拍数や脈波信号等を的確に計測することが可能であり、医療施設や介護施設、トレーニング施設等、幅広い分野で利用することができる。
【符号の説明】
【0052】
1 撮像装置
2 コンピュータ
3 表示部
4 被験者
10 演算部
11 サンプル選択部
12 サンプル輝度信号取得部
13 サンプル脈波信号抽出部
14 信頼度判定部
15 サンプルデータ算出部
16 サンプルデータグループ化部
17 測定結果決定部
20 画像記録部
30 表示制御部
41 興味領域(ROI)
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6