Top > Search of Japanese Patents > DEVICE AND METHOD FOR MEASURING PERIODIC VARIATION INTERLOCKING WITH HEART BEAT

DEVICE AND METHOD FOR MEASURING PERIODIC VARIATION INTERLOCKING WITH HEART BEAT

Patent code P160012786
File No. S2015-1756-N0
Posted date Feb 18, 2016
Application number P2015-228248
Publication number P2017-093760A
Patent number P6521845
Date of filing Nov 22, 2015
Date of publication of application Jun 1, 2017
Date of registration May 10, 2019
Inventor
  • (In Japanese)アントニー・ミング・ラム
  • (In Japanese)久野 義徳
Applicant
  • (In Japanese)国立大学法人埼玉大学
Title DEVICE AND METHOD FOR MEASURING PERIODIC VARIATION INTERLOCKING WITH HEART BEAT
Abstract PROBLEM TO BE SOLVED: To provide a measuring device for accurately measuring a pulse rate of a subject from a camera image even when there is a movement of the subject or a change in illumination.
SOLUTION: A measuring device includes: a sample selection part 11 for selecting a pair of small areas as samples from a predetermined area set in a face image, a brightness signal acquisition part 12 for tracking the sample position of each frame and acquiring a brightness signal pair of each sample from the pixel value, a sample pulse wave signal extraction part 13 for extracting a pulse wave signal that hemoglobin contributes to on the assumption that the brightness signal pair satisfies a linear BSS applicable condition, a reliability degree determination part 14 for determining the reliability degree of the pulse wave signal of the sample, a sample data calculation part 15 for calculating a pulse rate from the reliable pulse wave signal of the sample, a sample data grouping part 16 for sorting the pulse rate of each sample in groups, and a measurement result determination part 17 for determining the pulse rate of the sample with the largest pulse rate in the groups as the pulse rate of a subject.
Outline of related art and contending technology (In Japanese)

被験者の顔を撮影した画像から被験者の脈拍数や呼吸数を計測する技術は従来から知られている。例えば、下記特許文献1には、撮像手段で撮像した被験者の顔画像から、顔面の興味領域(ROI:Region of interest)の平均輝度を算出して、この輝度を興味領域の位置や顔向きに基づいて補正し、補正した輝度の時間的変化の波形から被験者の脈拍数を算出することが記載されている。

また、下記非特許文献1には、顔のROIを撮影したビデオ信号をR,G,Bの成分から成る3つの信号に分解し、これらの信号から、独立成分分析(ICA:Independent Component Analysis)を用いて心拍に対応する脈波信号(PG(plethysmograph)signal)を抽出する方法が記載されている。

また、下記非特許文献2には、被験者の顔のビデオ画像から被験者の脈拍数を測定する際に、照明の変動による測定精度の低下を防ぐため、背景の濃度の変動を利用して照明変動の影響を除く方法が記載されている。

Field of industrial application (In Japanese)

本発明は、被験者の顔の画像から被験者の脈拍数や脈波信号等、心拍に連動する周期的変動を計測する計測装置とその計測方法に関し、顔が動いても、顔に当たる光が変化しても精確に計測できるようにしたものである。

Scope of claims (In Japanese)
【請求項1】
 
被験者の顔の画像から被験者の心拍に連動する周期的変動を計測する計測装置であって、
前記被験者の顔の画像に設定された所定領域から複数の画素から成る小領域の対をサンプルとして複数個選択するサンプル選択部と、
前記サンプルの各画像フレームでの位置を追跡し、該位置の画素値から各サンプルの時間的に変位する輝度信号の対を取得するサンプル輝度信号取得部と、
前記サンプルの輝度信号の対が線形BSS(ブラインド信号源分離)の適用可能条件を満たすと仮定して、前記輝度信号の対から皮膚のメラニンが主に寄与する信号と血管のヘモグロビンが寄与する信号とを推定する線形BSS問題を解き、前記ヘモグロビンが寄与する信号を脈波信号として抽出するサンプル脈波信号抽出部と、
前記サンプル脈波信号抽出部で抽出された各サンプルの脈波信号の信頼度を判定する信頼度判定部と、
前記信頼度判定部が信頼できると判定した各サンプルの脈波信号から各サンプルの脈拍数を算出するサンプルデータ算出部と、
前記サンプルデータ算出部が算出した各サンプルの脈拍数をグループ別に仕分けるサンプルデータグループ化部と、
前記グループ別の数が最大の前記サンプルの脈拍数に基づいて被験者の前記周期的変動の計測結果を決定する測定結果決定部と、
を備えることを特徴とする計測装置。

【請求項2】
 
請求項1に記載の計測装置であって、前記小領域は四角形から成り、該四角形の一辺が、顔の横幅の画素数の約10~20%の画素数の大きさを有することを特徴とする計測装置。

【請求項3】
 
請求項1に記載の計測装置であって、前記測定結果決定部は、前記グループ別の数が最大の前記サンプルの脈拍数を前記被験者の脈拍数として決定することを特徴とする計測装置。

【請求項4】
 
請求項1に記載の計測装置であって、前記測定結果決定部は、前記グループ別のサンプルの脈拍数の数が最大となった前記サンプルの前記脈波信号を平均して前記被験者の脈波信号として決定することを特徴とする計測装置。

【請求項5】
 
請求項1に記載の計測装置であって、前記サンプル選択部は、顔の中で有効なサンプルが得られる有効領域を示す地図を有し、前記有効領域の中から前記サンプルを選択することを特徴とする計測装置。

【請求項6】
 
請求項1に記載の計測装置であって、前記サンプル輝度信号取得部は、前記小領域を構成する複数の画素の画素値を平均して前記サンプルの輝度信号を得ることを特徴とする計測装置。

【請求項7】
 
請求項1に記載の計測装置であって、前記サンプル脈波信号抽出部は、ICA(独立成分分析)の手法を用いて前記線形BSS問題を解くことを特徴とする計測装置。

【請求項8】
 
請求項1に記載の計測装置であって、前記サンプル脈波信号抽出部は、前記線形BSS問題を解いて得た二つの前記信号の各々と原信号との平均的ユークリッド距離を算出し、前記平均的ユークリッド距離が遠い方の信号を前記ヘモグロビンが寄与する信号として決定することを特徴とする計測装置。

【請求項9】
 
請求項1に記載の計測装置であって、前記信頼度判定部は、前記サンプルの脈波信号のパワースペクトル密度を算出し、最大ピークのパワーと2番目の大きさの第2ピークのパワーとの比を閾値と比較して前記脈波信号の信頼度を判定することを特徴とする計測装置。

【請求項10】
 
請求項9に記載の計測装置であって、前記サンプルデータ算出部は、前記最大ピークをもたらす周波数から前記サンプルの脈拍数を算出することを特徴とする計測装置。

【請求項11】
 
請求項1に記載の計測装置であって、前記サンプルデータグループ化部は、前記サンプルデータ算出部が前記サンプルの脈拍数を算出するごとに、該脈拍数に対応するヒストグラムの階級の度数を1加算することを特徴とする計測装置。

【請求項12】
 
請求項11に記載の計測装置であって、前記測定結果決定部は、度数が最大のヒストグラムの階級に対応する脈拍数を前記被験者の脈拍数として決定することを特徴とする計測装置。

【請求項13】
 
請求項1に記載の計測装置であって、前記サンプルデータグループ化部は、前記サンプルデータ算出部が算出した各サンプルの脈拍数を前記被験者の他の周期的変動を示す値と関連付けて分類し、前記測定結果決定部は、最大クラスターのデータを平均して前記被験者の心拍に連動する周期的変動の計測結果を決定することを特徴とする計測装置。

【請求項14】
 
請求項1から13のいずれかに記載の計測装置であって、さらに、前記被験者の顔の画像から該被験者の表情を認識する表情認識手段を備えることを特徴とする計測装置。

【請求項15】
 
被験者の顔の画像から被験者の心拍に連動する周期的変動を計測する計測方法であって、
前記被験者の顔の画像に設定された所定領域から複数の画素から成る小領域の対をサンプルとして複数個選択するサンプル選択ステップと、
前記サンプルの各画像フレームでの位置を追跡し、該位置の画素値から各サンプルの時間的に変位する輝度信号の対を取得するサンプル輝度信号取得ステップと、
前記サンプルの輝度信号の対が線形BSS(ブラインド信号源分離)の適用可能条件を満たすと仮定して、前記輝度信号の対から皮膚のメラニンが主に寄与する信号と血管のヘモグロビンが寄与する信号とを推定する線形BSS問題を解き、前記ヘモグロビンが寄与する信号を脈波信号として抽出するサンプル脈波信号抽出ステップと、
前記サンプル脈波信号抽出ステップで抽出された各サンプルの脈波信号の信頼度を判定する信頼度判定ステップと、
前記信頼度判定ステップで信頼できると判定した各サンプルの脈波信号から各サンプルの脈拍数を算出するサンプルデータ算出ステップと、
前記サンプルデータ算出ステップで算出した各サンプルの脈拍数をグループ別に仕分けるサンプルデータグループ化ステップと、
前記グループ別の数が最大の前記サンプルの脈拍数に基づいて被験者の前記周期的変動の計測結果を決定する測定結果決定ステップと、
を備えることを特徴とする計測方法。

【請求項16】
 
請求項15に記載の計測方法であって、前記測定結果決定ステップでは、前記グループ別の数が最大の前記サンプルの脈拍数を前記被験者の脈拍数として決定することを特徴とする計測方法。

【請求項17】
 
請求項15に記載の計測方法であって、前記測定結果決定ステップでは、前記グループ別のサンプルの脈拍数の数が最大となった前記サンプルの前記脈波信号を平均して前記被験者の脈波信号として決定することを特徴とする計測方法。

【請求項18】
 
請求項15に記載の計測方法であって、前記サンプル脈波信号抽出ステップでは、ICA(独立成分分析)の手法を用いて前記線形BSS問題を解くことを特徴とする計測方法。

【請求項19】
 
請求項15に記載の計測方法であって、前記サンプル脈波信号抽出ステップでは、前記線形BSS問題を解いて得た二つの前記信号の各々と原信号との平均的ユークリッド距離を算出し、前記平均的ユークリッド距離が遠い方の信号を前記ヘモグロビンが寄与する信号として決定することを特徴とする計測方法。

【請求項20】
 
請求項15に記載の計測方法であって、前記信頼度判定ステップでは、前記サンプルの脈波信号のパワースペクトル密度を算出し、最大ピークのパワーと2番目の大きさの第2ピークのパワーとの比を閾値と比較して前記脈波信号の信頼度を判定し、前記サンプルデータ算出ステップでは、前記最大ピークをもたらす周波数から前記サンプルの脈拍数を算出することを特徴とする計測方法。

【請求項21】
 
請求項15に記載の計測方法であって、前記サンプルデータグループ化ステップでは、前記サンプルデータ算出ステップで前記サンプルの脈拍数を算出するごとに、該脈拍数に対応するヒストグラムの階級の度数を1加算し、前記測定結果決定ステップでは、度数が最大のヒストグラムの階級に対応する脈拍数を前記被験者の脈拍数として決定することを特徴とする計測方法。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2015228248thum.jpg
State of application right Registered
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close