TOP > 国内特許検索 > 顔情報計測システム > 明細書

明細書 :顔情報計測システム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4565445号 (P4565445)
公開番号 特開2005-267258 (P2005-267258A)
登録日 平成22年8月13日(2010.8.13)
発行日 平成22年10月20日(2010.10.20)
公開日 平成17年9月29日(2005.9.29)
発明の名称または考案の名称 顔情報計測システム
国際特許分類 G06T   1/00        (2006.01)
G06T   7/20        (2006.01)
FI G06T 1/00 430H
G06T 1/00 340A
G06T 7/20 B
請求項の数または発明の数 4
全頁数 11
出願番号 特願2004-078758 (P2004-078758)
出願日 平成16年3月18日(2004.3.18)
審査請求日 平成19年3月1日(2007.3.1)
特許権者または実用新案権者 【識別番号】504143441
【氏名又は名称】国立大学法人 奈良先端科学技術大学院大学
発明者または考案者 【氏名】松本 吉央
個別代理人の代理人 【識別番号】100123504、【弁理士】、【氏名又は名称】小倉 啓七
審査官 【審査官】▲広▼島 明芳
参考文献・文献 特表2002-538498(JP,A)
特開2001-222723(JP,A)
特開2002-282210(JP,A)
特開2004-030408(JP,A)
特開平11-216135(JP,A)
調査した分野 G06T 1/00 - 7/60
特許請求の範囲 【請求項1】
1)ユーザの顔を撮影する少なくとも3台以上のカメラと、
2)前記カメラの画像出力から顔の動きを計測する手段と、
3)前記カメラのカメラ視野に追跡対象である顔全体が存在するようにカメラ位置・ズームを制御する手段と、
4)顔の動きを計測すると同時に背景マーカも計測することにより、前記カメラのカメラキャリブレーションを行う手段と、
5)前記カメラの向きと計測した顔の向きのなす角度の小さいカメラを2台選択する手段と、
6)選択した2台のカメラからのみ画像を入力する手段と、
7)顔の絶対座標系でステレオ視計測を行う手段と、
を有することを特徴とする顔情報計測システム。
【請求項2】
請求項1記載の顔情報計測システムを用い、前記カメラが乗り物内の運転席の周囲に、全体として切れ目なく計測したい顔の向き,位置の範囲をカバーできるように有効に配置されたことを特徴とする操縦者行動計測システム。
【請求項3】
請求項1記載の顔情報計測システムを用い、前記カメラが車内の運転席前方、バックミラー、左右のサイドミラー辺りに、全体として切れ目なく計測したい顔の向き,位置の範囲をカバーできるように有効に配置されていることを特徴とするドライバ行動計測システム。
【請求項4】
請求項1の顔情報計測システムを用い、頭部の動きを計測し、頭部の位置に応じて画像を補正することで、撮影における頭部の位置ずれによる撮影ミスを減少させることを特徴とする医療用の頭部断層画像撮影システム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、両眼視のカメラ(ステレオカメラ)を用いて、計算機上に人の顔に関する情報(頭部の動き,視線方向,瞬目,表情など)をリアルタイムに入力するための顔情報等の計測技術に関するものである。
【背景技術】
【0002】
ヒューマンモデリングやヒューマンインターフェイス技術において、人の行動を計測することは重要な課題である。特に人間の顔は、注意や意図、感情といった心理状態に応じて様々な変化を表出するため、その変化を定量的に計測する技術の確立はヒューマン・モデリングに欠かせない。近年、人間工学の分野において人体の計測技術が進み、人間の全身行動に関してはマーカを取り付けることで非接触に各部の変位を計測することは可能になってきた。これに対して、人間の顔に関する情報を非接触で計測する技術はまだほとんど実用化されていない。この問題を解決するため、頭部の動き,視線方向,瞬き,表情などを非接触で同時に計測する手法が提案されている(特許文献1参照)。
【0003】
近年、少子・高齢化社会,バリアフリー社会の到来にともない、より人にやさしいコンピュータや機械,ロボットなどのシステムを構築する必要性が高まっており、その実現へ向けて今後は一般の人(乳幼児,高齢者なども含む)の計測が不可欠である。そのためには非接触かつ自然な状態で顔情報を計測できるシステムが必要となる。被験者に一切の負担をかけず自然な状態での顔情報等の計測ができ、乳幼児から高齢者までの計測が行えるシステムが求められている。
【0004】

【特許文献1】特開2003-15816号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
従来、ステレオカメラで顔の動きを計測するために、予め既知パターンを用いてカメラパラメータを求めること(カメラキャリブレーション)が必要であった。カメラキャリブレーションにより求めたカメラパラメータを用いて,カメラ座標系で顔の動きの計測を行っていた。
【0006】
この場合、顔の絶対座標での計測ができないことから、カメラの位置が動くとキャリブレーションをし直す必要があった。また、カメラのズームが変わった場合においてもキャリブレーションをし直す必要があった。
【0007】
また一方で、1式のステレオ視カメラで顔の動きを計測できる範囲には限界がある。従来から、複数台のカメラを同時に利用して、この計測範囲を広げるものがあるが、全カメラを同時に利用するため台数に応じて計算量が大きくなるといった問題があった。かかる問題に対処するため、例えば、追跡対象である顔の位置によって適切なカメラを選択することも考えられる。
【0008】
しかし、顔の位置によってカメラを選択する手法では、顔を大きく振り向いたりした場合には、選択されたカメラでは顔の視線や表情といったきめ細かな計測ができない。
【0009】
本発明に係る顔情報計測システムは、上記事情に着目してなされたもので、カメラ位置が動いた場合でも顔情報の計測が行えるようにすることを第一の目的とする。また、本発明に係る顔情報計測システムは、顔の動きの計測範囲を効率よく広げることを第二の目的とする。
【課題を解決するための手段】
【0010】
本発明者らは、鋭意研究及び実験を重ねた結果、本発明を完成するに至った。以下、上述の課題を解決するための手段について説明する。
【0011】
本発明の目的を達成するために、本発明に係る顔情報計測システムは、ユーザの顔を撮影する少なくとも3台以上のカメラと、前記カメラの画像出力から顔の動きを計測する手段と、前記カメラのカメラ視野に追跡対象である顔全体が存在するようにカメラ位置・ズームを制御する手段と、顔の動きを計測すると同時に背景マーカも計測することにより、前記カメラのカメラキャリブレーションを行う手段と、前記カメラの向きと計測した顔の向きのなす角度の小さいカメラを2台選択する手段と、選択した2台のカメラからのみ画像を入力する手段と、顔の絶対座標系でステレオ視計測を行う手段と、を備えるよう構成される。
【0012】
顔の動きを計測中にも、同時にカメラキャリブレーションを行うことで、ステレオカメラの位置の変化、ズームの変化などに対応できる。例えば、室内を動き回るロボットにステレオカメラを搭載した場合、カメラの位置が動くこととなり、カメラ座標系で顔の動きを計測すると、顔の動作は識別できても、絶対座標系で計測を行えないために顔の視線が指すものを識別できない。本発明に係る顔情報計測システムにより、顔の絶対座標系での計測を行うことで顔の視線の3次元位置がわかるので、視線の動きに応じた対応サービスをロボットが実施できることとなる。
【0013】
また、カメラが動き、かつ、カメラズームを実施した場合においては、カメラパラメータが変化するため顔の動きを計測すると精度が上がらない。本発明に係る顔情報計測システムにより、顔の計測と同時にカメラキャリブレーションを行うことで精度を高めることができる。
【0015】
被験者(ユーザ)に一切の負担をかけず自然な状態での顔情報等の計測を行うため、また、認知心理学のための計測システムやドライバ行動計測システム等でのユーザの顔の大きな動きの計測の行うために、3台以上のカメラを用いて顔の動きを計測することとし、ステレオ視にはそのうちの顔の正面に近いものを2台選択することで、処理速度を下げずに顔の動きの計測範囲を効率よく広げることができる。
【発明の効果】
【0016】
本発明に係る顔情報計測システムは、上述の手段を用いることにより、以下に示す効果を有する。すなわち、カメラ位置が動いた場合でも顔情報の計測が行えること、また、顔の動きの計測範囲を効率よく広げることができることである。これにより、自然な状態で顔情報を計測できるため、被験者に一切の負担をかけず自然な状態で、一般の人(乳幼児,高齢者なども含む)の顔情報の計測が可能となる。
【発明を実施するための最良の形態】
【0017】
以下、本発明の実施の形態を図面に基づいて説明する。なお、本発明は図示の構成に限定されるわけでない。
【実施例1】
【0018】
図1は、顔情報計測システムにおけるハードウェア構成の1つの実施形態を示す。この実施形態では、顔情報計測システムはコンピュータで構成されるが、必ずしもこの様なハードウェア構成に限定されない。
【0019】
図1の実施形態の顔情報計測システムは、4台のビデオカメラ、前記ビデオカメラを制御する4台のカメラコントロールユニット、ステレオ視するためのカメラを選択する2個のアナログスイッチ、ステレオ視を行うための画像入力装置、前記アナログスイッチにカメラ切り替え信号を出力するIOポート、情報端末PCで構成される。
【0020】
4台のビデオカメラは、撮影対象の人の前方左右に間隔を置いて設置され、選択する2台のビデオカメラにより、撮影対象の顔をステレオ視して撮影する。各カメラコントロールユニットは、外部同期信号線を介して相互接続されており、この同期信号によって各ビデオカメラの同期がとられ、左右の位置で同じ時刻に撮影された2つの画像フレームが得られる。顔情報計測システムは、左右の位置で同じ時刻に撮影された2つの画像フレームを入力画像として使用し、ステレオ法を用いて3次元的な物体認識を処理することができる。
【0021】
図2は、カメラの配置を示す図である。カメラの撮像範囲を考慮して、図2に示すように、カメラの全体として切れ目なく計測したい顔の向き,位置の範囲をカバーできるように有効に配置する。図2に、カメラ1,2を用いてステレオ視できる計測角度範囲(向き)、カメラ2,3を用いてステレオ視できる計測範囲(向き)、カメラN-1,Nを用いてステレオ視できる計測角度範囲(向き)を模式して示している。
【0022】
図3は、顔計測システムの全体的なアルゴリズムを示す。顔探索部、顔トラッキング部の処理は、関連して動作し、連続的に撮影される左右の入力画像から顔向きと視線方向などの顔情報をリアルタイムに計測する。カメラ制御部とカメラ選択部は、顔探索部、顔トラッキング部の処理の間に行い、顔の大きな動作にも追従できるように、ダイナミックにカメラを制御し、その上で最もよいアングルに位置するカメラを選択し、顔情報を計測することとしている。これをトラッキングが成功するまで繰り返し実施する。図4に、4台のカメラから2台のカメラを選択して、ステレオ視して顔情報を計測している様子を示す。
【0023】
図3において、上述の如く、顔の動きを計測した後に、背景マーカ探索部の処理を行い、背景マーカ探索が成功すれば、カメラキャリブレーションを行う処理を行っている。顔の動きを計測中に、オンラインでカメラキャリブレーションを行うことで、従来、カメラ座標系で顔の動きなどの計測を行っていたものを、絶対座標系で計測を行うものである。図5に、背景マーカを用いた絶対座標系での計測の概念図を示す。
【0024】
ここで、背景マーカは、点,コーナなど、複数の画像中で対応を取ることができる画像特徴をもつもので、キャリブレーション方法により異なるが、最低でも同一平面上にない4点が必要である。背景マーカの3次元配置は既知であるものとし、かつ位置は変化しないものである。各カメラには,同じマーカが同時に見えている必要はなく、キャリブレーションを行うのに必要な個数だけのマーカが見えていればよい。
【0025】
また、キャリブレーションの目的としては、空間中の3次元座標と、それを投影した画像上の2次元座標の対応関係を決めるためのもので、これまでに様々な手法が提案されているのでここでの説明は省略する。なお、必要なマーカの数はキャリブレーション手法により異なる。
【0026】
以下に、図3で示した顔計測システムの全体的なアルゴリズムの個々の処理について説明する。先ず、図6を用いて顔探索部の処理フローを説明する。顔探索部は、入力された画像から人間の顔が撮影されている画像領域をおおまかに探索する。顔探索部は、頭全体のおおまかな3次元位置を計算するが、この3次元位置が、カメラ制御部の制御条件に使われ、また、カメラ選択部のカメラ選択の手法に使われる。また、顔トラッキング部の処理の前に、入力画像から顔が撮影されている領域をおおまかに探索することにより、顔トラッキング部は、入力画像中の顔の詳細な解析を高速に実行することが可能となる。顔探索部は、かかる意味で顔トラッキングの前処理としての意義も有する。
【0027】
カメラ制御部の処理としては、顔探索部で算出された顔の3次元位置から、視野の中央に計測対象の顔全体が入るようにカメラを回転したり、回転範囲の制限により無理な場合には,カメラを並進したり、顔全体の大きさがカメラの視野に対して大きすぎる若しくは小さすぎる場合は焦点距離(ズーム)を変えるなどの制御を行っている。これを各カメラについて繰り返すこととしている。図8に、カメラ制御の様子を模式化した図を示す。
【0028】

図9は、カメラ選択部の処理フローを示している。顔探索部で算出された顔の3次元位置から、視野の中に顔全体が入っており、かつ、カメラの向きと計測した頭の向きのなす角度θの小さなカメラを二つ選ぶ。図1に示したハードウェア構成におけるPCのIOポートから、カメラ切り替え信号を出力し、選択したカメラ画像の入力を行っている。図10に、カメラ選択処理の模式図を示す。
【0029】
図11は、顔トラッキング部の処理フローを示している。顔トラッキング部は、前もって得られた画像情報に基づいて顔の特徴点を入力画像から抽出し、それらの特徴点から顔の3次元位置と顔の向きを求める。前フレームでの頭の位置・姿勢から各特徴の探索範囲を設定し、前フレームでの頭の位置・姿勢から各特徴のテンプレートを選択する。選択したテンプレートを用いて一枚の画像上で先ず各特徴の単眼トラッキングを行い、ステレオのもう一枚の画像上での各特徴の対応点を探索して、3次元モデルと3次元観測値の誤差が最小になるようにフィッティングし、頭の位置・姿勢を計算している。
【0030】
図12は、背景マーカ探索部の処理フローを示している。先ず、前フレームでのカメラの位置・姿勢より、視野に入っている(見えるはずな)背景マーカの候補を選択する。次に、前フレームでの顔の位置・姿勢より,隠されていない(見えるはずな)背景マーカの候補を選択する。そして、画像中の背景マーカの探索範囲を設定し、背景マーカを検出する。これを各カメラについて繰り返すこととしている。

【0031】
カメラキャリブレーションは、空間中の3次元座標と、それを投影した画像上の2次元座標の対応関係を対応づけるためのもので、これまでに様々な手法が提案されている。必要なマーカの数はキャリブレーション手法により異なるが、例えば、画像の投影方法を下記の式のように定義した場合,未知数11個であるので、少なくとも6点のマーカ座標の観測(x,y,z,u,vの組)が必要となる。
【0032】
【数1】
JP0004565445B2_000002t.gif

【0033】
よく使われているカメラキャリブレーション手法としては、例えば、以下の文献で提案されているものがあげられる。
(文献)R. Y. Tsai. An efficient and accurate camera calibration technique for 3D machine vision. In Proc. IEEE Conference on Computer Vision and Pattern Recognition, pp.364-374, 1986.
【実施例2】
【0034】
次に、PET,CT,MRT等の医療用頭部断層画像撮影における非接触頭部位置計測に、本発明に係る顔情報計測システムを適用し、画像の鮮明化を行える点について説明する。
【0035】
PET(Positron Emission Tomography,陽電子放射断層撮影)装置を用いて頭部断層写真を撮影し診断に用いる場合,頭部の位置・姿勢を正確に計測することは重要である。なぜならPETは時間的な分解能が低いため撮影時間が比較的長く、その間に被験者の頭部が少しでも動いてしまうと画像にぼけが生じて不鮮明になったり、撮影自体が失敗してしまうためである。また、複数回の撮影結果を用いて総合的に診断しようとする場合にも、毎回の頭部の位置が分からないと測定箇所にずれが生じる。
【0036】
本発明に係る顔情報計測システムにおいて、高解像度のステレオカメラと3次元の顔モデルを用いることでにより、このようなPET撮影における頭部の位置ずれの問題点に対処できる。頭部のオンライン位置計測に基づき画像の鮮明化およびずれの補正を行い、撮影の失敗を減らし精度の高い鮮明な画像取得を実現することができるのである。図13に、PET頭部断層画像撮影システムへの適用例を示す。
【0037】
まず、PETシステムでの画像補正に必要となる計測精度(誤差1mm以下)を持つ頭部位置計測システムとするため、計測精度を向上させる必要がある。本発明に係る顔情報計測システムにおいて、例えば、解像度1024×768画素(もしくはそれ以上)を持つ高解像度カメラを用いる。画像の解像度が上がると一般に計測精度も上がるが、同時に処理速度は低下する。本発明に係る顔情報計測システムでは、画像処理アルゴリズム、特にステレオ画像におけるテンプレートマッチング処理により、高精度かつ高速な計測システムを実現できる。
【0038】
PET-カメラ間の位置合わせ方法について説明する。顔位置計測のためのステレオカメラは、PETには固定せず独立したフレームに固定する。これはPETが高価な装置であり、その保守・保証に影響を与えることを防ぐためである。このようなアプローチをとる場合、カメラとPETの位置関係がずれる可能性があるので、画像を正しく補正するにはその位置関係を常に計測しておく必要がある。本発明に係る顔情報計測システムでは、PET側に簡単な背景マーカーを設置し、カメラで顔を撮影すると同時にマーカーも撮影することでこの問題に対応している。マーカーの形状,PET内での位置を既知とすることで、カメラとPETの位置関係のキャリブレーションは常に正しく保たれることになる。これにより、カメラの設置位置や計測中のカメラのずれに起因する誤差の発生を抑えることができる。
【実施例3】
【0039】
自動車のドライバの挙動を計測・記録できるドライバ行動計測システムに、本発明に係る顔情報計測システムが適用できることについて説明する。本発明に係る顔情報計測システムにより、ドライバの顔の動き,視線の向きを計測し、車内の対象物への注視時間を計測することによって、ドライバの行動推定を行ったり、道路領域の画像を撮影し、その上に視線方向や頭部方向を投影し、記録するためのシステムを構築することができる。また、夜間においても赤外線投光器を利用することにより計測できる。これら全ての情報はオンラインでも利用できるため、これらの情報をもとにドライバの運転支援を行うことも可能である。図14に、ドライバ行動計測システムにおけるカメラ配置の例を示す。
【産業上の利用可能性】
【0040】
本発明を用いることにより、カメラ位置が動いた場合でも顔情報の計測が行えること、また、顔の動きの計測範囲を効率よく広げることができ、これにより、自然な状態で顔情報を計測できるため、被験者に一切の負担をかけず自然な状態で、一般の人(乳幼児,高齢者なども含む)の顔情報の計測が可能である。そのため、人間の行動計測システムとして広い分野での利用が可能であると考えられ、例えば、ヒューマン・ロボット・インタラクション、遠隔操作(見たい方向を見てくれるカメラなど)、安全運転システム、福祉機器(視線による車椅子の操縦など)といった分野に利用できる。
【図面の簡単な説明】
【0041】
【図1】本発明の実施形態に係る顔情報計測システムにおけるハードウェア構成図である。
【図2】カメラの配置を示す図である。
【図3】顔計測システムの全体的なアルゴリズムを示す図である。
【図4】4台のカメラを利用したステレオ視を概念図を示す。
【図5】背景マーカを用いた絶対座標系での計測の概念図を示す。
【図6】顔探索部の処理フローを示している。
【図7】カメラ制御部の処理フローを示している。
【図8】カメラ制御の様子の模式図を示している。
【図9】カメラ選択部の処理フローを示している。
【図10】カメラ選択処理の模式図を示している。
【図11】顔トラッキング部の処理フローを示している。
【図12】背景マーカ探索部の処理フローを示している。
【図13】PET頭部断層画像撮影システムへの適用例を示している。(a)はPET画像撮影における頭部位置計測の様子を、(b)は頭部の位置に応じて画像を補正する様子を示す。
【図14】ドライバ行動計測システムにおけるカメラ配置の例を示している。
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13