TOP > 国内特許検索 > 画像位置合わせ装置、画像位置合わせ方法、および、画像位置合わせプログラム > 明細書

明細書 :画像位置合わせ装置、画像位置合わせ方法、および、画像位置合わせプログラム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第6371849号 (P6371849)
登録日 平成30年7月20日(2018.7.20)
発行日 平成30年8月8日(2018.8.8)
発明の名称または考案の名称 画像位置合わせ装置、画像位置合わせ方法、および、画像位置合わせプログラム
国際特許分類 G06T   7/70        (2017.01)
G06T   7/33        (2017.01)
G06T   3/00        (2006.01)
A61B   3/113       (2006.01)
FI G06T 7/70 A
G06T 7/33
G06T 3/00 750
A61B 3/10 B
請求項の数または発明の数 13
全頁数 29
出願番号 特願2016-535977 (P2016-535977)
出願日 平成27年7月23日(2015.7.23)
国際出願番号 PCT/JP2015/071027
国際公開番号 WO2016/013634
国際公開日 平成28年1月28日(2016.1.28)
優先権出願番号 2014150848
優先日 平成26年7月24日(2014.7.24)
優先権主張国 日本国(JP)
審査請求日 平成29年1月19日(2017.1.19)
特許権者または実用新案権者 【識別番号】503360115
【氏名又は名称】国立研究開発法人科学技術振興機構
発明者または考案者 【氏名】中澤 篤志
【氏名】クリスティアン・ニチュケ
個別代理人の代理人 【識別番号】100101454、【弁理士】、【氏名又は名称】山田 卓二
【識別番号】100125874、【弁理士】、【氏名又は名称】川端 純市
審査官 【審査官】佐田 宏史
参考文献・文献 特開平09-322040(JP,A)
特開2005-100407(JP,A)
国際公開第2014/021169(WO,A1)
米国特許第08077914(US,B1)
ニチュケ クリスティアン、中澤 篤志,“角膜表面反射像の超解像処理による高解像シーン画像の推定”,電子情報通信学会技術研究報告,日本,一般社団法人電子情報通信学会,2012年 8月27日,Vol.112, No.225,pp.65-70
調査した分野 G06T 1/00,3/00,7/00-7/90
H04N 5/225
A61B 3/113
特許請求の範囲 【請求項1】
被験者の眼球を撮影した画像である第1画像のデータおよび被験者の視線方向の被写体を撮影した画像である第2画像のデータを取得する取得部と、
前記第1画像のデータおよび前記第2画像のデータを格納する記憶部と、
前記第1画像を球面光線マップへ移す写像である第1写像と、前記第2画像を球面光線マップへ移す写像である第2写像と、を決定するマッピング部と、
前記第1画像中の一点と、当該一点と対応する前記第2画像中の一点を検出することにより対応点対を抽出する対応点対抽出部と、
前記球面光線マップにおける前記第1画像の像と、前記球面光線マップにおける前記第2画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第1画像中の一点の位置およびオリエンテーションの情報を含む局所特徴量、ならびに、前記対応点対を構成する前記第2画像中の一点の位置およびオリエンテーションの情報を含む局所特徴量に基づいて、導出する回転写像導出部と、
前記第1写像と、前記回転写像と、前記第2写像と、に基づいて、前記記憶部に格納された前記第1画像のデータを、前記記憶部に格納された前記第2画像のデータに対して位置合わせして前記第2画像に対して位置合わせされた前記第1画像のデータを生成するレジストレーション部と、
を有する画像位置合わせ装置。
【請求項2】
前記対応点対抽出部は、前記対応点対の候補として、前記第1画像の点と前記第2画像の点とで構成される対応点対候補を複数組み検出し、前記複数組みの対応点対候補それぞれの点対の対応関係を評価し、最も高く評価された点対で構成される対応点対候補を前記対応点対として抽出する、ことを特徴とする請求項1に記載の画像位置合わせ装置。
【請求項3】
前記対応点対抽出部は、前記対応点対候補を構成する前記第1画像の点と前記第2画像の点との対応関係に従って前記第1画像および前記第2画像から抽出された点対で構成される複数の副次的対応点対の対応関係を評価することにより、前記対応点対候補の対応関係を評価する、ことを特徴とする請求項2に記載の画像位置合わせ装置。
【請求項4】
第1画像を撮影する第1のカメラと、
第2の画像を撮影する第2のカメラと、
前記第1画像と前記第2画像の位置合わせを行う、請求項1ないしのいずれかに記載の画像位置合わせ装置と
を備えた、ことを特徴とする画像位置合わせシステム。
【請求項5】
被験者の眼球を撮影した画像である第1画像のデータおよび被験者の視線方向の被写体を撮影した画像である第2画像のデータを取得する取得ステップと、
前記第1画像のデータおよび前記第2画像のデータを記憶部に格納する記憶ステップと、
演算部が、前記第1画像を球面光線マップへ移す写像である第1写像と、前記第2画像を球面光線マップへ移す写像である第2写像と、を決定するマッピング・ステップと、
演算部が、前記第1画像中の一点と、当該一点と対応する前記第2画像中の一点を検出することにより対応点対を抽出する対応点対抽出ステップと、
演算部が、前記球面光線マップにおける前記第1画像の像と、前記球面光線マップにおける前記第2画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第1画像中の一点の位置およびオリエンテーションの情報を含む局所特徴量、ならびに、前記対応点対を構成する前記第2画像中の一点の位置およびオリエンテーションの情報を含む局所特徴量に基づいて、導出する回転写像導出ステップと、
演算部が、前記第1写像と、前記回転写像と、前記第2写像と、に基づいて、前記記憶部に格納された前記第1画像のデータを、前記記憶部に格納された前記第2画像のデータに対して位置合わせして前記第2画像に対して位置合わせされた前記第1画像のデータを生成するレジストレーション・ステップと、を有する画像位置合わせ方法。
【請求項6】
コンピュータが実行可能な画像位置合わせプログラムであって、
前記画像位置合わせプログラムは、前記コンピュータに、
被験者の眼球を撮影した画像である第1画像のデータおよび被験者の視線方向の被写体を撮影した画像である第2画像のデータを取得する取得ステップと、
前記第1画像のデータおよび前記第2画像のデータを記憶部に格納する記憶ステップと、
前記第1画像を球面光線マップへ移す写像である第1写像と、前記第2画像を球面光線マップへ移す写像である第2写像と、を決定するマッピング・ステップと、
前記第1画像中の一点と、当該一点と対応する前記第2画像中の一点を検出することにより対応点対を抽出する対応点対抽出ステップと、
前記球面光線マップにおける前記第1画像の像と、前記球面光線マップにおける前記第2画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第1画像中の一点の位置およびオリエンテーションの情報を含む局所特徴量、ならびに、前記対応点対を構成する前記第2画像中の一点の位置およびオリエンテーションの情報を含む局所特徴量に基づいて、導出する回転写像導出ステップと、
前記第1写像と、前記回転写像と、前記第2写像と、に基づいて、前記記憶部に格納された前記第1画像のデータを、前記記憶部に格納された前記第2画像のデータに対して位置合わせして前記第2画像に対して位置合わせされた前記第1画像のデータを生成するレジストレーション・ステップと、を実行させることを特徴とする画像位置合わせプログラム。
【請求項7】
被験者の眼球を撮影した画像である第1画像及び被験者の視線方向の被写体を撮影した画像である第2画像を取得する取得部と、
前記第1画像を球面光線マップへ移す写像である第1写像と、前記第2画像を球面光線マップへ移す写像である第2写像と、を決定するマッピング部と、
前記第1画像中の一点と、当該一点と対応する前記第2画像中の一点を検出することにより対応点対を抽出する対応点対抽出部と、
前記球面光線マップにおける前記第1画像の像と、前記球面光線マップにおける前記第2画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第1画像中の一点の位置および局所特徴量、ならびに、前記対応点対を構成する前記第2画像中の一点の位置および局所特徴量に基づいて導出する回転写像導出部と、
前記第1画像から眼球の姿勢を検出することにより前記第1画像上で注視反射点を検出し、前記第1写像と、前記回転写像と、前記第2写像とに基づいて、前記第2画像中の、前記注視反射点に対応する点を、被験者が注視している点として求める視点抽出部と、 を有する、注視点抽出システム。
【請求項8】
請求項記載の注視点抽出システムを備えた表示システム。
【請求項9】
被験者の眼球を撮影した画像である第1画像及び被験者の視線方向の被写体を撮影した画像である第2画像を取得する取得部と、
前記第1画像を球面光線マップへ移す写像である第1写像と、前記第2画像を球面光線マップへ移す写像である第2写像と、を決定するマッピング部と、
前記第1画像中の一点と、当該一点と対応する前記第2画像中の一点を検出することにより対応点対を抽出する対応点対抽出部と、
前記球面光線マップにおける前記第1画像の像と、前記球面光線マップにおける前記第2画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第1画像中の一点の位置および局所特徴量、ならびに、前記対応点対を構成する前記第2画像中の一点の位置および局所特徴量に基づいて、導出する回転写像導出部と、
前記第1画像から眼球の光軸を特定し、前記光軸に対し所定の角度を成す方向から到来した光が角膜表面において反射した点を特定し、前記第1写像と前記回転写像と前記第2写像とに基づいて、前記第2画像から前記特定した反射点群を、被験者の周辺視野の領域を形成する点群として検出する視野推定部と、
を有する、周辺視野推定システム。
【請求項10】
被験者の視線方向の被写体を撮影した画像である第1画像および被験者の眼球を撮影した画像である第2画像を取得する取得部と、
前記第1画像のデータおよび前記第2画像のデータを格納する記憶部と、
前記第1画像を球面光線マップへ移す写像である第1写像と、前記第2画像を球面光線マップへ移す写像である第2写像と、を決定するマッピング部と、
前記第1画像中の一点と、当該一点と対応する前記第2画像中の一点を検出することにより対応点対を抽出する対応点対抽出部と、
前記球面光線マップにおける前記第1画像の像と、前記球面光線マップにおける前記第2画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第1画像中の一点の位置および局所特徴量、ならびに、前記対応点対を構成する前記第2画像中の一点の位置および局所特徴量に基づいて、導出する回転写像導出部と、
前記第1写像と、前記回転写像と、前記第2写像と、に基づいて、前記記憶部に格納された前記第1画像のデータを、前記記憶部に格納された前記第2画像のデータに対して位置合わせして前記第2画像に対して位置合わせされた前記第1画像のデータを生成するレジストレーション部と、
位置合わせされた前記第1画像を前記第2画像から減算して虹彩画像を生成する虹彩画像生成部と、
前記虹彩画像を用いて虹彩認識を行う認識部と、
を有する、虹彩認識システム。
【請求項11】
被験者の眼球を撮影した画像である第1画像及び被験者の視線方向の被写体を撮影した画像である第2画像を取得するステップと、
演算部が、前記第1画像を球面光線マップへ移す写像である第1写像と、前記第2画像を球面光線マップへ移す写像である第2写像と、を決定するステップと、
演算部が、前記第1画像中の一点と、当該一点と対応する前記第2画像中の一点を検出することにより対応点対を抽出するステップと、
演算部が、前記球面光線マップにおける前記第1画像の像と、前記球面光線マップにおける前記第2画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第1画像中の一点の位置および局所特徴量、ならびに、前記対応点対を構成する前記第2画像中の一点の位置および局所特徴量に基づいて導出するステップと、
演算部が、前記第1画像から眼球の姿勢を検出することにより前記第1画像上で注視反射点を検出するステップと、
演算部が、前記第1写像と、前記回転写像と、前記第2写像とに基づいて、前記第2画像中の、前記注視反射点に対応する点を、被験者が注視している点として求めるステップと、
を有する、注視点抽出方法。
【請求項12】
演算部が、被験者の眼球を撮影した画像である第1画像及び被験者の視線方向の被写体を撮影した画像である第2画像を取得するステップと、
演算部が、前記第1画像を球面光線マップへ移す写像である第1写像と、前記第2画像を球面光線マップへ移す写像である第2写像と、を決定するステップと、
演算部が、前記第1画像中の一点と、当該一点と対応する前記第2画像中の一点を検出することにより対応点対を抽出するステップと、
演算部が、前記球面光線マップにおける前記第1画像の像と、前記球面光線マップにおける前記第2画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第1画像中の一点の位置および局所特徴量、ならびに、前記対応点対を構成する前記第2画像中の一点の位置および局所特徴量に基づいて導出するステップと、
演算部が、前記第1画像から眼球の光軸を特定し、前記光軸に対し所定の角度を成す方向から到来した光が角膜表面において反射した点を特定し、前記第1写像と前記回転写像と前記第2写像とに基づいて、前記第2画像から前記特定した反射点群を、被験者の周辺視野の領域を形成する点群として検出するステップと、
を有する、
周辺視野推定方法。
【請求項13】
被験者の視線方向の被写体を撮影した画像である第1画像および被験者の眼球を撮影した画像である第2画像を取得するステップと、
前記第1画像のデータおよび前記第2画像のデータを記憶部に格納するステップと、
演算部が、前記第1画像を球面光線マップへ移す写像である第1写像と、前記第2画像を球面光線マップへ移す写像である第2写像と、を決定するステップと、
演算部が、前記第1画像中の一点と、当該一点と対応する前記第2画像中の一点を検出することにより対応点対を抽出するステップと、
演算部が、前記球面光線マップにおける前記第1画像の像と、前記球面光線マップにおける前記第2画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第1画像中の一点の位置および局所特徴量、ならびに、前記対応点対を構成する前記第2画像中の一点の位置および局所特徴量に基づいて導出するステップと、
演算部が、前記第1写像と、前記回転写像と、前記第2写像と、に基づいて、前記記憶部に格納された前記第1画像のデータを、前記記憶部に格納された前記第2画像のデータに対して位置合わせして前記第2画像に対して位置合わせされた前記第1画像のデータを生成するステップと、
演算部が、位置合わせされた前記第1画像を前記第2画像から減算して虹彩画像を生成するステップと、
演算部が、前記虹彩画像を用いて虹彩認識を行うステップと、を有する、
虹彩認識方法。
発明の詳細な説明 【技術分野】
【0001】
本発明は、画像の位置合わせ(レジストレーション(registration)、アライメント(alignment))のための装置に関する。
【背景技術】
【0002】
特許文献1には、被験者が注視している点(注視点)および同被験者の個人パラメータを推定する装置が記載されている。該装置は、被験者の眼球の像が含まれる画像(眼球画像)を取得し、当該眼球画像から、眼球の姿勢(すなわち眼球の光軸の方向)を推定するとともに、被験者の視線の方向(注視の方向)を推定する。そして、該装置は、眼球の光軸の方向と視線の方向との間のずれ量を個人パラメータとして定量化する。
【先行技術文献】
【0003】

【特許文献1】国際公開第2014/021169号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【0004】
眼球を撮像して得られる画像(眼球画像)には一般に、眼球の角膜で鏡面反射した光の像(角膜表面反射像)が含まれる。当該角膜表面反射像は、被験者が実際に見ている光景と対応している。このことを利用して、例えば、そのような角膜表面反射像を含む眼球画像と、被験者周囲の風景の画像(シーン画像)とを用いて、被験者が目にした光景を復元しようとする試みが近年活発に行われている。このような研究およびその成果から派生する種々のアプリケーションにおいては、眼球画像と、眼球画像とは別に被験者の周囲の風景を撮像して取得されるシーン画像との位置合わせ(レジストレーション)は極めて重要な技術である。
【0005】
しかしながら、角膜表面反射像に多くのノイズ成分が含まれるため、眼球画像とシーン画像との位置合わせ(レジストレーション、アライメント)をロバストに行うことは、困難であった。
【0006】
本発明は、例えば眼球画像とシーン画像のような、2つまたはそれ以上の画像間で相互の位置合わせ(レジストレーション、アライメント)をロバストに行うことができる装置を提供する。
【課題を解決するための手段】
【0007】
本発明の一態様は、
第1画像のデータおよび第2画像のデータを取得する取得部と、
第1画像のデータおよび第2画像のデータを格納する記憶部と、
第1画像を球面光線マップへ移す写像である第1写像と、第2画像を球面光線マップへ移す写像である第2写像と、を決定するマッピング部と、
第1画像中の一点と、当該一点と対応する第2画像中の一点を検出することにより対応点対を抽出する対応点対抽出部と、
球面光線マップにおける第1画像の像と、球面光線マップにおける第2画像の像とを位置整合させる回転写像を、対応点対を構成する第1画像中の一点の位置および局所特徴量、ならびに、対応点対を構成する第2画像中の一点の位置および局所特徴量に基づいて、導出する回転写像導出部と、
第1写像と、回転写像と、第2写像と、に基づいて、記憶部に格納された第1画像のデータを、記憶部に格納された第2画像のデータに対して位置合わせして第2画像に対して位置合わせされた第1画像のデータを生成するレジストレーション部と、を有する画像位置合わせ装置である。
【発明の効果】
【0008】
本発明の実施形態による画像位置合わせ装置は、2つまたはそれ以上の画像間で相互の位置合わせ(レジストレーション、アライメント)をロバストに行うことができる。
【図面の簡単な説明】
【0009】
【図1】アイ・カメラおよびシーン・カメラの配置例を示す図
【図2】アイ・カメラが撮像した眼球画像の例(a)、および、シーン・カメラが撮像したシーン画像の例(b)を示す図
【図3】実施形態による画像位置合わせ方法の概略を示す図
【図4】実施形態による画像位置合わせ装置の構成を示すブロック図
【図5】画像位置合わせ装置が実行する画像位置合わせの処理の流れを示すフローチャート
【図6】取得した眼球画像およびシーン画像、ならびに、左右反転を施した眼球画像の例を示す図
【図7】弱透視投影モデルを用いた眼球姿勢推定の方法を説明する図
【図8】眼球画像およびシーン画像における初期対応点対の例を示す図
【図9】眼球画像およびシーン画像における複数組の初期対応点対の例を示す図
【図10】図5のステップS5での処理(RANRESAC処理)の詳細を示すフローチャート
【図11】第i組の初期対応点対を示す図
【図12】眼球画像において副次的対応点をランダムにプロットした例を示す図
【図13】第i組の初期対応点対での対応関係に従って導出されたワーピング関数に基づいて、眼球画像上にランダムにプロットされた副次的対応点に対応するシーン画像上の副次的対応点をプロットした例を示す図
【図14】レジストレーションされた眼球画像の例、および、ファイン・レジストレーション(微調整)の実行の例を示す図
【図15】実施形態による位置合わせ装置を用いた応用例(視点推定)を示す図
【図16】実施形態による位置合わせ装置を用いた応用例(周辺視野推定)を示す図
【図17】実施形態による位置合わせ装置を用いた応用例(虹彩認証用画像の生成)を示す図
【発明を実施するための形態】
【0010】
1.発明に至った経緯
図1に示すようなシステムを例に挙げ、本発明に至った経緯を説明する。同図のシステムは、被験者の眼球20(のうち、主として角膜21)を撮像するアイ・カメラ911eと、被験者が見ている光景(シーン)を撮像する(撮像の方向が被験者の視線方向と略一致するように設置されている)シーン・カメラ911sを有する。同システムには、図示しないコンピュータがさらに含まれ、そのコンピュータが、アイ・カメラ911eが撮像した画像(眼球画像)から被験者の視線の方向を推定するとともに、シーン・カメラ911sが撮像した画像(シーン画像)を用いて被験者が目にしている光景を高精細に復元することを試みる。

【0011】
図2は、図1のシステムのアイ・カメラ911eおよびシーン・カメラ911sが撮像する眼球画像およびシーン画像の例を示す図である。図2(a)は、アイ・カメラ911eが撮像した被験者の眼球の画像(眼球画像)Ie9の例である。図2(b)は、シーン・カメラ911sが撮像した被験者が目にした光景(シーン)の画像(シーン画像)Is9の例である。

【0012】
上記したコンピュータは、(例えば領域I930eに見られるような)角膜表面での反射光の像から、被験者が見ている光景(シーン)を推定する。そして、コンピュータは、当該シーンに対応する影像をシーン画像Is9の例えば領域I930sから求め、この結果を踏まえて、高精細なシーン画像Is9を用いて被験者が目にした光景を復元しようとする。

【0013】
しかしながら、眼球画像Ie9を見れば、角膜表面反射像のコントラストは比較的低く、かつ、角膜表面反射像には虹彩のテクスチャIitや、まつげIelおよびまつげの影Iselといったノイズが溢れている。さらに、角膜が曲面状の表面を有するために、角膜に映るシーンの影像は非線形的な歪みを受けている。そのため、従来の画像位置合わせの手法では、眼球画像Ie9と、シーン画像Is9とをロバストに位置合わせすることは困難であった。

【0014】
2.本発明の実施形態の概要
そこで、本願発明者は、以下に説明する新規な画像位置合わせのための装置および方法を提案する。まずここでは図3を参照し、本発明の実施形態による画像位置合わせ装置が実行する画像位置合わせ方法の概要を説明する。

【0015】
本発明の実施形態による画像位置合わせ装置は、眼球画像Ieとシーン画像Isのデータを取得して、メモリ等の記憶手段に格納する。そして、画像位置合わせ装置は、シーン画像Is、および、眼球画像Ieそれぞれを球面光線マップ(球面光線環境、Environmental Map (EM))へ移す写像(第1写像および第2写像)を決定する。ここでの「球面光線マップ」とは、画像を撮像した手段を中心として当該中心へ入射する光を所定の半径を有する球面にマッピングしたときに生成される、撮像手段を取り囲む光線環境に関するマップである。図3(c)は、シーン画像Isについての球面光線マップEMsの例であり、同図には、球面光線マップEMsにおけるシーン画像の像が示されている。図3(d)は、眼球画像Ieについての球面光線マップEMeの例であり、同図には、球面光線マップEMeにおける眼球画像の像が示されている。ここでは、シーン画像Isを球面光線マップEMsへ移す(変換する)写像(変換関数)をAs()とし、眼球画像Ieの角膜表面反射像を球面光線マップEMeへ移す(変換する)写像(関数)をL()としている。たとえば、シーン画像Isの画素xは、写像Asにより、球面光線マップEMs上のAs(x)へ移り、眼球画像Ieの画素xは、写像Lにより、球面光線マップEMe上のL(x)へ移る。

【0016】
次に、画像位置合わせ装置は、シーン画像Is(第1画像)と、眼球画像Ie(第2画像)(の角膜表面反射像)と、の間で、対応する特徴点のペア(以下で「初期対応点対」とも称される点対)を少なくとも一対(例えば点pと点qの一対)求める。画像位置合わせ装置は、ここでの対応点の検出のため、既存の手法(SIFT(Scale-Invariant Feature Transform)、SURF(Speeded Up Robust Features)等)を用いることができる。SIFTやSURFといった既存の特徴点検出の手法では、検出された対応点対の各特徴点(点p、点q)それぞれについての局所特徴量として、方向(オリエンテーション)の情報(θ、θ)を算出することができる。画像位置合わせ装置は、このオリエンテーションの情報(θおよびθ)と対応点(特徴点)(点p、点q)の位置の情報を利用して、球面光線マップEMs上のシーン画像の像を球面光線マップEMe上の角膜表面反射像に対して位置整合させる回転写像Rを決定する。ここでは、球面光線マップEMsと球面光線マップEMeとが実質的に等しいと仮定し、故に、上述の位置整合は回転写像Rにより表現可能であることを仮定している。(つまり、たとえば、シーン画像Isの画素qは、写像Asにより、球面光線マップEMs上のAs(q)へ移り、球面光線マップEMs上のシーン画像の像の画素As(q)におけるオリエンテーションの情報は、As’(q,θ)と表現され、眼球画像Ieの画素pは、写像Lにより、球面光線マップEMsと共通する球面光線マップEMs上のL(p)へ移り、球面光線マップEMe上の眼球画像(の角膜表面反射像)の像の画素L(p)におけるオリエンテーションの情報は、L’(p,θ)と表現される。)

【0017】
最後に、画像位置合わせ装置は、眼球画像Ieの各画素に対し、写像L()、回転写像Rの逆写像R-1、写像As()の逆写像As()-1(図中のワーピング関数W(W=As()-1・R-1・L()))を適用することにより、眼球画像Ieの各画素をシーン画像Isに対し位置合わせ(レジストレーション、アライメント)する。つまり、本実施形態によれば、画像位置合わせの問題は、球面光線マップ上での2つの像の位置整合の問題に帰着される。球面上の位置整合の問題へ帰着されることにより、レジストレーションに必要な、求めるべきパラメータの数が低減される、という効果が奏される。そのため、本画像位置合わせ装置は、ただ一組の初期対応点対(特徴点pと特徴点qで構成されるペア)を求めることで、位置合わせが可能となる。すなわち、本画像位置合わせ装置が実行する画像位置合わせ方法においては、ただ一組の初期対応点対(の各特徴点の位置および局所特徴量(オリエンテーション))が決定できさえすれば、正しくレジストレーションを実行可能である。この意味で、本画像位置合わせ装置が実行する画像位置合わせはロバストである。つまり、正しい初期対応点対を複数組み抽出することが困難な場合にも、本画像位置合わせ装置は、ただ一組の初期対応点対が決定できさえすれば正しくレジストレーションを実行可能であるという意味で、本手法はロバストである。なお、画像位置合わせ装置は、初期対応点対の検出および当該初期対応点対を構成する各点での局所特徴量(例えばオリエンテーションの情報)の算出に、上述のSIFTおよびSURFのほかにも、MSER(Maximally Stable External Regions)といった手法を用いることができる。

【0018】
また、画像位置合わせ装置が、上述の「一組の初期対応点対」を決定する工程も、新規な特徴を有している。本明細書では、この、新規で特徴的な初期対応点対抽出の工程を、「RANRESAC」(RANdom RESAmple Consensus)と称する。RANRESACは、一言で言えば、二画像の複数の初期対応点対の候補から最も対応がよい一組の初期対応点対を決定して当該一組の初期対応点対に基づいて画像の位置合わせをするものである。RANRESACは、最適なただ一組の最適な初期対応点対に基づいて画像の位置合わせをする点において、位置合わせに大勢の適切な(よく対応した)対応点対を必要とするRANSAC(RANdom SAmple Consensus)と大きく相違する。なお、このRANRESACが適用可能な二画像は、眼球画像とシーン画像の組み合わせに限定されない。

【0019】
以下では、眼球画像(の角膜表面反射像)とシーン画像との間での画像位置合わせ(レジストレーション)を例として、本発明の実施形態による画像位置合わせ装置および方法を説明する。しかしながら、本発明は、言うまでも無いことだが、眼球画像およびシーン画像に限らず、様々な画像について相互の位置合わせ(レジストレーション、アライメント)を行うことができる。

【0020】
3.画像位置合わせ装置の構成
図4は、本発明の実施形態による画像位置合わせ装置10の構成を示す概略図である。画像位置合わせ装置10は、被験者の眼球20(のうち主として角膜21)を撮像するアイ・カメラ11eから画像データ(「眼球画像」のデータ)を取得するための第1映像インタフェース3eと、被験者が見ている光景(シーン)を撮像する(撮像の方向および画角が被験者の視線方向(眼球の光軸の方向)と略一致するように(あるいは視線方向を含むように)設置されている)シーン・カメラ11sから画像データ(「シーン画像」のデータ)を取得するための第2映像インタフェース3sを備えている。さらに、画像位置合わせ装置10は、第1および第2映像インタフェース3e,3sを介して装置10へ入力され記憶部2に格納されたシーン画像および眼球画像のデータを用いて両画像の位置合わせを行う演算部1(制御部)と、眼球画像のデータやシーン画像のデータといった各種データおよび演算部1が実行するプログラム等を格納する記憶部2を備える。なお、画像位置合わせ装置10は、アイ・カメラ11eとシーン・カメラ11sとともに画像位置合わせシステムを構成する。

【0021】
演算部1は、所定のプログラム(画像位置合わせプログラム)を実行することにより、 画像位置合わせ装置のマッピング部、対応点抽出部、回転写像導出部、および、レジストレーション部として動作する。

【0022】
入力部5は、外部の演算装置に対するデータ・インタフェース、および、ユーザからのデータ入力を受け付けるユーザ・インタフェースを含み、ユーザ・インタフェースは、マウス、キーボードといった入力装置を含む。

【0023】
なお、演算部1は、装置10の全体の動作を制御する制御部としても動作する。当該制御動作の一つとして、演算部1はシーン・カメラ11sおよびアイ・カメラ11eの動作(撮像等)を制御してもよい。

【0024】
演算部1は、所謂、中央処理装置(CPU、Central Processing Unit)である。しかしながら、演算部1の構成は、CPUおよびその周辺の補助回路に限定されない。演算部1は、所定の演算処理に特化したGPU(Graphics Processing Unit)等でもよい。あるいは、演算部1は、ASIC(Application Specific Integrated Circuit)や、FPGA(Field-Programmable Gate Array)のようなプログラマブルロジックデバイスや、マイクロコントローラ、といったプロセッサとして実装することも可能である。演算部1は、CPU等の上記要素を複数組み合わせて構成されてもよく、かつ演算部1を構成する要素は上述の例に限定されるものではない。演算部1は、記憶部2に格納された画像位置合わせプログラムを実行することにより、本発明の実施形態による画像位置合わせ方法を実行することができる。また、画像位置合わせプログラムは、フレキシブル・ディスク、光ディスク、フラッシュメモリ等に記録されてよく、また、インターネット等のネットワークを介して送信されてよい。

【0025】
記憶部2は、各種データおよび演算部1が実行する画像位置合わせプログラム等を格納する。記憶部2は、例えば、ROM(Read-Only memory)およびRAM(Random Access Memory)である。記憶部2には、画像位置合わせプログラムのほか、シーン・カメラ11sおよびアイ・カメラ11eのカメラ内部マトリクス(camera internal matrix)が保持されている。(カメラ内部マトリクスとは、カメラ内部パラメータをその要素に含むマトリクス形式のデータである。)カメラ内部マトリクスのデータは、画像位置合わせの前に外部から記憶部2へロードして記憶部2へ格納されてもよいし、あるいは、カメラ内部マトリクスのデータは、画像位置合わせプログラムに含まれてもよい。あるいは、画像位置合わせ装置10は、画像位置合わせの前に、演算部1(CPU)の制御の下、シーン・カメラ11sおよびアイ・カメラ11eについてカメラキャリブレーションを行うことにより各々のカメラ内部マトリクスを求めてそれらを記憶部2に格納するように動作してもよい。

【0026】
出力部4は、演算部1が行った画像位置合わせの結果を出力する。出力部4は、例えば、モニタディスプレイであり、あるいは、プリンタである。あるいは、出力部4は、ハードディスクやフラッシュメモリといった外部記憶装置や、ネットワークを介して接続された他のコンピュータとの接続を実現するためのインタフェース機構を備えてもよい。

【0027】
4.画像位置合わせの流れ
次に、図5~図14を参照し、画像位置合わせ装置10の演算部1(図4)が、画像位置合わせプログラムを実行したときに行う処理について説明する。

【0028】
図5は、画像位置合わせ装置10(図4)が実行する画像位置合わせの処理の流れを示すフローチャートである。

【0029】
ステップS1において、演算部1(図4)は、取得部として動作して、アイ・カメラ11eが撮像した眼球画像、および、シーン・カメラ11sが撮像したシーン画像を取得する。図6(a)は、そのようにして取得されたシーン画像Isの例であり、図6(b)は、同様にして取得された眼球画像Ie’の例である。取得したシーン画像Isおよび眼球画像Ie’は、記憶部2(図4)に格納される。

【0030】
ステップS2において、演算部1(図4)は、引き続き取得部として動作して、取得した眼球画像Ieを、左右方向について反転させる。これは、眼球画像Ieの角膜表面反射像に含まれるシーンの向きを、シーン画像Isにおけるシーンの像の向きと一致させるためである。図6(c)は、そのようにして反転された眼球画像Isの例である。反転された眼球画像Isは、記憶部2(図4)に格納される。以降、演算部1は、反転された眼球画像Isを用いて処理を行う。なお、画像の反転の処理は、眼球画像Ieに代えて、シーン画像Isに対して施されてもよい。

【0031】
ステップS3において、演算部1(図4)は、マッピング部として動作して、シーン画像Isを球面光線マップEMsへ移す写像As()(図3)と、眼球画像Ie(の角膜表面反射像)を、球面光線マップEMeへ移す写像L()(図3)とを決定する。

【0032】
シーン画像Isを球面光線マップEMsへ移す写像As()(図3)は次のようにして決定される。演算部1(図4)は、記憶部2(図4)に格納されている、シーン・カメラ11sの3×3カメラ内部マトリクスKsを読み出す。そして、演算部1は、写像As()を次式
【数1】
JP0006371849B2_000002t.gif
に従って決定する。(ここで、ベクトルqは、シーン画像Is中の点(画素)を指すベクトルである。シーン画像Is中の点qは、写像As()により、ベクトルAs(q)が指す球面光線マップEMs上の点に移る。)演算部1は、このようにして決定した写像As()(変換関数)を、記憶部2に格納する。

【0033】
他方、演算部1は、次のようにして、眼球画像Ieを球面光線マップEMeへ移す写像L()(図3)を決定する。

【0034】
写像L()の決定方法について、主として図7を参照して説明する。図7(a)は、球面(角膜球21SPHの表面)の一部とみなした角膜21と、アイ・カメラ11e(原点O)と、で構成される非剛体反射屈折結像系(non-rigid catadioptric imaging system)の弱透視投影モデルである。図7(b)は、原点O側から見た場合の投影面IPの例図である。図7(c)は、眼球の光軸方向ベクトルgと角度φおよびτとの関係を説明する図である。この弱透視投影モデルにおいては、角膜21は、角膜球21SPHを角膜縁21で切り取った部分球面とみなすことができる。なおここでは、角膜21の代表寸法(半径r、角膜縁中心Iと球面21SPHの中心Cと間の距離dLC)として、固定値(ヒトの平均値)を採用するものとする。

【0035】
眼球の姿勢は、角膜縁中心Iの位置と、眼球光軸方向gと、で定めることができる。Zcam軸方向に関し、角膜21の厚さは十分に薄いと仮定すれば、ほぼ真円である角膜縁21は、投影面IPにおいて、(真円を含む)楕円21LPとなる。この楕円21LPは、中心i、長軸の長さrmax、短軸の長さrmin、および、回転角φ、の4つのパラメータで定めることができる。角膜縁21の中心の位置は、投影面IPにおける楕円21LPの中心i、および、角膜21とカメラ(原点O)との間の距離d(d=r・f/rmax、(fは焦点距離))とで定めることができる。つまり、角膜21Lの中心を指し示す位置ベクトルをベクトルIとすれば、I=d・Ke-1と表すことができ、ここで、Keは、シーン・カメラ11sの3×3カメラ内部マトリクスである。

【0036】
次に、眼球光軸方向g(これは、被験者の視線の方向と略一致する。)は、方向ベクトルg=[sin(τ)sin(φ) -sin(τ)cos(φ) -cos(τ)]と表すことができ、ここで、角度τは、アイ・カメラ11eの結像面(投影面IP)に対する角膜縁21Lの傾きすなわちτ=±arccos(rmin/rmax)であり、角度φは、同結像面に対する楕円21LPの回転角である。(図7(a)から(c)を参照。)

【0037】
次に角膜球21SPHの中心Cの位置について考察する。角膜球21SPHの半径rをおよそ7.7ミリメートル(ヒトの平均値)とすれば、角膜球中心Cは、光軸方向gのマイナス方向に沿って角膜縁中心Iからおよそ5.6ミリメートル(dLC=r-r)の位置にあることがわかる。

【0038】
以上を踏まえ、眼球画像Ie(図6(c))として結像される光の経路の逆経路(眼球画像Ieの画素pから出た光が、角膜21上の点Pで反射してシーン内の光源へ向かう経路)を考える。アイ・カメラ11e(図4)の3×3カメラ内部マトリクスをKeとすれば、アイ・カメラ11eの正規化逆投影ベクトルAe(p)は、
【数2】
JP0006371849B2_000003t.gif
と表すことができ、ここで、ベクトルpは、眼球画像中のピクセルpの位置ベクトルである。角膜21上の点Pにおいて反射した光が、眼球画像のピクセルpに結像するとき、点Pの位置ベクトルは、P=t×Ae(p)と表すことができる。角膜球21SPHの中心をCとして、関係式||P-C||=rをtについて解く。
【数3】
JP0006371849B2_000004t.gif
ここで、定義より、||Ae(p)||=1であるから、
【数4】
JP0006371849B2_000005t.gif
を得る。角膜表面における反射光に興味があるので、2つのtのうちで値が小さいほうを採る。これにより、眼球画像のピクセルpに結像する光の、角膜21上における反射点Pが定まる。以上より、眼球画像のピクセルpに結像する光の経路のシーン中の点を示すベクトルL(p)と、角膜表面上の点Pにおける法線ベクトルN(p)は、次式、
【数5】
JP0006371849B2_000006t.gif
で求めることができる。上式を用いることで、眼球画像Ieの少なくとも瞳の領域の画素の影像について角膜表面で反射した光の光源の方向を特定することができる。すなわち、上式から、角膜表面反射像についての球面光線マップEMe(図3)を構成することができる。換言すれば、式(5)のL()は、眼球画像Ie(図6)の角膜表面反射像を、上記非剛体反射屈折結像系についての球面光線マップに移す写像(変換関数)である。

【0039】
演算部1(図4)は、マッピング部として動作して、上記式(2)から(5)に相当する演算を行うことによって、眼球画像Ieの角膜表面反射像を球面光線マップEMeへ移す写像L()(図3)を決定する。当該演算に用いられる計算アルゴリズムは、画像位置合わせプログラム内に格納されている。(ここで、ベクトルpは、眼球画像Isの角膜表面反射像中の点(画素)を指すベクトルである。眼球画像Isの角膜表面反射像中の点pは、写像L()により、ベクトルL(p)が指す球面光線マップEMe上の点に移る。)演算部1は、このようにして決定された写像L()を、記憶部2に格納する。

【0040】
図5に戻り、ステップS4において、演算部1は、対応点抽出部として動作して、図8および図9に示すように、シーン画像Is(図6(a))および眼球画像Ie(図6(c))において回転・スケール不変な特徴点(LP1およびLP1等)を検出し、それら特徴点それぞれの局所特徴量を算出する。特徴点の検出および局所特徴量の算出は、例えばSIFTに従えばよい。特徴点の検出および局所特徴量の算出に必要なアルゴリズムは、記憶部2に格納された画像位置合わせプログラム内に格納されている。例えば、SIFT特徴量を用いる場合、演算部1が算出する局所特徴量は、1.位置の情報(ベクトルx)、2.オリエンテーションの情報(θ)、3.特徴ベクトル(ベクトルF(x))、4.スケールパラメータ(s)の4つの成分で構成される。したがって局所特徴量は、眼球画像Ieのi番目の特徴点pについて
【数6】
JP0006371849B2_000007t.gif
{p,F(p),θ,s}、シーン画像Isのi番目の特徴点qについて
【数7】
JP0006371849B2_000008t.gif
{q,F(q),θ,s}と表現することができる。演算部1は、検出した特徴点の位置および局所特徴量を記憶部2に格納する。

【0041】
次に演算部1は、引き続き対応点抽出部として動作して、SIFT等に従って検出した特徴点および算出した局所特徴量に基づき、シーン画像Is中の特徴点(LP1等)と、眼球画像Ie中の特徴点(LP1等)との対応点マッチング(CP1等)を行う。図8は、1番目の初期対応点対CP1を例示する。演算部1は、図9に示すように、対応点マッチングを複数回行って、複数組み(M組み)の初期対応点対(CP~CP)を求める。そして、演算部1は、対応点(LP1~LPMおよびLP1~LPM)の位置、および、初期対応点対(CP~CP)の対応関係の情報を、記憶部2に格納する。

【0042】
次に、ステップS5において、演算部1は、ステップS4で求めた初期対応点対(CP~CP)それぞれについて、各初期対応点対(CP、CP、...CPM-1、または、CP)の対応関係に基づいて、球面光線マップEMs上でのシーン画像Isの像と、球面光線マップEMe上での眼球画像Ie(の角膜表面反射像)の像とを位置整合させる(3×3マトリクス)回転写像Rを次式
【数8】
JP0006371849B2_000009t.gif
に従って導出し、回転写像Rを用いて眼球画像Ieの画素をシーン画像Isの画素とレジストレーションする変換関数(ワーピング関数W)を導出する。式(6)におけるベクトルpおよびベクトルqは、初期対応点対(CP、CP、...CPM-1、または、CP)を構成するシーン画像Isおよび眼球画像Ieの点(LP1、LP2、...、LPM-1、または、LPM、ならびに、LP1、LP2、...、LPM-1、または、LPM)である。また、シーン・カメラ11sを構成する光学系と、アイ・カメラ11eおよび角膜21で構成される結像系は、両者とも、実質的に同一な光線環境にあることを仮定している。(この仮定により、眼球画像Ieとシーン画像Isのレジストレーション(ワーピング関数Wの導出)は、回転写像Rの導出に帰着される。)

【0043】
演算部1は、次のように表現される計算アルゴリズムに従って回転写像Rを導出する。

【0044】
式(1)および式(6)ならびに図3等から明らかなように、シーン画像Isのi番目の対応点LPsiと眼球画像Ieのi番目の対応点LPeiで構成される初期対応点対(CP)の対応関係に従う回転写像Rは、
【数9】
JP0006371849B2_000010t.gif
であり、ここで、
【数10】
JP0006371849B2_000011t.gif
【数11】
JP0006371849B2_000012t.gif
【数12】
JP0006371849B2_000013t.gif
である。式(7)のハット記号(「^」)は、規格化されたベクトルを表し、L’()およびAs’()は、二次元で表されたオリエンテーションの情報を、球面光線マップにおける三次元的なオリエンテーション情報に変換する関数である。第i番目の初期対応点対(CP)の対応関係に従う回転写像Rを用いれば、次式
【数13】
JP0006371849B2_000014t.gif
より、第i番目の初期対応点対(CP)の対応関係に従う変換写像(ワーピング関数W)が定まる。ワーピング関数Wiは、第i番目の初期対応点対(CP)の対応関係に従って眼球画像Ieの画素をシーン画像Isの画素に対してレジストレーションする写像である。演算部1は、初期対応点対(CP~CP)と対応付けて、ワーピング関数W(i:1~M)を記憶部2に格納する。

【0045】
図5に戻り、ステップS6において、演算部1(図4)は、対応点対抽出部として動作して、M組みの初期対応点対それぞれの対応関係を評価し、最も高く評価された点対で構成される初期対応点対を対応点対として抽出する(「RANRESAC」処理)。より具体的には、演算部1は、RANRESAC処理においては、前記初期対応点対のうちの1組の点対の対応関係に従うように、前記第1画像および前記第2画像において複数の副次的対応点対を特定してそれら副次的対応点対の対応関係を評価することにより、上記初期対応点対の1組の点対の対応関係を評価する。そして、最も高く評価された点対で構成される初期対応点対を最適な初期対応点対として抽出する。つまり、演算部1は、ステップS5において初期対応点対(CP)に応じて求めたワーピング関数Wを用いて眼球画像Ieおよびシーン画像Isにおいて副次的な対応点対をさらに求め、それら副次的な対応点対に関する画像相関を計算して、ワーピング関数Wの正しさを評価することにより、複数の(M個)のワーピング関数Wのうちから最適なワーピング関数Wを決定する。

【0046】
図10は、最適な初期対応点対を決定するための処理(RANRESACの処理)の詳細を示すフローチャートである。演算部1は、対応点対抽出部として動作して、図10に示された処理を実行する。

【0047】
ステップS61において、演算部1は、対応点対抽出部として動作して、i番目の対応点対CP(図11)に基づいて求めたワーピング関数Wiを用いて副次的な対応点対を生成する。具体的には、演算部1は、眼球画像Ieの角膜の領域を検出し、角膜の領域内でランダムにK個の点SLPei(図12)を設定する。そして、演算部1は、ワーピング関数Wiを用いて角膜の領域内のK個の点SLPeiそれぞれと対応するシーン画像Is中の点SLPsi(図13)を抽出して、K組みの副次的な対応点対を抽出する。これら副次的な対応点対は、
【数14】
JP0006371849B2_000015t.gif
と表現することもでき、ここで、ベクトルpは、眼球画像Ieの角膜の領域内のランダムに選ばれた点を指す位置ベクトルである。

【0048】
次に、ステップS62において、演算部1は、対応点対抽出部として動作して、上述の副次的な対応点対のグループ(ワーピング関数W(iは、所与の整数(i=1~M))に従って求められた副次的対応点対群)について、局所的なテクスチャの相関性および方向の類似度を尺度として類似度を評価する。具体的には、演算部1は、以下の評価関数を用いて類似度を評価する。
【数15】
JP0006371849B2_000016t.gif
上式の右辺第1項は、テクスチャの類似度を表し、右辺第2項は、方向の類似度を表している。同項のσ、σ、αは、テクスチャの相関性と方向の類似度の重みを定義する正定数である。(・,・)は、ベクトルの内積である。qは、W(p)を表す。

【0049】
演算部1は、M組みの初期対応点対それぞれの副次的な対応点対のグループについて式(10)を用いて評価を行う(ステップS63)。

【0050】
そして、演算部1は、ステップS64において、対応点対抽出部として動作して、最も類似度が高いと評価された副次的な対応点対のグループ、すなわち、
【数16】
JP0006371849B2_000017t.gif
で定まる第i’番目の初期対応点対(CPi’)およびそのワーピング関数Wi’を特定する。

【0051】
なお、副次的な対応点対を構成する各点における局所特徴のスケール・パラメータを適切に設定することが重要である。理想的には、スケール・パラメータは、球面光線マップにおいて同じ大きさ(空間ボリューム)を占めるように調整されればよい。ここでは、次式
【数17】
JP0006371849B2_000018t.gif
に従い、各画像での点(p,q)におけるスケール・パラメータの比率を求める。ここで、sは、ユーザが設定した角膜表面反射像におけるスケール・パラメータであり、sは、対応するシーン画像中の点qでのスケール・パラメータである。

【0052】
図5に戻り、ステップS7において、演算部1は、レジストレーション部として動作して、ステップS6で決定したワーピング関数Wi’を用いて、眼球画像Ie(の角膜表面反射像)をシーン画像Isに対して位置合わせ(レジストレーション、アライメント)して、位置合わせされた眼球画像のデータを生成する。図14(a)はそのようにして求めた、位置合わせされた眼球画像(の角膜表面反射像)IeRである。

【0053】
図5のステップS8において、演算部1は、レジストレーション部として動作して、ステップS6で決定したワーピング関数Wi’の微調整(ファインレジストレーション)を行う。微調整が施された眼球画像のデータは、記憶部2(図4)に格納される。本ステップでは、演算部1は、角膜球中心Cの位置(図7)すなわち距離dLCの長さ、および、投影面IPにおける楕円の回転角φを微小変動させて式(10)に従う評価を繰り返し行い、評価値を収束させる。収束には、内点法を用いる。図14(c)は、ファインレジストレーション前の画像IeRをシーン画像Isと重ね合わせた画像である。図14(d)は、ファインレジストレーション後の画像IeRをシーン画像Isと重ね合わせた画像である。図14(c)および(d)を見れば判るように、ファインレジストレーション処理によって、さらにレジストレーションの精度が向上する。

【0054】
このように、画像位置合わせ装置10(図4)は、ただ一組の対応点対(ステップS6で決定された最適な初期対応点対)に基づいて変換写像(ワーピング関数Wi’())を決定することができる。そうすることによって、眼球画像Ieのシーン画像Isに対する位置合わせ(レジストレーション)をロバストに実行することができる。また、画像位置合わせ装置10(図4)は、RANRESAC処理を行って、上記ただ一組の対応点対を適切に決定することができる。すなわち、本画像位置合わせ装置は、RANRESAC処理により適切に一組の初期対応点対を決定し、正しくレジストレーションを実行可能である。この意味で、本画像位置合わせ装置が実行する画像位置合わせはロバストである。つまり、正しい初期対応点対を複数組み抽出することが困難な場合にも、本画像位置合わせ装置は、ただ一組の初期対応点対が決定できさえすれば正しくレジストレーションを実行可能であるという意味で、本手法はロバストである。

【0055】
なお、上記実施形態では、眼球画像Ieをシーン画像Isに対して位置合わせする例を示したが、反対に、シーン画像Isを眼球画像Ieに対して位置合わせすることも、当然のことながら可能である。また、本実施形態による画像位置合わせ装置10が位置合わせできる画像は、眼球画像Ieとシーン画像Isとの組み合わせに限定されない。また、上記実施形態では、画像位置合わせ装置10は、自装置に接続された撮像装置(アイ・カメラ11eおよびシーン・カメラ11s(図4))から位置合わせすべき画像のデータを取得している。しかしながら、画像位置合わせ装置10は、そういった撮像装置以外の装置(画像データベース等)から1つまたは2つ以上の画像のデータを取得し、当該画像について、位置合わせを実行することができる。例えば、画像位置合わせ装置10は、ネットワークを介して、Google Street Viewといったオープン・データベースから画像のデータを取得し、当該画像と、アイ・カメラ11eが撮像した眼球画像Ie(図6)との間で位置合わせを行ってよい。あるいは、画像位置合わせ装置10は、1つまたは複数の外部の装置(例えば、画像のデータベース)や光ディスク、フラッシュメモリといった記録媒体から複数の画像のデータを取得し、当該複数の画像の間で位置合わせを行ってもよい。これらの場合も、取得された各画像を球面光線マップへ移す写像は、画像位置合わせ装置10が、適宜、画像位置合わせ処理に先立って、予め準備すればよい。この準備の方法は、当業者にとっては自明である。

【0056】
なお、画像位置合わせ装置10は、画像位置合わせプログラムを記憶部2(図4)に格納し、当該プログラムは、上で説明した諸量の計算に必要な計算アルゴリズムを格納している。(しかしながら、当然のことながら、計算アルゴリズムの一部または全部は、画像位置合わせプログラムとは別に記憶部2に格納されてもよい。)

【0057】
5.実験結果
本実施形態による画像位置合わせ装置10(図4)を用いた画像位置合わせ実験の結果を示す。本実験においては、角膜表面反射像(眼球画像Ie)およびシーン画像Isを安定して同時撮影するため、アイ・カメラ11e(図4)およびシーン・カメラ11s(図4)として、2台の小型ボードカメラ(IDS UI-1241LE-C-HQ, 1/1.8'' CMOS, 1280 x 1024 pixel)および、ヘッドマウントシステムからなるシステムを構成した。該システムでは、アイ・カメラ11e(f=12 mm, (H, V)=(33.3, 24.8)deg)は、眼球20から70~110ミリメートル程度離れた距離に位置し、瞳直径を約400~450画素程度の大きさで撮影した。低照度環境での撮影に際しては、アイ・カメラ11eのゲインおよび露出パラメータを調整した。アイ・カメラ11eおよびシーン・カメラ11sは、画像位置合わせ装置10(パーソナル・コンピュータ、PC)に接続された状態で、10fpsで画像を取得した。

【0058】
4人の被験者それぞれについて、屋外および屋内の環境で3か所ずつデータの取得を行った。取得後、手動で閉瞼のフレームを除去した後、10フレームごとに瞳輪郭抽出を行った。

【0059】
本実施形態による画像位置合わせ方法(1-point RANRESAC)ならびに、比較のため、2-point RANSACおよび2-point RANRESACをPCに実装して実験を行った。

【0060】
2-point RANSACでは、初期対応点対から2組みの初期対応点対をランダムに選択して、当該2組みの対応点対からワーピング関数を推定した。その後、残りの初期対応点対を用いて、何組みが正しく変換(レジストレーション)できたかをカウントする。これを500回繰り返し、そのなかで得られた解(ワーピング関数)のうち最良のものをワーピング関数に決定する。

【0061】
2-point RANRESACでは、2-point RANSACと同様にしてワーピング関数を推定した。その後、RANRESAC法に従って評価を行った。これを、2-point RANSACと同様、500回繰り返し、最良の解を選択した。

【0062】
すべての実験において、MATLAB 2013bのComputer Vision System Toolbox上で実装されたSURF局所特徴を用い、PC(Intel Core i7 3.2 GHz, 16GB RAM)を用いた。また、パラメータには、(σ,σ,α,s)=(0.2,0.2,0.3,0.5)を設定した。本実施形態による方法(1-point RANRESAC)および2-point RANRESACでのランダムサンプリングの点数(点対の組数)Kは、200とした。

【0063】
表1~表7に位置合わせの精度(成功率)を示す。位置合わせに要した時間は、1フレームあたり、37.0秒(実施形態による画像位置合わせ方法(1-point RANRESAC))、14.47秒(2-point RANSAC)、180.47秒(2-point RANRESAC)であった。

【0064】
【表1】
JP0006371849B2_000019t.gif
【表2】
JP0006371849B2_000020t.gif
【表3】
JP0006371849B2_000021t.gif
【表4】
JP0006371849B2_000022t.gif
【表5】
JP0006371849B2_000023t.gif
【表6】
JP0006371849B2_000024t.gif
【表7】
JP0006371849B2_000025t.gif

【0065】
実施形態による画像位置合わせ方法では、屋外シーンで85.5%(表1~表3)、屋内シーン(表4~表6)で86.3%、の成功率であり、2-point RANSACおよび2-point RANRESACを大幅に上回っている。2-point RANRESACは、1-point RANRESAC(本実施形態)よりは成功率が劣るが、同じ回転行列推定を行う2-point RANSACと比べて成功率の点で上回っている。このことから、RANRESAC法がノイズ状況に関してロバストであることが確認できた。

【0066】
6.応用例
本実施形態による画像位置合わせ装置および画像位置合わせ方法は、眼球画像Ieの角膜表面反射像と、シーン画像Isとのマッチングを可能にする。以下、本実施形態を用いて実現される応用用途の例を紹介する。

【0067】
6.1.注視点の推定
本実施形態による画像位置合わせ装置を用いた注視点推定を説明する。この注視点の推定により、例えば、ユーザが目で見ている風景の画像を抽出し、Googleストリートビュー等の画像を参照することで、ユーザが見ている物や場所を特定することができる。この技術は例えばAR(Augmented Reality)システムへの応用が可能である。本実施形態による画像位置合わせ装置を用いた注視点推定においては、従来の例と異なり、アイ・カメラとシーン・カメラとの相対的位置関係のキャリブレーションが不要である。また、同相対的位置関係を固定化する必要もない。

【0068】
まず、演算部1は、視点抽出部として動作して、公知の手法により眼球画像から眼球の姿勢を検出することにより被験者の注視反射点GRP(図15)を検出する。ここでの注視反射点GRPとは、被験者の眼球の光軸とほぼ一致する視線の方向から到来した光が角膜表面において反射する点である。(公知の手法については、例えば、国際公開パンフレットWO2014/021169A1を参照。)そして、演算部1は、眼球画像Ieをシーン画像Isにレジストレーションするワーピング関数Wを導出する。そして最後に、演算部1は、シーン画像Isにおける、眼球画像Ieの注視反射点GRPに対応する点GRP’(図15)を求める。シーン画像Isにおける点GRP’は、被験者が注視している光景(注視点)に相当する。

【0069】
このようにして、本実施形態による画像位置合わせ装置によって、被験者が注視している光景(注視点)を、シーン画像Is中から抽出することが可能になる。すなわち、以上のように、本実施形態による画像位置合わせ装置は、注視点抽出システムとしても動作する。

【0070】
6.1.1 ディスプレイ装置への応用
上記の注視点抽出システムとして動作する画像位置合わせ装置を用いたディスプレイ装置を説明する。この技術は例えばAR(Augmented Reality)システムへの応用が可能である。このディスプレイ装置(ARシステム)においては、従来の例と異なり、アイ・カメラとシーン・カメラとの相対的位置関係のキャリブレーションが不要である。また、同相対的位置関係を固定化する必要もない。このディスプレイ装置は、本実施形態による画像位置合わせ装置と同様に図4に示す構成を有する。出力部4は画像を表示するモニタディスプレイである。演算部1は、出力部4にシーン画像Isを表示させるととともに、上述のように抽出したシーン画像Isにおけるシーン画像中の任意の点の位置に所定の画像を重ねて表示させる。これによってARシステムによる重畳表示を行う事ができる。

【0071】
6.2.周辺視野の推定
さらに、本実施形態による画像位置合わせ装置および画像位置合わせ方法により、被験者の周辺視野をシーン画像Isに復元することもできるようになる。

【0072】
まず、演算部1は、視野推定部として動作して、眼球画像Ieを用いて眼球の姿勢(光軸)を特定し、眼球の光軸に対し所定の角度(たとえば、10度、20度、...90度)を成す方向から到来した光が角膜表面において反射した点を特定する(図16)。これらの点は、眼球画像Ieにおいて、曲線を描くように分布する。次に、演算部1は、これらの点に対応する点を、本実施形態により決定されたワーピング関数Wを用い、シーン画像Is内から検出する。検出された点群は、被験者の周辺視野(注視点を中心として所定の角度で広がる領域)の領域を形成する。

【0073】
このようにして、本実施形態による画像位置合わせ装置によって、被験者の周辺視野の領域を、シーン画像Is中から抽出することが可能になる。すなわち、画像位置合わせ装置は、シーン画像Isにおいて被験者の周辺視野の領域を推定することができ、つまり、周辺視野の推定システムとしても動作する。

【0074】
6.3.虹彩認識への応用
既存の虹彩認識の手法では、角膜表面での鏡面反射を抑制するため赤外線照明を用いて眼球の画像を取得している。これに対し、本実施形態による画像位置合わせ装置を用いれば、シーン画像を用いて、眼球画像に含まれる鏡面反射(角膜表面反射像)を除去することができるようになる。

【0075】
まず、本実施形態による画像位置合わせ装置の演算部1は、眼球画像Ie(図17)とシーン画像Is(図17)との間のワーピング関数Wを導出する。演算部1は、このワーピング関数Wを用いて、シーン画像Isを眼球画像Ieに対して位置合わせする。演算部1は、虹彩画像生成部として動作して、位置合わせされたシーン画像Isを、眼球画像Ieにおけるシーン画像Isに対応する部分から減算することにより、眼球画像Isの角膜表面反射像を除去することで虹彩画像を生成する。図17の画像Iitは、そのようにして角膜の鏡面反射が効果的に除去された眼球画像、すなわち、虹彩画像である。このように、本実施形態による画像位置合わせ装置によれば、眼球画像Isに含まれた角膜の鏡面反射を効果的に除去でき、ノイズのない虹彩画像Iitを得ることができる。これにより、角膜表面での鏡面反射を抑制するために照明に赤外光を使用する必要がなくなる。その後、演算部1は、認識部として動作して、虹彩画像に対して公知の方法を用いて虹彩認識処理を行う。

【0076】
このように、本実施形態による画像位置合わせ装置は、赤外線照明のみならず、可視光領域の照明を用いて眼球画像を取得した場合であっても、効果的に角膜の鏡面反射を除去することができ、精度のよい虹彩画像を得ることができる。このようにして得られた虹彩画像を用いることで、虹彩認識の精度を向上させることが可能になる。すなわち、本実施形態による画像位置合わせ装置は、虹彩認識システムとしても動作する。

【0077】
以上の点から、本実施の形態は以下のシステム及び方法も開示している。

【0078】
(1)被験者の眼球を撮影した画像である第1画像及び被験者の視線方向の被写体を撮影した画像である第2画像を取得する取得部と、
前記第1画像を球面光線マップへ移す写像である第1写像と、前記第2画像を球面光線マップへ移す写像である第2写像と、を決定するマッピング部と、
前記第1画像中の一点と、当該一点と対応する前記第2画像中の一点を検出することにより対応点対を抽出する対応点対抽出部と、
前記球面光線マップにおける前記第1画像の像と、前記球面光線マップにおける前記第2画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第1画像中の一点の位置および局所特徴量、ならびに、前記対応点対を構成する前記第2画像中の一点の位置および局所特徴量に基づいて導出する回転写像導出部と、
前記第1画像から眼球の姿勢を検出することにより前記第1画像上で注視反射点を検出し、
前記第1写像と、前記回転写像と、前記第2写像とに基づいて、前記第2画像中の前記注視反射点に対応する点を、被験者が注視している点として求める視点抽出部と、
を有する、注視点抽出システム。

【0079】
(2)(1)の注視点抽出システムを備える表示システム(ARシステム)。

【0080】
(3)被験者の眼球を撮影した画像である第1画像及び被験者の視線方向の被写体を撮影した画像である第2画像を取得する取得部と、
前記第1画像を球面光線マップへ移す写像である第1写像と、前記第2画像を球面光線マップへ移す写像である第2写像と、を決定するマッピング部と、
前記第1画像中の一点と、当該一点と対応する前記第2画像中の一点を検出することにより対応点対を抽出する対応点対抽出部と、
前記球面光線マップにおける前記第1画像の像と、前記球面光線マップにおける前記第2画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第1画像中の一点の位置および局所特徴量、ならびに、前記対応点対を構成する前記第2画像中の一点の位置および局所特徴量に基づいて、導出する回転写像導出部と、
前記第1画像から眼球の光軸を特定し、前記光軸に対し所定の角度を成す方向から到来した光が角膜表面において反射した点を特定し、前記第1写像と前記回転写像と前記第2写像とに基づいて、前記第2画像から前記特定した反射点群を、被験者の周辺視野の領域を形成する点群として検出する視野推定部と、
を有する、周辺視野推定システム。

【0081】
(4)被験者の視線方向の被写体を撮影した画像である第1画像および被験者の眼球を撮影した画像である第2画像を取得する取得部と、
前記第1画像のデータおよび前記第2画像のデータを格納する記憶部と、
前記第1画像を球面光線マップへ移す写像である第1写像と、前記第2画像を球面光線マップへ移す写像である第2写像と、を決定するマッピング部と、
前記第1画像中の一点と、当該一点と対応する前記第2画像中の一点を検出することにより対応点対を抽出する対応点対抽出部と、
前記球面光線マップにおける前記第1画像の像と、前記球面光線マップにおける前記第2画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第1画像中の一点の位置および局所特徴量、ならびに、前記対応点対を構成する前記第2画像中の一点の位置および局所特徴量に基づいて、導出する回転写像導出部と、
前記第1写像と、前記回転写像と、前記第2写像と、に基づいて、前記記憶部に格納された前記第1画像のデータを、前記記憶部に格納された前記第2画像のデータに対して位置合わせして前記第2画像に対して位置合わせされた前記第1画像のデータを生成するレジストレーション部と、
位置合わせされた前記第1画像を前記第2画像から減算して虹彩画像を生成する虹彩画像生成部と、
前記虹彩画像を用いて虹彩認識を行う認識部と、
を有する、虹彩認識システム。

【0082】
(5)被験者の眼球を撮影した画像である第1画像及び被験者の視線方向の被写体を撮影した画像である第2画像を取得するステップと、
演算部が、前記第1画像を球面光線マップへ移す写像である第1写像と、前記第2画像を球面光線マップへ移す写像である第2写像と、を決定するステップと、
演算部が、前記第1画像中の一点と、当該一点と対応する前記第2画像中の一点を検出することにより対応点対を抽出するステップと、
演算部が、前記球面光線マップにおける前記第1画像の像と、前記球面光線マップにおける前記第2画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第1画像中の一点の位置および局所特徴量、ならびに、前記対応点対を構成する前記第2画像中の一点の位置および局所特徴量に基づいて導出するステップと、
演算部が、前記第1画像から眼球の姿勢を検出することにより前記第1画像上で注視反射点を検出するステップと、
演算部が、前記第1写像と、前記回転写像と、前記第2写像とに基づいて、前記第2画像中の、前記注視反射点に対応する点を、被験者が注視している点として求めるステップと、
を有する、注視点抽出方法。

【0083】
(6)演算部が、被験者の眼球を撮影した画像である第1画像及び被験者の視線方向の被写体を撮影した画像である第2画像を取得するステップと、
演算部が、前記第1画像を球面光線マップへ移す写像である第1写像と、前記第2画像を球面光線マップへ移す写像である第2写像と、を決定するステップと、
演算部が、前記第1画像中の一点と、当該一点と対応する前記第2画像中の一点を検出することにより対応点対を抽出するステップと、
演算部が、前記球面光線マップにおける前記第1画像の像と、前記球面光線マップにおける前記第2画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第1画像中の一点の位置および局所特徴量、ならびに、前記対応点対を構成する前記第2画像中の一点の位置および局所特徴量に基づいて導出するステップと、
演算部が、前記第1画像から眼球の光軸を特定し、前記光軸に対し所定の角度を成す方向から到来した光が角膜表面において反射した点を特定し、前記第1写像と前記回転写像と前記第2写像とに基づいて、前記第2画像から前記特定した反射点群を、被験者の周辺視野の領域を形成する点群として検出するステップと、
を有する、周辺視野推定方法。

【0084】
(7)被験者の視線方向の被写体を撮影した画像である第1画像および被験者の眼球を撮影した画像である第2画像を取得するステップと、
前記第1画像のデータおよび前記第2画像のデータを格納するステップと、
演算部が、前記第1画像を球面光線マップへ移す写像である第1写像と、前記第2画像を球面光線マップへ移す写像である第2写像と、を決定するステップと、
演算部が、前記第1画像中の一点と、当該一点と対応する前記第2画像中の一点を検出することにより対応点対を抽出するステップと、
演算部が、前記球面光線マップにおける前記第1画像の像と、前記球面光線マップにおける前記第2画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第1画像中の一点の位置および局所特徴量、ならびに、前記対応点対を構成する前記第2画像中の一点の位置および局所特徴量に基づいて導出するステップと、
演算部が、前記第1写像と、前記回転写像と、前記第2写像と、に基づいて、前記記憶部に格納された前記第1画像のデータを、前記記憶部に格納された前記第2画像のデータに対して位置合わせして前記第2画像に対して位置合わせされた前記第1画像のデータを生成するステップと、
演算部が、位置合わせされた前記第1画像を前記第2画像から減算して虹彩画像を生成するステップと、
演算部が、前記虹彩画像を用いて虹彩認識を行うステップと、
を有する、虹彩認識方法。

【0085】
以上、本発明を特定の実施形態と関連させて説明したが、当業者にとっては他の多くの変更、修正、置換、削除、応用が明らかである。それゆえ、本発明は、ここでの特定の開示に限定されるものではなく、添付の請求の範囲によってのみ限定される。
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14
【図16】
15
【図17】
16