Top > Search of Japanese Patents > (In Japanese)画像位置合わせ装置、画像位置合わせ方法、および、画像位置合わせプログラム

(In Japanese)画像位置合わせ装置、画像位置合わせ方法、および、画像位置合わせプログラム

Patent code P170014266
File No. (K038P14)
Posted date Jun 23, 2017
Application number P2016-535977
Patent number P6371849
Date of filing Jul 23, 2015
Date of registration Jul 20, 2018
International application number JP2015071027
International publication number WO2016013634
Date of international filing Jul 23, 2015
Date of international publication Jan 28, 2016
Priority data
  • P2014-150848 (Jul 24, 2014) JP
Inventor
  • (In Japanese)中澤 篤志
  • (In Japanese)クリスティアン・ニチュケ
Applicant
  • (In Japanese)国立研究開発法人科学技術振興機構
Title (In Japanese)画像位置合わせ装置、画像位置合わせ方法、および、画像位置合わせプログラム
Abstract (In Japanese)画像位置合わせ装置は、第1画像を球面光線マップへ移す写像である第1写像と第2画像を球面光線マップへ移す写像である第2写像とを決定するマッピング部と、第1画像中の一点と、当該一点と対応する第2画像中の一点を検出することにより対応点対を抽出する対応点対抽出部と、球面光線マップにおける第1画像の像と、球面光線マップにおける第2画像の像とを位置整合させる回転写像を、対応点対を構成する第1画像中の一点の位置および局所特徴量、ならびに、対応点対を構成する第2画像中の一点の位置および局所特徴量に基づいて、導出する回転写像導出部と、第1写像と回転写像と第2写像とに基づいて、第1画像のデータを、第2画像のデータに対して位置合わせして第2画像に対して位置合わせされた第1画像のデータを生成するレジストレーション部と、を有する。
Outline of related art and contending technology (In Japanese)

特許文献1には、被験者が注視している点(注視点)および同被験者の個人パラメータを推定する装置が記載されている。該装置は、被験者の眼球の像が含まれる画像(眼球画像)を取得し、当該眼球画像から、眼球の姿勢(すなわち眼球の光軸の方向)を推定するとともに、被験者の視線の方向(注視の方向)を推定する。そして、該装置は、眼球の光軸の方向と視線の方向との間のずれ量を個人パラメータとして定量化する。

Field of industrial application (In Japanese)

本発明は、画像の位置合わせ(レジストレーション(registration)、アライメント(alignment))のための装置に関する。

Scope of claims (In Japanese)
【請求項1】
 
被験者の眼球を撮影した画像である第1画像のデータおよび被験者の視線方向の被写体を撮影した画像である第2画像のデータを取得する取得部と、
前記第1画像のデータおよび前記第2画像のデータを格納する記憶部と、
前記第1画像を球面光線マップへ移す写像である第1写像と、前記第2画像を球面光線マップへ移す写像である第2写像と、を決定するマッピング部と、
前記第1画像中の一点と、当該一点と対応する前記第2画像中の一点を検出することにより対応点対を抽出する対応点対抽出部と、
前記球面光線マップにおける前記第1画像の像と、前記球面光線マップにおける前記第2画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第1画像中の一点の位置およびオリエンテーションの情報を含む局所特徴量、ならびに、前記対応点対を構成する前記第2画像中の一点の位置およびオリエンテーションの情報を含む局所特徴量に基づいて、導出する回転写像導出部と、
前記第1写像と、前記回転写像と、前記第2写像と、に基づいて、前記記憶部に格納された前記第1画像のデータを、前記記憶部に格納された前記第2画像のデータに対して位置合わせして前記第2画像に対して位置合わせされた前記第1画像のデータを生成するレジストレーション部と、
を有する画像位置合わせ装置。

【請求項2】
 
前記対応点対抽出部は、前記対応点対の候補として、前記第1画像の点と前記第2画像の点とで構成される対応点対候補を複数組み検出し、前記複数組みの対応点対候補それぞれの点対の対応関係を評価し、最も高く評価された点対で構成される対応点対候補を前記対応点対として抽出する、ことを特徴とする請求項1に記載の画像位置合わせ装置。

【請求項3】
 
前記対応点対抽出部は、前記対応点対候補を構成する前記第1画像の点と前記第2画像の点との対応関係に従って前記第1画像および前記第2画像から抽出された点対で構成される複数の副次的対応点対の対応関係を評価することにより、前記対応点対候補の対応関係を評価する、ことを特徴とする請求項2に記載の画像位置合わせ装置。

【請求項4】
 
第1画像を撮影する第1のカメラと、
第2の画像を撮影する第2のカメラと、
前記第1画像と前記第2画像の位置合わせを行う、請求項1ないし3のいずれかに記載の画像位置合わせ装置と
を備えた、ことを特徴とする画像位置合わせシステム。

【請求項5】
 
被験者の眼球を撮影した画像である第1画像のデータおよび被験者の視線方向の被写体を撮影した画像である第2画像のデータを取得する取得ステップと、
前記第1画像のデータおよび前記第2画像のデータを記憶部に格納する記憶ステップと、
演算部が、前記第1画像を球面光線マップへ移す写像である第1写像と、前記第2画像を球面光線マップへ移す写像である第2写像と、を決定するマッピング・ステップと、
演算部が、前記第1画像中の一点と、当該一点と対応する前記第2画像中の一点を検出することにより対応点対を抽出する対応点対抽出ステップと、
演算部が、前記球面光線マップにおける前記第1画像の像と、前記球面光線マップにおける前記第2画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第1画像中の一点の位置およびオリエンテーションの情報を含む局所特徴量、ならびに、前記対応点対を構成する前記第2画像中の一点の位置およびオリエンテーションの情報を含む局所特徴量に基づいて、導出する回転写像導出ステップと、
演算部が、前記第1写像と、前記回転写像と、前記第2写像と、に基づいて、前記記憶部に格納された前記第1画像のデータを、前記記憶部に格納された前記第2画像のデータに対して位置合わせして前記第2画像に対して位置合わせされた前記第1画像のデータを生成するレジストレーション・ステップと、を有する画像位置合わせ方法。

【請求項6】
 
コンピュータが実行可能な画像位置合わせプログラムであって、
前記画像位置合わせプログラムは、前記コンピュータに、
被験者の眼球を撮影した画像である第1画像のデータおよび被験者の視線方向の被写体を撮影した画像である第2画像のデータを取得する取得ステップと、
前記第1画像のデータおよび前記第2画像のデータを記憶部に格納する記憶ステップと、
前記第1画像を球面光線マップへ移す写像である第1写像と、前記第2画像を球面光線マップへ移す写像である第2写像と、を決定するマッピング・ステップと、
前記第1画像中の一点と、当該一点と対応する前記第2画像中の一点を検出することにより対応点対を抽出する対応点対抽出ステップと、
前記球面光線マップにおける前記第1画像の像と、前記球面光線マップにおける前記第2画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第1画像中の一点の位置およびオリエンテーションの情報を含む局所特徴量、ならびに、前記対応点対を構成する前記第2画像中の一点の位置およびオリエンテーションの情報を含む局所特徴量に基づいて、導出する回転写像導出ステップと、
前記第1写像と、前記回転写像と、前記第2写像と、に基づいて、前記記憶部に格納された前記第1画像のデータを、前記記憶部に格納された前記第2画像のデータに対して位置合わせして前記第2画像に対して位置合わせされた前記第1画像のデータを生成するレジストレーション・ステップと、を実行させることを特徴とする画像位置合わせプログラム。

【請求項7】
 
被験者の眼球を撮影した画像である第1画像及び被験者の視線方向の被写体を撮影した画像である第2画像を取得する取得部と、
前記第1画像を球面光線マップへ移す写像である第1写像と、前記第2画像を球面光線マップへ移す写像である第2写像と、を決定するマッピング部と、
前記第1画像中の一点と、当該一点と対応する前記第2画像中の一点を検出することにより対応点対を抽出する対応点対抽出部と、
前記球面光線マップにおける前記第1画像の像と、前記球面光線マップにおける前記第2画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第1画像中の一点の位置および局所特徴量、ならびに、前記対応点対を構成する前記第2画像中の一点の位置および局所特徴量に基づいて導出する回転写像導出部と、
前記第1画像から眼球の姿勢を検出することにより前記第1画像上で注視反射点を検出し、前記第1写像と、前記回転写像と、前記第2写像とに基づいて、前記第2画像中の、前記注視反射点に対応する点を、被験者が注視している点として求める視点抽出部と、 を有する、注視点抽出システム。

【請求項8】
 
請求項7記載の注視点抽出システムを備えた表示システム。

【請求項9】
 
被験者の眼球を撮影した画像である第1画像及び被験者の視線方向の被写体を撮影した画像である第2画像を取得する取得部と、
前記第1画像を球面光線マップへ移す写像である第1写像と、前記第2画像を球面光線マップへ移す写像である第2写像と、を決定するマッピング部と、
前記第1画像中の一点と、当該一点と対応する前記第2画像中の一点を検出することにより対応点対を抽出する対応点対抽出部と、
前記球面光線マップにおける前記第1画像の像と、前記球面光線マップにおける前記第2画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第1画像中の一点の位置および局所特徴量、ならびに、前記対応点対を構成する前記第2画像中の一点の位置および局所特徴量に基づいて、導出する回転写像導出部と、
前記第1画像から眼球の光軸を特定し、前記光軸に対し所定の角度を成す方向から到来した光が角膜表面において反射した点を特定し、前記第1写像と前記回転写像と前記第2写像とに基づいて、前記第2画像から前記特定した反射点群を、被験者の周辺視野の領域を形成する点群として検出する視野推定部と、
を有する、周辺視野推定システム。

【請求項10】
 
被験者の視線方向の被写体を撮影した画像である第1画像および被験者の眼球を撮影した画像である第2画像を取得する取得部と、
前記第1画像のデータおよび前記第2画像のデータを格納する記憶部と、
前記第1画像を球面光線マップへ移す写像である第1写像と、前記第2画像を球面光線マップへ移す写像である第2写像と、を決定するマッピング部と、
前記第1画像中の一点と、当該一点と対応する前記第2画像中の一点を検出することにより対応点対を抽出する対応点対抽出部と、
前記球面光線マップにおける前記第1画像の像と、前記球面光線マップにおける前記第2画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第1画像中の一点の位置および局所特徴量、ならびに、前記対応点対を構成する前記第2画像中の一点の位置および局所特徴量に基づいて、導出する回転写像導出部と、
前記第1写像と、前記回転写像と、前記第2写像と、に基づいて、前記記憶部に格納された前記第1画像のデータを、前記記憶部に格納された前記第2画像のデータに対して位置合わせして前記第2画像に対して位置合わせされた前記第1画像のデータを生成するレジストレーション部と、
位置合わせされた前記第1画像を前記第2画像から減算して虹彩画像を生成する虹彩画像生成部と、
前記虹彩画像を用いて虹彩認識を行う認識部と、
を有する、虹彩認識システム。

【請求項11】
 
被験者の眼球を撮影した画像である第1画像及び被験者の視線方向の被写体を撮影した画像である第2画像を取得するステップと、
演算部が、前記第1画像を球面光線マップへ移す写像である第1写像と、前記第2画像を球面光線マップへ移す写像である第2写像と、を決定するステップと、
演算部が、前記第1画像中の一点と、当該一点と対応する前記第2画像中の一点を検出することにより対応点対を抽出するステップと、
演算部が、前記球面光線マップにおける前記第1画像の像と、前記球面光線マップにおける前記第2画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第1画像中の一点の位置および局所特徴量、ならびに、前記対応点対を構成する前記第2画像中の一点の位置および局所特徴量に基づいて導出するステップと、
演算部が、前記第1画像から眼球の姿勢を検出することにより前記第1画像上で注視反射点を検出するステップと、
演算部が、前記第1写像と、前記回転写像と、前記第2写像とに基づいて、前記第2画像中の、前記注視反射点に対応する点を、被験者が注視している点として求めるステップと、
を有する、注視点抽出方法。

【請求項12】
 
演算部が、被験者の眼球を撮影した画像である第1画像及び被験者の視線方向の被写体を撮影した画像である第2画像を取得するステップと、
演算部が、前記第1画像を球面光線マップへ移す写像である第1写像と、前記第2画像を球面光線マップへ移す写像である第2写像と、を決定するステップと、
演算部が、前記第1画像中の一点と、当該一点と対応する前記第2画像中の一点を検出することにより対応点対を抽出するステップと、
演算部が、前記球面光線マップにおける前記第1画像の像と、前記球面光線マップにおける前記第2画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第1画像中の一点の位置および局所特徴量、ならびに、前記対応点対を構成する前記第2画像中の一点の位置および局所特徴量に基づいて導出するステップと、
演算部が、前記第1画像から眼球の光軸を特定し、前記光軸に対し所定の角度を成す方向から到来した光が角膜表面において反射した点を特定し、前記第1写像と前記回転写像と前記第2写像とに基づいて、前記第2画像から前記特定した反射点群を、被験者の周辺視野の領域を形成する点群として検出するステップと、
を有する、
周辺視野推定方法。

【請求項13】
 
被験者の視線方向の被写体を撮影した画像である第1画像および被験者の眼球を撮影した画像である第2画像を取得するステップと、
前記第1画像のデータおよび前記第2画像のデータを記憶部に格納するステップと、
演算部が、前記第1画像を球面光線マップへ移す写像である第1写像と、前記第2画像を球面光線マップへ移す写像である第2写像と、を決定するステップと、
演算部が、前記第1画像中の一点と、当該一点と対応する前記第2画像中の一点を検出することにより対応点対を抽出するステップと、
演算部が、前記球面光線マップにおける前記第1画像の像と、前記球面光線マップにおける前記第2画像の像とを位置整合させる回転写像を、前記対応点対を構成する前記第1画像中の一点の位置および局所特徴量、ならびに、前記対応点対を構成する前記第2画像中の一点の位置および局所特徴量に基づいて導出するステップと、
演算部が、前記第1写像と、前記回転写像と、前記第2写像と、に基づいて、前記記憶部に格納された前記第1画像のデータを、前記記憶部に格納された前記第2画像のデータに対して位置合わせして前記第2画像に対して位置合わせされた前記第1画像のデータを生成するステップと、
演算部が、位置合わせされた前記第1画像を前記第2画像から減算して虹彩画像を生成するステップと、
演算部が、前記虹彩画像を用いて虹彩認識を行うステップと、を有する、
虹彩認識方法。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2016535977thum.jpg
State of application right Registered
Reference ( R and D project ) PRESTO Information Environment and Humans AREA
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close