TOP > 国内特許検索 > 画像解析方法、画像解析装置、及び画像解析プログラム > 明細書

明細書 :画像解析方法、画像解析装置、及び画像解析プログラム

発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2015-170181 (P2015-170181A)
公開日 平成27年9月28日(2015.9.28)
発明の名称または考案の名称 画像解析方法、画像解析装置、及び画像解析プログラム
国際特許分類 G06T   7/60        (2006.01)
FI G06T 7/60 200C
請求項の数または発明の数 6
出願形態 OL
全頁数 10
出願番号 特願2014-045158 (P2014-045158)
出願日 平成26年3月7日(2014.3.7)
発明者または考案者 【氏名】陳 謙
【氏名】呉 海元
出願人 【識別番号】504145283
【氏名又は名称】国立大学法人 和歌山大学
個別代理人の代理人 【識別番号】110000280、【氏名又は名称】特許業務法人サンクレスト国際特許事務所
審査請求 未請求
テーマコード 5L096
Fターム 5L096AA06
5L096BA18
5L096CA02
5L096FA04
5L096FA10
5L096FA69
要約 【課題】円を撮影した画像中における、当該円の中心に対応する位置を求めることができる画像解析方法を提供する。
【解決手段】平面上の円C,Dを撮影した画像において、円C,Dの中心に対応する点c0を求める画像解析方法であって、円C,Dの中心である第1の点C0,D0と、当該第1の点C0,D0を通る中心線と円C,Dとが交差する第2の点E,F及び第3の点E’,F’と、前記中心線と無限遠線Hとが交差する第4の点Aとについての複比と、第1~第4の点に対応する画像上の第1~第4の対応点c0,e,f,e’,f’についての複比との関係に基づいて、画像上の第1の対応点c0の位置を求める処理工程を含む。
【選択図】図3
特許請求の範囲 【請求項1】
平面上の円を撮影した画像において、前記円の中心に対応する点を求める画像解析方法であって、
前記円の中心である第1の点と、当該第1の点を通る中心線と前記円とが交差する第2の点及び第3の点と、前記中心線と無限遠線とが交差する第4の点とについての複比と、前記第1~第4の点に対応する前記画像上の第1~第4の対応点についての複比との関係に基づいて、前記画像上の第1の対応点の位置を求めることを特徴とする画像解析方法。
【請求項2】
同一平面上又は平行な2平面上の2つの前記円に設定された互いに平行な一対の直線に対応する画像上の一対の直線の第1の交点と、2つの前記円に設定された互いに平行な他の一対の直線に対応する画像上の他の一対の直線の第2の交点とを求め、これら第1及び第2の交点を通る直線を前記無限遠線の像とし、この無限遠線の像と、画像上の第2及び第3の対応点を通る直線との交点を、前記第4の対応点に設定する、請求項1に記載の画像解析方法。
【請求項3】
前記互いに平行な一対の直線が、2つの前記円に共通する互いに対称な2つの接線と各円との交点同士を通る直線を含む、請求項2に記載の画像解析方法。
【請求項4】
前記互いに平行な一対の直線が、2つの前記円に共通する一の接線と各円との交点と、前記両円の中心を通る中心線と各円との交点と、を通る直線を含む、請求項2又は3に記載の画像解析方法。
【請求項5】
平面上の円を撮影した画像において、前記円の中心に対応する点を求める画像解析装置であって、
前記円の中心である第1の点と、当該第1の点を通る中心線と前記円とが交差する第2の点及び第3の点と、前記中心線と無限遠線とが交差する第4の点とについての複比と、前記第1~第4の点に対応する前記画像上の第1~第4の対応点についての複比との関係に基づいて、前記画像上の第1の対応点の位置を求める解析部を備えていることを特徴とする画像解析装置。
【請求項6】
平面上の円を撮影した画像において、前記円の中心に対応する点を求めるための画像解析プログラムであって、
前記円の中心である第1の点と、当該第1の点を通る中心線と前記円とが交差する第2の点及び第3の点と、前記中心線と無限遠線とが交差する第4の点とについての複比と、前記第1~第4の点に対応する前記画像上の第1~第4の対応点についての複比との関係に基づいて、前記画像上の第1の対応点の位置を求める解析部としてコンピュータを機能させることを特徴とする画像解析プログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、円を撮影した画像における、当該円の中心に対応する位置を求めるための画像解析方法、画像解析装置、及び画像解析プログラムに関する。
【背景技術】
【0002】
カメラで撮影した画像を処理して物体の位置を計測する場合、カメラのキャリブレーションが必要となる。このキャリブレーションの手法として、特定パターンのマーカーの画像からカメラの外部パラメータの一つである位置や姿勢を求めることが行われている。
マーカーとしては、方形状や円形状、格子状のものなど種々の形状のものが用いられているが、特に円形状のマーカーは形状が簡素であるため、簡単且つ精密に作成できるという利点がある(例えば、特許文献1参照)。
【先行技術文献】
【0003】

【特許文献1】特開平8-171627号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
円形状のマーカーを用いてカメラキャリブレーションを行う場合、そのマーカーの中心に対応する画像上の座標の情報が必要とされる。従来は、マーカーの中心が既知であるか、ある程度中心の位置が特定できるようにマーカーに工夫が施されている。例えば、特許文献1記載の技術では、円形状のマーカーの外周から中心へ向けて濃度勾配が設けられ、この濃度勾配を利用することによって円の中心に対応する画像上の座標を求めている。
したがって、従来においては、中心の位置が全く未知の円をマーカーとして利用することは困難であった。しかし、このような利用が可能になると、例えばカメラの撮影範囲内に存在するあらゆる円をマーカーにすることができるため、活用の幅が著しく拡がり、非常に有益である。
【0005】
本発明は、円を撮影した画像中における、当該円の中心に対応する位置を求めることができる画像解析方法、画像解析装置、及び画像解析プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明は、平面上の円を撮影した画像において、前記円の中心に対応する点を求める画像解析方法であって、
前記円の中心である第1の点と、当該第1の点を通る中心線と前記円とが交差する第2の点及び第3の点と、前記中心線と無限遠線とが交差する第4の点とについての複比と、前記第1~第4の点に対応する前記画像上の第1~第4の対応点についての複比との関係に基づいて、前記画像上の第1の対応点の位置を求めることを特徴とする。
【0007】
以上のような解析方法において、平面上に設けられた円に関する第1~第4の点における複比と、これらを射影した画像上の第1~第4の対応点における複比とは、不変(同一)の関係にある。一方、第1の点~第2の点間の長さと、第1の点~第3の点間の長さが同一であること、及び第4の点が無限遠点であることによって、第1~第4の点における複比は所定の値(後述の式(3)参照)となる。したがって、本発明の解析方法では、実質的に第1~第4の対応点のみを用いた関係式を得ることができ、画像から取得した第2~第4の対応点の座標と、前記関係式とによって、円の中心(第1の点)の像である第1の対応点を容易に求めることが可能となる。
【0008】
以上の本発明において、第4の対応点を設定するには次の方法を採用することができる。すなわち、同一平面上又は平行な2平面上の2つの前記円に設定された互いに平行な一対の直線に対応する画像上の一対の直線の第1の交点と、2つの前記円に設定された互いに平行な他の一対の直線に対応する画像上の他の一対の直線の第2の交点とを求め、これら第1及び第2の交点を通る直線を前記無限遠線の像とし、この無限遠線の像と、画像上の第2及び第3の対応点を通る直線との交点を、前記第4の対応点に設定することができる。
【0009】
前記互いに平行な一対の直線は、2つの前記円に共通する互いに対称な2つの接線と各円との交点同士を通る直線を含んでいてもよい。
また、前記互いに平行な一対の直線は、2つの前記円に共通する一の接線と各円との交点と、前記両円の中心を通る中心線と各円との交点と、を通る直線を含んでいてもよい。
【0010】
本発明は、平面上の円を撮影した画像において、前記円の中心に対応する点を求める画像解析装置であって、
前記円の中心である第1の点と、当該第1の点を通る中心線と前記円とが交差する第2の点及び第3の点と、前記中心線と無限遠線とが交差する第4の点とについての複比と、前記第1~第4の点に対応する前記画像上の第1~第4の対応点についての複比との関係に基づいて、前記画像上の第1の対応点の位置を求める解析部を備えていることを特徴とする画像解析装置。
【0011】
また、本発明は、平面上の円を撮影した画像において、前記円の中心に対応する点を求めるための画像解析プログラムであって、
前記円の中心である第1の点と、当該第1の点を通る中心線と前記円とが交差する第2の点及び第3の点と、前記中心線と無限遠線とが交差する第4の点とについての複比と、前記第1~第4の点に対応する前記画像上の第1~第4の対応点についての複比との関係に基づいて、前記画像上の第1の対応点の位置を求める解析部としてコンピュータを機能させることを特徴とする。
【発明の効果】
【0012】
本発明によれば、円を撮影した画像中における、当該円の中心に対応する位置を求めることができる。
【図面の簡単な説明】
【0013】
【図1】(a)は本発明の一実施形態に係る画像解析装置の概略構成図、(b)は平面上に設定された円の平面図である。
【図2】平面上の2つの円の関係を示す平面説明図である。
【図3】画像上の2つの楕円の関係を示す平面説明図である。
【発明を実施するための形態】
【0014】
以下、図面を参照して本発明の実施形態について説明する。
図1(a)は本発明の一実施形態に係る画像解析装置の概略構成図、(b)は平面上に設定された円の平面図である。
画像解析装置10は、撮像対象を撮像するカメラ11と、このカメラ11の画像(映像)を解析処理する処理装置12とを備えている。
そして、本実施形態の処理装置は、一の平面に設定された2つの円C,Dをカメラ11によって撮像し、その画像を処理装置12で解析することによって円C,Dの中心C0,D0に対応する画像上の点(座標)を求めるように構成されている。

【0015】
図1に示す例では、任意の2つの円C,D(図1(b)参照)が平面P上に設定されている。この円C,Dは、平面に直接描かれたものであってもよいし、平面上に設置された環状の物体であってもよいが、いずれも中心の位置C0,D0が未知とされている。そして、カメラ11は、2つの円C,Dを含む領域を例えば斜め上方から撮像する。カメラ11によって撮像された2つ円C,Dは、カメラ11の焦点の方向に垂直な面Qに射影されるため、それぞれ楕円形状の像となる。

【0016】
本実施形態の画像解析装置10は、中心の位置が未知の円C,Dをカメラ11で撮像し、その画像中の楕円における、前記円C,Dの中心C0,D0に対応する点(中心対応点)を処理装置12によって求めるものである。そして、求められた中心対応点は、例えば、カメラ11のキャリブレーションのために利用することができる。

【0017】
処理装置12は、例えば、パーソナルコンピュータにより構成され、CPU等の演算部、RAM、ROM、HDD等の記憶部、液晶パネル等の出力部、キーボードやマウス等の入力部、及び各種インターフェース等を備えている。そして、記憶部にインストールされたプログラムを演算部が実行することによって、カメラ11によって撮像した画像を取り込み、その画像の解析、及び解析結果の出力等が行われる。特に、処理装置12は、円C,Dの中心C0,D0に対応する画像上の点を求める解析部として機能する。

【0018】
以下、処理装置12による解析の手順について詳細に説明する。
まず、本実施形態の解析手法は、平面上の円と、この円の像である楕円との間では、「複比」が不変であることを利用する。複比とは、射影幾何学において、同じ直線上の4点で構成される有向線分の長さの比率をいう。例えば、図1において、平面上の2つの円C,Dの中心C0,D0を通る直線上の4点a,b,c,dの複比と、これに対応する画像上の2つの楕円の4点a’,b’,c’,d’の複比とは不変であり、次の式(1)が満たされる。

【0019】
【数1】
JP2015170181A_000003t.gif

式(1)の左辺が平面上の円C,Dの各点a,b,c,dにおける複比を示し、右辺が画像上の楕円c、dの各点a’,b’,c’,d’における複比を示している。

【0020】
以上のことを踏まえ、実際の解析手法について具体的に説明する。
図2は、平面上の2つの円の関係を示す平面説明図である。図3は、画像上の2つの楕円の関係を示す平面説明図である。
図2において、2つの円C,Dに2本の接線(共通外接線)S1,S2を設けることを想定する。この場合、2本の接線S1,S2と円Cとの接点C1,C2を結ぶ直線(C1C2)と、接線S1,S2と円Dとの接点D1,D2を結ぶ直線(D1D2)とは互いに平行となる。

【0021】
直線C1C2と直線D1D2とは平行であるが、射影幾何学においては両直線C1C2,D1D2は無限遠点Bで交わると考える。なお、図2においては紙面の制約上、無限遠点Bに到達する軌跡を湾曲した点線で示しているが、実際には直線である。

【0022】
一方、図3において、2つの楕円c,dに2本の接線s1,s2を設けた場合、この2本の接線s1,s2と楕円cとの接点c1,c2を結ぶ直線(c1c2)と、接線s1,s2と楕円dとの接点d1,d2を結ぶ直線(c1c2)とは、それぞれ図2における直線C1C2と、直線D1D2の像である。そして、直線c1c2と直線d1d2とは交点bを有する。したがって、この交点bは、図2における無限遠点Bに対応する。なお、図3においても、紙面の制約上、直線c1c2と直線d1d2との交点に到達する軌跡を湾曲した点線で示しているが、実際には直線となる。

【0023】
ここで、式(1)で示した「複比」の関係を利用する。つまり、図2の円Cにおいて、点C1と点C2との間に中点Cmを採り、点C1と点C2とを通る直線(以下、「直線C1C2」という)上における4点B,C1,Cm,C2の複比を考える。

【0024】
一方、図3においては、点c1と点c2との間に中点cmをとり、点c1と点c2とを通る直線(以下、「直線c1c2」という)上における4点b,c1,cm,c2の複比を考える。そして、両複比は不変であるため、次の式(2)が満たされることになる。

【0025】
【数2】
JP2015170181A_000004t.gif

【0026】
式(2)の左辺において、点Bは、無限遠点であるため、線分BC1と線分BC2の長さはそれぞれ無限大∞となる。一方、点Cmは、点C1と点C2との中点であるため、線分CmC1と線分CmC2の長さは同一寸法となる。したがって、上記の式(2)の左辺は、次の式(3)のように変形することができる。

【0027】
【数3】
JP2015170181A_000005t.gif

【0028】
すなわち、図2における4点B,C1,Cm,C2の複比は、1となる。
一方、式(2)の右辺に示される図3の4点b,c1,cm,c2の複比は、次の式(4)のように変形することができる。

【0029】
【数4】
JP2015170181A_000006t.gif

【0030】
したがって、上記の式(2)は、式(3)と式(4)とから、次の式(5)のように書き換えることができる。

【0031】
【数5】
JP2015170181A_000007t.gif

【0032】
そして、式(5)を変形することによって、次の式(6)を得ることができる。

【0033】
【数6】
JP2015170181A_000008t.gif

【0034】
式(6)において、b,c1,c2の各点の位置は、画像上の座標から求めることができるので、中点cmの位置は、これらの各点b,c1,c2の座標から式(6)によって演算で求めることができる。

【0035】
同様に、図2における円Dと図3における楕円dについても、上記の式(2)~(6)と同様の関係がある。したがって、式(6)と同様に、次の式(7)の関係を得ることができる。

【0036】
【数7】
JP2015170181A_000009t.gif

【0037】
そして、式(7)において、b,d1,d2の各点の位置は、画像上の座標から求めることができるので、中点dmの位置も、各点b,d1,d2の座標から式(7)によって演算で求めることができる。なお、中点cm,dmはあくまで線分c1c2及び線分d1d2の中点であり、円C,Dの中心に対応する点ではない。

【0038】
次に、図2において、平面上の円C,Dにおける直線C2Eと直線D2Fとについて考える。点E及び点Fは、それぞれ点Cmと点Dmとを通る直線CmDmが円C,Dと交わる点である。三角形CmC2Eと三角形DmD2Fとは相似の関係にあるため、直線C2Eと直線D2Fとは互いに平行となる。しかし、射影幾何学上、直線C2Eと直線D2Fとは、無限遠点(消失点)Gで交わるものとする。

【0039】
直線C1C2と直線D1D2とが交わる無限遠点Bと、直線C2Eと直線D2Fとが交わる無限遠点Gとを通る直線Hは、平面上の全ての無限遠点が位置する無限遠線となる。したがって、直線CmDmの無限遠点は、無限遠線Hと交わる点Aとなる。なお、直線CmDmは、円C,Dの中心をも通る直線となる。

【0040】
一方、図3において、画像上の楕円c,dにおける直線c2eと直線d2fは、それぞれ図2における直線C2Eと直線D2Fの像である。そして、直線c2eと直線d2fとは交点gを有する。この交点gは、図2における無限遠点Gに対応する。したがって、直線c1c2と直線d1d2とが交わる点bと、直線c2eと直線d2fとが交わる点gとを通る直線hは、図2における無限遠線Hの像となる。
そして、点cmと点dmとを通る直線cmdmが、直線hと交わる点aは、図2における直線CmDmの無限遠点Aの像となる。

【0041】
そして、図2における直線CmDmが円Cと交わる点E(第2の点)及び点E’(第3の点)と、無限遠点(第4の点)Aと、円Cの中心(第1の点)C0との4点は、それぞれ図3における直線cmdmが楕円cと交わる点e(第2の対応点)及び点e’(第3の対応点)と、前述の点a(第4の対応点)と、楕円cの中心(円Cの中心に対応する点;第1の対応点)c0との4点と互いに対応しているため、それぞれの複比は不変の関係になる。したがって、上述の式(6)と同様に、次の式(8)の関係を得ることができる。

【0042】
【数8】
JP2015170181A_000010t.gif

【0043】
式(8)において、a,e,e’の各点の位置は、画像上の座標から求めることができるので、中心c0の位置は、これらの各点a,e,e’の座標から式(8)によって演算で求めることができる。

【0044】
円Dと楕円dについても上記と同様のことが言える。すなわち、図2における直線CmDmが円Dと交わる点F(第2の点)及び点F’(第3の点)と、無限遠点(第4の点)Aと、円Dの中心(第1の点)D0との4点は、それぞれ図3における直線cmdmが楕円dと交わる点f(第2の対応点)及び点f’(第3の対応点)と、前述の点a(第4の対応点)と、楕円dの中心(円Dの中心D0に対応する点;第4の対応点)d0の4点とは互いに対応しているため、それぞれの複比は不変の関係になる。したがって、上述の式(6)と同様に、次の式(9)の関係を得ることができる。

【0045】
【数9】
JP2015170181A_000011t.gif

【0046】
式(9)において、a,f,f’の各点の位置は、画像上の座標から求めることができるので、中心d0の位置は、これらの各点a,e,e’の座標から式(9)によって演算で求めることができる。

【0047】
以上の手順により、平面上の円C,Dの中心c0,d0を射影した画像上の楕円c,dの中心c0,d0を求めることができる。

【0048】
以上に説明した実施形態によれば、円C,Dの中心C0,D0を通る直線CmDm上の無限遠点Aを含む4つの点における複比が「1」になることを利用し、これらに対応する画像上の4点a,e,c0,e’(a,f,d0,f’)の複比の演算(式(8)、(9))によって、楕円c,dの中心c0,d0を容易に求めることが可能となる。
したがって、中心の位置が未知の円であっても、カメラキャリブレーションのためのマーカーとして利用することが可能となる。そのため、例えば、カメラの撮像範囲内に含まれるあらゆる円、例えば、街中に配置された看板、標識、モニュメント等をマーカーとして利用したり、水面の波紋のような自然に発生する円を利用したりすることが可能となる。また、人間の黒目をマーカーとして利用することが可能となり、この場合、頭部の姿勢に依存しない視線の方向の推定ができるようになる。そのため、このような利用法をヘッドマウントディスプレイ(HMD)に適用すると、当該HMDに表示させる画像を視線の方向に応じて変化させることが可能となる。

【0049】
また、中心の位置が未知の円をマーカーとしたカメラキャリブレーションが可能であるため、例えば複数のカメラを用いた多視点画像(映像)からパノラマ画像を生成したり、3次元情報の復元を行うことによって自由視点画像を生成したりすることもできる。

【0050】
本発明は、上記実施形態に限定されるものではなく、特許請求の範囲に記載された発明の範囲内において適宜変更することが可能である。
例えば、2つの円は、同一の平面上に設定されたものに限らず、互いに平行な2つの平面、例えば、高さが異なる2平面のそれぞれに設定されていてもよい。
2つの円は、その直径が同一であってもよい。また、2つの円は、完全な包含関係でなければ、一部が重複していてもよい。
また、平面上の円は、その一部が消失していてもよい。この場合、円の中心に対応する点(第1の対応点)を求めるに先だって、画像上に写っている円の像である部分楕円から、その方程式を求めればよい。

【0051】
上記実施形態では、2つの円又は2つの楕円に共通外接線S1,S2,s1,s2を設けていたが、これに代えて又は加えて共通内接線を設けてもよい。共通外接線と共通内接線との双方を設ける場合、2つの円C,Dの中心C0,D0を通る直線の像は、共通外接線の交点と共通内接線の交点とを通る直線とすることができる。
【符号の説明】
【0052】
10:画像解析装置
11:カメラ
12:処理装置(解析部)
図面
【図1】
0
【図2】
1
【図3】
2