TOP > 国内特許検索 > モノスペクトル・マーカならびにその検出方法および装置 > 明細書

明細書 :モノスペクトル・マーカならびにその検出方法および装置

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5961938号 (P5961938)
公開番号 特開2013-024586 (P2013-024586A)
登録日 平成28年7月8日(2016.7.8)
発行日 平成28年8月3日(2016.8.3)
公開日 平成25年2月4日(2013.2.4)
発明の名称または考案の名称 モノスペクトル・マーカならびにその検出方法および装置
国際特許分類 G01B  11/00        (2006.01)
FI G01B 11/00 H
請求項の数または発明の数 7
全頁数 18
出願番号 特願2011-156599 (P2011-156599)
出願日 平成23年7月15日(2011.7.15)
新規性喪失の例外の表示 特許法第30条第2項適用 平成23年2月22日 国立大学法人山梨大学主催の「平成22年度 山梨大学 工学部コンピューター・メディア工学科 Gコース 卒業論文発表会予稿集」において文書をもって発表
審査請求日 平成26年6月17日(2014.6.17)
特許権者または実用新案権者 【識別番号】304023994
【氏名又は名称】国立大学法人山梨大学
発明者または考案者 【氏名】豊浦 正広
【氏名】有賀 治人
【氏名】茅 暁陽
個別代理人の代理人 【識別番号】100080322、【弁理士】、【氏名又は名称】牛久 健司
【識別番号】100104651、【弁理士】、【氏名又は名称】井上 正
【識別番号】100114786、【弁理士】、【氏名又は名称】高城 貞晶
審査官 【審査官】梶田 真也
参考文献・文献 特開2004-062757(JP,A)
特開平05-328370(JP,A)
特開2008-014940(JP,A)
特開2008-177725(JP,A)
特開平10-056570(JP,A)
特開2002-071313(JP,A)
特開2010-121977(JP,A)
特開2003-256876(JP,A)
調査した分野 G01B 11/00 - 11/30
H04N 5/222 - 5/257
特許請求の範囲 【請求項1】
明るさに関連する値を表わす第1の要素と,色相に関連する値を表わす第2の要素を含む色空間を用いて,二次元表面を持つ媒体に表わされるマーカであり,
上記マーカは上記第1の要素の値が基礎値である境界を持つマーカ領域を有し,少なくとも2つの独立した位置セグメントが上記マーカ領域内の所定位置に配置され,
上記位置セグメントは中心位置を有し,この中心位置を通るすべての方向において,上記第1の要素の値が,上記中心位置でピークを示しかつこのピークの値と基礎値との間で単一周波数で変化するものであり,
上記位置セグメントの上記第2の要素が特定の色相を表わす値を持つ,
ことを特徴とするモノスペクトル・マーカを含むシーンを撮像して得られる画像データを上記色空間の画像データに変換して,画素ごとに,少なくとも上記第1の要素の値と上記第2の要素の値とを取得し,
上記第1の要素の値に対して,上記単一周波数に相当する周波数を含む通過帯域を持つバンド・パス・フィルタでフィルタリングしてこのバンド・パス・フィルタを通過する画素を特定し,
上記第1の要素の値について上記マーカ領域を抽出し,
上記第2の要素の値が上記特定の色相を表わす範囲内の値であるかどうかを判定し,
上記第1の要素の値が上記バンド・パス・フィルタを通過し,かつ上記第2の要素の値が上記特定の色相を表わす範囲内にある画素の中で,上記第1の要素の値がピークを示す画素を特定して上記位置セグメントの中心位置候補を決定し,
上記決定した中心位置候補のうち上記抽出したマーカ領域内に存在する中心位置候補の数があらかじめ定められた数と一致することによりモノスペクトル・マーカであると同定する,
ことを特徴とするモノスペクトル・マーカの検出方法。
【請求項2】
上記モノスペクトル・マーカの上記マーカ領域内にさらに上記位置セグメントから離れてIDセグメントが配置され,上記IDセグメントの上記第2の要素は上記位置セグメントの第2の要素の値とは異なる値を持つものであり,
上記抽出されたマーカ領域内に存在する中心位置候補の数があらかじめ定められた数と一致する場合に,その中心位置候補を上記位置セグメントの中心位置としてこの中心位置に基づいて上記IDセグメントの少なくとも中心位置を求め,求めた中心位置の上記第2の要素の値が所定の範囲内にあるかどうかにより,特定のモノスペクトル・マーカかどうかを判定する,
ことを特徴とする請求項に記載のモノスペクトル・マーカの検出方法。
【請求項3】
撮像装置からモノスペクトル・マーカまでの距離に応じて異なる通過帯域を持つ複数のバンド・パス・フィルタを用いて上記第1の要素の値をそれぞれフィルタリングしていずれかのバンド・パス・フィルタを通過する画素を特定する,請求項またはに記載のモノスペクトル・マーカの検出方法。
【請求項4】
明るさに関連する値を表わす第1の要素と,色相に関連する値を表わす第2の要素を含む色空間を用いて,二次元表面を持つ媒体に表わされるマーカであり,
上記マーカは上記第1の要素の値が基礎値である境界を持つマーカ領域を有し,少なくとも2つの独立した位置セグメントが上記マーカ領域内の所定位置に配置され,
上記位置セグメントは中心位置を有し,この中心位置を通るすべての方向において,上記第1の要素の値が,上記中心位置でピークを示しかつこのピークの値と基礎値との間で単一周波数で変化するものであり,
上記位置セグメントの上記第2の要素が特定の色相を表わす値を持つ,
ことを特徴とするモノスペクトル・マーカを含むシーンを撮像して得られる画像データを上記色空間の画像データに変換して,画素ごとに,少なくとも上記第1の要素の値と上記第2の要素の値とを取得する画像変換手段,
上記単一周波数に相当する周波数を含む通過帯域を持つバンド・パス・フィルタを備え,このバンド・パス・フィルタで上記第1の要素の値をフィルタリングして該バンド・パス・フィルタを通過する画素を特定するフィルタリング手段,
上記第1の要素の値について上記マーカ領域を抽出するマーカ領域抽出手段,
上記第2の要素の値が上記特定の色相を表わす範囲内の値であるかどうかを判定する第2要素判定手段,
上記フィルタリング手段により特定された画素であって,かつ上記第2要素判定手段により上記第2の要素の値が上記特定の色相を表わす範囲内にある画素の中で,上記第1の要素の値がピークを示す画素を特定して上記位置セグメントの中心位置候補を決定する中心位置候補決定手段,および
上記中心位置候補決定手段により決定された中心位置候補のうち上記マーカ領域抽出手段により抽出されたマーカ領域内に存在する中心位置候補の数があらかじめ定められた数と一致することによりモノスペクトル・マーカであると同定するマーカ同定手段,
を備えるモノスペクトル・マーカの検出装置。
【請求項5】
上記モノスペクトル・マーカの上記マーカ領域内にさらに上記位置セグメントから離れてIDセグメントが配置され,上記IDセグメントの上記第2の要素は上記位置セグメントの第2の要素の値とは異なる値を持つものであり,
上記マーカ領域抽出手段により抽出されたマーカ領域内に存在する中心位置候補の数があらかじめ定められた数と一致する場合に,その中心位置候補を上記位置セグメントの中心位置としてこの中心位置に基づいて上記IDセグメントの少なくとも中心位置を求め,求めた中心位置の上記第2の要素の値が所定の範囲内にあるかどうかにより,特定のモノスペクトル・マーカかどうかを判定するマーカ識別手段,
をさらに備える請求項に記載のモノスペクトル・マーカの検出装置。
【請求項6】
上記フィルタリング手段は,撮像装置からモノスペクトル・マーカまでの距離に応じて異なる通過帯域を持つ複数のバンド・パス・フィルタを備え,上記第1の要素の値を上記複数のバンド・パス・フィルタによりそれぞれフィルタリングしていずれかのバンド・パス・フィルタを通過する画素を特定するものである,請求項またはに記載のモノスペクトル・マーカの検出装置。
【請求項7】
上記シーンを撮像する撮像装置をさらに備える請求項からのいずれか一項に記載のモノスペクトル・マーカの検出装置。
発明の詳細な説明 【技術分野】
【0001】
この発明は,同定,識別等のために用いられるモノスペクトル・マーカならびにその検出方法および装置に関する。
【背景技術】
【0002】
マーカはその配置位置やそれが取付けられた(または,それが表わされた)物体の位置の同定,それらの位置または物体の識別等のために古くから用いられてきた。最近では撮像装置により撮像された画像上におけるマーカを画像処理することにより,観測物体や撮像装置の位置,姿勢を推定する技術が検討されている。特に,仮想空間と現実空間の位置合わせのためのマーカとして,ARToolKit のマーカが一般に用いられる(非特許文献1)。ARToolKit のマーカは黒の矩形枠の内部に任意のパターンを描き加えて構成される。観測画像中で矩形枠の四隅の頂点を検出し,カメラに対するマーカの位置,姿勢を検出する。内部のパターンは,位置,姿勢を検出した後に既知パターンとの照合を行い,どのマーカが観測されているのかを識別するために使われる。
【先行技術文献】
【0003】

【非特許文献1】H. Kato, and M. Billinghurst,“Marker tracking and hmd calibration for a video-based augmented reality conferencing system, ”International Workshop on Augmented Reality, pp.85~94, 1999.
【0004】
この白黒で構成されるマーカの問題点は,観測画像に生じる動きぶれや焦点ぼけに対処できないことである。これはマーカの位置,姿勢の検出のために,高周波成分であるエッジを利用することに依るものである。すなわち,観測画像に動きぶれや焦点ぼけが生じると,画像上の高周波成分は抑制され,エッジの位置を正しく検出することができない。
【発明の開示】
【0005】
この発明は,動きぶれや焦点ぼけがある画像からでも抽出することができるマーカ(これをモノスペクトル・マーカと呼ぶ)を提供することを目的とするものである。
【0006】
この発明はまた,上記のモノスペクトル・マーカの検出(同定または識別)方法および装置を提供することを目的とする。
【0007】
この発明による第1の態様のモノスペクトル・マーカは,明るさに関連する値を表わす第1の要素と,色相に関連する値を表わす第2の要素を含む色空間を用いて,二次元表面を持つ媒体に表わされるマーカである。このマーカは上記第1の要素の値が基礎値である境界を持つマーカ領域を有し,少なくとも2つの独立した位置セグメントが上記マーカ領域内の所定位置に配置される。上記位置セグメントは中心位置を有し,この中心位置を通るすべての方向において,上記第1の要素の値が,上記中心位置でピークを示しかつこのピークの値と基礎値との間で単一周波数で変化するものである。上記位置セグメントの上記第2の要素が特定の色相を表わす値を持つものである。
【0008】
明るさ(輝度,明度)に関連する第1の要素と,色相(色,色差)に関連する第2の要素を含む色空間(表色系)にはたとえば,色相(Hue),彩度(Saturation, Chroma ),明度(Brightness, Lightness, Value)の三成分からなるHSV色空間(HSB色空間ともいう),輝度Y(luminance)と色差U,V(chrominance)からなるYUV色空間,明度Lと赤の強さa,黄の強さbをもつLab色空間などがある。
【0009】
明るさに関する第1の要素は,HSV色空間では明度Vが相当し,YUV色空間では輝度Yが相当し,Lab色空間では明度Lが相当する。
【0010】
色相に関する第2の要素は,HSV色空間では色相Hが相当し,YUV色空間では色差UまたはVが相当し,Lab色空間では赤の強さaまたは黄の強さbが相当する。
【0011】
HSV色空間を用いた場合には,第3の要素である彩度Sも利用することができる。
【0012】
マーカの媒体としては,紙,プラスチック等のシート,板状体,壁等の平面,物体(商品)の一表面(物体を梱包するダンボール箱等の一表面を含む)等がある。この場合には,モノスペクトル・マーカはこれらの媒体に印刷,描画,ペイント等により表わされるであろう。マーカの媒体としてはさらに,マーカを表示する表示画面でもよい。
【0013】
マーカ領域を規定する境界(境界領域)はマーカの周囲を連続的に囲むもので(このために実施例では連結領域ともいう),第1の要素の値が基礎値であることにより特徴づけられる。基礎値とは,最も典型的には第1の要素の値の最小値であるが,最小値に近い値でもよい。
【0014】
この発明によるモノスペクトル・マーカの特徴は,マーカ領域内に複数の相互に独立した位置セグメントが配置されている点にあり(「独立した」とは相互に離れた,または重ならないことを意味する),さらに,この位置セグメントが中心位置を有し,この中心位置を通るすべての方向において,第1の要素の値が単一周波数(単一空間周波数)で変化する点にある。さらに詳しく述べると,第1の要素の値は位置セグメントの中心位置でピークを示す。中心位置から離れたところでは第1の要素の値は上記の基礎値であり,中心に向かうにしたがって増大し,ピークに達する。この変化が単一周波数で表わされる。ピークの値とは一般的には第1の要素の値の最大値であるが,これに近い値でもよい。
【0015】
単一周波数の値(周波数値)は,位置セグメントの中心位置を通るすべての方向で等しい値でもよいし,後述する実施例に示すように,角度方向に連続的に変化してもよい。単一周波数の値が角度方向に変化する場合には,後述するバンド・パス・フィルタの通過帯域に,単一周波数の値の変化に相当する周波数帯の広がりを考慮しなければならない。
【0016】
位置セグメントはさらに第2の要素の値によって特徴づけられる。第2の要素の値は範囲を持っていてもよい。
【0017】
以上説明した第1の態様のモノスペクトル・マーカは複数の位置セグメントのみによって特徴づけられるモノスペクトル・マーカであるが,モノスペクトル・マーカは位置セグメントとは異なるIDセグメントを備えることもできる。IDセグメントは,特に,複数種類のモノスペクトル・マーカ(位置セグメントは同じでもよい)が存在する場合に,これらのモノスペクトル・マーカを互いに識別するために有効利用される。
【0018】
すなわち,第2の態様のモノスペクトル・マーカは,上記マーカ領域内にさらに上記位置セグメントから離れてIDセグメントが配置され,上記IDセグメントの上記第2の要素は上記位置セグメントの第2の要素の値とは異なる値を持つことを特徴とするものである。IDセグメントの第1の要素の値は単一周波数をもって変化するものでもよいし,エッジを持つものでもよい。
【0019】
上述したように,ARToolKit マーカはその検出のためにエッジを利用する。エッジは高周波成分を含むから動きぶれや焦点ぼけがあると,高周波成分が抑制され,エッジが正しく検出されにくくなる。この発明によるモノスペクトル・マーカにおいては,少なくともその位置セグメントの第1の要素の値は単一周波数(しかも,エッジのように高周波ではなく,低周波である)をもって変化するものであるから,動きぶれや焦点ぼけがあってもその影響を受けにくく,動きぶれや焦点ぼけがあっても検出することができる。
【0020】
この発明は上述したモノスペクトル・マーカを検出する方法および装置を提供するものである。
【0021】
第1の態様のモノスペクトル・マーカの検出方法は,第1の態様のモノスペクトル・マーカを含むシーンを撮像して得られる画像データを上記色空間の画像データに変換して,画素ごとに,少なくとも上記第1の要素の値と上記第2の要素の値とを取得し,上記第1の要素の値に対して,上記単一周波数に相当する周波数を含む通過帯域を持つバンド・パス・フィルタでフィルタリングしてこのバンド・パス・フィルタを通過する画素を特定し,上記第1の要素の値について上記マーカ領域(境界領域)を抽出し,上記第2の要素の値が上記特定の色相を表わす範囲内の値であるかどうかを判定し,上記第1の要素の値が上記バンド・パス・フィルタを通過し,かつ上記第2の要素の値が上記特定の色相を表わす範囲内にある画素の中で,上記第1の要素の値がピークを示す画素を特定して上記位置セグメントの中心位置候補を決定し,上記決定した中心位置候補のうち上記抽出したマーカ領域(境界領域)内に存在する中心位置候補の数があらかじめ定められた数と一致することによりモノスペクトル・マーカであると同定するものである。
【0022】
第1の態様のモノスペクトル・マーカの検出装置は,第1の態様のモノスペクトル・マーカを含むシーンを撮像して得られる画像データを上記色空間の画像データに変換して,画素ごとに,少なくとも上記第1の要素の値と上記第2の要素の値とを取得する画像変換手段,上記単一周波数に相当する周波数を含む通過帯域を持つバンド・パス・フィルタを備え,このバンド・パス・フィルタで上記第1の要素の値をフィルタリングして該バンド・パス・フィルタを通過する画素を特定するフィルタリング手段,上記第1の要素の値について上記マーカ領域(境界領域)を抽出するマーカ領域(境界領域)抽出手段,上記第2の要素の値が上記特定の色相を表わす範囲内の値であるかどうかを判定する第2要素判定手段,上記フィルタリング手段により特定された画素であって,かつ上記第2要素判定手段により上記第2の要素の値が上記特定の色相を表わす範囲内にある画素の中で,上記第1の要素の値がピークを示す画素を特定して上記位置セグメントの中心位置候補を決定する中心位置候補決定手段,および上記中心位置候補決定手段により決定された中心位置候補のうち上記マーカ領域抽出手段により抽出されたマーカ領域(境界領域)内に存在する中心位置候補の数があらかじめ定められた数と一致することによりモノスペクトル・マーカであると同定するマーカ同定手段を備えるものである。
【0023】
バンド・パス・フィルタの通過帯域は,撮像により得られる画像上におけるモノスペクトル・マーカのサイズ,モノスペクトル・マーカの位置セグメントを表わす第1の要素の値の単一周波数の値(単一周波数が変化する範囲),シーンにおけるモノスペクトル・マーカの姿勢(傾きの有無),撮像手段によるシーンの撮像角度等を考慮して,第1の要素の値によって表わされる位置セグメントの像が通過するように定められる。
【0024】
動きぶれや焦点ぼけがあっても第1の要素の値によって表わされる位置セグメントの像は,上述のように,影響を受けにくいので,位置セグメントの中心位置を正しく抽出してモノスペクトル・マーカを同定することができる。第2の要素の値は位置セグメントの抽出に寄与する。なお,マーカ領域(境界領域)の抽出は第1の要素の値の基礎値付近のレベルの閾値処理により可能であるから,動きぶれや焦点ぼけの影響を受けにくい。
【0025】
ここでモノスペクトル・マーカの同定とは,少なくとも一つのモノスペクトル・マーカの存在と位置を決定することを意味する。後述するモノスペクトル・マーカの識別とは,少なくとも2種のモノスペクトル・マーカが存在する場合に,これらを区別してその存在と位置を決定することを意味する。そして,検出は同定と識別の両方を含む概念である。
【0026】
第2の態様のモノスペクトル・マーカを検出する方法は,モノスペクトル・マーカを含むシーンを撮像して得られる画像データを上記色空間の画像データに変換して,画素ごとに,少なくとも上記第1の要素の値と上記第2の要素の値とを取得し,上記第1の要素の値に対して,上記単一周波数に相当する周波数を含む通過帯域を持つバンド・パス・フィルタでフィルタリングしてこのバンド・パス・フィルタを通過する画素を特定し,上記第1の要素の値について上記マーカ領域(境界領域)を抽出し,上記第2の要素の値が上記特定の色相を表わす範囲内の値であるかどうかを判定し,上記第1の要素の値が上記バンド・パス・フィルタを通過し,かつ上記第2の要素の値が上記特定の色相を表わす範囲内にある画素の中で,上記第1の要素の値がピークを示す画素を特定して上記位置セグメントの中心位置候補を決定し,上記抽出されたマーカ領域内に存在する中心位置候補の数があらかじめ定められた数と一致する場合に,その中心位置候補を上記位置セグメントの中心位置としてこの中心位置に基づいて上記IDセグメントの少なくとも中心位置を求め,求めた中心位置の上記第2の要素の値が所定の範囲内にあるかどうかにより,特定のモノスペクトル・マーカかどうかを判定するものである。
【0027】
第2の態様のモノスペクトル・マーカの検出装置は,モノスペクトル・マーカを含むシーンを撮像して得られる画像データを上記色空間の画像データに変換して,画素ごとに,少なくとも上記第1の要素の値と上記第2の要素の値とを取得する画像変換手段,上記単一周波数に相当する周波数を含む通過帯域を持つバンド・パス・フィルタを備え,このバンド・パス・フィルタで上記第1の要素の値をフィルタリングして該バンド・パス・フィルタを通過する画素を特定するフィルタリング手段,上記第1の要素の値について上記マーカ領域(境界領域)を抽出するマーカ領域(境界領域)抽出手段,上記第2の要素の値が上記特定の色相を表わす範囲内の値であるかどうかを判定する第2要素判定手段,上記フィルタリング手段により特定された画素であって,かつ上記第2要素判定手段により上記第2の要素の値が上記特定の色相を表わす範囲内にある画素の中で,上記第1の要素の値がピークを示す画素を特定して上記位置セグメントの中心位置候補を決定する中心位置候補決定手段,および上記マーカ領域抽出手段により抽出されたマーカ領域(境界領域)内に存在する中心位置候補の数があらかじめ定められた数と一致する場合に,その中心位置候補を上記位置セグメントの中心位置としてこの中心位置に基づいて上記IDセグメントの少なくとも中心位置を求め,求めた中心位置の上記第2の要素の値が所定の範囲内にあるかどうかにより,特定のモノスペクトル・マーカかどうかを判定するマーカ識別手段を備えるものである。
【0028】
IDセグメントの第2の要素の値を用いているから位置セグメントが同じ(その構成と位置が同じ)複数のモノスペクトル・マーカにおいてIDセグメントの第2の要素の値が異なるようにしておけば,これによって複数のモノスペクトル・マーカを識別することが可能となる。IDセグメントの中心位置は位置セグメントの中心位置に基づいて求めているから,IDセグメントの第1の要素が単一周波数を持つものでない場合であっても,IDセグメントの第2の要素の値の取得が可能であり,動きぶれや焦点ぼけの影響を受けにくい。
【0029】
上記いずれの検出方法,検出装置においても,撮像装置からモノスペクトル・マーカまでの距離が固定している場合には,一つのバンド・パス・フィルタで足りるが,撮像装置からモノスペクトル・マーカまでの距離がモノスペクトル・マーカに応じて異なる場合や変動する場合には,撮像装置からモノスペクトル・マーカまでの距離に応じて異なる通過帯域を持つ複数のバンド・パス・フィルタを用意しておいて,それらのバンド・パス・フィルタを用いて上記第1の要素の値をそれぞれフィルタリングしていずれかのバンド・パス・フィルタを通過する画素を特定する。
【図面の簡単な説明】
【0030】
【図1】(A)はモノスペクトル・マーカの一例を示し,(B),(C),(D)はそれぞれ(A) のL1線に沿う明度V,色相H,彩度Sの値の変化を示す。
【図2】(A)はモノスペクトル・マーカの一例を示し,(B),(C),(D)はそれぞれ(A) のL2線に沿う明度V,色相H,彩度Sの値の変化を示す。
【図3】図1(A) に示すモノスペクトル・マーカのL1線に沿う明度Vのスペクトルを示すグラフである。
【図4】モノスペクトル・マーカの他の例を示す。
【図5】モノスペクトル・マーカのさらに他の例を示す。
【図6】モノスペクトル・マーカのさらに他の例を示す。
【図7】モノスペクトル・マーカのさらに他の例を示す。
【図8】モノスペクトル・マーカのさらに他の例を示す。
【図9】モノスペクトル・マーカが配置されたシーンの撮像により得られる画像の一例を示す。
【図10】モノスペクトル・マーカの検出システムの全体を示す機能ブロック図である。
【図11】(A)はバンド・パス・フィルタの通過周波数帯域を周波数領域で示し,(B)は空間領域で示すものである。
【図12】位置セグメントの中心画素を求める処理(モノスペクトル・マーカの同定処理)を示すフローチャートである。
【図13】図12のステップS12の位置セグメントの第1候補の画素を抽出する処理を説明するための機能ブロック図である。
【図14】IDセグメントを利用したモノスペクトル・マーカの検出処理を示すフローチャートである。
【図15】IDセグメントの中心位置を求める処理を説明するものである。

【実施例】
【0031】
まずモノスペクトル・マーカの構成について説明する。
【0032】
この実施例のモノスペクトル・マーカはHSV色空間(HSV表色系)により表現される。HSV色空間は色相(Hue),彩度(Saturation, Chroma)および明度(Brightness, Lightness, Value)の三つの成分からなる(HSB色空間ともいわれる)。
【0033】
明度Vを第1の要素とし(明るさに関連する値を表わす),その値を0~ 100%で表わす。
【0034】
色相Hを第2の要素とし(色に関連する値を表わす),その値を0~ 360°で表わす。
【0035】
彩度Sを第3の要素とし(鮮やかさに関連する値を表わす),その値を0~ 100%で表わす。
【0036】
図1(A) および図2(A) はこの発明の実施例によるモノスペクトル・マーカの一例を示している(符号MK1で示す)。図1(A) と図2(A) は全く同じモノスペクトル・マーカを示す(線L1,L2の引いてある位置のみが異なる)。
【0037】
モノスペクトル・マーカMK1は正方形の境界を持つ。この境界の内側に幅の狭い正方形の枠状の境界領域(連結領域)BDを有している。境界領域BDは黒の領域である(V=0,H=0,S=0)。境界領域BDおよびその内部がマーカ領域である。境界領域BDはマーカ領域の周囲を囲んでいる閉じた領域である。
【0038】
境界領域BDにより囲まれたマーカ領域の内部には,合計9個のセグメントが配置されている。正方形の四隅の位置に配置されている4つのセグメントを位置セグメントといい,それぞれSp1,Sp2,Sp3,Sp4で表わす。これらの位置セグメントの中間およびマーカ領域内の中央に配置されているのがIDセグメントSd1,Sd2,Sd3,Sd4,Sd5である(ID=Identification)。
【0039】
図1(B),(C),(D)に,図1(A)の最上段の3個のセグメントSp1,Sd1,Sp2の中心を通る線L1に沿う明度V,色相H,彩度Sの値の変化を示す。同様に,図2(B),(C),(D)に,図2(A)の中段の3個のセグメントSd2,Sd3,Sd4の中心を通る線L2に沿う明度V,色相H,彩度Sの値の変化を示す。
【0040】
図1(B) において,明度Vは,左端の境界領域BDの値0(最小値,基礎値)から線L1に沿って正弦波(余弦波)状に滑らかに変化し,それぞれセグメントSp1,Sd1,Sp2の中心でピークを示し,これらのセグメントの中間で最小値を示し,右端の境界領域BDに至っている。すなわち,明度Vの値の変化は線L1に沿って単一周波数(単一の空間周波数)によって表わされる。これがモノスペクトル・マーカの意義である。
【0041】
この明度Vの変化の周波数スペクトルを図3に示す。マーカMK1は充分に視認できる程度の大きさのものであるから,明度Vの変化は空間的に比較的緩やかであり単一周波数スペクトルは,相対的に低周波領域に現れる。
【0042】
図1(C)の色相(H)についてみると,位置セグメントSp1,Sp2の色相(H) の値は60°(黄色)であり,中央のIDセグメントSd1の色相(H)の値は0°(赤色)である。
【0043】
図1(D) の彩度Sについてみると,境界領域BDを除くマーカ領域の内部では均一に最大値100 を示す。彩度Sは必ずしも最大値になくてもよいが,できるだけ高い値が好ましい。
【0044】
図2(B) において,モノスペクトル・マーカMK1の2段目の線L2に沿う明度Vもまた単一周波数を描く変化を示し,その周波数の値は図1(A) に示すものと同じである。図2(C) において,IDセグメントSd2,Sd3,Sd4の色相Hは,それぞれ, 120°(緑), 180°(青),0°(赤)である。図2(D) において彩度Sは最大値を示す。
【0045】
モノスペクトル・マーカMK1の最下段のセグメントSp3,Sd5,Sp4についても,その中心を通る線に沿う明度Vの変化は図1(B),図2(B)に示すものと同じ周波数の正弦波状である。これらのセグメントSp3,Sd5,Sp4の色相はそれぞれ60°(黄), 180°(青),60°(黄)である。彩度Sは最大値を示す。
【0046】
モノスペクトル・マーカMK1の各セグメントの縦方向の並び(Sp1,Sd2,Sp3の並び,Sd1,Sd3,Sd5の並び,Sp2,Sd4,Sp4の並び)に沿う明度Vの変化も正弦波状に単一周波数を持ち,この単一周波数の周波数値は図1(B),図2(B)に示すものと同一である。
【0047】
対角線方向のセグメントの並び(Sp1,Sd3,Sp4の並び,Sp2,Sd3,Sp3の並び)に沿う明度Vの変化も単一周波数で正弦波状であるが,周波数は図1(B),図2(B)に示す周波数の1/√2である。
【0048】
モノスペクトル・マーカMK1の各セグメント(Sp1~Sp4,Sd1~Sd5)においては,横方向(線L1,L2の方向)および縦方向(線L1,L2に直交する方向)の2方向(各セグメントの中心において直交する2方向)において,明度Vの値は同じ周波数値の単一周波数で変化する。各セグメントの中心を通るすべての方向において,明度Vの値は単一周波数で変化するが,その周波数は上記の直交する2方向から角度方向に離れるにしたがって低下し,回転した方向において上述のように上記直交する2方向の周波数の1/√2となる。
【0049】
このように,各セグメントはその明度Vが各セグメントの中心を通るすべての方向について単一周波数で変化し,周波数は角度が異なると連続的に変化するがその周波数変化の幅は比較的狭い。
【0050】
すべてのセグメントSp1~Sp4,Sd1~Sd5は相互に独立している(離れている,または重ならない)。すなわち,各セグメント間において,セグメントの明度Vの値が0となる少なくとも1画素が存在する。
【0051】
IDセグメントSd1~Sd5についても明度Vの値の変化を単一周波数をもつものとしているが,後に例を示すように(図8),IDセグメントについては明度Vは必ずしも単一周波数を持つ必要はなく,方形波のように不連続に変化するものでもよい。
【0052】
このようなモノスペクトル・マーカMK1は二次元表面を持つ媒体の表面上に表わされるか,または観測物体の表面上に直接に表わされる。媒体には,紙,プラスチック等のシートもしくは板状体,壁等の平面,表示画面を含む。
【0053】
図4はモノスペクトル・マーカの他の例を示すものである。このモノスペクトル・マーカMK2は,上述したモノスペクトル・マーカMK1の最下段の3つのセグメントSp3,Sd5,Sp4を取り出して幅のきわめて狭い長方形枠状の境界領域内に配置したものである。
【0054】
図5は正三角形枠状の境界領域を有し,この境界領域内の正三角形の頂点に近い位置に3つの位置セグメントSp7,Sp8,Sp9(色相はいずれも黄)を配置し,位置セグメントの間にIDセグメントSd7(青),Sd8(赤),Sd9(青)を配置したものである。すべてのセグメントにおいて,その明度は,各セグメントの中心を通るすべての方向において,単一周波数の変化を示す。明度のピーク値は各セグメントの中心であり,中心を通るすべての方向において単一周波数の周波数値は等しい。
【0055】
図6はさらに他のモノスペクトル・マーカの例を示すものである。このモノスペクトル・マーカMK4は2つの位置セグメントSp11とSp12のみを含む。各位置セグメントSp11,Sp12の明度Vの値はそれらの中心においてピーク値を示し, 360°の全方向においてすべて同じ単一周波数で変化し,最外周において明度の値が0となっている。この明度の値が0となっている部分が境界領域である。位置セグメントSp11とSp12の色相Hの値は60°(黄),彩度Sの値は 100%である。このように,モノスペクトル・マーカはIDセグメントを備えず,位置セグメントのみで構成してもよい。
【0056】
図7はさらに他のモノスペクトル・マーカの例を示す。このモノスペクトル・マーカMK5は,長方形枠の境界領域(連結領域)BDと,この境界領域BD内にこの境界領域から離れて設けられた2つの位置セグメントSp13,Sp14とから構成される。位置セグメントSp13,Sp14の明度Vの値は,いずれも,直交する方向に同じ単一周波数で変化し(中心にピークがある),これらの方向から回転するにしたがい上記単一周波数よりも小さい単一周波数で変化する(45°回転した位置で1/√2倍に小さくなる)ものである。位置セグメントSp13,Sp14の色相Hの値は60°(黄),彩度Sの値は 100%である。このように,境界領域BDと位置セグメントSp13,Sp14とは離れていてもよい。
【0057】
図8に示すモノスペクトル・マーカMK6では2つの位置セグメントSp13とSp14の間に,2つのIDセグメントSd11,Sd12が設けられている。これらのIDセグメントSd11,Sd12の明度Vの値は正弦波状に単一周波数で変化するものではなく,方形波状に不連続に変化するもので,100%一定である。IDセグメントSd11の色相Hの値は0°(赤),IDセグメントSd12の色相Hの値は180°(青)である。またこれらのIDセグメントSd11,Sd12の彩度Sの値は 100%である。2つのIDセグメントSd11,Sd12の位置セグメントSp13,Sp14に対する相対的な位置はあらかじめ定められている(既知である)。
【0058】
図10は上述したモノスペクトル・マーカを含むシーン(背景,風景,情景,場)を撮像し,これにより得られる画像データを解析してモノスペクトル・マーカを検出するシステム全体を示すものである。
【0059】
このシステムは基本的にはデジタル・カメラ70と,マーカ検出装置10とから構成される。
【0060】
マーカ検出装置10は一般的にはコンピュータ・システム(パーソナル・コンピュータPC,その他のコンピュータ装置)により実現される。図10にはこのコンピュータ・システムが果たす機能(処理)がブロックの形で表現されている。すなわち,画像変換処理(手段)21,直流成分除去処理(手段)22,n個のバンド・パス・フィルタ処理(手段)31,32,…,3n(以下,BFP1,2,…,nと略す),マーカ抽出処理(手段)60はすべてコンピュータを動作させるソフトウェアによって実現されるものである。また,Vメモリ23,Vメモリ41,42,…,4n(以下,Vメモリ1,2,…,nと略す),Hメモリ51,Sメモリ52も機能的に分けて記載しているにすぎず,これらのメモリは実現的には一個ないしは数個のメモリにより実現されるものである。
【0061】
図9はデジタル・カメラ70が撮像したシーンの画像の例を示すものである。このシーンは机80の上に電話機81,本82,コーヒーカップ83等が置かれ,さらに2つのモノスペクトル・マーカMK11,MK12が置かれているものである。
【0062】
デジタル・カメラ70から図9に示されるような画像を表わすRGB画像データが出力され,マーカ検出装置10に与えられる。
【0063】
マーカ検出装置10において,画像変換処理21により,デジタル・カメラ70から入力する1画像分のRGB画像データがHSV色空間のV(明度),H(色相),S(彩度)のデータに変換される。このうちの明度Vの画像データに関しては,直流成分除去処理22により直流成分を除去し,直流成分除去後の明度VのデータをVメモリ23に記憶する。後述するようにBPFによるフィルタリングの前後の明度データを比較する処理において,直流成分の存在による影響を事前に取り除くためである。色相Hおよび彩度Sの画像データはそれぞれHメモリ51,Sメモリ52に記憶される。
【0064】
複数の異なる通過帯域が設定されているBPF1~nが用意されている。これは次の理由による。モノスペクトル・マーカの大きさは一定であるが,撮像画像上に写るモノスペクトル・マーカの大きさは,モノスペクトル・マーカとカメラ70との間の距離に応じ変わる。上述のようにモノスペクトル・マーカの少なくとも位置セグメントの明度Vの値は単一周波数の空間周波数を有しているが,撮像画像上においてはモノスペクトル・マーカの画像の大きさによってその画像の単一周波数は変わる。撮像画像上のモノスペクトル・マーカの画像の大きさは予め分らないことが多いので,モノスペクトル・マーカの種々の画像の大きさに対応できるようにするために,複数の異なる通過帯域を持つBPFが用意されている訳である。撮像画像上のモノスペクトル・マーカの画像の大きさが一定でかつあらかじめ分っている場合には,BPFは1つでもよい。
【0065】
モノスペクトル・マーカの少なくとも位置セグメントにおいても,その明度Vの値の変化を表わす単一周波数の値は方向によって異なり,一つのモノスペクトル・マーカのもつ単一周波数は一定の幅(帯域)を持っている。そこでモノスペクトル・マーカの持つ単一周波数の帯域に対応させて各BPF1,2,…,nには,図11(A) に示すように,一定幅の通過帯域を持たせる。一つのモノスペクトル・マーカの単一周波数は,図1(A),図2(A)に示されるモノスペクトル・マーカの場合には,上述のように異なる2方向の単一周波数からその1/√2まで変化する。シーン(モノスペクトル・マーカ)を斜めに撮影したり,モノスペクトル・マーカが画像(XY平面)内で斜めに傾いている場合等を考慮すると,BPFの通過帯域の最小周波数f1と最大周波数f3とは,大体の目安としては,その比が1対2程度となろう。
【0066】
BPFによるフィルタリングはウィンドウWD(図9参照)をV画像データ上をスキャニングしながら行うことになる。このBPFのウィンドウの大きさ(ウィンドウ・サイズ)(一辺の大きさ)は,図11(A),(B)に示すようにBPFの通過帯域の最小周波数f1(空間領域の一周期M1が対応)と最大周波数f3(空間領域の一周期M3が対応)との平均値f2の一周期M2とする。
【0067】
Vメモリ23のVデータは複数のBPF1~nによってそれぞれフィルタリングされ,そのフィルタリング結果はVメモリ1~nにそれぞれ記憶される。
【0068】
これらのVメモリ1~n,Hメモリ51,Sメモリ52に記憶されたデータを用いて,マーカ抽出処理60により,モノスペクトル・マーカが次のようにして抽出される。
【0069】
図12を参照して,上述のように,複数の異なる通過帯域をもつBPF1~nによりVデータにフィルタリングをかける(ステップS11,フィルタリング手段)。その結果は,一画面(一画像)分のすべての画素についてVメモリ1~nに記憶される。
【0070】
これらのVメモリ1~nに記憶されたすべてのデータを用いて,モノスペクトル・マーカの位置セグメントの候補(第1の候補)の画素を抽出する(ステップS12)。この処理を図13を用いて詳しく説明する。
【0071】
BPF1によるフィルタリングを行う前のVデータ(Vメモリ23に記憶されている)とBPF1によるフィルタリング後のVデータ(Vメモリ1に記憶されている)との差を算出し,その差分画像を得る(これを差分画像1とし,ある画素の差分画像データをd1(i,j)とする)。同じように,BPF2,…,nによるフィルタリングを行う前のVデータとBPF2,…,nによるフィルタリング後のVデータ(Vメモリ2,…,nに記憶されている)との差を算出し,その差分画像をそれぞれ得る(これらを差分画像2,…,nとし,ある画素の差分画像データをd2(i,j),…,dn(i,j)とする)。
【0072】
差分画像1~nの特定の画素(i,j)に着目し,それらの差分データのうちの最小のものを求める。そして,この最小の差分データを所定の閾値(できるだけ小さい値とする)と比較し,所定の閾値よりも小さいものを明度Vに関して位置セグメントの候補(第1の候補)の画素とする。この処理は,一画像(撮像画像)のすべての画素について行なう。
【0073】
BPFによるフィルタリングの前後のVデータの差が小さいということは,その画素のVデータはBPFを通過したということを意味する。上述したように,撮像画像上のモノスペクトル・マーカの種々のサイズに応じた通過帯域をもつ複数のBPFが用意されている。各画素ごとに,いずれかのBPFを通過した画素かどうかが判定されることになる。
【0074】
位置セグメントは上述のように単一周波数で変化する明度Vの値を持っているので,位置セグメントを表わす画素のVデータであればいずれかのBPFを通過することになる。これにより,位置セグメントに属する可能性の高い画素が抽出されることになる。これは,動きぶれや焦点ぼけがあっても影響を受けることは殆どない。
【0075】
位置セグメントは上述のように特定の色相の値(上記の例ではH=60°(黄))を持っている。位置セグメントに属する可能性のある第1候補の画素について,そのHデータ(Hメモリ51内に記憶されている)が所定の許容範囲内にあるかどうかがチェックされる(ステップS13,第2要素判定手段)。Hデータがあらかじめ定めたHの値の所定範囲内にあればその画素を位置セグメントに属する可能性のある候補(第2の候補)とする。このチェックにより,背景画像内に含まれるモノスペクトル・マーカ以外の画像の部分が殆ど排除される。
【0076】
さらに彩度Sの値を用いて位置セグメントに属する画素かどうかのチェックが行なわれる。位置セグメントの画素の彩度は上述のように最大値, 100%に設定される。そこで,第2候補の画素のSデータが所定の閾値( 100%に近い値)を超えているかどうかがチェックされ,超えている画素を位置セグメントに属する候補(第3の候補)とする(ステップS14)。これにより背景中に存在する位置セグメントに似た性質をもつ画像部分が排除される。このステップS14の処理は必ずしも行なわなくてもよい。
【0077】
このようにして,位置セグメントに属する画素の集合(ある範囲に集っている)が見い出されるので(第3の候補),この第3の候補の画素のVデータの中で近傍の画素のVの値よりも大きいもの,すなわちピークに相当する画素を見つける(ステップS15,位置セグメント中心位置候補決定手段)。上述のように,位置セグメントの明度Vの値は正弦波状に変化しており,位置セグメントの中心においてVの値が最も高い。ステップS15の処理により,位置セグメントの中心位置が求まる。因みに水玉模様のように,明度Vの値が一定で変化しない領域をもつ画像部分ではピーク検出は失敗に終わる(ピークが検出できない)。
【0078】
境界領域は黒で表わされている。したがって,明度Vを黒に近い閾値で弁別し,この閾値よりも低い値のVデータを持つ画素を黒領域として抽出する。そして黒領域として抽出された画素が相互に連結(連続)し,かつ閉じた領域(閉ループ)を形成していれば,それはモノスペクトル・マーカの境界領域の可能性が高い。このようにして,境界領域を抽出する(ステップS16,マーカ領域(境界領域)抽出手段)。
【0079】
ステップS16で抽出した境界領域の中に,ステップS15で判定した位置セグメントの中心位置候補の画素が存在するかどうかを判定し,存在する場合にはその個数を数える。図1(A),図2(A)に示すモノスペクトル・マーカの場合には境界領域の中に4個の位置セグメントがある。そこで,上で数えた個数がモノスペクトル・マーカの位置セグメントの数と一致するかどうかを確認し,一致すれば,上記の中心位置候補の画素を位置セグメントの中心位置とする。この位置セグメントの中心位置は,図14に示す処理において,IDセグメントの中心位置を求めるために用いられる。また,抽出した境界領域に存在する位置セグメントの中心位置の数が既知のモノスペクトル・マーカの位置セグメントの数と一致するということはその境界領域と位置セグメントはモノスペクトル・マーカのものであると判定できることを意味する(ステップS17,マーカ同定手段)。
【0080】
このようにして,位置セグメントと境界領域の抽出のみで撮像画像の中からモノスペクトル・マーカを同定(特定)することができる。マーカ検出装置10からは,同定したモノスペクトル・マーカの位置を表わすデータ等が出力される。
【0081】
図14は,位置セグメントに加えて,IDセグメントを利用してモノスペクトル・マーカを識別する処理の例を示している。図12に示す処理は位置セグメントのみを用いてモノスペクトル・マーカを同定(シーンの画像中にモノスペクトル・マーカが存在することを判定しかつその画像上の位置を特定すること)している。この処理ではモノスペクトル・マーカにおける位置セグメントの中心の位置(中心画素の位置)が求められる。モノスペクトル・マーカの境界領域内に存在する位置セグメントの数によりモノスペクトル・マーカであると同定しているので,位置セグメントの数が等しい2つのモノスペクトル・マーカを識別することはできない。もっとも,2つのモノスペクトル・マーカにおける位置セグメントの色相の値が異なれば,色相の値により識別することは可能である。
【0082】
図14に示す処理では,図12による処理の結果に基づき,さらにIDセグメントを利用することにより,モノスペクトル・マーカであることを一層高精度に同定するとともに,2以上のモノスペクトル・マーカが存在する場合に,それらの位置セグメントの位置と数が同じでもIDセグメントの位置,数または色相の値Hが異なれば,これらの2つ以上のモノスペクトル・マーカを相互に識別することができる。
【0083】
図1(A)または図2(A)に示されるモノスペクトル・マーカMK1を例にとると,このモノスペクトル・マーカMK1では正方形の境界領域内の四隅に相当する位置に位置セグメントが配置され,これらの4つの位置セグメントの中間の位置に5つのIDセグメントが配置されている。図12における処理により4つの位置セグメントの中心位置(座標データ)が求められたので,これに基づいて,位置セグメントとの相対的位置関係を利用してIDセグメントの位置を求めることができる(ステップS21)。
【0084】
たとえば図15に示すようにモノスペクトル・マーカが画像上で傾いている場合であっても(撮影角度によりモノスペクトル・マーカが平行四辺形,菱形,台形等のような形に多少変形していても),4つの位置セグメントSp1,Sp2,Sp3,Sp4の中心位置を[0,1],[1,1],[0,0][1,0]とする座標系においては,IDセグメントSd1,Sd2,Sd3,Sd4,Sd5の中心位置の座標は,それぞれ,[0.5,1],[0,0.5],[0.5,0.5],[1,0.5],[0.5,0]で表わされるから,図12の処理により検出した4つの位置セグメントの画像上の中心位置に基づき,上記座標系による変換を通してIDセグメントの画像上の中心位置(画素)を求めることができる。
【0085】
IDセグメントの中心位置の画像上の位置が得られれば,Hメモリ51に記憶した色相Hデータから,IDセグメントの中心位置の色相Hの値を求めることができる(ステップS22)。この色相Hの値のすべてが,あらかじめ定めた色相Hの値(IDセグメントSd2(緑)ならH=120,IDセグメントSd3(青)ならH=180など)を中心とした許容範囲内にあれば(Hのパターン照合),それは所定のモノスペクトル・マーカであると判定される(ステップS23,マーカ識別手段)。もちろん,5つのIDセグメントの1つでもその色相Hが既知の範囲内になければそれはモノスペクトル・マーカであるとは判定されない。位置セグメントの中心位置は同じでも,IDセグメントの位置や色相のパターンが異なる2種類以上のモノスペクトル・マーカの相互の識別も可能となる。マーカ検出装置10からは,識別したモノスペクトル・マーカを表わすデータや,その位置を表わすデータ等が出力される。
【0086】
モノスペクトル・マーカはHSV色空間以外にも,YUV色空間,Lab色空間等を用いても表現可能である。YUV色空間の場合には第1の要素として輝度Yを,第2の要素として色差UまたはVを用いる。Lab色空間の場合には,第1の要素として明度Lを,第2の要素として赤の強さaまたは黄の強さbを用いる。
【0087】
この発明によるモノスペクトル・マーカおよびその検出方法,装置は多くの分野で応用可能である一例としては,拡張現実マーカとして利用可能であり,この場合には,特に物体が移動する場合の拡張現実感実現で真価を発揮する(たとえば手術ナビゲーション,プラント保守,ロボット位置推定,各種ゲーム)。
【符号の説明】
【0088】
10 マーカ検出装置
21 画像変換処理
22 直流成分除去処理
23,41,42,4n Vメモリ
31,32,3n バンド・パス・フィルタ(BPF)
51 Hメモリ
52 Sメモリ
60 マーカ検出処理
70 デジタル・カメラ
S11 フィルタリング処理(手段)
S13 第2要素判定処理(手段)
S15 位置セグメント中心位置候補決定処理(手段)
S16 マーカ領域抽出処理(手段)
S17 マーカ同定処理(手段)
S23 マーカ識別処理(手段)
MK1,MK2,MK3,MK4,MK5,MK6,MK11,MK12 モノスペクトル・マーカ
Sp1,Sp2,Sp3,Sp4,Sp7,Sp8,Sp9,Sp11,Sp12,Sp13,Sp14 位置セグメント
Sd1,Sd2,Sd3,Sd4,Sd5,Sd7,Sd8,Sd9,Sd11,Sd12 IDセグメント
図面
【図3】
0
【図9】
1
【図10】
2
【図11】
3
【図12】
4
【図13】
5
【図14】
6
【図1】
7
【図2】
8
【図4】
9
【図5】
10
【図6】
11
【図7】
12
【図8】
13
【図15】
14