TOP > 国内特許検索 > 画像処理システムおよび画像処理方法 > 明細書

明細書 :画像処理システムおよび画像処理方法

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第6270157号 (P6270157)
登録日 平成30年1月12日(2018.1.12)
発行日 平成30年1月31日(2018.1.31)
発明の名称または考案の名称 画像処理システムおよび画像処理方法
国際特許分類 G06T   1/00        (2006.01)
G01B  11/245       (2006.01)
G01B  11/25        (2006.01)
FI G06T 1/00 315
G01B 11/245 H
G01B 11/25 H
請求項の数または発明の数 10
全頁数 31
出願番号 特願2014-527960 (P2014-527960)
出願日 平成25年6月28日(2013.6.28)
国際出願番号 PCT/JP2013/004059
国際公開番号 WO2014/020823
国際公開日 平成26年2月6日(2014.2.6)
優先権出願番号 2012168412
優先日 平成24年7月30日(2012.7.30)
優先権主張国 日本国(JP)
審査請求日 平成28年5月18日(2016.5.18)
特許権者または実用新案権者 【識別番号】301021533
【氏名又は名称】国立研究開発法人産業技術総合研究所
【識別番号】504258527
【氏名又は名称】国立大学法人 鹿児島大学
【識別番号】510108951
【氏名又は名称】公立大学法人広島市立大学
発明者または考案者 【氏名】佐川 立昌
【氏名】川崎 洋
【氏名】古川 亮
個別代理人の代理人 【識別番号】110001243、【氏名又は名称】特許業務法人 谷・阿部特許事務所
審査官 【審査官】村松 貴士
参考文献・文献 特開2013-024608(JP,A)
特開2009-300277(JP,A)
特開2011-242183(JP,A)
糟谷 望,単色波線グリッドパターンを用いたプロジェクタ・カメラ能動ステレオ,映像情報メディア学会技術報告,日本,映像情報メディア学会,2012年10月30日,Vol.36,No.43,pp.13-16
佐川 立昌,平行線投影を用いた連続領域の検出による高密度なワンショット形状復元,情報処理学会 シンポジウム 画像の認識・理解シンポジウム(MIRU) 2011 [online],日本,情報処理学会,2011年10月 6日,OS3-1,pp.416-423
調査した分野 G06T 1/00
特許請求の範囲 【請求項1】
1つの投影装置により観測対象上に投影された投影パターンを、1つの撮影装置により撮影し、前記1つの投影装置および前記1つの撮影装置に接続された画像処理装置において、該投影パターンを含む入力画像から形状復元を行う画像処理システムにおいて、前記画像処理装置が、
前記1つの撮影装置により撮影された入力画像を取り込み、前記1つの投影装置により投影された投影パターンの線検出を行う手段であって、該投影パターンは、波線によるグリッドパターンであり、前記波線は、一定の周期性を持つ波状の曲線であり、前記波線によるグリッドパターンは、一定の間隔に配置された複数の波線からなり、互いに交差する2方向の波線の集合であって、一方の波線の間隔が他方の波線の波長の整数倍でないことと、
前記線検出により抽出された縦横線の交点を、前記投影パターンと対応付けることにより形状復元を行う手段と
を備えたことを特徴とする画像処理システム。
【請求項2】
前記形状復元を行う手段は、
前記1つの撮影装置により撮影された入力画像における各々の格子点周辺の領域を接平面で近似したパッチを、前記1つの投影装置における出力画像に再投影する手段と、
前記再投影されたパッチと前記1つの投影装置により投影された投影パターンの格子点の対応候補とのステレオマッチングのエネルギーを、格子点に割り当てるデータ項と隣接格子点との間で得られる正規化項との和により計算する手段と、
前記対応候補のステレオマッチングのエネルギーが、最小の対応候補である格子点を、前記投影パターンと対応付けることにより形状復元を行う手段と
を含むことを特徴とする請求項1に記載の画像処理システム。
【請求項3】
前記形状復元を行う手段は、
3つの標本画素からなる三角メッシュを作成し、準画素単位の深さを計算する手段と、
前記三角メッシュを前記1つの投影装置における出力画像に再投影したときの誤差を、全ての標本画素について計算し、前記計算された誤差を最小化し、前記標本画素以外の画素における深さを線形補間する手段と
を含むことを特徴とする請求項1に記載の画像処理システム。
【請求項4】
前記1つの撮影装置とは異なる第2の撮影装置をさらに備え
前記形状復元を行う手段は、前記格子点についての前記1つの撮影装置および前記第2の撮影装置の間で得られる正規化項を、前記対応候補のステレオマッチングのエネルギーに加算して、前記対応候補を取捨選択する手段を含むことを特徴とする請求項に記載の画像処理システム。
【請求項5】
前記形状復元を行う手段は、前記格子点について、前記1つの撮影装置および前記第2の撮影装置で得られた画素単位の深さを、平均により統合する手段を含むことを特徴とする請求項に記載の画像処理システム。
【請求項6】
前記1つの投影装置とは異なる第2の投影装置をさらに備え
前記形状復元を行う手段は、前記1つの投影装置から投影された第1の投影パターンと、前記第2の投影装置から投影された第2の投影パターンとで一致する格子点について、画素単位の深さを最適化する手段を含むことを特徴とする請求項1に記載の画像処理システム。
【請求項7】
前記形状復元を行う手段は、
前記格子点についての前記投影パターンと、前記線検出により得られた結果との差を、前記格子点の周囲の複数の位置で計算し、該計算された結果を前記対応候補のマッチングコストとして、最小の対応候補である格子点を、前記投影パターンと対応付けることにより形状復元を行う手段を含むことを特徴とする請求項に記載の画像処理システム。
【請求項8】
前記投影パターンを前記観測対象に投影したときに、同じエピポーラ線上の任意の2つの交点についての類似度を比較し、最も類似度が低くなるように、前記投影パターンのパラメータが選択されていることを特徴とする請求項1に記載の画像処理システム。
【請求項9】
1つの投影装置により観測対象上に投影された投影パターンを、1つの撮影装置により撮影し、前記1つの投影装置および前記1つの撮影装置に接続された画像処理装置において、該投影パターンを含む入力画像から形状復元を行う画像処理方法であって、
前記画像処理装置が、前記1つの撮影装置により撮影された入力画像を取り込み、前記1つの投影装置により投影された投影パターンの線検出を行うステップであって、該投影パターンは、波線によるグリッドパターンであり、前記波線は、一定の周期性を持つ波状の曲線であり、前記波線によるグリッドパターンは、一定の間隔に配置された複数の波線からなり、互いに交差する2方向の波線の集合であって、一方の波線の間隔が他方の波線の波長の整数倍でないことと、
前記画像処理装置が、前記線検出により抽出された縦横線の交点を、前記投影パターンと対応付けることにより形状復元を行い、復元された画像を表示するステップと
を備えたことを特徴とする画像処理方法。
【請求項10】
1つの投影装置により観測対象上に投影された投影パターンを、1つの撮影装置により撮影し、前記1つの投影装置および前記1つの撮影装置に接続された画像処理装置に、該投影パターンを含む入力画像から形状復元を行わせるコンピュータ実行可能命令からなるコンピュータプログラムにおいて、
前記1つの撮影装置により撮影された入力画像を取り込み、前記1つの投影装置により投影された投影パターンの線検出を行うステップであって、該投影パターンは、波線によるグリッドパターンであり、前記波線は、一定の周期性を持つ波状の曲線であり、前記波線によるグリッドパターンは、一定の間隔に配置された複数の波線からなり、互いに交差する2方向の波線の集合であって、一方の波線の間隔が他方の波線の波長の整数倍でないことと、
前記線検出により抽出された縦横線の交点を、前記投影パターンと対応付けることにより形状復元を行い、復元された画像を表示するステップと
を実行させることを特徴とするコンピュータプログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、画像処理システムおよび画像処理方法に関し、より詳細には、単色パターンによるワンショット三次元計測による高密度な形状復元を行う画像処理システムおよび画像処理方法に関する。
【背景技術】
【0002】
最近、動く3次元シーンの復元が注目されている。例えば、人体を実時間計測してその動きを解析することにより、デバイスの装着が不要なインタフェースを実現するゲーム用製品が大きな成功を納めている(例えば、非特許文献1参照)。さらに、そのような製品を自律移動するロボットの目として利用する研究も進められており、動物体計測の重要性が強く認識されている。現在利用可能な動物体スキャナは、静的シーンを計測する3次元スキャナほど高精度・高密度な計測ができない。しかし、もう一段の精度および密度の向上が実現できれば、医療応用や流体解析など、応用範囲が格段に拡がると考えられる。
【0003】
動いている対象の形状計測を行う方法は、カメラのみを用いるステレオ手法からTime-of-Flight(TOF)方式によるレーザスキャンまで多数存在する。このうち、プロジェクタとカメラを用いるシステムによって構造化された光線を投影する手法は、動いている物体の形状データを得るのに適しているので、最近熱心に開発・研究されている(例えば、非特許文献1-4参照)。
【0004】
構造化された光線を投影する手法は、大まかに時間符号化法と空間符号化法に分類される。空間符号化法は、単一画像から形状復元する(ワンショットスキャン)手法のため、動物体を高フレームレートで計測するのに適している。このため盛んに研究されている。空間符号化法においては、投影パターン全体の中から一意に特定可能な対応点情報を、2次元パターンに直接埋め込む。このためには、ある程度大きな領域が必要なため、復元密度が低くなりがちである。また、表面形状変化によるパターンのひずみ等による復号化誤りなども起きやすい。
【0005】
効率的に対応点情報を2次元パターンに埋め込む方法として、色情報を使うことが考えられる。複数の色を用いて、複数のビット情報を各点に埋め込む方法は、広く利用されてきた(例えば、非特許文献3,5-8参照)。しかし、色情報を利用する場合、目標物体の表面はRGBの各色要素を十分に反射する必要がある。また、市販のプロジェクタでは各色要素間のスペクトル分布が干渉するため、各画素の色の決定には誤差が生じやすい。このため、色を利用しない空間符号化手法として、点線パターンやグリッドパターンなどを利用する方法が提案されている。しかしながら、これまでのところ曖昧性や密度低下の問題を完全には解決できていない。
【0006】
能動計測手法としては、TOFスキャナや能動ステレオによるシステムが一般に良く知られている。動物体の能動計測手法も、様々な手法が研究されている。多くのTOFレーザスキャナでは、計測したい対象に向けて点レーザ光が照射され、このレーザ光が検出器に戻るまでの時間が計測される。このため、一度に一点のみが計測され、広い範囲を短時間で計測することには適さない。そこで、動物体などを計測するために、広範囲に対して時間的に変調された光を照射し、二次元センサーの各画素でその変調を観測することにより、距離画像の計測を実現する装置がある(例えば、非特許文献9,10参照)。しかし、現状では他の光源による外乱に弱く、解像度も通常のカメラと比較して低い。
【0007】
一方、能動ステレオによる計測手法では、多くの場合、点レーザ光あるいはラインレーザ光を照射し、これを走査することにより対象を計測する。このため、計測に時間がかかることから、動物体の計測には向いていなかった。ビデオプロジェクタなどの面状光源を利用することにより、計測時間を短縮することができるが、対応点問題を解く必要がある。その解決方法としては、大きく時間符号化方式と空間符号化方式とがある(例えば、非特許文献5参照)。
【0008】
時間符号化方式では、複数のパターンを投影し、パターンの各点の時間変化の中に情報が符号化される。このため、動物体計測には適さないと言える。この欠点を補うためにいくつかの方法が提案されている。例えば、パターンを高速に切り替える方法(例えば、非特許文献11参照)、位相パターンを用いて必要な枚数を減らす方法(例えば、非特許文献12参照)、またはDMDパターンを使う方法(例えば、非特許文献13参照)等である。
【0009】
また、通常の能動ステレオとは少し異なるアプローチとして、カメラを2台以上用いて、時間変化するパターンを照射する時空間ステレオ法(例えば、非特許文献14参照)等も提案されている。現在、動き推定を組み合わせて、100fps程度での計測に成功した例も紹介されている。しかしながら、複数フレームの情報を必要とするため、高速な物体の計測には本質的に適さない。
【0010】
一方、空間符号化方式は、静的パターンを用いて、一枚のみの入力画像から形状を復元するため、動物体計測に向いている。しかし、パターンの空間的な領域に情報を埋め込む必要性から、解像度が低く。加えて、対象物体表面のテクスチャや形状によりパターンが歪むため、不安定になりやすい。このため、これを軽減する方法が多数提案されている。例えば、同じ組み合わせの無いように複数の色の帯を用いる方法(例えば、非特許文献15,16参照)、特異な点線を利用する手法(例えば、非特許文献17,18参照)、二次元的なパターンに情報を埋め込む手法(例えば、非特許文献1,19参照)等がある。しかしながら、精度・解像度および安定性の全てにおいて十分な性能を満たしている手法は未だ存在していない。
【先行技術文献】
【0011】

【非特許文献1】Microsoft, “Xbox 360 Kinect,” 2010. http://www.xbox.com/en-US/kinect.
【非特許文献2】H. Kawasaki, R. Furukawa, R. Sagawa and Y. Yagi, “Dynamic scene shape reconstruction using a single structured light pattern,” CVPR, pp.1-8, June 23-28 2008.
【非特許文献3】R. Sagawa, Y. Ota, Y. Yagi, R. Furukawa, N. Asada and H. Kawasaki, “Dense 3d reconstruction method using a single pattern for fast moving object,” ICCV, 2009.
【非特許文献4】A. O. Ulusoy, F. Calakli and G. Taubin, “One-shot scanning using de bruijn spaced grids,” The 7th IEEE Conf. 3DIM, 2009.
【非特許文献5】J. Salvi, J. Batlle and E. M. Mouaddib, “A robust coded pattern projection for dynamic 3D scene measurement,” Pattern Recognition, vol.19, no.11, pp.1055-1065, 1998.
【非特許文献6】C. Je, S. W. Lee and R. H. Park, “High-contrast color stripe pattern for rapid structured-light range imaging,” ECCV, vol.1, pp.95-107, 2004.
【非特許文献7】L. Zhang, B. Curless and S. Seitz, “Rapid shape acquisition using color structured light and multi-pass dynamic programming,” 3DPVT, pp.24-36, 2002.
【非特許文献8】R. Sagawa, H. Kawasaki, R. Furukawa and S. Kiyota, “Dense one-shot 3d reconstruction by detecting continuous regions with parallel line projection,” ICCV, 2011.
【非特許文献9】Canesta, Inc., “Canesta Vision EP Development Kit,” 2010. http://www.canesta.com/devkit.htm.
【非特許文献10】Mesa Imaging AG., “Swiss Ranger SR-4000,” 2011. http://www.swissranger.ch/index.php.
【非特許文献11】S. Rusinkiewicz, O. Hall-Holt and M. Levoy, “Realtime 3D model acquisition,” Proc. SIGGRAPH, pp.438-446, 2002.
【非特許文献12】T. Weise, B. Leibe and L. V. Gool, “Fast 3D scanning with automatic motion compensation,” CVPR, 2007.
【非特許文献13】S. G. Narasimhan, S. J. Koppal, and S. Yamazaki, “Temporal dithering of illumination for fast active vision,” Proc. European Conference on Computer Vision, pp.830-844, October 2008.
【非特許文献14】L. Zhang, B. Curless and S. M. Seitz, “Space time stereo: Shape recovery for dynamic scenes,” IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp.367-374, June 2003.
【非特許文献15】J. Tajima and M. Iwakawa, “3-D data acquisition by rainbow range finder,” ICPR, pp.309-313, 1990.
【非特許文献16】S. Zhang and P. Huang, “High-resolution, real-time 3D shape acquisition,” Proc. Conference on Computer Vision and Pattern Recognition Workshop, p.28, 2004.
【非特許文献17】M. Maruyama and S. Abe, “Range sensing by projecting multiple slits with random cuts,” SPIE Optics, Illumination, and Image Sensing for Machine Vision IV, vol.1194, pp.216-224, 1989.
【非特許文献18】Artec, “United States Patent Application 2009005924,” 2007j.
【非特許文献19】P. Vuylsteke and A. Oosterlinck, “Range image acquisition with a single binary-encoded light pattern,”IEEE Trans. on PAMI, vol.12, no.2, pp.148-164, 1990.
【非特許文献20】P. Felzenszwalb and D. Huttenlocher, “Efficient belief propagation for early vision,” IJCV, vol.70, pp.41-54, 2006.
【非特許文献21】“The Stanford 3D Scanning Repository,” http://wwwgraphics.stanford.edu/data/3Dscanrep/, 2012.
【非特許文献22】Persistence of Vision Pty. Ltd., “POV-Ray,” 2004.
【発明の概要】
【0012】
本発明の目的は、単色パターンによるワンショット三次元計測による形状復元であって、動物体の計測においても高密度な形状復元を行うことができる画像処理システムおよび画像処理方法を提供することにある。
【0013】
このような目的を達成するために、本発明の一実施態様は、1つの投影装置により観測対象上に投影された投影パターンを、1つの撮影装置により撮影し、前記1つの投影装置および前記1つの撮影装置に接続された画像処理装置において、該投影パターンを含む入力画像から形状復元を行う画像処理システムにおいて、前記画像処理装置が、前記1つの撮影装置により撮影された入力画像を取り込み、前記1つの投影装置により投影された投影パターンの線検出を行う手段であって、該投影パターンは、波線によるグリッドパターンであり、前記波線は、一定の周期性を持つ波状の曲線であり、前記波線によるグリッドパターンは、一定の間隔に配置された複数の波線からなり、互いに交差する2方向の波線の集合であって、一方の波線の間隔が他方の波線の波長の整数倍でないことと、前記線検出により抽出された縦横線の交点を、前記投影パターンと対応付けることにより形状復元を行う手段とを備えたことを特徴とする。
【0014】
本発明の他の実施態様は、1つの投影装置により観測対象上に投影された投影パターンを、1つの撮影装置により撮影し、前記1つの投影装置および前記1つの撮影装置に接続された画像処理装置において、該投影パターンを含む入力画像から形状復元を行う画像処理方法であって、前記画像処理装置が、前記1つの撮影装置により撮影された入力画像を取り込み、前記1つの投影装置により投影された投影パターンの線検出を行うステップであって、該投影パターンは、波線によるグリッドパターンであり、前記波線は、一定の周期性を持つ波状の曲線であり、前記波線によるグリッドパターンは、一定の間隔に配置された複数の波線からなり、互いに交差する2方向の波線の集合であって、一方の波線の間隔が他方の波線の波長の整数倍でないことと、前記画像処理装置が、前記線検出により抽出された縦横線の交点を、前記投影パターンと対応付けることにより形状復元を行い、復元された画像を表示するステップとを備えたことを特徴とする。

【0015】
以上説明したように、本発明によれば、波線によるグリッドパターンを用いて、単色パターンによるワンショット三次元計測による形状復元を行うので、動物体の計測においても高密度な形状復元を行うことが可能となる。
【図面の簡単な説明】
【0016】
【図1】本発明の第1の実施形態にかかる画像処理システムを示す構成図である。
【図2】本発明の第1の実施形態にかかる形状復元アルゴリズムを示すフローチャートである。
【図3A】波線によるグリッドパターンの一例を示す図である。
【図3B】プロジェクタが投影する静的パターンを示す図である。
【図4A】観測対象に対して波線によるグリッドパターンを投影して取得された画像を示す図である。
【図4B】波線によるグリッドパターンから線検出を行った結果を示す図である。
【図5】格子点の接平面で近似したパッチを示す図である。
【図6】準画素単位の深さ推定を説明するための図である。
【図7】本発明の第2の実施形態にかかる画像処理システムを示す構成図である。
【図8】2つのグリッドグラフ間でどのようにエッジを生成するかを説明するための図である。
【図9】プロジェクタパターンの格子点とカメラの格子点との対応を示す図である。
【図10】本発明の第3の実施形態にかかる画像処理システムを示す構成図である。
【図11A】三原色の波線によるグリッドパターンを投影して取得された画像を示す図である。
【図11B】図11Aの画像から赤色のパターンを検出した結果を示す図である。
【図11C】図11Aの画像から青色のパターンを検出した結果を示す図である。
【図11D】青色のパターンに緑色のパターンが検出された結果を示す図である。
【図11E】緑色のパターンの影響を抑制した結果を示す図である。
【図12】複数のグリッドパターンが重なったカメラ画像を示す図である。
【図13】2台のプロジェクタの2つの範囲の画像を重ね合わせた状態を示す図である。
【図14】交点比較法の別の実施形態を説明するための図である。
【図15A】波線によるグリッドパターンのパラメータ決定法を説明するための図である。
【図15B】波線によるグリッドパターンのパラメータ決定法を説明するための図である。
【図16A】第1の実施形態のシミュレーション結果を示す図である。
【図16B】第1の実施形態のシミュレーション結果を示す図である。
【図16C】第1の実施形態のシミュレーション結果を示す図である。
【図17A】第1の実施形態のシミュレーション結果を示す図である。
【図17B】第1の実施形態のシミュレーション結果を示す図である。
【図17C】第1の実施形態のシミュレーション結果を示す図である。
【図18A】従来技術の手法によるシミュレーション結果を示す図である。
【図18B】従来技術の手法によるシミュレーション結果を示す図である。
【図19A】従来技術の手法によるシミュレーション結果を示す図である。
【図19B】従来技術の手法によるシミュレーション結果を示す図である。
【図20A】図16Bに示した画像を入力した復元結果と、真値との誤差を画像化した図である。
【図20B】図17Bに示した画像を入力した復元結果と、真値との誤差を画像化した図である。
【図20C】図18Aに示した画像を入力した復元結果と、真値との誤差を画像化した図である。
【図21A】第1の実施形態によって復元された図16Bの入力画像に対応するポリゴンメッシュを示す図である。
【図21B】第1の実施形態によって復元された図17Bの入力画像に対応するポリゴンメッシュを示す図である。
【図22A】波線によるグリッドパターンにより再構成された結果を示すための入力画像を示す図である。
【図22B】図22Aの入力画像をステレオ法により復元した結果を示す図である。
【図22C】第1の実施形態によって復元された結果を示す図である。
【図22D】補間手法により生成された密な形状を示す図である。
【図23A】第1の実施形態の精度を評価した結果を示すための入力画像を示す図である。
【図23B】図23Aの入力画像から補間手法により生成された形状を示す図である。
【図23C】図23Bの誤差を画像化した図である。
【図24A】環境光の影響下において再構成された結果を示すための実験環境を示す図である。
【図24B】バンドパスフィルタによる効果を示す図である。
【図24C】第1の実施形態によって3次元復元された結果を示す図である。
【図25】手の開閉の運動を計測するための入力画像の第1例を示す図である。
【図26】手の開閉の運動の計測結果の第1例を示す図である。
【図27】運動する物体の計測結果の第2例を示す図である。
【図28】運動する物体の計測結果の第2例を示す図である。
【発明を実施するための形態】
【0017】
以下、図面を参照しながら本発明の実施形態について詳細に説明する。本実施形態は、グリッドパターンの接続性を利用した空間符号化による手法である。この方法は、対応点の曖昧性と、検出された線の接続判定の誤りによる誤復元の問題があることが知られている(例えば、非特許文献2-4参照)。従来の方法では、この問題を解決するために複数の色を用いたグリッドパターンの利用が提案されている。しかしながら、従来の手法では、対象物体表面の反射率やテクスチャに影響されるため、計測が安定しない。本実施形態では、単色のグリッドを用いることにより、グリッドパターンと多色パターンの両方の問題を同時に解決することができる。

【0018】
(第1の実施形態)
図1に、本発明の第1の実施形態にかかる画像処理システムを示す。1台のカメラ101(撮影装置)と1台のプロジェクタ102(投影装置)を用いる。プロジェクタ102は、観測対象103に対して、波線によるグリッドパターンを投影する。投影パターンは静的であるため、撮影に同期は必要ない。そのため、非常に高いFPS(Flames Per Second)での計測が可能となる。カメラ101とプロジェクタ102とは、パーソナルコンピュータからなる画像処理装置104に接続されている。

【0019】
画像処理装置104は、予め記憶媒体に波線によるグリッドパターンなどの投影パターンを格納しており、投影パターンデータをプロジェクタ102に送信して、観測対象103に投影することができる。また、画像処理装置104は、カメラ101により撮影された入力画像を取り込み、記憶媒体に格納しておき、入力画像から形状復元を行う画像処理を実行する。

【0020】
図2に、本発明の第1の実施形態にかかる形状復元アルゴリズムを示す。最初に、観測対象に対して波線によるグリッドパターンを投影して画像を取得する(S202)。次に、非特許文献3に記載された手法を用いて、撮影した画像から線検出を行う。Belief Propagation(BP)による最適化により、単色のグリッド状の線を、縦と横に安定して別々に検出することができる。検出された縦横の線から交点を算出し、交点をノードとしたグラフを作成する(S204)。

【0021】
各ノードに対応するエピポーラ線の位置をプロジェクタパターン上で計算し、そのライン上にグリッドの交点がある場合、これを対応候補とする(S206)。このとき、複数の対応候補が見つかるので、BPを利用して各点における対応候補の最適な組み合わせを求める(S208)。このままでは復元結果は疎であるので、各画素での深さを、補間と、パターンと観測画像の画素単位のマッチングを利用して求めることにより(S210)、密な三次元復元形状を得る(S212)。

【0022】
空間符号化によって、カメラ画像(カメラ画像面で撮像される画像)とプロジェクタ画像(プロジェクタ画像面から投影するパターン)間で一意な対応付けを得るために、従来の方法では、大きな窓サイズを持つ複雑なパターンが必要であった。さらに、精度の向上には広い基線長が望ましいが、観測されるパターンは大きく歪むため、現実的には復号化が困難になる。したがって、検出と復号化が簡単な、単純でありながら一意性の高いパターンが望ましい。本実施形態では、画像処理によって一意に対応が決まるパターンではなく、対応の優先順位に関する情報を与えるパターンを用いる。具体的には、縦・横の波線からなるグリッドパターンを用いる。

【0023】
図3Aに、波線によるグリッドパターンの一例を示す。波線パターンは、単純なパターンであるため、画像中での曲線として検出しやすく、輝度値のピークを計算することにより、その位置をサブピクセル精度で得ることができる。縦波線、横波線ともに一定の周期性を持つ波状の曲線、例えば周期的な正弦波パターンを用いる。縦波線、横波線ともに一定の間隔に配置された複数の波線からなり、波線によるグリッドパターンは、互いに交差する2方向の波線の集合からなる。

【0024】
波線によるグリッドパターンは、対応点検出に有効な情報を持つ。本実施形態では、縦・横の波線の交点を特徴点として用いる。交点の配置は、波線の間隔と波長で決定される。一定の間隔と波長を持つ波線を用いるが、下記に述べるように、縦波線の間隔が横波線の波長の整数倍でない場合(または横波線の間隔が縦波線の波長の整数倍でない場合)、交点位置の位相にずれが生じる。そのため、局所的なパターンが周囲の交点と相違することになり、対応付けのための特徴量として用いることができる。

【0025】
交点周囲の局所的パターンは、投影パターン全体の中で一意性を持つものではない。図3Aにおいて、Sx,Syは隣接する波線の間隔、Wx,Wyは波長とすると、
Nx=lcm(Sx,Wx)/Sx
Ny=lcm(Sy,Wy)/Sy
を用いて、同一パターンが、縦・横軸に沿ってそれぞれNx,Ny本の波線ごとに起こる。ここでlcm(a,b)はaとbの最小公倍数であり、添字x,yはそれぞれ縦・横軸に沿った値を表すものとする。しかしながら、局所パターンは、各サイクルにおいて識別可能なパターンである。

【0026】
図3Bに、プロジェクタ102が投影する静的パターンを示す。このパターンは、単色で、正弦波形状の縦横の曲線をグリッド状に配置したものである。図3Bは、
Sx=10,Sy=11,Wx=Wy=14,Ax=Ay=1
からなるパターンの例である(単位は画素)。この例では、1周期は縦線7本、横線14本となる。よって、98(=7×14)種類の交点が1周期で構成される矩形の中に存在する。

【0027】
ステレオマッチングでは、対応点候補はエピポーラ線上の点に限られている。あるプロジェクタ画像の交点とエピポーラ線が適当な距離以内に位置している場合、そのプロジェクタ画像の交点は、対応点候補の1つとして選ばれる。候補の数は、カメラ画像の交点位置に依存する。対応点候補は、プロジェクタ画像において疎に分布するため、画素単位で候補点を探索する通常のステレオ視と比べて、対応候補の数は劇的に少なくなる。

【0028】
図4A,Bを参照して、対応点の最適な組み合わせを見つけるために、局所的なマッチングと正則化を利用した手法を説明する。図4Aは、観測対象に対して波線によるグリッドパターンを投影して、取得された画像である。図4Bは、線検出を行った結果を示している。カメラ画像上での波線によるグリッドパターンにおける縦横線の交点を、以後「格子点」と呼ぶ。もし、複数の格子点がグリッド線で接続されていれば、それらはプロジェクタ画像上で同一の波線の上にある。このことは、対応点を決定する際の正則化に利用される。格子点の接続性は、線検出によって得る。ただし、線検出による接続性の判定は誤る場合がある。特に、形状の不連続な境界付近では、このような誤りが多くなる。そこで、各格子点に対応点を割り当てるために、グリッド上に定義したエネルギーの最小化を利用する。

【0029】
最初に、すべての対応候補についてマッチングコストを計算し、これをエネルギー最小化におけるデータ項として利用する。コストは、カメラ画像とプロジェクタ画像(パターン画像)とのSSD(Sum of Squared Difference)として計算する。ただし、検出された格子点位置には誤差が存在し、カメラで観測された画像は、対象物体の形状によって歪むので、四角形の領域に対する単純なSSDは、データ項には適さない。そこで、対象物体における格子点において、その周辺の領域を格子点の接平面で近似したパッチを考える。これにより、高精度なマッチングコストを計算し、対応点をサブピクセル精度で計算することができる。

【0030】
図5に、格子点の接平面で近似したパッチを示す。観測対象の表面503における格子点の周辺の形状(四角パッチ513)が局所的に平面であると仮定する。その平面は、
ax+by+cz+1=0
と表される。ただし、a,b,cは平面パラメータである。このパラメータを画像のひずみを考慮してSSD最小化により求める。

【0031】
そのアルゴリズムを以下に示す。
(1)カメラ画像501における格子点p周辺の四角パッチR(p)511を、3次元接平面に投影し、プロジェクタ画像502に再投影する。
(2)再投影された四角パッチ512とプロジェクタ画像502との輝度値SSDを計算する。
(3)a,b,cを変数としてSSDを最小化する。
(4)上記のステップを数回繰り返す。
a,b,cの初期値は、接平面が、視差によって計算される格子点の三次元位置を含み、カメラの画像面に対して平行になるように設定され、SSDは以下の式で表される。

【0032】
【数1】
JP0006270157B2_000002t.gif
ただし、R(p)はp周辺の四角パッチであり、Ha,b,c(p′)はp′をプロジェクタ画像面に再投影した場合の変形を表す。I(・)とI(・)とはそれぞれカメラ画像とプロジェクタ画像における輝度値を表す。

【0033】
ここで、グリッドパターンは、格子点から成るノードp∈Vと、格子点の接続を表すエッジ(p,q)∈Uから成る。ただし、p,qは格子点であり、Vは格子点の集合であり、Uはグリッドグラフのエッジ集合である。格子点pは、対応点の候補tp∈Tを持つ。ここでTは格子点pの対応点候補の集合である。対応の集合をパラメータとして、ステレオマッチングのエネルギーを以下のように定義する。

【0034】
【数2】
JP0006270157B2_000003t.gif
ただし、T={t|p∈V}であり、D(t)はpの対応点をtに割り当てる場合のデータ項である。Wpq(t,t)はtとtを隣り合う格子点に割り当てるための正規化項である。

【0035】
上記データ項は、上述した方法により計算されたSSDの値を取る。正規化項は、以下の式で定義される。

【0036】
【数3】
JP0006270157B2_000004t.gif
ただし、λはユーザが決める定数である。定義されたエネルギーは、BPによって最小化される。

【0037】
エネルギー最小化を利用する利点として、上記の隣接による正規化項が、「ソフトな条件」となる点が挙げられる。実際のデータでは、線検出の誤りなどにより、誤った接続が生成される場合があるので、上記の点は重要である。非特許文献3においては、誤った接続を、3次元再構成の前の線検出段階で排除する必要があるが、本実施形態では、誤った接続の除去と3次元再構成が同時に実行されるため、より高密度、高精度な復元が可能となる。

【0038】
グリッドベースドステレオ法により、疎な格子点における対応が得られる。次のステップとして、全ての画素の情報を利用して密な対応を求める。このために、高密度に再標本化された標本画素について、グリッド点の補間により深さを求める。次に、これらの標本画素の深さを変数として、カメラ画像とプロジェクタ画像の輝度の差を最小化する。

【0039】
非特許文献8には、検出されたグリッド線間の補間に基づく方法が記載されている。本実施形態では、(準)画素それぞれに独立した深さ推定が、photo-consistencyに基づく最適化によって実現される。

【0040】
カメラ中心から画素xへ向かう方向ベクトルを(u,v,1)と表すと、その画素の深さdxは、

【0041】
【数4】
JP0006270157B2_000005t.gif
で計算される。ここで、パラメータa,b,cは画素ごとに計算される。各画素におけるaは、以下のように補間される。

【0042】
【数5】
JP0006270157B2_000006t.gif
ただし、pは格子点、G(・)はガウス関数、|p-x|はpとxの距離である。bとcは同様な加重平均で求められる。

【0043】
最適化において、全ての画素の深さを独立変数として扱い、全画素の深さを推定することは可能である(画素単位の深さ推定)。しかし、本実施形態では、3つの標本画素からなる三角メッシュを再標本化し、標本画素について深さを推定する(準画素単位の深さ推定)。これにより、得られる三角メッシュの解像度は、より適切なものになる。なぜなら、投影するパターンの解像度は、画像解像度より低いので、単純に全ての画素について深さ推定を行うと、かえって精度低下を招くことがある。これを解決するためには、受動ステレオ法で行われているように、ある程度の範囲を持つマッチング窓を利用する等の方法が考えられるが、計算コストが増大する。

【0044】
これに対して、本実施形態では、以下の手法により精度を犠牲にせずに、点と変数の数を減らし、効率的な計算を実現する。図6を参照して、準画素単位の深さ推定を説明する。まず、観測対象の画像の中から3つの標本画素を頂点として、三角メッシュを作成する。標本画素以外の画素における深さは線形補間される。繰り返し計算による最適化のために、深さを、dの微小変位Δdを変数として近似する。図6における画素xの深さは以下のように表される。

【0045】
【数6】
JP0006270157B2_000007t.gif
ただし、wx2とwx3は線形補間の重みである。ここで、D+ΔDを、d+Δdを全ての標本画素について集めたベクトルとする。プロジェクタ画像(パターン画像)に対する再投影誤差は、標本画素ばかりでなく、全ての画素について以下の式で求められる。

【0046】
【数7】
JP0006270157B2_000008t.gif
ここで、PD+ΔD(x)は、プロジェクタ画像への再投影位置を表す。各画素の再投影には、D+ΔDの一部が利用される。xとx’は隣接する頂点である。γは利用者が決める正規化パラメータである。パラメータΔDは、上記誤差を最小化するように決定される。再投影と最小化を、解の収束まで交互に繰り返すことによりDを決定する。

【0047】
(第2の実施形態)
図7に、本発明の第2の実施形態にかかる画像処理システムを示す。2台のカメラ1101,1102(撮影装置)と1台のプロジェクタ1103(投影装置)を用いる。プロジェクタ1103は、観測対象1104に対して、波線によるグリッドパターンを投影する。投影パターンは静的であるため、撮影に同期は必要ない。そのため、非常に高いFPS(Flames Per Second)での計測が可能となる。カメラ1101,1102とプロジェクタ1103とは、パーソナルコンピュータからなる画像処理装置1105に接続されている。

【0048】
画像処理装置1105は、予め記憶媒体に波線によるグリッドパターンなどの投影パターンを格納しており、投影パターンデータをプロジェクタ1103に送信して、観測対象1104に投影することができる。また、画像処理装置1105は、カメラ1101,1102により撮影された入力画像を取り込み、記憶媒体に格納しておき、入力画像から形状復元を行う画像処理を実行する。

【0049】
第2の実施形態においては、対応候補を見つけるための付加的な情報として、2台のカメラの間の制約条件を用いる。以下、グリッド上のエネルギー最小化に基づいて、対応点を割り当てる方法を説明する。2台のカメラの間のグラフを接続するエッジとして、付加的な制約条件を導く。図8を参照して、2つのグリッドグラフ間でどのようにエッジを生成するかを説明する。最初に、観測対象に対して波線によるグリッドパターンを投影して画像を取得する。次に、撮影した画像から線検出を行い、検出された縦横の線から交点を算出し、交点をノードとしたグリッドグラフを作成する。

【0050】
カメラ1101の格子点pの投影パターン1201における対応点を考える。対応点の候補tp0∈Tp0は、プロジェクタパターン1204上の格子点pのエピポーラ線1211上の交点であり、Tp0は格子点pの対応点候補の集合である。格子点pの対応点候補tp0とすると、格子点pの観測対象1104の表面1203上の座標P3D(tP0)は、カメラ1101とプロジェクタ1103との間の三角測量で計算される。座標P3D(tP0)のカメラ1102のグリッドパターン1202への射影は、P(tP0)である。カメラ1102の格子点pが下式を満たすと、格子点pと格子点pとが対応する(直線L1)。
D(p,P(tP0))<θ and tp0∈Tp1
ここで、D(a,b)は二点ab間の距離であり、θはP(tP0)に近い格子点の検索範囲の半径であり、Tp1は対応点候補tp1の集合である。

【0051】
図8においては、4つのP3D(tP0)が投影されており、最も左のP3D(tP0)1221は、グリッドパターン1202上の検索範囲に格子点が無く、対応点候補が無い。最も右のP3D(tP0)1222は、グリッドパターン1202上の検索範囲に格子点pを有するが、格子点pのエピポーラ線1212の対応点候補の集合Tp1に同じ対応点候補tP0が無い。中央の2つのP3D(tP0)は、上記の条件を満たし、格子点pと結ばれる。2台のカメラの間のエッジがグラフ上で接続される(直線L1)と、2台のカメラの対応点の検索を容易にする単一のグラフになる。

【0052】
この方法では、誤ったエッジが生成される場合(直線L2)がある。図8の2番目の投影1223は、誤ったエッジであり、観測対象1104の表面1203上にない。ただし、格子点が正しいエッジと誤ったエッジの双方を有していても、BPのトータルコストは、誤ったエッジにより影響を受けない。格子点が誤ったエッジのみ有する場合、誤ったエッジの数が少なければ、対応点候補は、BPプロセスでなかったと判定される。

【0053】
線検出と他のカメラへの投影により、2台のカメラに対して単一のグリッドグラフが得られた。次に、グリッドグラフ上でエネルギー最小化によって、対応点の最良の組合せを見つける。グリッドグラフは、格子点p∈V、p∈V、線検出(p,q)∈U、(p,q)∈Uによるエッジ、カメラ間(p,p)∈Sのエッジからなる。カメラ1101について、p,qは格子点、Vは格子点の集合、Uはエッジの集合である。カメラ1102について、p,qは格子点、Vは格子点の集合、Uはエッジの集合である。Sはカメラ間のエッジの集合である。格子点pは、プロジェクタパターン上の対応点候補tp∈Tp0を有する。

【0054】
第1の実施形態の1-カメラ/1-プロジェクタのシステムでは、対応点tpを各格子点tに割り当てるエネルギーは、上述した式(2)で定義される。この定義を、本実施形態の2-カメラ/1-プロジェクタに拡張すると、

【0055】
【数8】
JP0006270157B2_000009t.gif
となる。ただし、Xp0,p1(tp0,tp1)はカメラ間(p,p)のエッジの正規化項である。この項は、

【0056】
【数9】
JP0006270157B2_000010t.gif
となる。ただし、μはユーザが決める定数である。格子点pがカメラ間のエッジを有していれば、格子点に対するtの割当は、カメラ間のエッジの1つから選択される。これは、カメラ間のエッジ以外の割当が選択されると、エネルギーが大きくなるからである。

【0057】
第1の実施形態では、カメラ画像のグリッドグラフを補間することにより、高密度な画像を得た。本実施形態の2-カメラ/1-プロジェクタでは、2組のグリッドグラフがある。カメラ画像上でグラフを作成すると、グラフの一部が他方のカメラから見えない場合が起こり、一方のカメラの座標系を用いて、グリッドグラフの統合と復元の高密度化はできない。そこで、双方のカメラからのグラフを再投影することにより、プロジェクタの座標系において画素の情報を結合する。

【0058】
図9に、プロジェクタパターンの格子点tが、双方のカメラの格子点p,pと対応している場合を示す。カメラ1101のグリッドパターン1301と、カメラ1102のグリッドパターン1302との間にプロジェクタ1103のグリッドパターン1304を導入し、観測対象1104の表面1303上の座標P3Dを求める。しかし、2つの座標点p3D0,p3D1は、2つの対応点により計算されるが、画像処理上の誤差により、通常一致しない。そこで、プロジェクタの視点からの深さd,dを、画素rが格子点tの近傍(R)の範囲にあるとき、深さd,dの平均により統合する。高密度な画像を生成するために、画素rにおける深さdを下記のように定義する。

【0059】
【数10】
JP0006270157B2_000011t.gif

【0060】
ここで、d(t,p)は、t,pより算出された座標系の深さである。また、D(r,tpk)は二点r,tpk間の距離であり、τは、ユーザが決めるパラメータであり、格子点の近傍を決定する。座標点p3Dは、プロジェクタから見ることができるので、深さの情報を結合することができる。d(t,p)の計算方法としては、例えば、格子点tとその近傍格子点の組みから、pへの距離に応じた線形補間(例えば、バイリニア補間など)を行うことが考えられる。また、式(9)の平均の計算の際に、重み付き平均としても良い。重みとしては、例えば、カメラとプロジェクタとのなす角などを用いることができる。

【0061】
(第3の実施形態)
図10に、本発明の第3の実施形態にかかる画像処理システムを示す。6台のカメラ2101-2106(撮影装置)と6台のプロジェクタ2201-2206(投影装置)を用いる。プロジェクタ2201-2206は、観測対象2301に対して、波線によるグリッドパターンを投影する。投影パターンは静的であるため、撮影に同期は必要ない。そのため、非常に高いFPS(Flames Per Second)での計測が可能となる。カメラ2101-2106とプロジェクタ2201-2206とは、パーソナルコンピュータからなる画像処理装置2401に接続されている。

【0062】
画像処理装置2401は、予め記憶媒体に波線によるグリッドパターンなどの投影パターンを格納しており、投影パターンデータをプロジェクタ2201-2206に送信して、観測対象2301に投影することができる。また、画像処理装置2401は、カメラ2101-2106により撮影された入力画像を取り込み、記憶媒体に格納しておき、入力画像から形状復元を行う画像処理を実行する。

【0063】
第3の実施形態においては、カメラから得られる画像には、複数のパターンが含まれるので、どのプロジェクタから投影されたパターンか識別することが必要である。そこで、色を用いて識別する。ここでは、光の三原色、赤、緑、青をそれぞれ2台のプロジェクタから観測対象に投影する。

【0064】
図11Aに、三原色の波線によるグリッドパターンを投影して取得された画像を示す。図11Bは、この画像から赤色のパターンを検出した結果であり、図11Cは、青色のパターンを検出した結果である。ここでは、緑色のパターンを用いずに、対応点を見つける。赤色のパターンと青色のパターンとを用いて線検出を行うと、緑色のパターンの影響を受ける。このとき、図11Dに示したように、青色のパターンに緑色のパターンが検出されてしまう場合(図11Dの頭部側面)がある。そこで、線検出の前に、以下のようにして飽和色(純色)に変換する。
(h,s,v)=RGB2HSV(r,g,b)
(r’,g’,b’)=HSV2RGB(h,1,v) (11)
ただし、RGB2HSVとHSV2RGBとは、それぞれ色空間の間の変換を表し、色は[0,1]の範囲で表される。飽和色に変換することによって、図11Eに示したように、緑色のパターンの影響を抑制することができる。

【0065】
次に、赤色のパターンと青色のパターンのそれぞれにおいて、対応点候補を見つける方法は、第2の実施形態で示した2カメラ+1プロジェクタの場合と同様に行えばよい。第2の実施形態では、さらに複数のプロジェクタを用いているので、カメラ画像を用いて、プロジェクタ間の対応点を検出する。

【0066】
図12に、複数のグリッドパターンが重なったカメラ画像を示す。プロジェクタkのパターンGPとプロジェクタlのパターンGPの異なるパターンの2つの格子点を、カメラの同一の画素に投影すると、プロジェクタの2つの点が互いに対応することを意味する。この2つの点は、カメラから同じ深さである。2つの点が正確に同じ画素に投影されることはまれなので、プロジェクタkに対するカメラiの対応点pik∈Vikを、以下の式を満たすプロジェクタlに対するカメラiの対応点pil∈Vilを見つけることによって決定する。
D(pik,pil)<φ (12)
ここで、D(a,b)は二点ab間の距離であり、φはpikの検索範囲の半径である。

【0067】
図12に示したように、2つのグラフの対応する点を点線(図中、点pikと点pilの間)で接続する。2つのグラフを1つにするのと同時に、対応点の割当は、エネルギー最小化により最適化される。対応するプロジェクタ間のエッジのエネルギーは、

【0068】
【数10】
JP0006270157B2_000012t.gif
ただし、d(P3D)は、カメラiの座標点P3Dの深さであり、τは、ユーザが決める重みである。複数のカメラと複数のプロジェクタの総エネルギーを下記のように定義する。

【0069】
【数11】
JP0006270157B2_000013t.gif
ただし、A(i)は、カメラiの視点を共有するプロジェクタの集合であり、A(k)は、プロジェクタkの視点を共有するカメラの集合である。Sijkは、プロジェクタkのパターンにより与えられるカメラi,j間のエッジの集合であり、Qiklは、カメラiの画像におけるプロジェクタk,l間のエッジの集合である。

【0070】
なお、画像の高密度化は、第2の実施形態において、図9を参照して説明した方法を用いることができる。

【0071】
次に、エネルギー最小化により全ての範囲の画像を最適化する。第2の実施形態では、エネルギーをデータ項と正規化項とに分けた。データ項は、カメラとプロジェクタとの間の強度差から算出され、正規化項は、グリッドグラフの各頂点の曲率を用いて定義される。2つの範囲の画像を重ね合わせると、形状が一致し、付加的な制約条件を用いて、深さを最適化する。

【0072】
図13に、2台のプロジェクタの2つの範囲の画像を重ね合わせた状態を示す。座標点p3Dkは、プロジェクタk(2503)の点rから算出される。座標点p3Dkの投影がカメラ(2501)のマスクにあれば、点rはプロジェクタl(2502)と重なる。座標点p3Dkをプロジェクタlの画像に投影したとき、座標点p3Dkが3つの点rl0,rl1,rl2からなる三角形の中にあるとき、これらは、対応点となる。

【0073】
点rの深さをdとし、dの微小変化Δdとすると、Δdを用いて反復して最小化し、深さを更新する。Δdを用いてエネルギーを以下のように定義する。

【0074】
【数12】
JP0006270157B2_000014t.gif
ただし、ΔDはΔdの集合であり、Eはデータ項、Eは正規化項である。Eは2つの範囲の画像の間の制約を表す。G(r)は、点rの対応点rlnを見つける関数である。P3D(Δd)は視線に沿って座標点p3DをΔdだけ移動したことを示す。各画素のdは、非線形最小化法により誤差E(ΔD)を最小化するΔdを加えることにより、反復的に更新される。

【0075】
第3の実施形態では、例えば、6-カメラ/6-プロジェクタを円周上に、交互に配置した場合を考える。1台のプロジェクタの両側には2台のカメラがあるので、第2の実施形態で説明した2-カメラ/1-プロジェクタのセットが6通り得られる。各プロジェクタが投影するパターンの色は、RGBRGBのように隣り合う色が同じにならないようにすれば、1台のカメラには、両側の2台のプロジェクタから2種類のパターンが投影される。従って、RG、GB、BRの2色の組み合わせのいずれかについて、上述した方法により区別することになる。

【0076】
以上の実施形態をまとめると、第1の実施形態では、カメラ-プロジェクタ間の情報、第2の実施形態では、カメラ-カメラ間の情報、第3の実施形態ではプロジェクタ-プロジェクタ間の情報を加えて対応を見つける形態となる。

【0077】
(第4の実施形態)
第1~3の実施形態において、マッチングコストを、カメラ画像とプロジェクタ画像(パターン画像)とのSSDとして計算していた。四角形の領域に対する単純なSSDは、データ項には適さないので、対象物体における格子点において、その周辺の領域を格子点の接平面で近似したパッチを用いた。第4の実施形態では、このような画像そのものの比較ではなく、線検出した結果を比較する。

【0078】
図14を参照して、交点比較法の別の実施形態を説明する。線検出の結果、交点の周りの局所的な線検出誤差(線特徴と呼ぶ)を用いる。図14の実線は、線検出の結果であり、破線は、プロジェクタパターンであり、それぞれの位置の差の和(=誤差)を計算し、BPに与えるコストとして用いる。誤差が小さい場合には、格子点が対応する可能性が高いことになる。この方法によれば、第1の実施形態で説明したSSDの計算と比較して、計算量を削減することができる。

【0079】
また、SSDの計算では、カメラとプロジェクタの画像そのものを比較するため、物体に模様がある場合、カメラ画像はその模様に影響される。すなわち、模様によって画像の輝度値が変化して、比較した結果の差が大きくなる。一方、線特徴の場合、検出された線の位置を比較し、画像そのものを比較しないため、画像の輝度値の変化に影響されない。従って、物体の反射率の影響を軽減することができる。

【0080】
(第5の実施形態)
図3A,3Bを参照して説明したように、投影するパターンのパラメータは、経験的に決定していた。そこで、形状計測結果が最も良くなるパターンを、事前に予測して、パラメータを決定する。

【0081】
図15Aに示したように、ステレオマッチングでは、あるカメラ画像の格子点2603に対応するプロジェクタ画像の対応点2602は、エピポーラ線(直線)2601上に存在する。同じエピポーラ線上に乗っている交点同士は、誤った対応点候補である(誤対応)可能性がある(例えば、図15Bの交点2602,2604)。そこで、同じエピポーラ線上の交点に対し、SSD、または第4の実施形態で説明した線特徴の比較を行う。その差がなるべく大きくなるようにパラメータを選択すればよい。隣接する交点の情報を含めて比較を行うため、式2で表すエネルギーをBPによって繰り返し計算する。各交点について、誤対応のうちもっともBPで計算するエネルギーが小さいものをその交点の評価値とし、全ての交点を考慮した評価値を計算する。全体の評価値が最も小さくなるパラメータを最適なパラメータとして決定する。

【0082】
同じエピポーラ線上の任意の2つの交点についての類似度を比較して、最も類似度が低くなるようにパラメータを選択することになる。全体の評価値として、全ての交点の評価値の平均を用いるが、任意の交点のみを考慮した平均評価値、または全ての交点の評価値の中の最小あるいは最大の値を全体の評価値として用いることもできる。これら評価値が最も小さくなるパラメータを最適なパラメータとして決定する。

【0083】
なお、最適パラメータの決定においては、プロジェクタ画像のみを用いて、プロジェクタ画像のエピポーラ線上の交点同士で比較を行う。カメラとプロジェクタは校正(キャリブレーション)済みであると仮定すると、グリッドパターンのパラメータを変えても、エピポーラ線は不変であり、同じエピポーラ線上に乗る交点は変化する。同じエピポーラ線上に乗っている交点を用いて計算した評価値が最も小さいパラメータを選ぶことになる。

【0084】
グリッドパターンのパラメータとして波線の間隔、波線の波長、波線の振幅を変更し、またはパターンの回転を行って、それぞれの場合についてエネルギー計算を行い、全体の評価値が最も小さくなるパラメータを最適なパラメータとして決定する。なお、パラメータとしては、この他にも、波線の太さ、色(波長)などを含めてもよい。
【実施例1】
【0085】
図17~18に、第1の実施形態のシミュレーション結果を示す。ここでは、スタンフォード大学の形状データ集(非特許文献21)のbunnyデータを目標形状として利用した。図16Aは、テクスチャの無い観測対象の画像であり、図17Aは、格子模様がマッピングされている画像である。これら入力画像を、非特許文献22に記載されているレイトレーシングソフトで生成した画像を、図16B、図17Bにそれぞれ示す。図16C、図17Cは、頭部における第1の実施形態のグリッド検出結果である。頭部、耳、胴体の境界において、グリッドの接続性が誤って検出された所があるが、これらは、ステレオマッチングの処理において正しく切断されている。
【実施例1】
【0086】
図18Aは、非特許文献8に記載されている2色を利用する手法の入力画像であり、テクスチャの無い観測対象の画像である。図19Aは、テクスチャがある観測対象の画像である。それぞれ、2色の線を3本用いて8周期の局所的ID情報が符号化されている。この手法は、観測対象にテクスチャが無い場合には、図18Bに示すように成功する。しかし、図19Bに示すように、テクスチャがある場合には、パターンの色情報が乱され、ID情報の復号化と3次元復元に失敗している。
【実施例1】
【0087】
上記実験の定量的な評価を行うために、図16B、図17B、図18Aの対応の誤差を計算した。カメラ画像の各画素に対応するプロジェクタ画像の座標は既知であるので、復元結果において推定された対応点と正解の対応点との誤差を、画像面上での距離で算出した。図20A-Cは、それぞれ順に、図16B、図17B、図18Aの誤差をそれぞれ画像化したものである。明るい画素は、誤差が大きいことを示す。
【実施例1】
【0088】
画素を単位とした二乗誤差の平方根(RMSE)を、下表に示す。
【実施例1】
【0089】
【表1】
JP0006270157B2_000015t.gif
【実施例1】
【0090】
RMSEの値は、復元された全ての対応点について計算されたRMSE1と、1画素を超える外れ値を除いた対応点について計算されたRMSE2とを示す。この表から、テクスチャが無い場合、全ての画素についてのRMSE1は、第1の実施形態の方法が非特許文献8の方法よりも良いのに対し、外れ値を除いたRMSE2は、非特許文献8の方法が第1の実施形態の方法よりも良かったことがわかる。
【実施例1】
【0091】
この理由は以下のように考えられる。非特許文献8の方法では、周期的に現れる線パターンの局所ID(位相)から対応点を求めるので、局所ID情報が正確に計算されれば精度が高い。しかし、局所IDの復号に失敗すると、大きな誤差が生じる。このような誤差は、図20Cのごま塩状の雑音として観測される。また、格子模様がマッピングされている場合、非特許文献8の方法では、復元そのものが失敗したのに対し、第1の実施形態の方法では、誤差が少し大きくなったものの形状復元に成功した。したがって、第1の実施形態の方法は、特にテクスチャがある場合、非特許文献8の方法よりも頑健で精度が高いと言える。
【実施例1】
【0092】
図21A,Bに、第1の実施形態によって復元されたポリゴンメッシュを示す。図21Aは、図16Bの入力画像に対応し、図21Bは、図17Bの入力画像に対応する。図21A,Bの形状は、補間による密な復元の結果である。本実験の条件では、カメラ、プロジェクタ間のベースラインが大きく、例えば、100画素程度の視差が存在するが、ステレオ復元では探索範囲を指定することなく正しく対応が得られる。さらに、補間と最適化により密な対応点を得ることができる。
【実施例2】
【0093】
実データによる実験結果について述べる。1600×1200画素のカメラと、1024×768画素のプロジェクタとを使用した。画像系列は30FPSで撮影され、Intel Core i7 2.93GHzとNVIDIA GeForce 580GTXを備えたPCを利用した。上述したアルゴリズムは、CUDA(Compute Unified Device Architecture)により実装された。線検出は、CPU上にシングルスレッドで実装された。最初に、波線によるグリッドパターンの効果を示すために、波線によるグリッドパターンと直線パターンとを比較する。
【実施例2】
【0094】
図22A-Dに、波線によるグリッドパターンにより再構成された結果を示す。図3Bに示した波状パターンで復元された3次元再構成結果である。図22Aに入力画像を、図22Bに、プロジェクタ・カメラ系ステレオ法による復元結果を示す。物体の不連続部分(マネキンの頭部と首の境界)におけるグリッド線は、ステレオ処理の過程において正しく切断されている。
【実施例2】
【0095】
図22Cに、本実施形態による3次元復元の結果を示す。グリッド点の数は943であり、各グリッド点における対応点候補数の平均値は41であった。ステレオ処理にかかった時間は0.22秒であった。探索範囲は、画像全体に設定したにも関わらず、グリッドパターンが画素数と比べて疎であることにより、計算コストは小さかった。
【実施例2】
【0096】
図22Dに、上述の補間手法により生成された密な形状を示す。三次元モデルの頂点数は25,938であった。最適化における繰り返し回数は5であり、補間処理にかかった時間は0.59秒であった。線検出を含めた総計算時間は4.87秒であった。
図23A-Cに、第1の実施形態の精度を評価した結果を示す。図23Aに入力画像を、図23Bに、上述の補間手法により生成された形状を示し、図23Cに、誤差を画像化したものを示す。立方体形状の計測により評価する。立方体の大きさは一辺0.2mであり、カメラからの距離は1.0mである。復元された立方体の各面に平面を当てはめ、各平面からの誤差をRMSEで算出した。2個の面のRMSEの平均値は0.36mmであり、面の間の角度は88.8度(正解は90.0度)であった。この誤差は、実用的に十分小さいと考えられる。
【実施例2】
【0097】
図24A-Cに、環境光の影響下において再構成された結果を示す図である。単色の静的パターンの重要な利点として、パターンを照射するデバイス選択の幅が広がることが挙げられる。そこで、単一波長の光を投影するレーザプロジェクタを利用した復元実験を行った。投影される光のエネルギーが狭帯域に集中しているので、適当なバンドパスフィルタを用いることにより、環境光の影響下においても、投影パターンを観測することができる。図24Aは実験環境であり、目標が外部光源から強く照らされていることがわかる。しかし、図24Bに示すように、バンドパスフィルタにより、照射されたパターンが明確にされ、図24Cに示すように、3次元復元を正しく行うことができる。
【実施例2】
【0098】
図25及び26に、手の開閉の運動の計測結果を示す。図25(a)-(d)の順に手のひらを閉じた動きを計測した。図26(a)-(d)は、それぞれの計測結果である。第1の実施形態によれば、ワンショット復元であるため、対象物体が高速に動いていても、フレームごとに独立して3次元復元を行うことができる。
【実施例2】
【0099】
図27及び28に、パンチ動作中の人体の動きの計測結果を示す。図27(a)-(d)の順に右手を繰り出した動きを計測した。図28(a)-(d)は、それぞれの計測結果である。第1の実施形態によれば、ワンショット復元であるため、対象物体が高速に動いていても、フレームごとに独立して3次元復元を行うことができる。
【実施例2】
【0100】
単色かつ静的なパターンの照射による単一画像からの三次元形状復元(ワンショット復元)方法について述べた。波線のグリッドパターンにおける各交点のパターンの違いにより、対応情報を暗黙的に表現する。そこで、パターンの規則性を乱すことにより、パターンの特異性が大きくなり、安定した解が得られる。また、ステレオ法による形状復元を、グリッドの接続性を考慮しながらプロジェクタ・カメラ系に拡張する方法について述べた。復元の最終段階では、グリッドによる復元を補間して、画素単位の深さ推定が行われる。従来の方法と比較して、より安定した結果が得られること、移動物体の計測が効果的に行われることを示した。
図面
【図1】
0
【図2】
1
【図3A】
2
【図3B】
3
【図4A】
4
【図4B】
5
【図5】
6
【図6】
7
【図7】
8
【図8】
9
【図9】
10
【図10】
11
【図11A】
12
【図11B】
13
【図11C】
14
【図11D】
15
【図11E】
16
【図12】
17
【図13】
18
【図14】
19
【図15A】
20
【図15B】
21
【図16A】
22
【図16B】
23
【図16C】
24
【図17A】
25
【図17B】
26
【図17C】
27
【図18A】
28
【図18B】
29
【図19A】
30
【図19B】
31
【図20A】
32
【図20B】
33
【図20C】
34
【図21A】
35
【図21B】
36
【図22A】
37
【図22B】
38
【図22C】
39
【図22D】
40
【図23A】
41
【図23B】
42
【図23C】
43
【図24A】
44
【図24B】
45
【図24C】
46
【図25】
47
【図26】
48
【図27】
49
【図28】
50