Top > Search of Japanese Patents > IMAGE PROCESSING SYSTEM, AND IMAGE PROCESSING METHOD

IMAGE PROCESSING SYSTEM, AND IMAGE PROCESSING METHOD foreign

Patent code P190016167
Posted date Jun 27, 2019
Application number P2014-527960
Patent number P6270157
Date of filing Jun 28, 2013
Date of registration Jan 12, 2018
International application number JP2013004059
International publication number WO2014020823
Date of international filing Jun 28, 2013
Date of international publication Feb 6, 2014
Priority data
  • P2012-168412 (Jul 30, 2012) JP
Inventor
  • (In Japanese)佐川 立昌
  • (In Japanese)川崎 洋
  • (In Japanese)古川 亮
Applicant
  • (In Japanese)国立研究開発法人産業技術総合研究所
  • (In Japanese)国立大学法人鹿児島大学
  • (In Japanese)公立大学法人広島市立大学
Title IMAGE PROCESSING SYSTEM, AND IMAGE PROCESSING METHOD foreign
Abstract (In Japanese)動物体の計測においても高密度な形状復元を行う。投影装置により観測対象上に投影された投影パターンを、撮影装置により撮影し、前記投影装置および前記撮影装置に接続された画像処理装置において、該投影パターンを含む入力画像から形状復元を行う画像処理システムにおいて、前記画像処理装置が、前記撮影装置により撮影された入力画像を取り込み、前記投影装置により投影された投影パターンの線検出を行う手段であって、該投影パターンは、波線によるグリッドパターンであることと、前記線検出により抽出された縦横線の交点を、前記投影パターンと対応付けることにより形状復元を行う手段とを備えた。
Outline of related art and contending technology (In Japanese)

最近、動く3次元シーンの復元が注目されている。例えば、人体を実時間計測してその動きを解析することにより、デバイスの装着が不要なインタフェースを実現するゲーム用製品が大きな成功を納めている(例えば、非特許文献1参照)。さらに、そのような製品を自律移動するロボットの目として利用する研究も進められており、動物体計測の重要性が強く認識されている。現在利用可能な動物体スキャナは、静的シーンを計測する3次元スキャナほど高精度・高密度な計測ができない。しかし、もう一段の精度および密度の向上が実現できれば、医療応用や流体解析など、応用範囲が格段に拡がると考えられる。

動いている対象の形状計測を行う方法は、カメラのみを用いるステレオ手法からTime-of-Flight(TOF)方式によるレーザスキャンまで多数存在する。このうち、プロジェクタとカメラを用いるシステムによって構造化された光線を投影する手法は、動いている物体の形状データを得るのに適しているので、最近熱心に開発・研究されている(例えば、非特許文献1-4参照)。

構造化された光線を投影する手法は、大まかに時間符号化法と空間符号化法に分類される。空間符号化法は、単一画像から形状復元する(ワンショットスキャン)手法のため、動物体を高フレームレートで計測するのに適している。このため盛んに研究されている。空間符号化法においては、投影パターン全体の中から一意に特定可能な対応点情報を、2次元パターンに直接埋め込む。このためには、ある程度大きな領域が必要なため、復元密度が低くなりがちである。また、表面形状変化によるパターンのひずみ等による復号化誤りなども起きやすい。

効率的に対応点情報を2次元パターンに埋め込む方法として、色情報を使うことが考えられる。複数の色を用いて、複数のビット情報を各点に埋め込む方法は、広く利用されてきた(例えば、非特許文献3,5-8参照)。しかし、色情報を利用する場合、目標物体の表面はRGBの各色要素を十分に反射する必要がある。また、市販のプロジェクタでは各色要素間のスペクトル分布が干渉するため、各画素の色の決定には誤差が生じやすい。このため、色を利用しない空間符号化手法として、点線パターンやグリッドパターンなどを利用する方法が提案されている。しかしながら、これまでのところ曖昧性や密度低下の問題を完全には解決できていない。

能動計測手法としては、TOFスキャナや能動ステレオによるシステムが一般に良く知られている。動物体の能動計測手法も、様々な手法が研究されている。多くのTOFレーザスキャナでは、計測したい対象に向けて点レーザ光が照射され、このレーザ光が検出器に戻るまでの時間が計測される。このため、一度に一点のみが計測され、広い範囲を短時間で計測することには適さない。そこで、動物体などを計測するために、広範囲に対して時間的に変調された光を照射し、二次元センサーの各画素でその変調を観測することにより、距離画像の計測を実現する装置がある(例えば、非特許文献9,10参照)。しかし、現状では他の光源による外乱に弱く、解像度も通常のカメラと比較して低い。

一方、能動ステレオによる計測手法では、多くの場合、点レーザ光あるいはラインレーザ光を照射し、これを走査することにより対象を計測する。このため、計測に時間がかかることから、動物体の計測には向いていなかった。ビデオプロジェクタなどの面状光源を利用することにより、計測時間を短縮することができるが、対応点問題を解く必要がある。その解決方法としては、大きく時間符号化方式と空間符号化方式とがある(例えば、非特許文献5参照)。

時間符号化方式では、複数のパターンを投影し、パターンの各点の時間変化の中に情報が符号化される。このため、動物体計測には適さないと言える。この欠点を補うためにいくつかの方法が提案されている。例えば、パターンを高速に切り替える方法(例えば、非特許文献11参照)、位相パターンを用いて必要な枚数を減らす方法(例えば、非特許文献12参照)、またはDMDパターンを使う方法(例えば、非特許文献13参照)等である。

また、通常の能動ステレオとは少し異なるアプローチとして、カメラを2台以上用いて、時間変化するパターンを照射する時空間ステレオ法(例えば、非特許文献14参照)等も提案されている。現在、動き推定を組み合わせて、100fps程度での計測に成功した例も紹介されている。しかしながら、複数フレームの情報を必要とするため、高速な物体の計測には本質的に適さない。

一方、空間符号化方式は、静的パターンを用いて、一枚のみの入力画像から形状を復元するため、動物体計測に向いている。しかし、パターンの空間的な領域に情報を埋め込む必要性から、解像度が低く。加えて、対象物体表面のテクスチャや形状によりパターンが歪むため、不安定になりやすい。このため、これを軽減する方法が多数提案されている。例えば、同じ組み合わせの無いように複数の色の帯を用いる方法(例えば、非特許文献15,16参照)、特異な点線を利用する手法(例えば、非特許文献17,18参照)、二次元的なパターンに情報を埋め込む手法(例えば、非特許文献1,19参照)等がある。しかしながら、精度・解像度および安定性の全てにおいて十分な性能を満たしている手法は未だ存在していない。

Field of industrial application (In Japanese)

本発明は、画像処理システムおよび画像処理方法に関し、より詳細には、単色パターンによるワンショット三次元計測による高密度な形状復元を行う画像処理システムおよび画像処理方法に関する。

Scope of claims (In Japanese)
【請求項1】
 
1つの投影装置により観測対象上に投影された投影パターンを、1つの撮影装置により撮影し、前記1つの投影装置および前記1つの撮影装置に接続された画像処理装置において、該投影パターンを含む入力画像から形状復元を行う画像処理システムにおいて、前記画像処理装置が、
前記1つの撮影装置により撮影された入力画像を取り込み、前記1つの投影装置により投影された投影パターンの線検出を行う手段であって、該投影パターンは、波線によるグリッドパターンであり、前記波線は、一定の周期性を持つ波状の曲線であり、前記波線によるグリッドパターンは、一定の間隔に配置された複数の波線からなり、互いに交差する2方向の波線の集合であって、一方の波線の間隔が他方の波線の波長の整数倍でないことと、
前記線検出により抽出された縦横線の交点を、前記投影パターンと対応付けることにより形状復元を行う手段と
を備えたことを特徴とする画像処理システム。

【請求項2】
 
前記形状復元を行う手段は、
前記1つの撮影装置により撮影された入力画像における各々の格子点周辺の領域を接平面で近似したパッチを、前記1つの投影装置における出力画像に再投影する手段と、
前記再投影されたパッチと前記1つの投影装置により投影された投影パターンの格子点の対応候補とのステレオマッチングのエネルギーを、格子点に割り当てるデータ項と隣接格子点との間で得られる正規化項との和により計算する手段と、
前記対応候補のステレオマッチングのエネルギーが、最小の対応候補である格子点を、前記投影パターンと対応付けることにより形状復元を行う手段と
を含むことを特徴とする請求項1に記載の画像処理システム。

【請求項3】
 
前記形状復元を行う手段は、
3つの標本画素からなる三角メッシュを作成し、準画素単位の深さを計算する手段と、
前記三角メッシュを前記1つの投影装置における出力画像に再投影したときの誤差を、全ての標本画素について計算し、前記計算された誤差を最小化し、前記標本画素以外の画素における深さを線形補間する手段と
を含むことを特徴とする請求項1に記載の画像処理システム。

【請求項4】
 
前記1つの撮影装置とは異なる第2の撮影装置をさらに備え
前記形状復元を行う手段は、前記格子点についての前記1つの撮影装置および前記第2の撮影装置の間で得られる正規化項を、前記対応候補のステレオマッチングのエネルギーに加算して、前記対応候補を取捨選択する手段を含むことを特徴とする請求項2に記載の画像処理システム。

【請求項5】
 
前記形状復元を行う手段は、前記格子点について、前記1つの撮影装置および前記第2の撮影装置で得られた画素単位の深さを、平均により統合する手段を含むことを特徴とする請求項4に記載の画像処理システム。

【請求項6】
 
前記1つの投影装置とは異なる第2の投影装置をさらに備え
前記形状復元を行う手段は、前記1つの投影装置から投影された第1の投影パターンと、前記第2の投影装置から投影された第2の投影パターンとで一致する格子点について、画素単位の深さを最適化する手段を含むことを特徴とする請求項1に記載の画像処理システム。

【請求項7】
 
前記形状復元を行う手段は、
前記格子点についての前記投影パターンと、前記線検出により得られた結果との差を、前記格子点の周囲の複数の位置で計算し、該計算された結果を前記対応候補のマッチングコストとして、最小の対応候補である格子点を、前記投影パターンと対応付けることにより形状復元を行う手段を含むことを特徴とする請求項2に記載の画像処理システム。

【請求項8】
 
前記投影パターンを前記観測対象に投影したときに、同じエピポーラ線上の任意の2つの交点についての類似度を比較し、最も類似度が低くなるように、前記投影パターンのパラメータが選択されていることを特徴とする請求項1に記載の画像処理システム。

【請求項9】
 
1つの投影装置により観測対象上に投影された投影パターンを、1つの撮影装置により撮影し、前記1つの投影装置および前記1つの撮影装置に接続された画像処理装置において、該投影パターンを含む入力画像から形状復元を行う画像処理方法であって、
前記画像処理装置が、前記1つの撮影装置により撮影された入力画像を取り込み、前記1つの投影装置により投影された投影パターンの線検出を行うステップであって、該投影パターンは、波線によるグリッドパターンであり、前記波線は、一定の周期性を持つ波状の曲線であり、前記波線によるグリッドパターンは、一定の間隔に配置された複数の波線からなり、互いに交差する2方向の波線の集合であって、一方の波線の間隔が他方の波線の波長の整数倍でないことと、
前記画像処理装置が、前記線検出により抽出された縦横線の交点を、前記投影パターンと対応付けることにより形状復元を行い、復元された画像を表示するステップと
を備えたことを特徴とする画像処理方法。

【請求項10】
 
1つの投影装置により観測対象上に投影された投影パターンを、1つの撮影装置により撮影し、前記1つの投影装置および前記1つの撮影装置に接続された画像処理装置に、該投影パターンを含む入力画像から形状復元を行わせるコンピュータ実行可能命令からなるコンピュータプログラムにおいて、
前記1つの撮影装置により撮影された入力画像を取り込み、前記1つの投影装置により投影された投影パターンの線検出を行うステップであって、該投影パターンは、波線によるグリッドパターンであり、前記波線は、一定の周期性を持つ波状の曲線であり、前記波線によるグリッドパターンは、一定の間隔に配置された複数の波線からなり、互いに交差する2方向の波線の集合であって、一方の波線の間隔が他方の波線の波長の整数倍でないことと、
前記線検出により抽出された縦横線の交点を、前記投影パターンと対応付けることにより形状復元を行い、復元された画像を表示するステップと
を実行させることを特徴とするコンピュータプログラム。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2014527960thum.jpg
State of application right Registered
Reference ( R and D project ) Interactive Robotics Research Group,AIST
(In Japanese)ライセンス等を御希望の方又は特許の内容に興味を持たれた方は,下記「問合せ先」まで直接お問い合わせくださいますよう,お願い申し上げます。


PAGE TOP

close
close
close
close
close
close
close