Top > Search of Japanese Patents > THREE-DIMENSIONAL SHAPE ESTIMATION DEVICE, THREE-DIMENSIONAL SHAPE ESTIMATION METHOD AND THREE-DIMENSIONAL SHAPE ESTIMATION PROGRAM > Specification

Specification :(In Japanese)3次元形状推定装置、3次元形状推定方法及び3次元形状推定プログラム

Country (In Japanese)日本国特許庁(JP)
Gazette (In Japanese)特許公報(B2)
Patent Number P5686412
Publication number P2013-025458A
Date of registration Jan 30, 2015
Date of issue Mar 18, 2015
Date of publication of application Feb 4, 2013
Title of the invention, or title of the device (In Japanese)3次元形状推定装置、3次元形状推定方法及び3次元形状推定プログラム
IPC (International Patent Classification) G06T   7/00        (2006.01)
FI (File Index) G06T 7/00 C
Number of claims or invention 3
Total pages 8
Application Number P2011-157870
Date of filing Jul 19, 2011
Date of request for substantive examination Aug 19, 2013
Patentee, or owner of utility model right (In Japanese)【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
【識別番号】504132272
【氏名又は名称】国立大学法人京都大学
Inventor, or creator of device (In Japanese)【氏名】ウ 小軍
【氏名】延原 章平
【氏名】松山 隆司
Representative (In Japanese)【識別番号】110001634、【氏名又は名称】特許業務法人 志賀国際特許事務所
Examiner (In Japanese)【審査官】伊藤 隆夫
Document or reference (In Japanese)三功 浩嗣 他,確率尤度を用いた3次元形状モデル投影型背景分離方式,映像情報メディア学会誌,日本,(社)映像情報メディア学会,2010年11月 1日,Vol.64, No.11,pp.1685~1697
Field of search G06T 7/00 - 7/60
Scope of claims (In Japanese)【請求項1】
空間の異なる位置から対象物体を撮影する多視点カメラによって撮像した画像から、前記対象物体の3次元形状を推定する3次元形状推定装置であって、
前記多視点マルチカメラによって撮像した背景画像及び前景画像を入力する画像入力手段と、
前記対象物体を含む3次元空間全体をボクセルに分割する分割手段と、
前記ボクセルを前記背景画像及び前記前景画像に投影し、前記対象物体に含まれる第1の尤度を計算する第1の計算手段と、
前記ボクセルのそれぞれについて、当該ボクセルから隣接するボクセルへと向かう方向の間に前記対象物体の境界面が存在する第2の尤度を、カメラの視線方向が当該ボクセルから隣接するボクセルへの方向と許容の垂直範囲にあるカメラにより撮像された画像から計算する第2の計算手段と、
前記第1の尤度及び前記第2の尤度を重み係数とする枝をボクセル毎に定義し、グラフを構築する構築手段と、
前記構築された前記グラフに対し、最小グラフカットを計算することにより対象となるボクセル集合を計算する第3の計算手段と、
前記ボクセル集合を前記対象物体の3次元形状情報として出力する形状出力手段と
を備えたことを特徴とする3次元形状推定装置。
【請求項2】
空間の異なる位置から対象物体を撮影する多視点カメラによって撮像した画像から、前記対象物体の3次元形状を推定する3次元形状推定方法であって、
前記多視点マルチカメラによって撮像した背景画像及び前景画像を入力する画像入力ステップと、
前記対象物体を含む3次元空間全体をボクセルに分割する分割ステップと、
前記ボクセルを前記背景画像及び前記前景画像に投影し、前記対象物体に含まれる第1の尤度を計算する第1の計算ステップと、
前記ボクセルのそれぞれについて、当該ボクセルから隣接するボクセルへと向かう方向の間に前記対象物体の境界面が存在する第2の尤度を、カメラの視線方向が当該ボクセルから隣接するボクセルへの方向と許容の垂直範囲にあるカメラにより撮像された画像から計算する第2の計算ステップと、
前記第1の尤度及び前記第2の尤度を重み係数とする枝をボクセル毎に定義し、グラフを構築する構築ステップと、
前記構築された前記グラフに対し、最小グラフカットを計算することにより対象となるボクセル集合を計算する第3の計算ステップと、
前記ボクセル集合を前記対象物体の3次元形状情報として出力する形状出力ステップと
を有することを特徴とする3次元形状推定方法。
【請求項3】
コンピュータを、請求項1に記載の3次元形状推定装置として機能させるための3次元形状推定プログラム。
Detailed description of the invention (In Japanese)【技術分野】
【0001】
本発明は、3次元形状推定装置、3次元形状推定方法及び3次元形状推定プログラムに関する。
【背景技術】
【0002】
従来から、複数の視点でそれぞれ撮影された対象物体の画像に基づき、それぞれの視点に対応した対象物体のシルエットを事前に撮影した背景画像との比較により求め、SfS(Shape-from-Silhouette)法に適用することで、3次元形状を求める手法が知られている(例えば、非特許文献1、2参照)。SFS法は、それぞれの画像に撮影された対象物体のシルエットを抽出し、シルエットとカメラの射影中心が形成する錐体の内側に対象物体が含まれるといった性質を利用して三次元形状を復元する手法である。
【0003】
ここで、図4を参照して、従来手法の処理動作を説明する。図4は、従来手法の処理動作を示すフローチャートである。まず、予め複数の視点において、対象物体のない背景画像を撮影し、保存しておく。次に対象物体の存在する前景画像を撮影して保存する。そして、多視点マルチカメラの背景画像を入力する(ステップS1)とともに、前景画像を入力する(ステップS2)。
【0004】
次に、それぞれの視点に対し、例えば、背景差分法などにより、対象シルエットを計算することにより、複数の視点に対応した対象物体のシルエットを求める(ステップS3)。そして、すべての視点の対象物体のシルエットに対してSfS法を適用し、3次元形状の計算を行い(ステップS4)、得られた3次元形状の情報を出力する(ステップS5)。一般的には、計算される3次元形状はボクセル表現となり、対象を表す3次元空間中のボクセル集合として出力されることになる。
【先行技術文献】
【0005】

【非特許文献1】A. Laurentini:“The visual hull concept for silhouette- based imageunderstanding ”, PAMI, 16, 2, pp. 150 162 (1994).
【非特許文献2】W. N. Martin and J. K. Aggarwal: “ Volumetric description of objects from multiple views ”, PAMI, 5(2), pp. 150158 (1983).
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、従来技術による3次元形状算出手法では、入力画像から正確なシルエットが求められることが計算上の前提条件であるが、実環境の複雑背景において、この条件は容易に満たされるものではない。すなわち、従来手法は最終結果である3次元形状は対象物体のシルエットの精度に強く影響されるため、実用的ではないという問題がある。
【0007】
本発明は、このような事情に鑑みてなされたもので、3次元形状を算出する際の前提条件を緩和し、正確なシルエットを求めることなく、3次元形状の推定を行うことができる3次元形状推定装置、3次元形状推定方法及び3次元形状推定プログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明は、空間の異なる位置から対象物体を撮影する多視点カメラによって撮像した画像から、前記対象物体の3次元形状を推定する3次元形状推定装置であって、前記多視点マルチカメラによって撮像した背景画像及び前景画像を入力する画像入力手段と、前記対象物体を含む3次元空間全体をボクセルに分割する分割手段と、前記ボクセルを前記背景画像及び前記前景画像に投影し、前記対象物体に含まれる第1の尤度を計算する第1の計算手段と、前記ボクセルのそれぞれについて、隣接するボクセルとの間に前記対象物体の境界面が存在する第2の尤度を計算する第2の計算手段と、前記第1の尤度及び前記第2の尤度を重み係数とする枝をボクセル毎に定義し、グラフを構築する構築手段と、前記構築された前記グラフに対し、最小グラフカットを計算することにより対象となるボクセル集合を計算する第3の計算手段と、前記ボクセル集合を前記対象物体の3次元形状情報として出力する形状出力手段とを備えたことを特徴とする。
【0009】
本発明は、空間の異なる位置から対象物体を撮影する多視点カメラによって撮像した画像から、前記対象物体の3次元形状を推定する3次元形状推定方法であって、前記多視点マルチカメラによって撮像した背景画像及び前景画像を入力する画像入力ステップと、前記対象物体を含む3次元空間全体をボクセルに分割する分割ステップと、前記ボクセルを前記背景画像及び前記前景画像に投影し、前記対象物体に含まれる第1の尤度を計算する第1の計算ステップと、前記ボクセルのそれぞれについて、隣接するボクセルとの間に前記対象物体の境界面が存在する第2の尤度を計算する第2の計算ステップと、前記第1の尤度及び前記第2の尤度を重み係数とする枝をボクセル毎に定義し、グラフを構築する構築ステップと、前記構築された前記グラフに対し、最小グラフカットを計算することにより対象となるボクセル集合を計算する第3の計算ステップと、前記ボクセル集合を前記対象物体の3次元形状情報として出力する形状出力ステップとを有することを特徴とする。
【0010】
本発明は、空間の異なる位置から対象物体を撮影する多視点カメラによって撮像した画像から、前記対象物体の3次元形状を推定する3次元形状推定装置上のコンピュータに3次元形状推定処理を行わせる3次元形状推定プログラムであって、前記多視点マルチカメラによって撮像した背景画像及び前景画像を入力する画像入力ステップと、前記対象物体を含む3次元空間全体をボクセルに分割する分割ステップと、前記ボクセルを前記背景画像及び前記前景画像に投影し、前記対象物体に含まれる第1の尤度を計算する第1の計算ステップと、前記ボクセルのそれぞれについて、隣接するボクセルとの間に前記対象物体の境界面が存在する第2の尤度を計算する第2の計算ステップと、前記第1の尤度及び前記第2の尤度を重み係数とする枝をボクセル毎に定義し、グラフを構築する構築ステップと、前記構築された前記グラフに対し、最小グラフカットを計算することにより対象となるボクセル集合を計算する第3の計算ステップと、前記ボクセル集合を前記対象物体の3次元形状情報として出力する形状出力ステップとを行わせることを特徴とする。
【発明の効果】
【0011】
本発明によれば、SfS法のように個々の視点画像だけで対象シルエットを決めるのではなく、3次元空間中のボクセルをグラフ構造に定義し、グラフカットの手法を用いて、複数視点画像を大局的に評価することにより最適な3次元形状を求めることができると同時に、複雑背景下でも対象領域の抽出が可能になるという効果が得られる。
【図面の簡単な説明】
【0012】
【図1】本発明の一実施形態の構成を示すブロック図である。
【図2】図1に示す装置の動作を示すフローチャートである。
【図3】グラフの構成を示す説明図である。
【図4】従来技術による処理動作を示すフローチャートである。
【発明を実施するための形態】
【0013】
以下、図面を参照して、本発明の一実施形態による3次元形状推定装置を説明する。図1は同実施形態の構成を示すブロック図である。この図において、符号11~14は、2次元形状の推定対象である3次元物体を複数視点位置から撮像するために、4台のカメラで構成するマルチカメラである。図1においては、4台のマルチカメラを図示したが、画像を撮像するカメラは、必要に応じて5台以上であってもよい。符号21は、マルチカメラ11~14により撮像した前景画像を記憶する前景画像記憶部である。符号22は、マルチカメラ11~14により撮像した背景画像を記憶する背景画像記憶部である。

【0014】
符号31は、前景画像記憶部21に記憶されている前景画像を入力する前景画像入力部である。符号32は、背景画像記憶部22に記憶されている背景画像を入力する背景画像入力部である。符号4は、入力した前景画像と、入力した背景画像とから3次元物体の3次元形状を求める画像処理部である。符号41は、求める3次元物体の形状情報を記憶する形状記憶部である。符号5は、画像処理部4において求めた3次元形状の情報を出力する3次元形状出力部である。

【0015】
次に、図2を参照して、図1に示す3次元形状推定装置の処理動作を説明する。図2は、図1に示す3次元形状推定装置の処理動作を示すフローチャートである。まず、前景画像入力部31は、前景画像記憶部21に記憶されている前景画像を入力する(ステップS11)。また、背景画像入力部32は、背景画像記憶部22に記憶されている背景画像を入力する(ステップS12)。

【0016】
次に、画像処理部4は、対象3次元物体を含む3次元空間全体をボクセルに分割し(ステップS13)、分割したボクセルの情報を形状記憶部41に記憶する。このとき、画像処理部4は、対象3次元物体が存在しうる3次元空間Vを格子状にサンプリングする。サンプリングした点をp(x,y,z)∈Vとし、pはボクセルを表す。

【0017】
次に、画像処理部4は、各ボクセルを入力画像(前景画像及び背景画像)に投影し、対象3次元物体に含まれる尤度を計算する(ステップS14)。ボクセルpを入力画像上に投影した点をpcで表し、pcの前景及び背景画像上の輝度値、あるいはカラーの場合、色表現に応じて、各チャンネルの値によって対象3次元物体に含まれる尤度Ed(p)を(1)式によって計算する。
【数1】
JP0005686412B2_000002t.gif

【0018】
ただし、N(C)はカメラの台数、Fc(Pc)、Bc(pc)はそれぞれpの投影先での前景と背景の画素値である。

【0019】
次に、画像処理部4は、各ボクセルについて、隣接するボクセルとの間に対象3次元物体の境界面が存在する尤度を計算する(ステップS15)。画像処理部4は、ボクセルpに隣接する点qについて、pからqに向かう方向に対象3次元物体と非対象の境界が存在する尤度Ec(p,q)を(2)式によって計算する。定義の一例として、pとqをそれぞれ前景及び背景画像に投影し、それぞれの投影先の画素値に関する評価値が異なるような値とすればよい。
【数2】
JP0005686412B2_000003t.gif

【0020】
ただし、Cp,qはカメラの視線方向と点→p(→はpの頭に付く)から→q(→はqの頭に付く)への方向がほぼ垂直となるようなカメラの集合、すなわち、カメラの視線方向を→dc(→はdの頭に付く)で表し、|(→P-→q)・→dc|<τを満たすカメラの集合である。Dc(pc)とDc(qc)は、(3)、(4)式によって定義する。
Dc(pc)=|Fc(pc)-Bc(pc)| ・・・(3)
Dc(qc)=|Fc(qc)-Bc(qc)| ・・・(4)

【0021】
次に、画像処理部4は、2種類の尤度を重み係数とする枝をボクセル毎に定義し、グラフを構築する(ステップS16)。画像処理部4は、図3に示すグラフを構築し、それぞれの枝に重み係数として、上記尤度を適用する。ただし、Tは尤度Ed(p)からの変動を許容するための閾値である。

【0022】
次に、画像処理部4は、最小グラフカットを計算することで、対象3次元物体となるボクセル集合を計算する(ステップS17)。画像処理部4は、構築したグラフに対してグラフカットのアルゴリズムに適用し、ノードsからノードtへの最小カットを求めることにより、すべての格子点が対象3次元物体と非対象3次元物体とに分割でき、結果的に対象3次元物体の3次元形状が求められることになる。

【0023】
画像処理部4は、求めた3次元形状の情報を形状記憶部41から読み出して、3次元形状出力部5に対して出力する。なお、グラフ構築やグラフカットの処理は、文献「石川博、”グラフカット”,情報処理学会CVIM研究会2007-CVIM-158,2007.3.20」、文献「N.D.F. Campbell, G. Vogiatzis, C. Hernandez and R. Cipolla.Automatic 3D Object Segmentation in Multiple Views using Volumetric Graph-Cuts. Image and Vision Computing, 28(1):14-25, 2010.」等に記載されており、公知であるため、詳細な処理動作の説明を省略する。

【0024】
次に、3次元形状出力部5は、3次元物体として分割されたボクセル集合を3次元形状の情報として出力する(ステップS18)。ここで出力されるボクセルは、画像上の対象領域が抽出できたことに相当する。

【0025】
以上説明したように、3次元空間中のボクセルをグラフ構造に定義し、グラフカットの手法を用いて、複数視点画像を大局的に評価するようにしたため、最適な3次元形状を求めることができると同時に、複雑背景下でも対象領域の抽出が可能になり、実用的な3次元形状推定が実現可能となる。

【0026】
なお、図1における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより3次元形状推定処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。

【0027】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
【産業上の利用可能性】
【0028】
実環境における3次元形状の推定技術は、カメラを視覚センサとして用いるロボットビジョン、マシンビジョン分野のみならず、マンマシンインターフェースやエンターテイメントなどの分野にも広く応用可能である。
【符号の説明】
【0029】
11~14・・・マルチカメラ、21・・・前景画像記憶部、22・・・背景画像記憶部、31・・・前景画像入力部、32・・・背景画像入力部、4・・・画像処理部、41・・・形状記憶部、5・・・3次元画像出力部
Drawing
(In Japanese)【図1】
0
(In Japanese)【図2】
1
(In Japanese)【図3】
2
(In Japanese)【図4】
3