TOP > 国内特許検索 > 三次元画像データの取得方法および三次元画像用撮像システム > 明細書

明細書 :三次元画像データの取得方法および三次元画像用撮像システム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4716210号 (P4716210)
公開番号 特開2005-283779 (P2005-283779A)
登録日 平成23年4月8日(2011.4.8)
発行日 平成23年7月6日(2011.7.6)
公開日 平成17年10月13日(2005.10.13)
発明の名称または考案の名称 三次元画像データの取得方法および三次元画像用撮像システム
国際特許分類 G03B  35/08        (2006.01)
H04N   5/225       (2006.01)
FI G03B 35/08
H04N 5/225 D
H04N 5/225 Z
請求項の数または発明の数 3
全頁数 11
出願番号 特願2004-095149 (P2004-095149)
出願日 平成16年3月29日(2004.3.29)
新規性喪失の例外の表示 特許法第30条第1項適用 2003年12月8日 日本光学会((社)応用物理学会)発行の「Optics Japan2003 講演予稿集」に発表
審査請求日 平成19年3月13日(2007.3.13)
特許権者または実用新案権者 【識別番号】503360115
【氏名又は名称】独立行政法人科学技術振興機構
発明者または考案者 【氏名】高木 康博
個別代理人の代理人 【識別番号】100091306、【弁理士】、【氏名又は名称】村上 友一
【識別番号】100086922、【弁理士】、【氏名又は名称】大久保 操
審査官 【審査官】菊岡 智代
参考文献・文献 特開平10-155104(JP,A)
特開平07-072600(JP,A)
特開平06-273864(JP,A)
特開2002-330332(JP,A)
特開平09-288735(JP,A)
特開2002-135806(JP,A)
調査した分野 G03B 35/08
H04N 5/222-5/257
特許請求の範囲 【請求項1】
光軸を相互に平行にされて直線上に配置した複数のレンズを介して被写体を撮像する三次元画像データの取得方法において、
前記各レンズに対応させた撮像素子ユニットの中心を、前記レンズの光軸に対して前記被写体と反対側に離間させて撮像し、
前記各レンズおよび前記各レンズに対応させた撮像素子ユニットにより形成される視域角が、三次元画像を表示する表示面の表示角度範囲に相当する角度より小さくしてあり且つ前記被写体全体を撮像できる角度にすることにより、撮像された画像データをエピポーラ平面画像として表した場合の該エピポーラ平面画像に対応する平面の傾きを、前記視域角と前記表示角度範囲に相当する角度とが等しい場合の傾きよりも小さくしたことを特徴とする三次元画像データの取得方法。
【請求項2】
請求項1に記載の三次元画像データの取得方法において、
前記撮像素子ユニットの中心と前記光軸との離間距離は、前記レンズと前記被写体との距離の大きさに応じて大きくしてあることを特徴とする三次元画像データの取得方法。
【請求項3】
光軸を平行にして同一直線上に配置した複数の撮像手段を備えた三次元画像用撮像システムにおいて、
前記各撮像手段は、レンズとレンズの結像面に配置した撮像素子ユニットとを有し、視域角が三次元画像を表示する表示面の表示角度範囲に相当する角度より小さくしてあり且つ被写体全体を撮像できる角度にすることにより、撮像された画像データをエピポーラ平面画像として表した場合の該エピポーラ平面画像に対応する平面の傾きを、前記視域角と前記表示角度範囲に相当する角度とが等しい場合の傾きよりも小さくしてあり、
前記各撮像素子ユニットは、中心が前記被写体から遠くに配置された前記撮像手段ほど、前記レンズの光軸に対して前記被写体の反対側に大きく離間させた位置に配置してある、
ことを特徴とする三次元画像用撮像システム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、三次元画像を表示するための画像データの取得方法に係り、特に複数の撮像手段を直線上に平行配置して画像データを得る三次元画像データの取得方法および三次元画像用撮像システムに関する。
【背景技術】
【0002】
最近、三次元の立体画像を映し出すことができる三次元ディスプレイの実用化が急激に進められている。三次元ディスプレイによる三次元(立体)表示は、三次元物体を特定方向に平行射影した2次元画像である多数の指向性画像(directional image)を生成する必要がある。そして、近年、指向性画像を生成するためには、三次元カメラと称する撮像システムによって三次元画像データを取得する方法が研究されている。このような三次元カメラを実現する方法として、少数のカメラから得られる画像間のステレオマッチングにより三次元空間を数値モデル化するモデルベーストレンダリング法と、多数のカメラで構成されるカメラアレイで得られる画像間の補間処理を用いるイメージベーストレンダリング法がある。前者は、カメラ数は少なくてよいが、多くの計算量を要する。一方、後者は、少ない計算量でフォトリアリスティックな画像生成が可能であるが、多数のカメラを必要とする。
【0003】
イメージベーストレンダリング法に用いられる三次元カメラのカメラ配置(カメラアレイ)は、複数のカメラを円弧配置したものと、特許文献1に記載されているように平行配置したものとがある。図5は、複数のカメラを円弧配置した撮像システム(三次元カメラ)を示したものである。
【0004】
図5において、三次元カメラ10は、複数のカメラ本体12(12a~12n)と、これらのカメラ本体12に対応したレンズ14(14a~14n)とにより構成してある。各カメラ本体12は、それぞれがレンズ16(16a~16n)と各レンズ16の結像面に配置したCCDユニット18(18a~18n)とを有している。また、三次元カメラ10は、カメラ本体12のレンズ16とレンズ14との光軸22が一致している。各カメラ本体12のレンズ16と対応したレンズ14とがアフォーカルレンズと呼ばれ、カメラ本体12は、アフォーカルレンズを用いたアフォーカル光学系を構成している。そして、三次元カメラ10は、被写体20である三次元物体の周囲に円弧状に配置してある。
【0005】
このように構成してある三次元カメラ10は、各カメラ本体12がレンズ14の光軸22と平行な平行光線24だけを撮影する。したがって、三次元カメラ10は、特定方向に平行射影した2次元の指向性画像群を容易に得ることができる。しかし、アフォーカル光学系からなる三次元カメラ10は、レンズ14の光軸22に平行な平行光線24だけしか撮影できないため、レンズ14の径より大きな被写体20を撮影することができない。また、三次元カメラ10は、カメラ本体12やレンズ14を円弧状に配置する必要があるため、被写体20に対して同一円周上に配置することが困難であるとともに、撮影距離が変わったりした場合に、カメラ本体12やレンズ14の位置を調整するのに多くの手間と時間とを必要とする欠点を有する。
【0006】
図6は、特許文献1に記載されているような、複数のカメラを平行に配置した撮像システム(三次元カメラ)を示したものである。図6において、三次元カメラ30は、複数のカメラ本体12が水平方向に一定の間隔で同一直線上に配置してある。各カメラ本体12は、撮像(撮影)が可能な水平方向の角度である水平視域角φを有する通常の結像系を構成しているカメラであって、各レンズ16の光軸22が平行となるように配置されている。通常のカメラ結像系は、図6に示したように、異なる方向に進む多数の光線を撮影するようになっており、各カメラ本体12により撮像した画像が一点透視画像となる。そして、三次元カメラ30によって得た一点透視画像データから指向性画像の生成は、後述するように、画像内の一点が光線の特定の進行方向に対して1対1に対応していると考えることによって行なうことができる。
【0007】
このように構成されている三次元カメラ30は、各カメラ本体12がレンズ16の光軸22を平行にして同一直線上に配置されるため、各カメラ12を比較的容易に所定位置に配置することができる。

【特許文献1】特開平9-288735号公報
【発明の開示】
【発明が解決しようとする課題】
【0008】
ところで、図6に示した平行配置の三次元カメラ30は、通常、CCDユニット18の中心がレンズ16の光軸22上に配置され、水平視域角φが三次元ディスプレイの表示面(スクリーン)の表示角度範囲Φに等しくされている。そして、三次元カメラ30によって三次元の被写体20を撮像する場合、図7に示したように、三次元ディスプレイの三次元スクリーンに対応した仮想スクリーン40が設定され、仮想スクリーン40を通った被写体20からの光線がカメラ本体12に入射し、三次元画像のデータが得られるものとしている。
【0009】
いま、各カメラ本体12のレンズ16が配置されている直線をX軸、レンズ16の光軸22の方向をZ軸、このX軸とZ軸とに直交した軸をY軸とする。また、直線上に配置したカメラアレイの中心をXYZ座標系における原点O、XZ面に直交して配置された仮想スクリーン40のX軸からの距離をzsとする。そして、仮想スクリーン40のX軸に平行な1ラインを考え、この1ラインの任意の点(x、zs)を通った光線42が、図8に示したように、中心がxcの位置にあるレンズ16に入射したとする。この光線42のZ軸となす角をθとすると、
【数1】
JP0004716210B2_000002t.gif
となる。したがって、横軸にX、縦軸にtanθを取った場合、この1ライン上の水平方向(X軸方向)の任意の点は、図9に示したように、傾きが1/zsでX軸とxcにおいて交わる直線A上にある。このようなX-tanθ座標系で画像データを表したものをエピポーラ平面画像(Epipolar Plane Image:EIP)という。
【0010】
そこで、X軸上に中心間距離(ピッチ)pでレンズ16が配置された複数のカメラ本体12によるEPIを求めると、図10のように各カメラ本体12に対応した平行な複数の直線として得られる。そして、Z軸、すなわち光軸22に対する傾き角θを任意の傾き角ξとした場合、tanθ=tanξにおける各直線の画像データによって得られる画像が、ξ方向に平行射影した1ラインの指向性画像44となる。
【0011】
三次元ディスプレイのスクリーンに対応した仮想スクリーン40は、Z軸に直交した二次元平面である。したがって、仮想スクリーン40の水平方向(X軸方向)の幅をW、上下方向(Y軸方向)の高さをHとした場合、上記のようにして複数のカメラ本体12によって得たEPI上の撮影画像は、図11に符号46として示したように、相互に平行な平面として表される。そして、任意な方向へ平行射影した指向性画像はtanθ軸に直交した平面として求められる。なお、図11においては、中心と両端の3台のカメラ本体12によって撮像(撮影)した場合を示している。
【0012】
上記したように、カメラ本体12を平行配置した従来の三次元カメラ30は、CCDユニット18の中心がレンズ16の光軸上に配置されるとともに、視域角φが三次元ディスプレイのスクリーンの表示角度範囲Φが得られるように設定される。したがって、仮想スクリーン40を通ってレンズに入射する光線の傾き角θは、最大でΦ/2である。このため、撮影画像46は、図11に示したように、X軸となす角αが比較的大きな角度となる。また、三次元カメラ30は、カメラ本体12がある大きさを有しているために、カメラ本体12を所定のピッチpをもって配置せざるを得ない。このため、三次元カメラ30によって得られる被写体(三次元物体)20の画像データは、連続的なものにならない。すなわち、例えば図10の指向性画像44上の点qは、三次元カメラ30によって取得した画像データに含まれていない。このため、三次元カメラ30によって得た画像データから三次元画像を生成する場合、点qなどは、撮像して取得した画像データに基づいて補間などにより画像データを生成する必要がある。
【0013】
ところが、被写体20は、三次元物体であって奥行きを有している。このため、仮想スクリーン40上の点qの画像データを補間する場合、被写体20の奥行きを考慮する必要がある。しかし、一般に被写体20の大きさはわかったとしても、点qを通過した光線が射出された三次元物体上の点の奥行きの距離は、不明であって、正しい補間を行なうことができない。そこで、点qの画像データは、図10の2点鎖線の直線Bに示したように、例えば平均的な奥行きを考慮した直線の傾き角を仮定し、この直線Bと交差する隣接した2つの画像データの画素e1、e2のデータに基づいた補間によって生成している。
【0014】
しかし、直線Bのように仮定した直線の方向は、正しいとは限らない。点qを通過する正しい直線が図12の実線Cであるとすると、本来補間に使用すべき画素E1、E2のデータと異なったデータに基づいた補間を行なうことになり、求めた点qの画像データに大きな誤差が含まれることになる。この誤差は、撮影画像(画像データ)46とX軸となす角αが大きければ大きいほど大きくなる。そして、従来の三次元カメラ30は、この角αが比較的大きいため、三次元ディスプレイに表示した三次元画像に大きな誤差が含まれ、高精度な三次元画像を表示することができない。このため、従来の三次元カメラ30は、高精度な三次元画像を表示しようとする場合、撮影画像データ間の間隔を小さくする必要があり、すなわち、カメラ本体12のピッチpを小さくしてカメラ本体12の数を多くする必要がある。
【0015】
また、従来の三次元カメラ30によって得られた撮影画像46のデータのうち、三次元ディスプレイに三次元画像として表示するために必要な画像データは、スクリーンサイズが一定で表示角度範囲がΦであることから、図11の網掛け部分に相当する部分である。このため、従来の三次元カメラ30によって取得した画像データは、図11の網掛け部の両側に、三次元画像の生成に使用しない多くの無駄な画像データを含んでおり、データの取得効率、使用効率が非常に悪い。
【0016】
本発明は、前記従来技術の欠点を解消するためになされたもので、高精度な三次元画像を表示できるようにすることを目的としている。
また、本発明は、撮像手段の数を削減できるようにすることを目的としている。
さらに、本発明は、高精度な三次元画像を表示できるようにすることを目的としている。
そして、本発明は、画像データの取得効率を向上することなどを目的としている。
【課題を解決するための手段】
【0017】
上記の目的を達成するために、本発明に係る三次元画像データの取得方法は、光軸を相互に平行にされて直線上に配置した複数のレンズを介して被写体を撮像する三次元画像データの取得方法において、前記各レンズに対応させた撮像素子ユニットの中心を、前記レンズの光軸に対して前記被写体と反対側に離間させて撮像し、前記各レンズおよび前記各レンズに対応させた撮像素子ユニットにより形成される視域角が、三次元画像を表示する表示面の表示角度範囲に相当する角度より小さくしてあり且つ前記被写体全体を撮像できる角度にすることにより、撮像された画像データをエピポーラ平面画像として表した場合の該エピポーラ平面画像に対応する平面の傾きを、前記視域角と前記表示角度範囲に相当する角度とが等しい場合の傾きよりも小さくしたことを特徴としている。前記撮像素子ユニットと前記光軸との離間距離は、前記レンズと前記被写体との距離の大きさに応じて大きくするとよい。
【0018】
また、本発明に係る三次元画像用撮像システムは、光軸を平行にして同一直線上に配置した複数の撮像手段を備えた三次元画像用撮像システムにおいて、前記各撮像手段は、レンズとレンズの結像面に配置した撮像素子ユニットとを有し、前記各撮像素子ユニットは、中心が被写体から遠くに配置された前記撮像手段ほど、前記レンズの光軸に対して前記被写体の反対側に大きく離間させた位置に配置してある、ことを特徴としている。前記各撮像手段は、視域角φが三次元画像を表示する表示面の表示角度範囲Φに相当する角度より小さくし且つ前記被写体全体を撮像できる角度にすることにより、撮像された画像データをエピポーラ平面画像として表した場合の該エピポーラ平面画像に対応する平面の傾きを、前記視域角と前記表示角度範囲に相当する角度とが等しい場合の傾きよりも小さくすることができる。
【発明の効果】
【0019】
上記のごとくなっている本発明は、撮像手段の視域角を、三次元画像を表示する表示面の表示角度範囲に相当する角度より小さくしたことにより、複数の撮像素子ユニットによって得たEPI上における撮像(撮影)画像に対応する平面の傾きが小さくなるため、相互の間隔が小さくなり、撮像素子ユニットによって画像データが得られない点の画像データを補間法などによって生成する場合、仮定した光線に基づいて補間に使用する画素が、本来使用すべき画素に近くなる。このため、補間によって得られた画像データの誤差を小さくすることができ、精度の高い三次元画像を表示することができる。この結果、本発明は、従来と同じ精度の三次元画像を表示するのに必要とする撮像手段の数を削減することができる。
【0020】
また、本発明は、撮像素子ユニットの中心をレンズの光軸に対して、被写体の反対側に離間させて撮像するようになっているため、三次元画像を生成するのに必要としない無駄な画像データの量を大幅に減らすことができ、画像データの取得効率を大幅に向上することができる。したがって、画像データを記憶するメモリを小さくすることが可能で、三次元画像を生成する演算処理を容易、迅速に行なうことができる。
【発明を実施するための最良の形態】
【0021】
本発明に係る三次元画像データの取得方法および三次元画像用撮像システムの好ましい実施の形態を、添付図面に従って詳細に説明する。
図1は、本発明の実施の形態に係る三次元画像用撮像システムの一部を示す説明図である。図1において、三次元画像用撮像システムである三次元カメラ50は、複数のカメラ本体52(52a~52n)から構成してある。なお、図1においては、中央部の3台のカメラ本体52(i-1)、52i、52(i+1)のみが図示してあって、他は省略してある。
【0022】
これらのカメラ本体52は、撮像手段となっていて、レンズ54(54a~54n)と、各レンズ54に対応した撮像素子ユニットであるCCDユニット56(56a~56n)を有している。各CCDユニット56は、多数のCCD素子をマトリックス状に配置して構成してある。各カメラ本体52のレンズ54は、レンズ54の光軸22が相互に平行にされ、同一直線上に所定の中心間距離(ピッチ)pでもって等間隔に配置してある。また、図1においては、レンズ54を配置した直線をX軸、レンズ54の光軸22の方向をZ軸、X軸とZ軸とに直交した軸をY軸にしてある。そして、中央のカメラ本体52iを構成しているレンズ54iの中心がXYZ座標系の原点Oにしてある。
【0023】
各カメラ本体52は、水平方向の撮像(撮影)できる範囲である水平視域角φが、図示しない三次元ディスプレイの表示面(スクリーン)に対応した仮想スクリーン40の水平表示角度幅Φより小さくしてある。ただし、水平視域角φは、実施形態の場合、三次元物体である被写体20の全体を撮像できる角度を有している。
【0024】
各カメラ本体52は、カメラ本体52ごとにレンズ54とCCDユニット56との相対位置関係が異なっている。すなわち、被写体20に正対させた中央のカメラ本体52iは、CCDユニット56の中心58iがレンズ54iの光軸22上に配置してある。しかし、中央のカメラ本体52iの図1における左側に配置されたカメラ本体52(i-1)は、CCDユニット56(i-1)の中心58(i-1)がレンズ54(i-1)の光軸22の左側に、すなわち光軸22に対して被写体20の反対側にbだけ離間させて配置してある。また、カメラ本体52iの右側のカメラ本体52(i+1)は、CCDユニット56(i+1)の中心58(i+1)がレンズ54(i+1)の光軸22に対して被写体20の反対側となる右側にbだけ離間させて配置してある。
【0025】
この離間距離bは、実施形態の場合、カメラ本体52の位置が被写体20から遠ければ遠いほど、すなわち中心のレンズ54iから遠ければ遠いほど大きくしてあって、一番外側に配置されたカメラ本体52a、52n(いずれも図示せず)において最大となる。そして、最大離間距離は、原点Oと被写体20との距離によって定まる。
【0026】
このようになっている実施形態の三次元カメラ50は、一つのカメラの水平視域角φが三次元表示面の水平表示角度域Φより小さいため、図2に示したように、EPI上における撮影画像60(60a~60n)のX軸となす角αが小さくなる。このため、図3に示したように、指向性画像62の撮影画像60にない点rの画像データを求めるために、被写体20の奥行きを考慮した直線Dを仮定した場合、補間に使用する画素e3、e4が、正しい直線Fに基づいて使用すべき画素E3、E4に近くなる。したがって、画素e3、e4に基づいて得た点rの画像データの誤差が小さくなり、高精度な三次元画像を表示することができる。このため、従来の三次元カメラによる三次元画像と同じ精度の三次元画像を得るために必要とするカメラ本体の数を少なくすることができる。
【0027】
しかも、カメラ本体52は、図1に示したように、CCDユニット56の中心58をレンズ54の光軸22から離間させ、被写体20の全体を撮影できるようにしてあるため、図2に示したように、三次元画像の表示に必要としない画像データが、網掛け部の上下の部分だけとなり、非常に少なくすることができる。このため、三次元画像を生成するのに必要な画像データの取得効率が向上する。
【実施例】
【0028】
従来の三次元カメラ30と実施の形態に係る三次元カメラ50とによって同じ三次元物体を撮像(撮影)し、生成した三次元画像の精度の比較と、三次元映像を表示するのに必要とするカメラ本体の数を求めた。三次元表示装置の表示面の表示角度範囲Φは21.2度であり、被写体(三次元物体)20の奥行きは50mmである。また、従来の三次元カメラ30の各カメラ本体12の水平視域角φは表示角度範囲Φと同じ21.2度であり、実施形態の三次元カメラ50の水平視域角φは7.9度である。比較の結果を図4に示す。
【0029】
図4は、横軸が三次元画像を表示するデータを得るために必要とするカメラ本体の数、縦軸が生成した三次元画像データの、実際に撮影して得た平行射影画像データに対する誤差であるRMS(root mean square)誤差である。そして、図4において□印は従来の三次元カメラ30による結果であり、○は実施形態の三次元カメラ50による結果である。なお、RMS誤差は、三次元画像データの各画素について実際に撮影して得た参照平行射影画像データとの偏差を求め、その偏差の二乗を平均した値の平方根である。また、参照平行射影画像は、カメラ本体を移動ステージに載せ、直線上を1画素分ずつ詳細に移動させて撮影することによって得た。
【0030】
図4からわかるように、カメラ本体の台数が多くなるほど誤差の少ない高精度な三次元画象を得ることができる。また、実施形態に係る三次元カメラ50は、従来の三次元カメラ30に比較して誤差が小さく、高精度な三次元画像を生成することができる。そして、誤差が急激に大きくなる点を最低限必要とするカメラ本体の数とすると、従来の三次元カメラ30では32台であったものが、実施形態の三次元カメラ50では24台でよく、カメラ本体の数を大幅に削減することができることがわかる。
【図面の簡単な説明】
【0031】
【図1】本発明の実施の形態に係る三次元画像用撮像装置の説明図である。
【図2】実施形態の三次元カメラによって得た撮影画像の説明図である。
【図3】実施形態の三次元カメラによる三次元画像データの補間を説明する図である。
【図4】実施形態の三次元カメラと従来例の三次元カメラとによって得た三次元画像の誤差の比較図である。
【図5】従来のカメラ本体を円弧状に配置した三次元カメラの説明図である。
【図6】従来のカメラ本体を直線上に平行配置した三次元カメラの説明図である。
【図7】従来のカメラ本体を平行配置した三次元カメラによる三次元画像データの取得原理の説明図である。
【図8】従来のカメラ本体を平行配置した三次元カメラによるEPIの原理の説明図である。
【図9】EPIの説明図である。
【図10】複数のカメラ本体によって得たEPIの説明図である。
【図11】従来のカメラ本体を平行配置した三次元カメラによる撮影画像の説明図である。
【図12】指向性画像の撮影画像データにない点の画像データを生成する方法の1例の説明図である。
【符号の説明】
【0032】
10、30………三次元カメラ、12、12a~12n、………カメラ本体、16、16a~16n………レンズ、18、18a~18n………CCDユニット、20………被写体、22………光軸、50………三次元画像用撮像システム(三次元カメラ)、52(i-1)~52(i+1)………カメラ本体、54(i-1)~54(i+1)………レンズ、56………撮像素子ユニット(CCDユニット)、58(i-1)~58(i+1)………中心。
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11