TOP > 国内特許検索 > 多眼視画像作成システム及び多眼視画像作成方法 > 明細書

明細書 :多眼視画像作成システム及び多眼視画像作成方法

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4958233号 (P4958233)
公開番号 特開2009-124308 (P2009-124308A)
登録日 平成24年3月30日(2012.3.30)
発行日 平成24年6月20日(2012.6.20)
公開日 平成21年6月4日(2009.6.4)
発明の名称または考案の名称 多眼視画像作成システム及び多眼視画像作成方法
国際特許分類 H04N  13/00        (2006.01)
G06T  19/00        (2011.01)
G02B  27/22        (2006.01)
FI H04N 13/00
G06T 17/40 F
G02B 27/22
請求項の数または発明の数 4
全頁数 13
出願番号 特願2007-294270 (P2007-294270)
出願日 平成19年11月13日(2007.11.13)
審査請求日 平成22年11月12日(2010.11.12)
特許権者または実用新案権者 【識別番号】800000068
【氏名又は名称】学校法人東京電機大学
発明者または考案者 【氏名】新津 靖
個別代理人の代理人 【識別番号】100083806、【弁理士】、【氏名又は名称】三好 秀和
【識別番号】100100712、【弁理士】、【氏名又は名称】岩▲崎▼ 幸邦
【識別番号】100100929、【弁理士】、【氏名又は名称】川又 澄雄
【識別番号】100095500、【弁理士】、【氏名又は名称】伊藤 正和
【識別番号】100101247、【弁理士】、【氏名又は名称】高橋 俊一
【識別番号】100098327、【弁理士】、【氏名又は名称】高松 俊雄
審査官 【審査官】菅 和幸
参考文献・文献 特開2005-142957(JP,A)
特開2004-048644(JP,A)
特開2002-216125(JP,A)
特開2003-304561(JP,A)
特開2006-115246(JP,A)
調査した分野 H04N 13/00-17/06
G02B 27/00-27/64
G06T 19/00
特許請求の範囲 【請求項1】
左右2台のカメラの撮影した左目画像、右目画像に対して、前記左目画像、右目画像のいずれか一方のステレオ画像を基準にしていずれか他方のステレオ画像との間でパターンマッチングを実施し、前記左目画像、右目画像のいずれか他方のステレオ画像を基準にしていずれか一方のステレオ画像との間でパターンマッチングを実施し、画素毎のマッチング画像を特定し、
前記左右の画素毎のマッチング画像間で画素間距離の内挿によって中間位置画像を求め、
前記左右の画素毎のマッチング画像間で画素間距離の外挿によって右外画像、左外画像を求める多眼視画像作成方法であって、
前記パターンマッチングは、対象画素を中心にして当該対象画素に上下左右に隣接する所定数の画素に対して類似度を求めることによって画素毎のマッチング画像を特定し、かつ、前記左目画像に近い位置の中間位置画像及び左外画像については、当該左目画像を基準にした前記右目画像との間のパターンマッチングにより画素毎の左基準マッチング画像を特定し、前記右目画像に近い位置の中間位置画像及び右外画像については、当該右目画像を基準にした前記左目画像との間のパターンマッチングにより画素毎の右基準マッチング画像を特定し、
前記中間位置画像の作成は、前記左目画像、右目画像間で等間隔に離れた複数枚を作成するものであり、前記左目画像に近い位置の中間位置画像については、前記左基準マッチング画像と左目画像との間で画素間距離の内挿によって左寄り中間位置画像を求めて各画素毎に対応する左目画像の画素の色を置き、前記右目画像に近い位置の中間位置画像については、前記右基準マッチング画像と右目画像との間で画素間距離の内挿によって右寄り中間位置画像を求めて各画素毎に対応する右目画像の画素の色を置くことによって行い、
前記左右外画像の作成は、前記左目画像に近い位置の左外画像については、前記左基準マッチング画像と左目画像との間で画素間距離の外挿によって左外画像を求めて各画素毎に対応する左目画像の画素の色を置き、前記右目画像に近い位置の右外画像については、前記右基準マッチング画像と右目画像との間で画素間距離の外挿によって右外画像を求めて各画素毎に対応する右目画像の画素の色を置くことによって行うことを特徴とする多眼視画像作成方法。
【請求項2】
前記パターンマッチングには、前記所定数の画素の明暗を正規化した後に類似度を求めることを特徴とする請求項1に記載の多眼視画像作成方法。
【請求項3】
左右2台のカメラの撮影した左目画像、右目画像の記憶手段と、
前記記憶手段に記憶されている前記左目画像、右目画像を読み出し、いずれか一方のステレオ画像を基準にして他方のステレオ画像との間でパターンマッチングを実施し、またいずれか他方のステレオ画像を基準にして一方のステレオ画像との間でパターンマッチングを実施し、画素毎のマッチング画像を特定するパターンマッチング演算手段と、
前記パターンマッチング演算手段が特定した前記左右の画素毎のマッチング画像間で画素間距離の内挿によって中間位置画像を求め、前記左右の画素毎のマッチング画像間で画素間距離の外挿によって左外画像、右外画像を求める内外挿画像作成手段とを備え、
前記パターンマッチング演算手段は、対象画素を中心にして当該対象画素に上下左右に隣接する所定数の画素に対して類似度を求めることによって画素毎のマッチング画像を特定するものであり、かつ、前記左目画像に近い位置の中間位置画像及び左外画像については、当該左目画像を基準にした前記右目画像との間のパターンマッチングにより画素毎の左基準マッチング画像を特定し、前記右目画像に近い位置の中間位置画像及び右外画像については、当該右目画像を基準にした前記左目画像との間のパターンマッチングにより画素毎の右基準マッチング画像を特定し、
前記内外挿画像作成手段は、前記中間位置画像として前記左目画像、右目画像間で等間隔に離れた複数枚を作成するものであり、前記左目画像に近い位置の中間位置画像及び左外画像については、前記左基準マッチング画像と左目画像との間で画素間距離の内外挿によって左寄り中間位置画像、左外画像を求めて各画素毎に対応する左目画像の画素の色を置き、前記右目画像に近い位置の中間位置画像及び右外画像については、前記右基準マッチング画像と右目画像との間で画素間距離の内外挿によって右寄り中間位置画像、右外画像を求めて各画素毎に対応する右目画像の画素の色を置くことを特徴とする多眼視画像作成システム
【請求項4】
前記パターンマッチング演算手段は、前記所定数の画素の明暗を正規化した後に類似度を求めることを特徴とする請求項3に記載の多眼視画像作成システム
発明の詳細な説明 【技術分野】
【0001】
本発明は、裸眼立体ディスプレイ表示用の多眼視画像作成システム及び多眼視画像作成方法に関する。
【背景技術】
【0002】
現在広く使われている立体ディスプレイは眼鏡をかけて見るタイプのものが主であるが、近年、各社が競って裸眼立体ディスプレイを開発している。しかし、裸眼立体ディスプレイは普及していないのが現状である。その主な原因としてコンテンツの不足が挙げられている。眼鏡をかけて見る立体ディスプレイのコンテンツは2つの視差で撮影されているのに対して、裸眼立体ディスプレイに立体的な表示を行うためには、多眼で撮影した複数の画像や映像が必要である。そのため、多眼カメラ等の特殊な機材を用いて撮影する必要があることが障害となり、コンテンツ不足を招いている。
【0003】
左右のカメラで撮影した左右2枚の2眼視ステレオ画像から3枚以上の多眼視立体画像をコンピュータ上でソフトウェアにより作成する多眼視画像作成システム及び方法が、特開平9-27969号公報(特許文献1)により知られている。この従来の多眼視画像作成システム及び方法は、左右1組2枚のステレオ画像から2画像間の任意の視点に対応する中間位置画像を作成する技術である。この従来技術によれば、左右2枚のステレオ画像のパターンマッチングをベースにして、視点位置に基づいて中間画像の画素データを線形補間で求めている。
【0004】
ところが、この従来の多眼視画像作成技術では、中間位置の画像を自動作成することができるが、左右2枚のステレオ画像からさらに外側の左外画像、右外画像は作成できない不自由さがある。また、パターンマッチングをベースに視点位置に基づいて中間画像の画素データを作成するのに、探索対象画素を含めその左右に隣接する所定数の画素間でのみパターンマッチングを実施しており、対象画素の左右と共に上下に隣接する画素をも含めた四周の所定数の画素間でパターンマッチングを実施するものではない。そのため、視差の大きい画像に対して奥行き感が出しにくい問題点がある。

【特許文献1】特開平9-27969号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
本発明は、上記従来技術の課題に鑑みてなされたもので、一般的な左右2枚の2眼視ステレオ画像から中間位置画像と共に左右外画像も自動的に作成することができる多眼視画像作成システム及び方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の特徴は、左右2台のカメラの撮影した左目画像、右目画像に対して、前記左目画像、右目画像のいずれか一方のステレオ画像を基準にしていずれか他方のステレオ画像との間でパターンマッチングを実施し、前記左目画像、右目画像のいずれか他方のステレオ画像を基準にしていずれか一方のステレオ画像との間でパターンマッチングを実施し、画素毎のマッチング画像を特定し、前記左右の画素毎のマッチング画像間で画素間距離の内挿によって中間位置画像を求め、前記左右の画素毎のマッチング画像間で画素間距離の外挿によって右外画像、左外画像を求める多眼視画像作成方法であって、前記パターンマッチングは、対象画素を中心にして当該対象画素に上下左右に隣接する所定数の画素に対して類似度を求めることによって画素毎のマッチング画像を特定し、かつ、前記左目画像に近い位置の中間位置画像及び左外画像については、当該左目画像を基準にした前記右目画像との間のパターンマッチングにより画素毎の左基準マッチング画像を特定し、前記右目画像に近い位置の中間位置画像及び右外画像については、当該右目画像を基準にした前記左目画像との間のパターンマッチングにより画素毎の右基準マッチング画像を特定し、前記中間位置画像の作成は、前記左目画像、右目画像間で等間隔に離れた複数枚を作成するものであり、前記左目画像に近い位置の中間位置画像については、前記左基準マッチング画像と左目画像との間で画素間距離の内挿によって左寄り中間位置画像を求めて各画素毎に対応する左目画像の画素の色を置き、前記右目画像に近い位置の中間位置画像については、前記右基準マッチング画像と右目画像との間で画素間距離の内挿によって右寄り中間位置画像を求めて各画素毎に対応する右目画像の画素の色を置くことによって行い、
前記左右外画像の作成は、前記左目画像に近い位置の左外画像については、前記左基準マッチング画像と左目画像との間で画素間距離の外挿によって左外画像を求めて各画素毎に対応する左目画像の画素の色を置き、前記右目画像に近い位置の右外画像については、前記右基準マッチング画像と右目画像との間で画素間距離の外挿によって右外画像を求めて各画素毎に対応する右目画像の画素の色を置くことによって行う多眼視画像作成方法である。
【0009】
さらに、上記発明の多眼視画像作成方法では、前記パターンマッチングには、前記所定数の画素の明暗を正規化した後に類似度を求めるものとすることができる。
【0010】
本発明の別の特徴は、左右2台のカメラの撮影した左目画像、右目画像の記憶手段と、前記記憶手段に記憶されている前記左目画像、右目画像を読み出し、いずれか一方のステレオ画像を基準にして他方のステレオ画像との間でパターンマッチングを実施し、またいずれか他方のステレオ画像を基準にして一方のステレオ画像との間でパターンマッチングを実施し、画素毎のマッチング画像を特定するパターンマッチング演算手段と、前記パターンマッチング演算手段が特定した前記左右の画素毎のマッチング画像間で画素間距離の内挿によって中間位置画像を求め、前記左右の画素毎のマッチング画像間で画素間距離の外挿によって右外画像、左外画像を求める内外挿画像作成手段とを備え、前記パターンマッチング演算手段は、対象画素を中心にして当該対象画素に上下左右に隣接する所定数の画素に対して類似度を求めることによって画素毎のマッチング画像を特定するものであり、かつ、前記左目画像に近い位置の中間位置画像及び左外画像については、当該左目画像を基準にした前記右目画像との間のパターンマッチングにより画素毎の左基準マッチング画像を特定し、前記右目画像に近い位置の中間位置画像及び右外画像については、当該右目画像を基準にした前記左目画像との間のパターンマッチングにより画素毎の右基準マッチング画像を特定し、前記内外挿画像作成手段は、前記中間位置画像として前記左目画像、右目画像間で等間隔に離れた複数枚を作成するものであり、前記左目画像に近い位置の中間位置画像及び左外画像については、前記左基準マッチング画像と左目画像との間で画素間距離の内外挿によって左寄り中間位置画像、左外画像を求めて各画素毎に対応する左目画像の画素の色を置き、前記右目画像に近い位置の中間位置画像及び右外画像については、前記右基準マッチング画像と右目画像との間で画素間距離の内外挿によって右寄り中間位置画像、右外画像を求めて各画素毎に対応する右目画像の画素の色を置く多眼視画像作成システムである。
【0013】
さらに、上記発明の多眼視画像作成システムでは、前記パターンマッチング演算手段は、前記所定数の画素の明暗を正規化した後に類似度を求めるものとすることができる。
【発明の効果】
【0014】
本発明の多眼視画像作成システム及び方法によれば、左右2台のカメラの撮影した左目画像、右目画像に対して、左目画像、右目画像のいずれか一方のステレオ画像を基準にして他方のステレオ画像との間でパターンマッチングを実施し、画素毎のマッチング画像を特定し、左右の画素毎のマッチング画像間で画素間距離の内挿によって中間位置画像を求め、また、左右の画素毎のマッチング画像間で画素間距離の外挿によって右外画像、左外画像を求めるので、左右2枚のステレオ画像から所定数の中間位置画像と共に所定数の右外画像、左外画像を自動作成できる。
【0015】
また、本発明の多眼視画像作成システム及び方法によれば、左目画像に近い位置の中間位置画像及び左外画像については当該左目画像を基準にして右目画像との間でパターンマッチングを実施して画素毎のマッチング画像を特定し、右目画像に近い位置の中間位置画像及び右外画像については当該右目画像を基準にして左目画像との間でパターンマッチングを実施して画素毎のマッチング画像を特定することにより、リアルな立体画像の再生が可能な多眼視画像を作成できる。
【0016】
また、本発明の多眼視画像作成システム及び方法によれば、対象画素を中心にして当該対象画素に上下左右に隣接する所定数の画素に対してパターンマッチングを実施することにより、奥行きの深い立体画像の再生が可能な多眼視画像を作成できる。
【0017】
さらに、本発明の多眼視画像作成システム及び方法によれば、パターンマッチングにおいては所定数の画素の明暗を正規化した後に類似度を求める手順を採用することにより、精度の高い類似度演算ができて、パターンマッチングの精度が向上する。
【発明を実施するための最良の形態】
【0018】
以下、本発明の実施の形態を図に基づいて詳説する。
【0019】
(第1の実施の形態)図1は、本発明の1つの実施の形態の多眼視画像作成システムの構成を示している。本システムはコンピュータに多眼視画像作成プログラムを組み込み、これを実行させることで実現されるものであるが、専用の装置として構成することもできる。
【0020】
本実施の形態の多眼視画像作成システム1は、画像その他のデータの入出力を処理する入出力部11、画像その他のデータを記憶する記憶部12、記憶部12から左右のステレオ画像データそれぞれを読み出し、左目画像データ、右目画像データをグレースケールに変換するグレースケール変換処理部12、左目画像データを基準にした右目画像とのパターンマッチング処理、逆に右目画像を基準にした左目画像とのパターンマッチング処理を実行して左目基準の右目最類似画像、また右目基準の左目最類似画像を抽出するパターンマッチング処理部13、内挿演算処理にて左寄り中間位置画像及び右寄り中間位置画像を作成して記憶部12に保存する内挿処理部14、外挿演算処理にて左外画像及び右外画像を作成して記憶部12に保存する外挿処理部15、類似画素が見出されなかった画素について、周囲の隣接画素の画像から平均値を求めて補間しその結果を記憶部12に保存する補間処理部16、記憶部12に記憶された画素単位の画像を所定の画素数の画像に合成して再保存する画像合成部17を備えている。
【0021】
記憶部12は大容量記憶装置、不揮発性メモリ、揮発性メモリ等の記憶手段を包含し、演算処理段階に応じて相応の記憶手段に記憶するものとする。
【0022】
パターンマッチング処理部13は、後述するパターンマッチング処理の各段階の処理を統括的に制御するパターンマッチング制御部13A、グレースケール変換部13B、左基準類似度演算部13C、右基準類似度演算部13Dを有している。
【0023】
次に、上記構成の多眼視画像作成システム1による多眼視画像作成方法について説明する。図2、図3には、本多眼視画像作成システム1による多眼視画像作成処理のフローチャートを示してある。図2のフローチャートに示すように、本多眼視画像作成方法は主に次の5処理ステップから成る。
【0024】
ステップS1:パターンマッチング処理部13におけるパターンマッチング制御部13Aは、入出力部11にて外部の記憶装置やシステムから、あるいは本システム1内の記憶部12から処理対象とする左右2枚のステレオ画像を読み込む。
【0025】
ステップS2:パターンマッチング処理部13におけるグレースケール変換処理部13Bにより、読み込んだ左目画像、右目画像をそれぞれグレースケールに変換し、値をそれぞれ一次元配列に代入する前処理を行う。
【0026】
ステップS3:パターンマッチング制御部13Aの指示のもとに、左基準類似度演算部13C、右基準類似と演算部13D、内挿処理部14、外挿処理部15により、左目画像から右目画像の最類似画素を探索し、中間位置画像の該当画素毎に色をおき、また外側画像の該当画素毎に色をおく。また、右目画像から左目画像の最類似画素を探索し、中間位置画像に対して該当画素毎に色をおき、また外側画像の該当画素毎に色をおく。これらのパターンマッチング処理を、対象画像の画素列1列ごとに交互に実行する。
【0027】
ステップS4:補間処理部16により、パターンマッチング処理にて一度も色がおかれなかった画素に対して、周囲8近傍の平均をとった値で補間する。
【0028】
ステップS5:所定の規則に従い、図4に示すように右目画像の外側から順に番号00~07を付け、「ファイル名+番号.bmp」として所定のフォルダにビットマップ形式で保存する。尚、この画像のフォーマットはこれに限られるわけではない。
【0029】
ステップS3のパターンマッチング処理を、図3のフローチャートを用いてさらに詳しく説明する。まず、左基準類似度演算部13Cにて、左目画像から右目画像の最類似画素を探索するために、右目画像の画素のうち左目画像の画素がある座標の周囲を探索範囲とし、それぞれの画素に対して順に左目画像の画素周囲の画素との類似度を計算し、最も似ている画素を探し出す。この類似度計算は、後述する(ステップS31)。
【0030】
次に、内挿処理部14にて、左目画像の画素の座標と右目画像の得られた最類似画素の座標との距離を、左右2枚のステレオ画像の間に補間する画像の枚数で等分する(ステップS32)。外挿処理部15にて、ステレオ画像の外側に補間する画像の枚数分、外側に座標を伸ばす(ステップS33)。
【0031】
作成する多眼視画像の左寄りにある画像それぞれに対して、得られた座標のうち、左から数えて画像の順番と同じ位置の座標にある画素に左目画像の画素と同じ色を置く。同様に、右寄りの画像それぞれに、右目画像の画素と同じ色を置く(ステップS35)。
【0032】
次に、右基準類似度演算部13Dにて右目画像から左目画像の最類似画素を探索し、同様にして色を置く。この際、類似度の計算を再度行うのではなく、後述するように左目画像から右目画像を探索したときの類似度の値を保持しておき、その中から最も似ている画素を探して色を置く(ステップS36)。
【0033】
以上のパターンマッチング処理は、左目画像から右目画像の探索と右目画像から左目画像の探索とを画素列1行ずつ交互に行う(ステップS30,S37)。
【0034】
上述したパターンマッチング処理における類似度演算について、詳しく説明する。左基準類似度演算では、左目画像の画素について右目画像の中から最も類似している画素を探し出す際の類似度を計算するテンプレートマッチング手法を用いている。これは、元の画像(テンプレート)と比較する画像の類似度を後述する所定の式を用いて計算し、基準値からの上下で同じものであるか否かを判断するものである。
【0035】
図5に、最類似点探索のイメージを示してある。なお、その際の探索範囲やテンプレートの大きさは画像によって最適な大きさが異なるため、イニシャルファイルによってユーザが大きさを指定する。数1式は類似度を計算するために用いたテンプレートマッチングの式である。
【数1】
JP0004958233B2_000002t.gif

【0036】
ただし、T(i,j)はテンプレート、F(x,y)は探索対象画像、(x,y)は原画像の座標を基準としたテンプレートの中心座標、(i,j)はテンプレート内の座標を基準とした座標、Mはテンプレートの幅、Nはテンプレートの高さである。
【0037】
数1式において、Eが類似度であり、このEの値が小さいほど類似度が高く、全く同じ画像の値は0となる。しかし、数1式は、輝度の違いを考慮に入れていない。そこで、左右2台のカメラ特性の相違に起因して輝度の違いがある画像でも類似度計算を行うようにすることもできる。その場合には、数2式に示す正規化相関関数を用いる。
【数2】
JP0004958233B2_000003t.gif

【0038】
数2式において、σ(x,y)が輝度の違いを考慮に入れた類似度である。σは-1から1までの値をとり、1に近いほど類似度が高く、全く同じ画像の値は1となる。
【0039】
尚、本実施の形態では、カメラの設定をきちんと行っていることを前提とし、右目と左目の輝度はほぼ同じであるとして、計算時間短縮のために数1式を用いて類似度計算を行っている。
【0040】
次に、最類似画素の座標を求めた後に内挿処理部14、外挿処理部15が実行する色を置く画素を求めるために実行する座標計算と、色の置き方とを図6を用いて説明する。まず、左目画像の画素と求められた右目画像の最類似画素との座標から、多眼視画像のそれぞれの画像に対して色を置く座標を計算する。座標計算は、内挿処理部14により右目画像の画素と左目画像の画素との距離を中間画像の枚数で等分して中間画像の座標を計算し、また外挿処理部15により外側の画像に対して比例式を用いて直線上に座標を伸ばす計算をする。
【0041】
左目画像の注目画素の座標を(x,y)、右目画像の最類似画素の座標を(x,y)、左目画像より左の画像の枚数をn、左目画像と右目画像の間の枚数をnとすると、左目画像より左のt+1(t=0,1,2,…,n-1)枚目の画像の座標(x,y)は数3式で表わされる。
【数3】
JP0004958233B2_000004t.gif

【0042】
同様に、左目画像と右目画像の間のt+1(t=0,1,2,…,n-1)枚目の画像の座標(x,y)、右目画像より右のt+1(t=0,1,2,…,n-1)枚目の画像の座標(x,y)は数4式で表わされる。
【数4】
JP0004958233B2_000005t.gif

【0043】
ここで、tについて場合分けを行うのは、座標計算後に色を置く際に、左目画像寄りのt≦n/2は左目画像の画素の色、右目画像寄りのt>n/2は右目画像の画素の色で色を置くためである。
【0044】
次に、多眼視画像のそれぞれの画像について、上記の式で求めた座標に色を置く。求めた座標にある画素が、左目画像の注目画素寄りであれば左目画像の色を置き、右目画像の最類似画素寄りであれば右目画像の色を置く。つまり、左目画像より左の左外画像と左目画像と右目画像の間の画像のn/2枚目までの左寄り画素は左目画像の画素の色、左目画像と右目画像の間の画像のn/2+1枚目からの右寄り画素と右目画像より右の右外画像の画素は右目画像の画素の色を置く。
【0045】
補間部16による未設定画素の補間処理は、次の通りである。左目画像と右目画像の全ての画素に対して移動後の座標を求めることで多眼視画像のそれぞれの画像を作成したが、座標計算の段階でどの画素の移動後の座標にもならず、色が一度も置かれない画素が出てくる。そこで、全ての画素数分座標計算と色を置く処理を繰り返した後、色が置かれていない画素を周囲の画素の値を用いて補間する。その補間処理は、対象画素の周囲8近傍の平均を用いる。
【0046】
こうして、左右2枚のステレオ画像1組毎にそれらを含めた内外8枚の多眼視画像は記憶部12に逐次保存してゆく。ステレオ動画の場合にも、その動画のフレーム画像毎に上記の多眼視画像作成処理を繰り返すことで多眼視動画を得る。尚、中間位置画像や左右の外側の画像の枚数は特に限定されるものではなく、任意に設定される。例えば中間位置4枚、左右の外側それぞれ1枚ずつと設定することもできる。
【0047】
本実施の形態の多眼視画像作成システム及び多眼視画像作成方法によれば、左右2枚のステレオ画像からその中間位置の所定枚数の画像と共に、左右それぞれの外側の所定枚数の画像との多眼視画像を作成することができる。
【0048】
また、本実施の形態では、左目画像から右目画像に対して類似度計算を行い、また右目画像から左画像に対して類似度計算を実施することで次のような画質の改善がある。左目画像から右目画像の探索のみを行い、色の埋まらない画素には8近傍の平均の値を入れる処理だけの場合、図7(a)に示したように、右目画像には写っていても左目画像では前の物体に遮られて隠れているオクルージョン部分付近は、左目画像のどの画素の最類似画素にもならずに穴があき、一部がぼやけた画像となってしまう。さらに、座標を伸ばすと穴の端と端の距離も大きくなるため穴が開き、右目画像の外側ほどそれが顕著になる。そこで、本実施の形態では、左目画像から右目画像の探索を行い左寄り中間位置画像、左外画像のみに対して色を置いた後、右目画像から左目画像の探索を行って右寄り中間位置画像、右外画像に色を置く処理をしている。これにより、右目画像のオクルージョン部分も最類似画素の座標を探して色を置くため穴が減り、図7(b)に示したようにより鮮明な画像が得られる。
【0049】
また、左目画像から右目画像を探索した後に右目画像から左目画像の探索を行うと、それぞれ類似度の計算をして探索を行うために2倍の処理時間がかかることになる。そこで、本実施の形態では、画像の1行ずつ交互に左右の探索を行うようにし、かつ、図8に示すような[画像の幅×(探索範囲の高さ+1)][探索範囲]のサイズの2次元配列を用意し、左目画像から右目画像の探索時のパターンマッチングの値を保持して右目画像から左目画像の探索時に呼び出すことで類似度の計算が1回で済むようにしている。つまり、類似度を求める配列計算において、前の画素と探索範囲中のそれぞれの画素との類似度計算結果を新しい配列に保存することで、前の画素の類似度計算結果を再利用する。次の画素の類似度を求めるには、図9に示したように、計算する探索範囲中の画素と前の画素との類似度を配列から取り出し、前の画素の計算の左一列の計算を引き、求める画素の計算の右一列を足す。これにより、数1式による計算は画像の1列目の画素に対してのみ行えばよく、2列目以降はこの方法を用いて重複部分の計算を省略できる。図10には、この方法を用いて計算を行う際の座標を示している。
【図面の簡単な説明】
【0050】
【図1】本発明の1つの実施の形態の多眼視画像作成システムのブロック図。
【図2】上記実施の形態の多眼視画像作成システムによる多眼視画像作成処理のフローチャート。
【図3】上記多眼視画像作成処理のフローチャートにおけるパターンマッチング処理の詳細な内部処理のフローチャート。
【図4】上記実施の形態の多眼視画像作成システムにより作成した多眼視画像のファイル名の作成規則の説明図。
【図5】上記実施の形態の多眼視画像作成システムにおけるパターンマッチング処理部の類似度計算の説明図。
【図6】上記実施の形態の多眼視画像作成システムにおける補間処理の説明図。
【図7】上記実施の形態の多眼視画像作成システムにおいて、右目画像から左目画像の類似度探索を追加する前の作成画像、追加した後の作成画像。
【図8】上記実施の形態の多眼視画像作成システムによる右目画像から左画像探索用の配列の説明図。
【図9】上記実施の形態の多眼視画像作成システムによる類似度演算における前画素との類似度計算重複部分の説明図。
【図10】上記実施の形態の多眼視画像作成システムにおいて類似度計算重複部分を用いて計算を行う際の座標の説明図。
【符号の説明】
【0051】
1 多眼視画像作成システム
11 入出力部
12 記憶部
13 パターンマッチング処理部
13A パターンマッチング制御部
13B グレースケール変換処理部
13C 左基準類似度演算部
13D 右基準類似度演算部
14 内挿処理部
15 外挿処理部
16 補間処理部
17 画像合成部
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9