TOP > 国内特許検索 > 設定パラメータ最適化装置およびそのプログラム > 明細書

明細書 :設定パラメータ最適化装置およびそのプログラム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4831514号 (P4831514)
公開番号 特開2009-122842 (P2009-122842A)
登録日 平成23年9月30日(2011.9.30)
発行日 平成23年12月7日(2011.12.7)
公開日 平成21年6月4日(2009.6.4)
発明の名称または考案の名称 設定パラメータ最適化装置およびそのプログラム
国際特許分類 G06T   1/00        (2006.01)
H04N   9/64        (2006.01)
FI G06T 1/00 510
H04N 9/64 A
請求項の数または発明の数 7
全頁数 35
出願番号 特願2007-294464 (P2007-294464)
出願日 平成19年11月13日(2007.11.13)
審査請求日 平成22年10月22日(2010.10.22)
特許権者または実用新案権者 【識別番号】301022471
【氏名又は名称】独立行政法人情報通信研究機構
発明者または考案者 【氏名】山本 健詞
【氏名】妹尾 孝憲
【氏名】大井 隆太朗
【氏名】三科 智之
【氏名】奥井 誠人
個別代理人の代理人 【識別番号】100064414、【弁理士】、【氏名又は名称】磯野 道造
【識別番号】100111545、【弁理士】、【氏名又は名称】多田 悦夫
審査官 【審査官】鹿野 博嗣
参考文献・文献 特開2002-324235(JP,A)
特開2004-54928(JP,A)
特開2004-88247(JP,A)
調査した分野 G06T 1/00
H04N 9/64
特許請求の範囲 【請求項1】
被写体を共有する3以上のカメラで撮影するマルチカメラから取得した前記各カメラで撮影された各撮影画像の中から選択された撮影画像ペアのうちの少なくとも一方の撮影画像の画像情報の設定パラメータを制御する設定パラメータ最適化装置であって、
前記撮影画像ペアを形成する各撮影画像間で、前記共有する被写体について画素を対応付ける画素対応付け手段と、
前記撮影画像間で対応付けられた各画素にそれぞれ設定されているパラメータの既設定値を、前記対応付けられたすべての画素にわたって対応付けた対応リストを選択可能なすべての撮影画像ペアについて作成する対応リスト作成手段と、
前記対応リストが作成された各撮影画像に対応する設定変更用のパラメータベクトルにおける各成分の設定変更値について前記撮影画像間の差分を最小化させるために、予め定められたパワー関数に対して、前記対応リストに対応付けられているパラメータの既設定値を適用することで前記設定変更用のパラメータベクトルの各成分それぞれについてパワー値を算出するパワー値算出手段と、
前記対応リストが作成されたすべての組み合わせおよび前記パラメータベクトルの各成分に対する、前記パワー値の総和である総パワー値を算出する総パワー値算出手段と、
前記総パワー値を最小化または最大化するように、前記撮影画像ペアのうちの少なくとも一方の撮影画像のパラメータベクトルの各成分の設定変更値を制御し、前記総パワー値が最小状態または最大状態を与えるときの各パラメータベクトルを、前記被写体を共有する各撮影画像の画像情報の設定パラメータとすることで前記撮影画像間の差分を最小化させる最小化手段とを備えることを特徴とする設定パラメータ最適化装置。
【請求項2】
被写体を共有する3以上のカメラで撮影するマルチカメラから取得した前記各カメラで撮影された各撮影画像の中から選択された撮影画像ペアの撮影画像の画像情報に基づいて、前記選択された撮影画像ペアを撮影したカメラぺアのうちの少なくとも一方のカメラの設定パラメータを制御する設定パラメータ最適化装置であって、
前記撮影画像ペアを形成する各撮影画像間で、前記共有する被写体について画素を対応付ける画素対応付け手段と、
前記撮影画像ペアに対応して各カメラに設定されている各カメラのパラメータの既設定値を、前記対応付けられたすべての画素にわたって対応付けた対応リストを選択可能なすべての撮影画像ペアについて作成する対応リスト作成手段と、
前記対応リストが作成された各撮影画像を撮影した各カメラに対応する設定変更用のパラメータベクトルにおける各成分の設定変更値について前記撮影画像間の差分を最小化させるために、予め定められたパワー関数に対して、前記対応リストに対応付けられているパラメータの既設定値を適用することで前記設定変更用のパラメータベクトルの各成分それぞれについてパワー値を算出するパワー値算出手段と、
前記対応リストが作成されたすべての組み合わせおよび前記パラメータベクトルの各成分に対する、前記パワー値の総和である総パワー値を算出する総パワー値算出手段と、
前記総パワー値を最小化または最大化するように、前記撮影画像ペアを撮影したカメラぺアのうちの少なくとも一方のカメラのパラメータベクトルの各成分の設定変更値を制御し、前記総パワー値が最小状態または最大状態を与えるときの各パラメータベクトルを、前記被写体を共有する各カメラの設定パラメータとすることで前記撮影画像間の差分を最小化させる最小化手段とを備えることを特徴とする設定パラメータ最適化装置。
【請求項3】
前記画素対応付け手段は、前記カメラの設定パラメータの更新により前記撮影画像間で、前記共有する被写体についての画素の対応付けが変化した場合に、当該撮影画像間の画素の対応付けを更新することを特徴とする請求項2に記載の設定パラメータ最適化装置。
【請求項4】
前記総パワー値算出手段は、
前記撮影画像ペアの一方の撮影画像が所定の撮影画像に固定され、かつ、他方の撮影画像が順次切り替えられることで組み合わされる各撮影画像ペアについて、前記パワー値の前記パラメータベクトルの各成分に対する総和を示す画像ペアパワー値をそれぞれ算出し、
その算出結果が、予め定められた閾値を超えた場合、または、前記撮影画像ペアの他方の撮影画像が順次切り替えられることで組み合わされる各撮影画像ペアにおける前記画像ペアパワー値の算出結果を要素とする集合においてその統計的偏り度が予め定められた閾値を超えた場合、当該算出結果において撮影画像ペアの他方において組み合わされた撮影画像を除外し、
前記総パワー値を算出することを特徴とする請求項1ないし請求項3のいずれか一項に記載の設定パラメータ最適化装置。
【請求項5】
前記総パワー値算出手段は、
前記撮影画像ペアの一方の撮影画像が所定の撮影画像に固定され、かつ、他方の撮影画像が順次切り替えられることで組み合わされる各撮影画像ペアについて、前記パワー値の前記パラメータベクトルの各成分に対する総和を示す画像ペアパワー値をそれぞれ算出した算出値を積算し、
その積算結果が、予め定められた閾値を超えた場合、または、前記撮影画像ペアの一方の固定された撮影画像が順次切り替えられることで組み合わされる各撮影画像ペアにおける前記画像ペアパワー値の積算結果を要素とする集合においてその統計的偏り度が予め定められた閾値を超えた場合、当該積算結果において撮影画像ペアの一方において固定された撮影画像を除外し、
前記総パワー値を算出することを特徴とする請求項1ないし請求項3のいずれか一項に記載の設定パラメータ最適化装置。
【請求項6】
前記撮影画像の画像情報の設定パラメータとして、色の強度を示すパラメータを扱うことを特徴とする請求項1に記載の設定パラメータ最適化装置。
【請求項7】
被写体を共有する3以上のカメラで撮影するマルチカメラから取得した前記各カメラで撮影された各撮影画像の中から選択された撮影画像ペアのうちの少なくとも一方の撮影画像の画像情報の設定パラメータを制御するために、コンピュータを、
前記撮影画像ペアを形成する各撮影画像間で、前記共有する被写体について画素を対応付ける画素対応付け手段、
前記撮影画像間で対応付けられた各画素それぞれ設定されているパラメータの既設定値を、前記対応付けられたすべての画素にわたって対応付けた対応リストを選択可能なすべての撮影画像ペアについて作成する対応リスト作成手段、
前記対応リストが作成された各撮影画像に対応する設定変更用のパラメータベクトルにおける各成分の設定変更値について前記撮影画像間の差分を最小化させるために、予め定められたパワー関数に対して、前記対応リストに対応付けられているパラメータの既設定値を適用することで前記設定変更用のパラメータベクトルの各成分それぞれについてパワー値を算出するパワー値算出手段、
前記対応リストが作成されたすべての組み合わせおよび前記パラメータベクトルの各成分に対する、前記パワー値の総和である総パワー値を算出する総パワー値算出手段、
前記総パワー値を最小化または最大化するように、前記撮影画像ペアのうちの少なくとも一方の撮影画像のパラメータベクトルの各成分の設定変更値を制御し、前記総パワー値が最小状態または最大状態を与えるときの各パラメータベクトルを、前記被写体を共有する各撮影画像の画像情報の設定パラメータとすることで前記撮影画像間の差分を最小化させる最小化手段、
として機能させることを特徴とする設定パラメータ最適化プログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、設定パラメータ最適化装置およびそのプログラムに係り、特に、被写体を共有する3以上のカメラで撮影するマルチカメラから取得した撮影画像の設定パラメータを制御する設定パラメータ最適化装置およびそのプログラムに関する。
【背景技術】
【0002】
マルチカメラの映像から自由視点の映像を合成する研究は、近年、イメージベースレンダリング技術(Image-Based Rendering;IBR)において非常に大きな注意を引いてきた。それは、自由視点の映像を合成する研究の応用分野として、文化遺産や伝統舞踊の映像保存、自由視点テレビ、教育アプリケーション、顔認証セキュリティシステム、娯楽等の様々な分野が発見されてきたからである。マルチカメラシステムにおいては、視点変更時(カメラの切り替え時)に視聴者が不自然さを感じなくするために、撮影画像を幾何補正したり、色補正したりすることが必要である。換言すると、IBRに対してマルチカメラの映像を利用するためには幾何補正や色補正が必要となる。
【0003】
さらに快適な視聴を実現するためには、(1)カメラ間においては、角度や位置等のカメラ配置のパラメータや、ゲイン量、ガンマ補正、ズーム、露光時間、絞り量等のカメラ撮影のパラメータを最適化する必要がある。また、(2)撮影画像間においては、色の強度や視差等のパラメータを最適化する必要がある。以下では、簡便のため、これらの種々のパラメータのうち、色補正のパラメータを例示して説明することとする。
【0004】
コンピュータビジョンの分野では、色補正は、必ずしも必要なものではない。しかしながら、色が補正されれば、パターンマッチングやパターン認識を援助することになる。そのため、コンピュータビジョンの分野においては、色補正を考慮することは有効な手法であると言える。
【0005】
IBR用のカメラの幾何補正は2つのステップで実施される。第1ステップは、撮影前にカメラを極力正確な位置に置くステップであり、第2ステップは、撮影後にカメラキャリブレーション(カメラ撮影のパラメータを調整すること)を行って画像を修正するステップである。
【0006】
また、色補正のステップも幾何補正のステップと非常に類似したものである。つまり、色補正のステップでは、第1ステップが、カメラの調整量(パラメータ)であるゲイン量やガンマ補正、ズーム、露光時間、絞り量を撮影前に極力調整するステップであり、第2ステップが、撮影された画像を修正するステップ(画像の設定パラメータを調整するステップ)である。
【0007】
一般的に、マルチカメラシステムは以下の(A1)~(A3)の特徴を有している。
(A1)すべてのカメラのカラーフィルタは同じである。
(A2)すべてのカメラの絞り量を完全に同じものにすることは非常に困難である。この絞り量の違いを補償するためゲイン量を調整する。しかし、ゲイン量がRGBチャンネルで共通化されているカメラや、数種類の中からゲイン量を選ぶ程度の粗っぽい調整機能しか有していないカメラでは、十分に補償しきれない。残念ながら、現状では、ほとんどのカメラは、このようなタイプのカメラである。
(A3)ゲイン量やズームなどのカメラの特徴量のレベルは線形に変化するものではなく、かつカメラの個体差もある。そのため、ゲイン量やズームなどの応答は、完全には同じものになることはない。
【0008】
これらの(A1)~(A3)の特徴を考慮した色補正の方法が知られている(非特許文献1~3参照)。例えば、非特許文献1,2では、(A1)の理由でRGBの各チャンネルを独立で考えることにしている。ただし、カメラのカラーフィルタがCMY(シアン,マジェンダ,イエロー)である場合には、CMYの各チャンネルで考える。この場合、入力データがRGBであるとすると、RGBからCMYに変換した後に色補正し、その後にCMYからRGBに変換することになる。
なお、マルチカメラにおいて色補正を色差空間で行う方法も存在するが、処理が比較的煩雑になってしまう(特許文献1参照)。
【0009】
また、例えば、非特許文献1~3では、(A2)と(A3)の理由で非線形の変換を考えることにしている。
これに対して、カラーフィルタの色空間において、線形変換で色補正を行うものも存在する(特許文献2参照)。しかし、線形変換では、電子回路の非線形性などに起因して色合いの違いが発生してしまう。
【0010】
特許文献2に記載された方法は、カメラ間の色の違いを得るために、カラーパターンボード(基準チャート)を使う。カラーパターンボードを利用する手法には、以下の(B1)、(B2)の利点がある。
(B1)カラーパターンボードを工夫することで、希望する色相のデータを得られる。そのため、色相のほぼ全域のデータを得ることも可能である。
(B2)カメラ間において対応する色を容易に特定することができる。なお、カメラ“1”、カメラ“2”の2台で同一シーンを撮影したきに、3次元空間中の一点が両カメラに写っているときに、それらの写っている点を対応点と呼ぶ。また、このときの各対応点の色を「対応する色」と呼ぶ。
【0011】
それに対して、カラーパターンボードを使わずにカメラ間の色の違いを得る手法も存在している。これらの手法には、以下の(C1)~(C3)の利点がある。
(C1)カラーパターンボードを用意しなくても良い。逆にカラーパターンボードを使うことを想定すると、例えば、サッカー場のような大規模な空間を撮影する場合には、非常に大きなカラーパターンボードが必要となり、これを用意することは容易ではない。
(C2)カメラ間において、対応する色を撮影された画像内からピックアップするならば、撮影された画像内で実際に使われている輝度のすべてを利用して補正量を求めることも可能である。一方、カラーパターンボードの色だけでは、一部の輝度しか使えない場合もある。このような例としては、外光が入射してくる窓が被写体の脇にある状態の撮影が挙げられる。カラーパターンを被写体付近に置くと、カラーパターンよりも窓のほうが明るく写る。このとき、カラーパターンを撮影してもカラーパターンからは高輝度の領域のデータを得られない。つまり、撮影した画像に高輝度の領域があっても、その領域は補正値の算出に使われないことになる。そのため、この領域の補正量を作成するために何らかの追加処理が必要になってしまう。
(C3)もし、カラーパターンボードがあっても無くても同じ結果が得られるならば、無いほうが容易なのでよい。
【0012】
非特許文献1~3は、カラーパターンボードを使わずにカメラ間の色の違いを得る手法であって、マルチカメラのうちある特定のカメラで撮影された撮影画像(以下、参照画像という)を予め定めておき、他のカメラで撮影した補正対象の撮影画像(以下、対象画像という)が参照画像と同じ色合いになるように補正するものである。このように2台のカメラ間で対応する色を抽出すると、妥当であるとは言えない色ばかりが抽出されてしまう。そこで、これらの方法では、参照画像と対象画像との差分に相当するエネルギを定義して、このエネルギを最小にする対応色を求めてRGBチャンネル毎にルックアップテーブルを算出し、算出したルックアップテーブルを用いて色補正を行っていた。これらの方法には、以下の(D1)~(D4)の利点がある。
(D1)カラーパターンボードを使用しない。
(D2)RGBチャンネルを独立に処理する。
(D3)非線形の変換で色補正を行う(ルックアップテーブルを利用する)。
(D4)オクルージョン問題にも対応できる。
【0013】
前記した非特許文献1、2と、非特許文献3とでは、色補正の手順において相違点が存する。この相違点を具体的に説明するため、マルチカメラが例えば4台のカメラで構成されているものとする(カメラ“0”、カメラ“1”、カメラ“2”、カメラ“3”)。
【0014】
非特許文献1、2に記載された方法では、カメラ“0”の撮影画像を参照画像として、カメラ“1”、カメラ“2”、カメラ“3”の撮影画像を第1対象画像、第2対象画像、第3対象画像とする場合、「参照画像と第1対象画像」、「参照画像と第2対象画像」、「参照画像と第3対象画像」のすべての組み合わせにおいて、各対象画像は参照画像に色合いが類似するように補正される。ここで、それぞれの補正は互いに独立に行われる。
【0015】
また、非特許文献3に記載された方法では、初めに例えばカメラ“0”の撮影画像を参照画像として、カメラ“0”に最近接したカメラ“1” を対象画像として調整する。次に、このカメラ“1”の撮影画像を新たに参照画像として、カメラ“1”に最近接したカメラ“2” を対象画像として調整する。以下、同様に、参照画像を次々に変更して、再びカメラ“0”の撮影画像を参照画像とするまで繰り返す。つまり、カメラが一直線に配列されている場合やコの次状に配置されている場合には一往復して、例えば「0→1→2→3→2→1→0」の順番に調整される。また、カメラが円周状に配置されている場合には一周して、例えば「0→1→2→3→0」の順番に調整されることになる。

【特許文献1】特開2005-4776号公報(段落0056、0057、図3)
【特許文献2】特開2004-88247号公報(段落0047~0049、図2)
【非特許文献1】K. Yamamoto, T. Yendo, T. Fujii, M. Tanimoto and D. Suter, “Colour Correction for Multiple-camera System by using Correspondences,” The journal of the institute of Image Information and Television Engineers, vol. 61,no. 2, pp. 213-222, Feb. 2007
【非特許文献2】K. Yamamoto, T. Yendo, T. Fujii and M. Tanimoto, “Colour Correction of Multi-view Video by Using Correspondences,” Forth Symposium on Intelligent Media Integration for Social Information, pp. 65-66, Dec. 2006
【非特許文献3】M. P. Tehrani, A. Ishikawa, S. Sakazawa and A. Koike, “Colour Correction of Multiview Camera System Using Matched Feature Points,” Forum on Information Technology 2007, pp. 371-372, Sep. 2007
【発明の開示】
【発明が解決しようとする課題】
【0016】
しかしながら、非特許文献1、2に記載された方法では、仮に、第1対象画像が参照画像に対してプラス側に補正され、かつ第2対象画像が参照画像に対してマイナス側に補正された場合には、「参照画像と第1対象画像との色の強度の差」および「参照画像と第2対象画像との差」が等しくても、「第1対象画像と第2対象画像」との間では、色の強度の差が大きくなり、色合いが類似したものにはならなくなる可能性がある。
また、非特許文献3に記載された方法では、最近接したカメラ間で画像を調整するので、1以上スキップした画像間では、色合いが類似したものにはならない可能性がある。また、対象人物を中心に円周状に配置されている場合には、対象人物の後ろ側の撮影画像と、対象人物の正面側の撮影画像とは著しく異なるので、順番に類似させていったときに著しく異なる画像を前の画像に類似させてしまうと、それを境にその後の画像の色合いが極めて不自然なものとなる。
つまり、従来の方法では、2台のカメラの撮影画像間では妥当な色補正ができるが、マルチカメラ全体では、必ずしも妥当な色補正にはなっていないという問題があった。
【0017】
本発明は、以上のような問題点に鑑みてなされたものであり、マルチカメラで撮影された各撮影画像が均一となるように設定パラメータを最適化することを目的とする。
【課題を解決するための手段】
【0018】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項1に記載の設定パラメータ最適化装置は、被写体を共有する3以上のカメラで撮影するマルチカメラから取得した前記各カメラで撮影された各撮影画像の中から選択された撮影画像ペアのうちの少なくとも一方の撮影画像の画像情報の設定パラメータを制御する設定パラメータ最適化装置であって、画素対応付け手段と、対応リスト作成手段と、パワー値算出手段と、総パワー値算出手段と、最小化手段とを備えることとした。
【0019】
かかる構成によれば、設定パラメータ最適化装置は、画素対応付け手段によって、前記撮影画像ペアを形成する各撮影画像間で、前記共有する被写体について画素を対応付け、対応リスト作成手段によって、前記撮影画像間で対応付けられた各画素にそれぞれ設定されているパラメータの既設定値を、前記対応付けられたすべての画素にわたって対応付けた対応リストを選択可能なすべての撮影画像ペアについて作成する。ここで、画像情報の設定パラメータは、例えば、色の強度や視差のパラメータを示す。そして、設定パラメータ最適化装置は、パワー値算出手段によって、予め定められたパワー関数に対して、前記対応リストに対応付けられているパラメータの既設定値を適用することでパワー値を算出する。ここで、パワー値算出手段は、設定変更用のパラメータベクトルの各成分それぞれについてパワー値を算出する。また、パワー関数は、設定変更用のパラメータベクトルにおける各成分の設定変更値について、対応リストが作成された各撮影画像間の差分を最小化させるための関数である。
【0020】
そして、設定パラメータ最適化装置は、総パワー値算出手段によって、前記対応リストが作成されたすべての組み合わせおよび前記パラメータベクトルの各成分に対する、前記パワー値の総和である総パワー値を算出する。したがって、設定パラメータ最適化装置は、選択可能なすべての撮影画像ペアのうち、対応リストが作成されたすべての組み合わせを考慮しているので、従来のようにある特定の撮影画像とその他の撮影画像とを単純に組み合わせるだけであったり、また、最近接のカメラに対応した撮影画像間のみを組み合わせるだけであったりする場合の問題点を解消することができる。ここで、選択可能なすべての撮影画像ペアの組み合わせ数は、例えば、マルチカメラを構成するカメラ台数から任意の2台を選択するコンビネーションで与えられる。この設定パラメータ最適化装置は、撮影画像ペアとして選択されたすべての組み合わせに対して画素の対応付けを試み、画素の対応付けがなされたすべての撮影画像ペアから対応リストを作成するので、総パワー値算出手段は、選択可能なすべての撮影画像ペアの組み合わせのうち、実質的に有効なすべての撮影画像ペアの組み合わせおよびパラメータベクトルの各成分に対する、パワー値の総和である総パワー値を算出することとなる。
【0021】
そして、設定パラメータ最適化装置は、最小化手段によって、前記総パワー値を最小化または最大化するように、前記撮影画像ペアのうちの少なくとも一方の撮影画像のパラメータベクトルの各成分の設定変更値を制御し、前記総パワー値が最小状態または最大状態を与えるときの各パラメータベクトルを、前記被写体を共有する各撮影画像の画像情報の設定パラメータとすることで前記撮影画像間の差分を最小化させる。なお、撮影画像間の差分(誤差)を最小化させるときに、総パワー値を最小化するか、あるいは最大化するかということは、パワー関数をどのように定義するかに依存する。
ここで、各撮影画像を同等に扱う場合には、撮影画像ペアの両方の撮影画像のパラメータベクトルの各成分の設定変更値を制御することができる。これにより、各撮影画像のパラメータが均一化される。その結果、マルチカメラ全体として撮影画像が均一となる。また、特定の撮影画像を参照画像としてパラメータの変更を行わず、かつその他の撮影画像については同等の扱いとして参照画像に合わせて設定変更値を制御することもできる。この場合には、その他の撮影画像は、参照画像に類似すると共に、その他の撮影画像間も類似させることができる。その結果、マルチカメラ全体として撮影画像が均一となる。
【0022】
また、請求項2に記載の設定パラメータ最適化装置は、被写体を共有する3以上のカメラで撮影するマルチカメラから取得した前記各カメラで撮影された各撮影画像の中から選択された撮影画像ペアの撮影画像の画像情報に基づいて、前記選択された撮影画像ペアを撮影したカメラペアのうちの少なくとも一方のカメラの設定パラメータを制御する設定パラメータ最適化装置であって、画素対応付け手段と、対応リスト作成手段と、パワー値算出手段と、総パワー値算出手段と、最小化手段とを備えることとした。
【0023】
かかる構成によれば、設定パラメータ最適化装置は、画素対応付け手段によって、前記撮影画像ペアを形成する各撮影画像間で、前記共有する被写体について画素を対応付け、対応リスト作成手段によって、前記撮影画像ペアに対応して各カメラに設定されている各カメラのパラメータの既設定値を、前記対応付けられたすべての画素にわたって対応付けた対応リストを選択可能なすべての撮影画像ペアについて作成する。ここで、カメラの設定パラメータは、例えば、角度や位置等のカメラ配置のパラメータや、ゲイン量、ガンマ補正、ズーム、露光時間、絞り量等のカメラ撮影のパラメータを示す。
【0024】
そして、設定パラメータ最適化装置は、パワー値算出手段によって、前記対応リストが作成された各撮影画像を撮影した各カメラに対応する設定変更用のパラメータベクトルにおける各成分の設定変更値について前記撮影画像間の差分を最小化させるために、予め定められたパワー関数に対して、前記対応リストに対応付けられているパラメータの既設定値を適用することで前記設定変更用のパラメータベクトルの各成分それぞれについてパワー値を算出する。そして、設定パラメータ最適化装置は、総パワー値算出手段によって、前記対応リストが作成されたすべての組み合わせおよび前記パラメータベクトルの各成分に対する、前記パワー値の総和である総パワー値を算出する。そして、設定パラメータ最適化装置は、最小化手段によって、前記総パワー値を最小化または最大化するように、前記撮影画像ペアを撮影したカメラペアのうちの少なくとも一方のカメラのパラメータベクトルの各成分の設定変更値を制御し、前記総パワー値が最小状態または最大状態を与えるときの各パラメータベクトルを、前記被写体を共有する各カメラの設定パラメータとすることで前記撮影画像間の差分を最小化させる。これにより、各カメラのパラメータが均一化されるので、マルチカメラ全体として撮影画像が均一となる。
【0025】
また、請求項3に記載の設定パラメータ最適化装置は、請求項2に記載の設定パラメータ最適化装置において、前記画素対応付け手段が、前記カメラの設定パラメータの更新により前記撮影画像間で、前記共有する被写体についての画素の対応付けが変化した場合に、当該撮影画像間の画素の対応付けを更新することとした。
【0026】
かかる構成によれば、設定パラメータ最適化装置は、カメラの設定パラメータとして、例えば、角度や位置等のカメラ配置のパラメータが変更された場合に、カメラ配置の変更後に撮影された撮影画像を取得し、画素対応付け手段によって、カメラ配置が変更された新たな撮影画像を含む撮影画像ペアを形成する各撮影画像間で、画素の対応付けを改めて行うことができる。
【0027】
また、請求項4に記載の設定パラメータ最適化装置は、請求項1ないし請求項3のいずれか一項に記載の設定パラメータ最適化装置において、前記総パワー値算出手段が、前記撮影画像ペアの一方の撮影画像が所定の撮影画像に固定され、かつ、他方の撮影画像が順次切り替えられることで組み合わされる各撮影画像ペアについて、前記パワー値の前記パラメータベクトルの各成分に対する総和を示す画像ペアパワー値をそれぞれ算出し、その算出結果が、予め定められた閾値を超えた場合、または、前記撮影画像ペアの他方の撮影画像が順次切り替えられることで組み合わされる各撮影画像ペアにおける前記画像ペアパワー値の算出結果を要素とする集合においてその統計的偏り度が予め定められた閾値を超えた場合、当該算出結果において撮影画像ペアの他方において組み合わされた撮影画像を除外し、前記総パワー値を算出することとした。
【0028】
かかる構成によれば、設定パラメータ最適化装置は、総パワー値算出手段によって、撮影画像ペア間のパワー値として画像ペアパワー値を算出し、算出結果に応じて、所定の画像ペアを除去して総パワー値を算出する。これにより、画素の対応付けがなされたすべての撮影画像ペアから、好ましくないエラー画像を除去することができるので、マルチカメラ全体の各撮影画像の均一化に寄与することができる。
【0029】
また、請求項5に記載の設定パラメータ最適化装置は、請求項1ないし請求項3のいずれか一項に記載の設定パラメータ最適化装置において、前記総パワー値算出手段が、前記撮影画像ペアの一方の撮影画像が所定の撮影画像に固定され、かつ、他方の撮影画像が順次切り替えられることで組み合わされる各撮影画像ペアについて、前記パワー値の前記パラメータベクトルの各成分に対する総和を示す画像ペアパワー値をそれぞれ算出した算出値を積算し、その積算結果が、予め定められた閾値を超えた場合、または、前記撮影画像ペアの一方の固定された撮影画像が順次切り替えられることで組み合わされる各撮影画像ペアにおける前記画像ペアパワー値の積算結果を要素とする集合においてその統計的偏り度が予め定められた閾値を超えた場合、当該積算結果において撮影画像ペアの一方において固定された撮影画像を除外し、前記総パワー値を算出することとした。
【0030】
かかる構成によれば、設定パラメータ最適化装置は、総パワー値算出手段によって、撮影画像ペア間のパワー値として算出した画像ペアパワー値を、固定された撮影画像について積算し、積算結果に応じて、所定の画像ペアを除去して総パワー値を算出する。これにより、画素の対応付けがなされたすべての撮影画像ペアから、好ましくないエラー画像を除去することができるので、マルチカメラ全体の各撮影画像の均一化に寄与することができる。
【0031】
また、請求項6に記載の設定パラメータ最適化装置は、請求項1に記載の設定パラメータ最適化装置において、前記撮影画像の画像情報の設定パラメータとして、色の強度を示すパラメータを扱うこととした。
【0032】
かかる構成によれば、設定パラメータ最適化装置は、色の強度を示すパラメータとして、RGB3チャンネルに対して個別にパラメータベクトルを扱うことができる。このパラメータベクトルは、例えば、256個のパラメータ成分を有し、各成分が0~255のいずれかの値をとりうるように設定することができる。これにより、設定パラメータ最適化装置は、マルチカメラで撮影された各撮影画像が均一となるように色の強度を示すパラメータを最適化することができる。その結果、マルチカメラ全体において、色合いが相互に類似した妥当な色補正を行うことができる。
【0033】
また、請求項7に記載の設定パラメータ最適化プログラムは、被写体を共有する3以上のカメラで撮影するマルチカメラから取得した前記各カメラで撮影された各撮影画像の中から選択された撮影画像ペアのうちの少なくとも一方の撮影画像の画像情報の設定パラメータを制御するために、コンピュータを、画素対応付け手段、対応リスト作成手段、パワー値算出手段、総パワー値算出手段、最小化手段として機能させることとした。
【0034】
かかる構成によれば、設定パラメータ最適化プログラムは、画素対応付け手段によって、前記撮影画像ペアを形成する各撮影画像間で、前記共有する被写体について画素を対応付け、対応リスト作成手段によって、前記撮影画像間で対応付けられた各画素にそれぞれ設定されているパラメータの既設定値を、前記対応付けられたすべての画素にわたって対応付けた対応リストを選択可能なすべての撮影画像ペアについて作成する。そして、設定パラメータ最適化プログラムは、パワー値算出手段によって、前記対応リストが作成された各撮影画像に対応する設定変更用のパラメータベクトルにおける各成分の設定変更値について前記撮影画像間の差分を最小化させるために、予め定められたパワー関数に対して、前記対応リストに対応付けられているパラメータの既設定値を適用することで前記設定変更用のパラメータベクトルの各成分それぞれについてパワー値を算出する。そして、設定パラメータ最適化プログラムは、総パワー値算出手段によって、前記対応リストが作成されたすべての組み合わせおよび前記パラメータベクトルの各成分に対する、前記パワー値の総和である総パワー値を算出する。そして、設定パラメータ最適化プログラムは、最小化手段によって、前記総パワー値を最小化または最大化するように、前記撮影画像ペアのうちの少なくとも一方の撮影画像のパラメータベクトルの各成分の設定変更値を制御し、前記総パワー値が最小状態または最大状態を与えるときの各パラメータベクトルを、前記被写体を共有する各撮影画像の画像情報の設定パラメータとすることで前記撮影画像間の差分を最小化させる。
【発明の効果】
【0035】
請求項1または請求項7に記載の発明によれば、設定パラメータ最適化装置は、選択可能なすべての撮影画像ペアの組み合わせのうち対応リストが作成されたすべての撮影画像ペアの組み合わせおよびパラメータベクトルの各成分に対するパワー値の総和である総パワー値を算出するので、各撮影画像のパラメータが均一化される。その結果、マルチカメラ全体として撮影画像が均一となるように補正される。
【0036】
請求項2に記載の発明によれば、設定パラメータ最適化装置は、選択可能なすべての撮影画像ペアの組み合わせのうち対応リストが作成されたすべての撮影画像ペアの組み合わせおよびパラメータベクトルの各成分に対するパワー値の総和である総パワー値を算出するので、各カメラのパラメータが均一化される。その結果、マルチカメラ全体として撮影画像が均一となる。
【0037】
請求項3に記載の発明によれば、設定パラメータ最適化装置は、カメラ配置のパラメータを最適化することで入力撮影画像が変化したときに、カメラ配置が変更された新たな撮影画像を含む撮影画像ペアを形成する各撮影画像間で、画素の対応付けを改めて行うことができる。
【0038】
請求項4または請求項5に記載の発明によれば、設定パラメータ最適化装置は、撮影画像ペア間のパワー値として算出した画像ペアパワー値に基づいて、好ましくないエラー画像を除去することができるので、マルチカメラ全体の各撮影画像を均一化できる。
【0039】
請求項6に記載の発明によれば、設定パラメータ最適化装置は、各撮影画像が均一となるように色の強度を示すパラメータを最適化するので、マルチカメラ全体において、色合いが相互に類似した妥当な色補正を行うことができる。
【発明を実施するための最良の形態】
【0040】
以下、図面を参照して本発明の設定パラメータ最適化装置を実施するための最良の形態(以下「実施形態」という)として第1~第3実施形態について詳細に説明する。
【0041】
(第1実施形態)
[マルチカメラパラメータ補正装置の構成]
図1は、本発明の第1実施形態に係る設定パラメータ最適化装置を含むマルチカメラパラメータ補正装置を模式的に示すブロック図である。カメラVは、被写体を撮影するものであり、撮影した被写体の映像(画像信号)を設定パラメータ最適化装置2に出力している。なお、カメラVの台数は3台以上であればよく、また、それらの配置は任意である。
【0042】
マルチカメラパラメータ補正装置1は、設定パラメータ最適化装置2を含み、画素対応付け手段10と、対応リスト作成手段20と、テーブル計算手段30と、補正実行手段40と、記憶手段50とを備えている。
【0043】
設定パラメータ最適化装置2は、被写体を共有する3以上の複数のカメラVで撮影するマルチカメラから取得した各カメラVで撮影された各撮影画像の中から選択された撮影画像ペアのうちの少なくとも一方の撮影画像の画像情報の設定パラメータを制御するものである。本実施形態では、設定パラメータ最適化装置2は、画素対応付け手段10と、対応リスト作成手段20と、テーブル計算手段30とを備えている。
【0044】
画素対応付け手段10は、撮影画像ペアを形成する各撮影画像間で、共有する被写体について画素を対応付けるものである。対応付けた点を対応点という。具体的には、画素対応付け手段10は、一方の撮影画像の画素の座標(h0p,w0p)と、他方の撮影画像の画素の座標(h1p,w1p)とを対応付ける。なお、この具体例は後記する第3実施形態において詳しく説明する。
【0045】
対応リスト作成手段20は、撮影画像間で対応付けられた各画素に既にそれぞれ設定されているパラメータの既設定値を、対応付けられたすべての画素にわたって対応付けた対応リストを、選択可能なすべての撮影画像ペアについて作成するものである。具体的には、対応リスト作成手段20は、一方の撮影画像の対応点の色と、他方の撮影画像の対応点の色、すなわち対応色(q0uとq1u、u=1,2,…,1000など)を、対応付けられたすべての画素にわたって対応付けた対応リストを作成する。なお、この具体例は後記する第3実施形態において詳しく説明する。
【0046】
テーブル計算手段30は、パワー値算出手段31と、総パワー値算出手段32と、最小化手段33とを備えている。
【0047】
パワー値算出手段31は、対応リストが作成された各撮影画像に対応する設定変更用のパラメータベクトルにおける各成分の設定変更値について前記撮影画像間の差分を最小化させるために、予め定められたパワー関数に対して、前記対応リストに対応付けられているパラメータの既設定値を適用することで前記設定変更用のパラメータベクトルの各成分それぞれについてパワー値を算出するものである。具体的には、一方の撮影画像に対応する色の強度の設定変更値(c00,…,c2550)と、他方の撮影画像に対応する色の強度設定変更値(c01,…,c2551)との差分(Ein)を最小化させる。ことのとき、パワー関数は(Ein+Fik)の形式で表現できる。なお、この具体例は後記する第3実施形態において詳しく説明する。
【0048】
総パワー値算出手段32は、対応リストが作成されたすべての組み合わせおよび前記パラメータベクトルの各成分に対する、前記パワー値の総和である総パワー値を算出するものである。具体的には、総パワー値E0は、例えば、ΣiΣnin(i=0~255,n=0~KN-1、KN=組み合わせ総数)のように表される。なお、この具体例は後記する第3実施形態において詳しく説明する。
【0049】
最小化手段33は、総パワー値を最小化または最大化するように、撮影画像ペアのうちの少なくとも一方の撮影画像のパラメータベクトルの各成分の設定変更値を制御し、前記総パワー値が最小状態または最大状態を与えるときの各パラメータベクトルを、被写体を共有する各撮影画像の画像情報の設定パラメータとすることで撮影画像間の差分を最小化させるものである。なお、撮影画像間の差分(誤差)を最小化させるときに、総パワー値を最小化するか、あるいは最大化するかということは、パワー関数をどのように定義するかに依存する。以下では、一例として、総パワー値を最小化することで撮影画像間の誤差を最小化するものとして説明する。ここで、最小化手段33が総パワー値を最小化させる方法は、特に限定されず、従来公知の方法を利用することができる。例えば、最急降下法(Steepest descent method)や、確率伝播法の1つであるLBP(Loopy Belief Propagation)法を用いてもよい。なお、LBP法については、例えば、「K. P. Murphy, Y.Weiss and M.I.Jordan, Uncertainty in Artificial Intelligence, pages 467-475(1999)」に記載されている。
【0050】
補正実行手段40は、総パワー値を最小化する状態を与えるときの各パラメータベクトルの成分の値を格納したカメラ毎のルックアップテーブルを参照して各撮影画像のパラメータの補正を実行し、外部に補正後映像を出力するものである。
【0051】
なお、画素対応付け手段10と、対応リスト作成手段20と、テーブル計算手段30とは、例えば、CPU(Central Processing Unit)から構成され、所定のプログラムをRAMに展開して実行することで前記した機能を果たす。
【0052】
記憶手段50は、例えば、所定のプログラム等を記憶するROM(Read Only Memory)を備える。また、記憶手段50は、画素対応付け手段10、対応リスト作成手段20、テーブル計算手段30および補正実行手段40による演算処理等に利用されるRAM(Random Access Memory)等を備える。また、記憶手段50は、対応リスト記憶部51と、ルックアップテーブル記憶部52とを備えている。対応リスト記憶部51およびルックアップテーブル記憶部52は、例えば、一般的なハードディスク等から構成される。
【0053】
対応リスト記憶部51は、撮影画像ペア毎に画素対応付け手段10によって対応付けられた対応点の座標等をフレーム別に記憶するものである。
ルックアップテーブル記憶部52は、最小化手段33で求められた総パワー値を最小化する状態を与えるときの各パラメータベクトルの成分の値を格納したルックアップテーブルをカメラ毎に記憶するものである。具体的には、カメラ毎のルックアップテーブルは、さらに、RGBチャンネル別に作成される。なお、この具体例は後記する第3実施形態において詳しく説明する。
【0054】
なお、設定パラメータ最適化装置2は、例えば、キーボードやマウス等から構成された入力装置Mから、各種情報を入力可能に構成され、各種情報の入力状態を、例えば、液晶ディスプレイ等の出力装置Dに表示するように構成されている。そのため、マルチカメラパラメータ補正装置1の操作者が、入力装置Mを用いて所望の撮影画像ペアの組み合わせを予め指定することも可能である。
【0055】
[マルチカメラパラメータ補正装置の動作]
図2は、図1に示したマルチカメラパラメータ補正装置の動作を示すフローチャートである。マルチカメラパラメータ補正装置1は、画素対応付け手段10によって、撮影画像ペアを形成する各撮影画像間で、共有する被写体について画素の対応付けを、選択可能なすべての撮影画像ペアについて行い(ステップS101)、対応リスト作成手段20によって、各画素に既に設定されているパラメータの既設定値により対応リストを、選択可能なすべての撮影画像ペアについて作成する(ステップS102)。
【0056】
そして、マルチカメラパラメータ補正装置1のテーブル計算手段30は、最小化手段33によって、画素が対応付けられた撮影画像ペアを選択し(ステップS103)、パワー値算出手段31によって、パラメータベクトルの各成分についてパワー値をそれぞれ算出する(ステップS104)。そして、マルチカメラパラメータ補正装置1は、最小化手段33によってまだ選択されていない撮影画像ペアがある場合(ステップS105:No)、ステップS103に戻る。一方、画素が対応付けられた撮影画像ペアをすべて選択した場合(ステップS105:Yes)、マルチカメラパラメータ補正装置1は、テーブル計算手段30の総パワー値算出手段32によって、総パワー値を算出する(ステップS106)。総パワー値が最小化されていない場合、すなわち、各撮影画像のパラメータベクトルがまだ最適化されていない場合(ステップS107:No)、マルチカメラパラメータ補正装置1は、最小化手段33によって、各撮影画像のパラメータベクトルを制御し(ステップS108)、ステップS103に戻る。
【0057】
一方、ステップS107において、総パワー値が最小化された場合、すなわち、各撮影画像のパラメータベクトルが最適化された場合(ステップS107:Yes)、マルチカメラパラメータ補正装置1は、最小化手段33によって、現状の最小状態を与えるときの各パラメータベクトルによりルックアップテーブルを決定する(ステップS109)。そして、マルチカメラパラメータ補正装置1は、補正実行手段40によって、ルックアップテーブルを参照して各撮影画像のパラメータの補正を実行し、外部に補正後映像を出力する(ステップS110)。
【0058】
<第1変形例>
総パワー値算出手段32は、総パワー値を算出する際に、撮影画像ペアとして対応付けられたすべての組み合わせを考慮するものとして説明したが、撮影画像ペアとして対応づけた撮影画像において、マルチカメラ全体において均一化を図る際に好ましくないような画像(エラー画像)が含まれていた場合には、それを排除することができる。その具体的方法について図3(a)を参照して説明する。
【0059】
この第1変形例では、総パワー値算出手段32は、撮影画像ペアの一方の撮影画像が所定の撮影画像に固定され、かつ、他方の撮影画像が順次切り替えられることで組み合わされる各撮影画像ペアについて、パワー値のパラメータベクトルの各成分に対する総和を示す画像ペアパワー値をそれぞれ算出する。そして、総パワー値算出手段32は、その算出結果が、予め定められた閾値を超えた場合(ケース1)、当該算出結果において撮影画像ペアの他方において組み合わされた撮影画像を除外し、総パワー値を算出する。または、総パワー値算出手段32は、その算出結果が、撮影画像ペアの他方の撮影画像が順次切り替えられることで組み合わされる各撮影画像ペアにおける画像ペアパワー値の算出結果を要素とする集合においてその統計的偏り度が予め定められた閾値を超えた場合(ケース2)、当該算出結果において撮影画像ペアの他方において組み合わされた撮影画像を除外し、総パワー値を算出する。
【0060】
ここで、具体例を説明する。図3(a)の4つのブロックは、4台のカメラを示している。なお、ブロック内の数字は、カメラのインデックスを示す。カメラのインデックスが例えば“1”のカメラに固定した場合に、総パワー値算出手段32は、インデックスが“1”のカメラと“2”のカメラとの画像ペアパワー値E1,2を算出する。同様に、“1”のカメラと“3”のカメラのカメラペア、“1”のカメラと“4”のカメラとのカメラペアについても画像ペアパワー値E1,3、E1,4を算出する。
(ケース1)では、E1,2、E1,3、E1,4のうち、単純に例えばE1,4が閾値を超えたならば、インデックスが“4”のカメラをカメラペアとしては選択しないこととして総パワー値を算出する。
(ケース2)では、集合{E1,2、E1,3、E1,4}うち、例えばE1,4が集合においてその統計的偏り度が閾値を超えたならば、インデックスが“4”のカメラをカメラペアとしては選択しないこととして総パワー値を算出する。統計的偏り度は、例えば、平均値や分散度等である。統計的偏り度の閾値とは、例えば、平均値の±a%、分散度の±ασ%のように定義することができる。ここで、a、α、σは予め定められた値を示す。
【0061】
<第2変形例>
エラー画像が含まれていた場合の排除方法の例(第2変形例)について図3(b)を参照して説明する。この第2変形例では、総パワー値算出手段32は、撮影画像ペアの一方の撮影画像が所定の撮影画像に固定され、かつ、他方の撮影画像が順次切り替えられることで組み合わされる各撮影画像ペアについて、パワー値のパラメータベクトルの各成分に対する総和を示す画像ペアパワー値をそれぞれ算出した算出値を積算する。
そして、総パワー値算出手段32は、その積算結果が、予め定められた閾値を超えた場合(ケース3)、当該積算結果において撮影画像ペアの一方において固定された撮影画像を除外し、総パワー値を算出する。または、総パワー値算出手段32は、その積算結果が、撮影画像ペアの一方の固定された撮影画像が順次切り替えられることで組み合わされる各撮影画像ペアにおける画像ペアパワー値の積算結果を要素とする集合においてその統計的偏り度が予め定められた閾値を超えた場合(ケース4)、当該積算結果において撮影画像ペアの一方において固定された撮影画像を除外し、総パワー値を算出する。
【0062】
ここで、具体例を説明する。図3(b)の4つのブロックは、4台のカメラのいずれか固定した場合の画像ペアパワー値をそれぞれ算出した算出値の積算結果(ΣE1,j、ΣE2,j、ΣE3,j、ΣE4,j)を示している。ここで、例えば、ΣE1,jは、画像ペアパワー値E1,2、E1,3、E1,4の和を示す。以下、同様である。
(ケース3)では、ΣE1,j、ΣE2,j、ΣE3,j、ΣE4,jのうち、単純に例えばΣE4,jが閾値を超えたならば、インデックスが“4”のカメラをカメラペアとしては選択しないこととして総パワー値を算出する。
(ケース4)では、集合{ΣE1,j、ΣE2,j、ΣE3,j、ΣE4,j}うち、例えばΣE4,jが集合においてその統計的偏り度が閾値を超えたならば、インデックスが“4”のカメラをカメラペアとしては選択しないこととして総パワー値を算出する。ここで、統計的偏り度は図3(a)で説明したものと同様である。
【0063】
第1実施形態によれば、設定パラメータ最適化装置2は、選択可能なすべての撮影画像ペアの組み合わせのうち、対応リストが作成された有効なすべての撮影画像ペアの組み合わせおよびパラメータベクトルの各成分に対するパワー値の総和である総パワー値を算出し、総パワー値を最小化させた最小状態を与えるときの各パラメータベクトルを、被写体を共有する各撮影画像の画像情報の設定パラメータとする。これにより、各撮影画像のパラメータが均一化される。その結果、マルチカメラ全体として撮影画像が均一となる。
【0064】
(第2実施形態)
図4は、本発明の第2実施形態に係る設定パラメータ最適化装置を含むマルチカメラパラメータ補正装置を模式的に示すブロック図である。図4に示すマルチカメラパラメータ補正装置1Aは、撮影画像の画像情報のパラメータの代わりにカメラのパラメータを最適化する点が第1実施形態と異なっている。そのため、マルチカメラパラメータ補正装置1Aは、図1に示した構成と同様であるが、その機能が異なっている。図4において、同一の構成には同一の符号を付し、以下では、異なる機能のみを説明する。
【0065】
設定パラメータ最適化装置2Aは、被写体を共有する複数個のカメラVで撮影するマルチカメラから取得した各カメラVで撮影された各撮影画像の中から選択された撮影画像ペアの撮影画像の画像情報に基づいて、選択された撮影画像ペアを撮影したカメラペアのうちの少なくとも一方のカメラの設定パラメータを制御するものである。ここで、カメラのパラメータには、角度や位置等のカメラ配置のパラメータや、ゲイン量、ガンマ補正、ズーム、露光時間、絞り量等のカメラ撮影のパラメータが含まれる。なお、カメラの角度や位置等を指定するパラメータには、横方向の回転(パン)、上下方向の回転(チルト)、上下方向の移動(ハイト)、カメラを被写体に近づけたり遠ざけたりする移動(ドリー)が含まれる。また、被写体を拡大・縮小するズーム量や被写体にカメラレンズの焦点合わせを行うフォーカス量等のカメラレンズのパラメータを含めてもよい。
【0066】
画素対応付け手段10は、カメラVの設定パラメータの更新により撮影画像間で、共有する被写体についての画素の対応付けが変化した場合に、当該撮影画像間の画素の対応付けを更新する。
【0067】
対応リスト作成手段20は、撮影画像ペアに対応して各カメラにそれぞれ設定されている各カメラVのパラメータの既設定値を、対応付けられたすべての画素にわたって対応付けた対応リストを、選択可能なすべての撮影画像ペアについて作成する。
【0068】
パワー値算出手段31は、対応リストが作成された各撮影画像を撮影した各カメラVに対応する設定変更用のパラメータベクトルにおける各成分の設定変更値について撮影画像間の差分を最小化させるために、予め定められたパワー関数に対して、対応リストに対応付けられているパラメータの既設定値を適用することで、設定変更用のパラメータベクトルの各成分それぞれについてパワー値を算出する。
【0069】
最小化手段33は、総パワー値を最小化するように、撮影画像ペアを撮影したカメラペアのうちの少なくとも一方のカメラVのパラメータベクトルの各成分の設定変更値を制御し、総パワー値が最小状態を与えるときの各パラメータベクトルを、被写体を共有する各カメラVの設定パラメータとする。
【0070】
補正実行手段40は、総パワー値を最小化する状態を与えるときの各パラメータベクトルの成分の値を格納したカメラ毎のルックアップテーブルから、各カメラの補正されたパラメータを読み込み、各撮影画像を撮影したカメラVに補正指令信号を出力する。なお、補正実行手段40が外部に出力する補正後映像とは、補正指令信号に応じて各カメラVがパラメータを調整した後に、マルチカメラパラメータ補正装置1Aが、各カメラVから取得する映像信号を意味する。
【0071】
第2実施形態によれば、設定パラメータ最適化装置2は、選択可能なすべての撮影画像ペアの組み合わせのうち、対応リストが作成された有効なすべての撮影画像ペアの組み合わせおよびパラメータベクトルの各成分に対するパワー値の総和である総パワー値を算出し、総パワー値を最小化させた最小状態を与えるときの各パラメータベクトルを、被写体を共有する各撮影画像を撮影したカメラの設定パラメータとする。これにより、各カメラのパラメータが均一化されるので、マルチカメラ全体として撮影画像が均一となる。第2実施形態の設定パラメータ最適化装置2は、カメラのパラメータを最適化した後に、第1実施形態で説明したように撮影画像の画像情報のパラメータを最適化すれば、マルチカメラ全体としての撮影画像の均一化にさらに寄与することとなる。
【0072】
(第3実施形態)
第3実施形態は、設定パラメータ最適化装置2において、撮影画像の画像情報の設定パラメータとして、色の強度を示すパラメータを扱うものである。この場合の設定パラメータ最適化装置2およびそれを含むマルチカメラパラメータ補正装置1の構成は第1実施形態と同様である。ただし、マルチカメラパラメータ補正装置1は、色補正を行うマルチカメラ色補正装置として機能する。したがって、以下では、色補正に必要な色(輝度)の強度のパラメータの最適化、および具体的な色補正について詳細に説明する。
【0073】
[カメラ間の組み合わせ]
以下では、マルチカメラのカメラV間の組み合わせの1つ1つをVN(View Network)として定義し、各組み合わせを総称してVNS(View Networks)とする。VNは、カメラペアを示す。また、カメラペアを構成する各カメラVでそれぞれ撮影された撮影画像ペアをも示す。ここで、カメラVの台数や配置は特に限定されるものではない。
【0074】
VNSの具体例を図5に示す。図5に示した例では、マルチカメラパラメータ補正装置1(図1参照)に、6台のカメラ(V0~V5)が接続されているものとする。マルチカメラパラメータ補正装置1(図1参照)が、撮影画像ペアを組み合わせる方法は、大別して2つ挙げられる。
【0075】
第1の方法は、マルチカメラパラメータ補正装置1(図1参照)が、撮影画像ペアを組み合わせるときに、自動的に62(=15)通りの組み合わせをすべて選択し、画素の対応付けが可能なすべての撮影画像ペアから、必要に応じてエラー画像を除去した組み合わせを用いて総パワー値を算出する方法である。この場合、自動選択の結果、図5に示すような9つのVNS(VN0~VN8)が選択されたものとすることができる。
【0076】
第2の方法は、マルチカメラパラメータ補正装置1(図1参照)の操作者が、入力装置Mを用いて所望の撮影画像ペアの組み合わせ、すなわちVNS(VN0~VN8)を予め指定する方法である。このときに、所望のカメラ(V2)で撮影された撮影画像を参照画像に指定することもできる。以下の説明では、撮影画像ペアの組み合わせる方法は、第2の方法、つまり、所望の撮影画像ペアの組み合わせを予め指定しておき、さらに、所望のカメラで撮影された撮影画像を参照画像に指定するものとして説明する。このとき、所望のカメラを「参照カメラ」と呼び、補正対象の対象画像を撮影したその他のカメラを「対象カメラ」と呼ぶことにする。
【0077】
[色補正についての全体計算手順]
図6は、色補正の流れを示すフローチャートである。図6中の長方形は計算ステップを表し、台形はループを表している。最初にステップ1で、マルチカメラの中から参照カメラとVNSを手動で選ぶ。後のステップで、他のカメラ(対象カメラ)を参照カメラの色に似るように補正するので、ここでは望ましい色合いのカメラを参照カメラとして選ぶことが重要である。
【0078】
ステップ1の後には、マルチカメラパラメータ補正装置1(図1参照)は、以下のステップを対象カメラごとに行う。
ステップ2では、ある時刻での対象カメラと参照カメラとの対応点を検出する。
ステップ3では、RGBのチャンネルごとに対応点から対応色を検出する。
ステップ4では、RGBのチャンネルごとに、補正量を表すルックアップテーブル(LUT:lookup table)を算出する。この計算では、3次元空間中に置かれた撮影対象の1点から発する光は、どの方向にも同じ強さで発せられるという規則(ランベルト則:Lambertian condition)を仮定している。言い換えれば、対応点は同じ色になるということを仮定している。
ステップ5では、LUTを用いてフレームごとに対象カメラの画像(ビデオ映像)の色補正を実行する。
【0079】
本手法では、RGBのチャンネルごとにLUTを用意するため、RGBを独立に、かつ非線形変換で補正できる。また、カラーパターンボードの代わりに、対応点から対応色を求めるため、カラーパターンボードの用意は不変で、かつオクルージョン問題にも対応できる。以下、前記したステップ1~5について、一般化して説明する。
【0080】
[ステップ1:事前準備]
ここでは、ステップ2以降の説明で用いるカメラやVNSの記号表記をまとめて説明する。マルチカメラを構成するKV個のカメラVk(0≦k<KV)によるカメラ集合を式(1)で示す。kはカメラのインデックスである。そして、式(2)に示すように、このうちの1台のカメラを参照カメラRとする。また、式(3)に示すように、VNS(VNの集合)の各要素(VN)を、各カメラVを併記して一般に(V0n,V1n)と表記することとする。ここで、nはVNSのインデックスすなわちカメラペア(または撮影画像ペア)のインデックスである。nの総数はKNである(0≦n<KN))。また、Vの下付の「0」と「1」は、カメラペア(または撮影画像ペア)のいずれか一方を指す。つまり、(V0n,V1n)のカッコ内の「V0n」、「V1n」は、式(4)に示すように、カメラ集合の中から対応付けられたカメラペア(または撮影画像ペア)のうちのいずれか一方を指す。
【0081】
【数1】
JP0004831514B2_000002t.gif

【0082】
なお、ステップ2~5の説明で詳述するが、ここでは、対応付けられたカメラペア(または撮影画像ペア)の中では、V0nの色合いをV1nの色合いに類似させるように補正するものとする。つまり、対応付けられたカメラペア(または撮影画像ペア)の中では、V1nが基準側としてそのパラメータベクトルは固定され、かつ、V0nが制御側としてそのパラメータベクトルが変動可能に制御されて双方のエネルギ差を示すパワー値が算出される。V0nは、参照カメラであっても対象カメラであってもよく、そのパラメータベクトルは固定され、かつ、V1nは常に対象カメラでなければならずそのパラメータベクトルは変動可能に制御されて、双方の差を示すパワー値が算出される。言い換えると、対象カメラはV0nであるときにはそのパラメータベクトルが固定され、V1nであるときにはそのパラメータベクトルは変動可能に制御される。一方、参照カメラRはV0nになることはできずV1nにだけなり得るものであって、そのパラメータベクトルは常に固定されて双方のエネルギ差を示すパワー値が算出される。これにより、参照カメラRはそのパラメータベクトルが常に固定され、かつ、すべての対象カメラはそのパラメータベクトルは変動可能に制御された状態でVNS全体の総パワー値が算出されることとなる。
【0083】
[ステップ2:対応点の抽出]
このステップの目的は、前記した式(3)に示すすべてのVNSすなわちカメラペア(または撮影画像ペア)から対応点リストPn(f)を作ることである。図7は、画素対応付けの一例を模式的に示す図である。図7は対応点の例を示したもので、図中の太い線は対応点の一部を示している。この例では、人物の「右肩」、「右脇」、「左手」、「左脇」が対応点として抽出されている様子を示したが、実際には数多くの対応点が抽出される。
【0084】
ここでは、SIFT(Scale Invariant Feature Ttansform)を修正なしで用いた。
SIFTとは、ガウスフィルタ処理を施した画像を複数枚つくり、それらから特徴点を抽出し、その特徴点付近の輝度分布から対応点を決定する方法である。なお、SIFTについては、「D. G. Lowe、“Distinctive Image Features from Scale-Invariant Keypoints”、International Journal of Computer Vision、vol.60、no.2、p.91-110、Jan.2004」に詳細が記載されているので、ここでは説明を省略する。
【0085】
対応リスト作成手段20(図1参照)は、画素対応付け手段10(図1参照)で対応付けられたVNすなわちカメラペアにおいて、撮影画像ペアの中の一方(以下、制御側画像という)I0n(f)と他方(以下、基準側画像という)I1n(f)とから、SIFTによって、式(5)に示す対応点リストPn(f)を作る。ここで、I0n(f)とI1n(f)は、V0nとV1nの映像中のf番目のフレーム画像をそれぞれ示す。
【0086】
【数2】
JP0004831514B2_000003t.gif

【0087】
式(5)において、(h0p,w0p)はV0n側の対応点を示し、(h1p,w1p)はV1n側の対応点を示す。また、pは対応点のインデックスであり、Pn(f)はf番目のフレームにおける対応点の個数を示す。式(6)に示すFは、対応付けられたVNすなわちカメラペアの映像におけるフレーム総数である。なお、式(5)および式(6)において、すべてのフレームを用いる表記としたが、これは一例であって必ずしも全フレームを利用する必要はない。
【0088】
[ステップ3:対応色の抽出]
このステップの目的は、式(5)に示した対応点リストPn(f)から、対応リスト(対応色のリスト)Qnを作ることである。図8はQnの例を示したものである。図8には、全対応色のほんの一部を例として記載してある。図8(a)、図8(b)および図8(c)には、それぞれ、Rチャンネル、GチャンネルおよびBチャンネルにおいて、全対応色のほんの一部を例として記載してある。撮影画像から対応点の色を持ってきて対応色として扱うのが、非常にシンプルな方法である。しかしながら、本実施形態では、ガウスフィルタ処理した画像を複数枚つくり、そこから対応色をピックアップすることにした。
【0089】
ガウスフィルタ処理した2枚の画像から、対応色をピックアップする例を図9に示す。撮影画像から対応点の色をピックアップすると、その対応点には高い空間解像度の色成分が含まれるのと同時に、白色ノイズも含まれることになる。一方、ガウスフィルタ処理でぼかした画像はその反対である。高い空間解像度の色成分も、白色ノイズも含まれない。この両方のメリットを活かすために、複数枚のガウスフィルタ処理した画像からピックアップすることにした。
【0090】
対応リスト(対応色のリスト)Qnは、以下のようにして定式化される。V0nとV1nの映像中のf番目のフレーム画像をそれぞれ示す制御側画像I0n(f)と基準側画像I1n(f)を式(7)および式(8)で表す。ここで、Ior、Iog、Iobは、制御側画像I0n(f)のRGBチャンネルをそれぞれ示す。また、I1r、I1g、I1bは、基準側画像I1n(f)のRGBチャンネルをそれぞれ示す。
【0091】
【数3】
JP0004831514B2_000004t.gif

【0092】
ステップ3はすべての計算をRGBのチャンネル毎に行うので(図6参照)、煩雑さを避けるため、チャンネルを表記しない記号Aを導入する。つまり、Ior、Iog、IobをAoに置き換え、I1r、I1g、I1bをA1に置き換える。このとき、制御側および基準側でそれぞれガウスフィルタ処理を施した画像A0s、A1sは、式(9)および式(10)で表される。ここで、g(σ,A)は、Aにσのガウスフィルタ処理を施す変換関数を示し、s(1≦s≦S)は、σのインデックスを示している。また、Sはガウスフィルタ処理した画像の総数である。なお、σが非常に小さい場合には、ガウスフィルタ処理した画像も撮影画像も同じになる。そのため、本実施形態で「ガウスフィルタ処理した画像」と言う場合には、撮影画像そのものも含めることとする。
【0093】
【数4】
JP0004831514B2_000005t.gif

【0094】
式(9)および式(10)で表される画像A0s、A1sを用いると、対応リスト(対応色のリスト)Qnは、式(11)のように表される。式(11)において、(q0u,q1u)はV0n側の画像(画像A0sに対応)とV1n側の画像(画像A1s)との対応色を示す。ここで、uは、対応色リスト中の対応色のインデックスを示し、KQnは、対応色リスト中の対応色の総数を示している。
【0095】
【数5】
JP0004831514B2_000006t.gif

【0096】
式(12)において、a0s(hp0,wp0)は画像A0s(V0n側の画像)において画像A1s(V1n側の画像)に対応している対応点(hp0,wp0)の輝度を示す。また、a1s(hp1,wp1)は画像A1s(V1n側の画像)においては画像A0s(V0n側の画像)に対応している対応点(hp1,wp1)の輝度を示す。
【0097】
具体的には、例えば、対応点リストPn(f)のFフレーム分が300組の対応点で構成されていて、ガウスフィルタ処理した画像のインデックスsが「0」である場合(実際には処理していない第0番目の画像=撮影画像の場合)、Rチャンネル用に画像A00および画像A10から300組の対応色をピックアップすることになる。なお、nは、0≦n<KNの範囲で1つに固定されているものとする。
【0098】
同様に、GとBチャンネル用にも画像A00および画像A10からそれぞれ300組の対応色をピックアップする。
また、ガウスフィルタ処理した画像のインデックスsが「1」である場合(第1番目の処理画像の場合)、RGB各チャンネル用に画像A01および画像A11から300組の対応色をピックアップする。
さらに、ガウスフィルタ処理した画像のインデックスsが「2」である場合(第2番目の処理画像の場合)、RGB各チャンネル用に画像A02および画像A12から300組の対応色をピックアップする。
結局、Rチャンネル用の対応リスト(対応色のリスト)Qnには、900組の対応色が作られる。同様に、GとBチャンネル用のQnに対してもそれぞれ900組の対応色が作られることになる。
【0099】
[ステップ4:ルックアップテーブル(LUT)の算出]
このステップの目的は、カメラVkの撮影画像の輝度(bik、0≦bik<256)から、大よその補正輝度(cik、0≦cik<256)への修正を表すルックアップテーブル(LUT)をカメラ毎に作ることである。このテーブルを、前記した式(11)に示す対応リスト(対応色のリスト)Qnから作る。図10(a)、図10(b)および図10(c)には、それぞれ、Rチャンネル、GチャンネルおよびBチャンネルにおいて、LUTの例としてテーブルの最初と最後だけを例として記載してある。図10において、入力値(Captured)は、撮影画像の輝度(bik、0≦bik<256)を示し、近似値(approximate)は大よその補正輝度(cik、0≦cik<256)を示す。
【0100】
式(13)は、撮影画像の輝度bikと補正輝度cikとの関係式である。式(13)中のfCkはこのときの変換関数を表す。また、式(14)は、撮影画像の輝度bikの集合Bkを示し、式(15)は、大よその補正輝度cikの集合Ckを示す。
【0101】
【数6】
JP0004831514B2_000007t.gif

【0102】
カメラVkのルックアップテーブル(LUT)は、図10のようにテーブル状に作成するとき、あるいは、テーブルの各列の値を算出するときには、集合Bkと集合Ckの両方に相当する。また、カメラVkのルックアップテーブル(LUT)から参照されて実際の補正に用いられる輝度は、式(15)に示す集合Ckである。この意味でルックアップテーブル(LUT)というときには、LUTは集合Ckに相当する。したがって、以下では、ルックアップテーブル(LUT)のことをCkと表記することとする。式(16)は、この意味のルックアップテーブル(LUT)Ckの集合Cを示すものである。集合Cの個数は、カメラの個数と同じなので、KV個である。なお、本実施形態では、この表記を用いていても文脈によっては、Ckが集合Bkと集合Ckの両方に相当する場合も含まれる場合もある。
【0103】
【数7】
JP0004831514B2_000008t.gif

【0104】
このステップ4では、式(16)に示すルックアップテーブル(LUT)の集合Cを求める。ただし、参照カメラRにおいては、撮影画像の輝度bikを補正しないので、補正輝度cikは、撮影画像の輝度bikに固定される。参照カメラR(=Vk(R))が基準側のカメラV1nになるようなVNSのインデックスnにおいては、撮影画像の輝度bik(R)は、輝度(パラメータ)の成分を示すインデックスi(0~255)と同じ値(成分の値:式(14)においては、これをあらためてインデックスnと表記した)に固定されるので、参照カメラRにおける集合Bk(R)も固定である。つまり、参照カメラRのルックアップテーブル(LUT)Ck(R)では、特別に、集合Bk(R)=集合Ck(R)となる。したがって、実質的には、各対象カメラVkにおいて、bikに対応するcikの値(変動可能な値)を求めることになる。
【0105】
式(16)に示すルックアップテーブル(LUT)の集合Cの求め方の概要を図11に模式的に示す。図11において、縦長のブロック「view 0」~「view KV-1」は、それぞれ、カメラV0~VKV-1を示す。なお、view(カメラ)のインデックスは「k」である。また、縦長のブロック「view 0」~「view KV-1」の間に配置された「VN0」~「VN2」は、それぞれ、VN(カメラ間の組み合わせ)すなわちカメラペア(撮影画像ペア)を示す。なお、VNのインデックスは「n」であり、図11では、一例としてn=0,1,2のみを代表で示した。これは、図5を反映したものに相当する。
【0106】
図11において、縦長のブロック「view 0」~「view KV-1」において、丸はノードを示し、カメラV0~VKV-1(あるいは各撮影画像)のパラメータベクトルの各成分に相当する。この場合、パラメータベクトルの成分の値は、「bik」である。また、縦長のブロック「view 0」~「view KV-1」において、ノードに重ねて示した長方形はノードのラベルを示す。この場合、ラベルの値は、「cik」である。この値は、テーブル計算手段30(図1参照)が反復処理を行って総パワー値が最小化された状態によって求められる。
【0107】
図11において、「VN0」~「VN2」を介したカメラ間のノードを接続するリンクは、カメラ間(あるいは各撮影画像)のエネルギEinを示す。ここで、nはVNのインデックスである。本実施形態では、エネルギEinは、式(17)で定義され、パワー関数に相当する。
また、カメラ内でノード間を接続するリンクは、隣り合うノード間(あるいはパラメータベクトルの隣り合う成分間)のエネルギFikを示す。ここで、kはview(カメラ)のインデックスである。本実施形態では、エネルギFinは、式(18)で定義される。
【0108】
【数8】
JP0004831514B2_000009t.gif

【0109】
式(17)のσfと式(18)のλは、定数パラメータである。式(17)に示したエネルギEinを表すグラフを図12に示す。図12において、空間を示す3軸のうち幅方向の横軸(ci^(V0n))は、VNのインデックスが「n」であるカメラペア(撮影画像ペア)の制御側のカメラについてのノードのラベル(輝度の成分がインデックス「i」であるラベル)の値をそれぞれ示す。また、奥行き方向の縦軸(ci^(V1n))は、VNのインデックスが「n」であるカメラペア(撮影画像ペア)の基準側のカメラについてのノードのラベル(輝度の成分がインデックス「i」であるラベル)の値をそれぞれ示す。ここで、横軸(ci^(V0n))の値は、縦軸(ci^(V1n))の値を基準にして求められる。そして、この縦軸(ci^(V1n))の値は、他のカメラペア(撮影画像ペア)の基準側のカメラについてのノードのラベルの値を基準にして求められるときには横軸に配される。以下、同様に反復される。
【0110】
また、図12に示す残りの高さ方向の軸は、エネルギEinを示す。エネルギEinは、平面視の座標で示すと(0,0)から(255,255)に向けた領域において小さい値となっている(深く窪んでいる)。
【0111】
本実施形態では、式(17)に示したエネルギEinについてのインデックスi,nについての総和と、式(18)に示したエネルギFikについてのインデックスi,kについての総和とを加算した結果を、総パワー値とする。この総パワー値は、前記した式(16)に示すルックアップテーブル(LUT)の集合Cを変化させたときに、式(19)の右辺のargmin関数において最小化させる対象となる。また、式(19)の左辺のfCは、式(20)で定義され、前記した式(13)に示したカメラVk毎の変換関数fCkの集合を示す。つまり、式(19)の右辺に示した総パワー値が最小となるときに、式(16)に示すルックアップテーブル(LUT)の集合Cが、式(19)に示す変換関数の集合fCとして求められることとなる。
【0112】
【数9】
JP0004831514B2_000010t.gif

【0113】
本手法は、誤対応に強いだけではなく、サブピクセル問題にも強いと言える。前記したステップ3においては、対応色をピックアップするのにガウスフィルタ処理した画像を用いた。そのため、対応点の中にはシャープな画像からピックアップされたものもあれば、ぼけた画像からのものもある。サブピクセルの場合には、誤った「対応する色」がシャープな画像から得られ、正しいものがぼけた画像から得られることになる。一方、サブピクセルでない場合には、より正しい「対応する色」がシャープな画像から得られ、そうでないものがぼけた画像から得られることになる。結局、対応点リストQnには、正しいものとそうでないものが含まれることになる。ステップ4ではすべての対応点が使われる。しかしながら、ステップ4によれば、カメラ間で正しい「対応する色」から作られるエネルギEinは集まり、そうではない「対応する色」から作られるエネルギEinは散らばるため、そうではない「対応する色」をわざわざ選別しなくても自動的に選別される。その結果、すべての対応点を使ったとしてもLUTの質には影響しないことになる。つまり、妥当なLUTが生成される。
【0114】
さらに、ガウスフィルタ処理した画像の数を増やすことにより、正しい対応色が得られる確率が高くなる。例えば、RGBのチャンネル毎にそれぞれ900組の対応色が、対応リスト(対応色のリスト)Qnにある場合、前記した式(17)に示すエネルギEinにおいて、KQnが900となり、uについて900回の加算が行われるからである。
【0115】
[ステップ5:画像の色補正の実行]
このステップの目的は、LUT Ckを用いて、対象カメラVkの撮影画像Aから、補正後画像Zを作ることである。このことは、厳密には、カメラペア(撮影画像ペア)で考えたときに、対象カメラVkが制御側であるのか基準側であるのかによって式(21)または式(22)のように定式化される。なお、式(21)のAo(h,w)は、制御側画像I0n(f)のRGBチャンネル(Ior、Iog、Iob)の(h,w)であり、式(22)のA1(h,w)は、基準側画像I1n(f)のRGBチャンネル(I1r、I1g、I1b)の(h,w)である。
【0116】
【数10】
JP0004831514B2_000011t.gif

【0117】
第3実施形態によれば、設定パラメータ最適化装置2は、色の強度を示すパラメータとして、RGB3チャンネルに対して個別にパラメータベクトルを扱うことができる。したがって、設定パラメータ最適化装置2は、マルチカメラで撮影された各撮影画像が均一となるように色の強度を示すパラメータを最適化することができる。その結果、マルチカメラ全体において、色合いが相互に類似した妥当な色補正を行うことができる。
【0118】
以上、各実施形態について説明したが、本発明はこれらに限定されるものではなく、その趣旨を変えない範囲で様々に実施することができる。例えば、第3実施形態では、撮影画像の画像情報の設定パラメータとして、色の強度を示すパラメータを一例として説明したが、色の強度の代わりに、輝度や色彩を扱ってもよい。また、色に限定されることなく、例えば、視差をパラメータとして最適化するようにしてもよい。
【0119】
視差に関してマルチカメラ全体として撮影画像を均一化することは、カメラの配置にも依存している。例えば、カメラがマトリックス状に配置されたマルチカメラであれば、以下のようなものが想定される。隣り合ったカメラペアの撮影画像において着目している被写体の位置の差分(画像間差分)と、当該カメラペアの一方を含むような隣り合ったカメラペアにおける別の画像間差分とを類似させることが、視差に関してマルチカメラ全体として撮影画像を均一化することとなる。これによれば、カメラペアからステレオ視で取得される対象物までの距離情報が、どのカメラペアを選択しても均一な値として取得可能となる。
【0120】
また、設定パラメータ最適化装置2は、一般的なコンピュータを、前記した画素対応付け手段10と、対応リスト作成手段20と、パワー値算出手段31と、総パワー値算出手段32と、最小化手段33として機能させるプログラム(設定パラメータ最適化プログラム)により動作させることで実現することができる。このプログラムは、通信回線を介して配布することも可能であるし、CD-ROM等の記録媒体に書き込んで配布することも可能である。このプログラムをインストールされたコンピュータは、CPUが、ROM等に格納されたこのプログラムをRAMに展開することにより、設定パラメータ最適化装置2と同等の効果を奏することができる。
【実施例】
【0121】
本発明の効果を確認するために、第3実施形態に係る設定パラメータ最適化装置を含むマルチカメラパラメータ補正装置について実験を行った。
[予備実験]
<実験方法>
最終結果(色補正された画像)の表示だけでは、マルチカメラ全体においてカメラ間の色合いがどの程度均一化されたことになるのかを客観的に示す数値を提示できないので、予め定められた割合の数値を指標として改善効果を調べる予備実験を行った。
予備実験では、「ファジー(Fuzzy)」というテストシーケンスと、これを用いた「歪んだファジー(Distorted fuzzy)」というテストシーケンスとを作成した。
【0122】
ファジー(Fuzzy)には、以ドの(T1)~(T7)の特徴がある。
(T1)ファジーは、8枚の画像で構成されている。
(T2)8枚の画像を図13に示すように左側から右側に向けて順に画像F0,画像F1,…,画像F7とする。なお、図13では、両端を除く6枚の図示を省略した。
(T3)8枚の画像は、1台のカメラによって撮影されたものである。
(T4)高精度な移動装置にカメラを取り付けて、わずかに横方向に移動させては止めるという動作を8回繰り返し、止めた際に被写体を撮影した。
(T5)止める度に10回ずつ撮影し、止めた際の10回の平均画像を1枚の画像として8枚の画像を生成した。そのため、ファジーには、カメラの受光素子などで発生するホワイトノイズは無い。
(T6)撮影中には、照明などの環境は変化してない。
(T7)ファジー(Fuzzy)という名称の由来は、カメラの前にたくさんの物を乱雑に置いたためである。
【0123】
歪んだファジー(Distorted fuzzy)gΓ(Fk)は、式(23)に示すように、ガンマ曲線と線形で変換して作成した。ここで、fγはγでのガンマ曲線変換を表している。また、k=0,1,…,7である。
【0124】
【数11】
JP0004831514B2_000012t.gif

【0125】
前記パラメータ(γ,a,b)の値を決めた後に、Fkの全ピクセルをgΓ(・)で変換して歪んだファジー(Distorted fuzzy)を作成した。図14に、Fkと変換関数gΓ(Fk)との関係を示すグラフ形状の例を示した。図14(a)はγ<1の場合、図14(b)はγ=1の場合、図14(c)はγ>1の場合をそれぞれ示している。
【0126】
ファジーは、前記した(T1)~(T7)の特徴を有しているので、ファジーに対して以下の(U1)の処理および(U2)の処理を行った後の画像(補正後画像)は、その処理を行う前の画像(つまりファジーのオリジナル画像)と同じであるか、または、よく似ると想像される。
(U1)ファジーのうちの1枚(例:F0)を、ガンマ曲線変換などで歪ませる。
(U2)ファジーのうちの他の1枚(例:F)を参照画像(参照カメラRで撮影した撮影画像に相当する画像)として、(U1)で作成した「歪んだ画像」の色合いを参照画像に類似させるように色補正する。
【0127】
この予備実験では、ファジーのオリジナル画像と、その補正後画像との類似度を、PSNR(Peak Signal to Noise Ratio)により測定した。PSNRは、画像の信号と混入したノイズとの比率を示すものである。予備実験では、RGBチャンネルそれぞれについてPSNR[dB]を測定し、式(24)に示すように、各チャンネルのPSNRの平均をPSNRrgbとして評価に用いた。
【0128】
【数12】
JP0004831514B2_000013t.gif

【0129】
ファジーFk(k=0,1,…,7)に対して、式(23)に示す変換関数を適用することで、式(25)に示すGk(k=0,1,…,7)を準備した。ここでは、インデックスkに応じて、式(26)~式(30)に示すように、ガンマ曲線関数(Γ)を変化させている。例えば、式(26)は、k=0,2,4,6に対して、ガンマ曲線関数(Γ)は、γ=0,8、a=0.7、b=20となっている。式(25)に示すGk(k=0,1,…,7)は、実際には複数のカメラで撮影した画像を歪ませたものではないが、複数のカメラVkで撮影した画像を歪ませた画像に相当することになる。
【0130】
【数13】
JP0004831514B2_000014t.gif

【0131】
また、実際には複数のカメラはないが、8個のカメラVk(0≦k<8)によって、マルチカメラが構成されているものと想定したときのカメラ集合を式(29)で示す。以下、同様である。ここで、kはカメラのインデックスである。カメラ集合Vは、撮影画像集合に対応するので、ファジー(8枚のオリジナル画像)に相当することとなる。そして、式(30)に示すように、インデックスkが「3」であるカメラを参照カメラRであるものと想定する。これは、ファジーのうち、インデックスkが「3」である画像F3に相当することとなる。
【0132】
【数14】
JP0004831514B2_000015t.gif

【0133】
また、式(31)に示すように、VNS(VNの集合)の各要素(VN)を定義する。
つまり、カメラ間の組み合わせ、すなわちカメラペア(撮影画像ペア)を18組として予め指定した。これは、ファジーのうち、カメラのインデックスに対応したインデックスkに関して、18組の画像ペアを作ることに相当する。
【0134】
【数15】
JP0004831514B2_000016t.gif

【0135】
前記した式(25)~式(31)の条件の下、マルチカメラパラメータ補正装置1(図1参照)は、テーブル計算手段30によって、カメラのインデックスkに対応して、RGB各チャンネル毎に、式(32)に示すルックアップテーブル(LUT)Ckを算出した。
【0136】
【数16】
JP0004831514B2_000017t.gif

【0137】
ここで、8枚の撮影画像が同一視点の画像であればPSNRを容易に測定することができる。この場合、比較したい2枚の画像について、一方の画像をその画像のLUTに対応した変換関数fで変換した補正画像と、他方の画像をその画像のLUTに対応した変換関数fで変換した補正画像とからPSNRを測定する。しかしながら、8枚の撮影画像は、多視点に対応しているので前記した単純な組み合わせ方法ではPSNRを測定できない。そこで、補正実行手段40(図1参照)は、前記した式(25)に示すガンマファイルタ処理された画像Gk(kは、0≦k<8のいずれか)を、式(33)に示すように、LUT Ck(kは、0≦k<8のそれぞれ)に対応した変換関数fCk(kは、0≦k<8のそれぞれ)で変換することで、対応する補正画像Hk(kは、0≦k<8のいずれか)を求めた。
【0138】
【数17】
JP0004831514B2_000018t.gif

【0139】
式(33)において、画像Gkと対応する補正画像Hkのインデックスkは共通である(kは、0≦k<8のいずれか、例えばk=7)。一方、変換関数f中のインデックスkは、0≦k<8のそれぞれである。これは、従来からの通例にしたがった表記である。
【0140】
次に、インデックスkが「7」である画像を対象にして、PSNRを測定した。ここでは、インデックスkが「7」である画像について、LUT Ck(kは、0≦k<8のそれぞれ)に対応した変換関数fCk(kは、0≦k<8のそれぞれ)でそれぞれ変換した補正画像を、式(34)に示すように、Hk7のように表記することとする。ここで、上付の「7」は、画像のインデックスを示し、下付の「k」は変換関数f中のインデックスk(0≦k<8のいずれか)を示す。例えば、H77は、インデックスkが「7」である画像について、LUT C7に対応した変換関数fC7で変換した補正画像を示す。ちなみに、参照カメラのインデックスkを「3」としたので、ここで想定するk=7のカメラ(画像)は、対象カメラ(対象画像)である。
【0141】
【数18】
JP0004831514B2_000019t.gif

【0142】
式(34)中のfCk(gΓk(・))は、理想的には1つに識別される変換関数となるべきである。すなわち、fCk(gΓk(・))は、kに関わらずにすべての補正画像Hk7に対して、同じであるべきである。しかしながら、従来知られている他の手法では、fCk(gΓk(・))は、すべての補正画像に対して同じであるものとして取り扱うものでは決してない。仮に、隣り合った2つのカメラにおいてfCk(gΓk(・))が同じであるならば、マルチカメラの視点変更時(カメラの切り替え時)に視聴者が不自然さを感じなくすることが可能となる。このとき、補正画像H77と補正画像Hk7との間のPSNRrgbの数値は、kによらずに同様なものとなるはずである。
【0143】
[実験結果]
補正画像H77および補正画像Hk7のPSNRrgbの測定結果を図15に示す。
本手法(実施例)の比較例として、参照画像の色合いに類似させるように参照画像に対してその他の対象画像を独立に補正する手法(非特許文献1の手法)を用いた。これに対して、本手法(実施例)は、参照画像の色合いに対象画像を類似させつつ対象画像どうしの色合いをも類似させる手法である。
【0144】
図15に示すように、比較例のPSNRrgbは、1行目と7行目、つまり、(H77,H07)、(H77,H67)の2通りの場合に、PSNRrgbの数値が、他の5通りの場合に比べて著しく小さくなった。このことは、補正画像間の関係は、ときどき劣化する場合があることを意味する。このような外れ値が生じた理由としては、比較例は、実施例と異なって、参照カメラ(参照画像)と当該対象カメラ(対象画像)との間の一対一の対応だけを考慮して各カメラに対するルックアップテーブルを独立に算出したためであると考えられる。結論として、対象カメラ間(H77,Hk7)でPSNRrgbを計算したときには、PSNRrgbがときどき小さくなる場合がある。
【0145】
しかしながら、実施例で得られたPSNRrgbのそれぞれの数値(7通り)は、ばらつきが小さく、外れ値らしきものもなく、さほど変わらない値になっている。このことは、実施例における補正画像間の関係は、比較例における補正画像間の関係よりも良好であることを意味する。そして、このことを示すことが、本実施例を用いた予備実験の目的でもあったのである。なお、実施例のPSNRrgbの平均値(31.9)は、比較例の平均値(33.5)より小さい。このことは本当の最小でなく、極小(いわゆるローカルミニマム)を最小と扱った可能性が高いことを示唆している。したがって、最小化する処理をさらに行うことが望ましい。
【0146】
[本実験]
マルチカメラパラメータ補正装置1(図1参照)を用いて、実写のマルチカメラ映像についての色補正を行った。具体的には、5個のカメラVk(0≦k<5)によって、マルチカメラを構成した。このときのカメラ集合を式(35)で示す。そして、式(36)に示すように、インデックスkが「0」であるカメラを参照カメラRであるものとした。また、式(37)に示すように、VNS(VNの集合)の各要素(VN)を定義した。つまり、カメラ間の組み合わせ、すなわちカメラペア(撮影画像ペア)を10組として予め指定した。この組み合わせは、5台のカメラについての実質的な全組み合わせになっている(10=52)。
【0147】
【数19】
JP0004831514B2_000020t.gif

【0148】
このときに利用した撮影画像を図16に示し、実験結果を図17に示す。
図16(a)~図16(e)は、各カメラV0~V4で撮影された撮影画像を模式的に示す図である。ここでは、5枚の撮影画像の色合いが向上することを強調し、かつ簡単に説明するために、以下のように、簡略化した。すなわち、各撮影画像に表示されている人物の上着の右半身側のハッチング領域が一様にある色(RGBチャンネルを合成した色)になっているものとする。そのとき、ハッチングの本数が多いほど色の強度が大きいことを示すものとする。また、色の強度は、実際の結果を正確に反映するものではない。さらに、5枚の撮影画像に写る人物の画面上の大きさ、向きおよび配置は、カメラの配置を正確に反映するものではない。図17(a)~図17(e)は、図16(a)~図16(e)にそれぞれ対応するものであり、その表示方法は図16と同様である。
【0149】
撮影画像については、図16(a)~図16(e)に示すように、カメラV0(参照カメラ)で撮影された参照画像(以下、単に画像V0のように表記する)の色の強度を基準にすると、画像V1の強度は非常に大きく、画像V2の強度は非常に小さい。また、画像V3,V4の強度はある程度大きい。したがって、マルチカメラ全体では色合いが大きく異なる。
【0150】
一方、補正画像については、図17(a)に示すように、画像V0については変化はない。図17(b)に示すように画像V1の強度は補正前に比べて小さくなって画像V0の強度に近づいている。図17(c)に示すように画像V2の強度は補正前に比べて大きくなって画像V0の強度に近づいている。図17(d)に示すように画像V3の強度は補正前に比べて非常に小さくなっているが、画像V0の強度との差分はあまり変化していない。図17(e)に示すように画像V4の強度は補正前に比べて小さくなって画像V0の強度に近づいている。したがって、マルチカメラ全体として撮影画像が均一となるように補正され、色合いが均一化されている。なお、図17では正確な色合いの変化を表現することはできないが、正確な色合いおよび詳細な実験結果については、「K. Yamamoto and R. Oi,“Color Correction for Multi-view Video by Minimizing Energy of View Networks”,ACCV’07 Workshop on Multi-dimensional and Multi-view Image Processing,2007年11月19日」に記載されている。
【図面の簡単な説明】
【0151】
【図1】本発明の第1実施形態に係る設定パラメータ最適化装置を含むマルチカメラパラメータ補正装置を模式的に示すブロック図である。
【図2】図1に示したマルチカメラパラメータ補正装置の動作を示すフローチャートである。
【図3】エラー処理を説明するための説明図である。
【図4】本発明の第2実施形態に係る設定パラメータ最適化装置を含むマルチカメラパラメータ補正装置を模式的に示すブロック図である。
【図5】カメラペアを模式的に示す図である。
【図6】色補正の流れを示すフローチャートである。
【図7】画素対応付けの一例を模式的に示す図である。
【図8】撮影画像間のRGBチャンネルのパラメータの対応リストを模式的に示す図である。
【図9】ガウスフィルタ処理を施した画像を模式的に示す図である。
【図10】撮影画像のRGBチャンネルのルックアップテーブルを模式的に示す図である。
【図11】ルックアップテーブルの決定方法を説明するための図である。
【図12】対応色で作られるエネルギの一例を模式的に示すグラフである。
【図13】予備実験で用いた撮影画像を模式的に示す図である。
【図14】画像の色強度と変換関数との関係を示すグラフ形状の例を示す図である。
【図15】予備実験の実験結果を示す表である。
【図16】実験で用いた撮影画像を模式的に示す図である。
【図17】実験結果の補正画像を模式的に示す図である。
【符号の説明】
【0152】
1(1A) マルチカメラパラメータ補正装置
2(2A) 設定パラメータ最適化装置
10 画素対応付け手段
20 対応リスト作成手段
30 テーブル計算手段
31 パワー値算出手段
32 総パワー値算出手段
33 最小化手段
40 補正実行手段
50 記憶手段
51 対応リスト記憶部
52 ルックアップテーブル記憶部
V カメラ
M 入力装置
D 出力装置
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14
【図16】
15
【図17】
16