TOP > 国内特許検索 > 設定パラメータ最適化装置およびそのプログラム

設定パラメータ最適化装置およびそのプログラム コモンズ

国内特許コード P140010627
整理番号 07-95
掲載日 2014年6月9日
出願番号 特願2007-294464
公開番号 特開2009-122842
登録番号 特許第4831514号
出願日 平成19年11月13日(2007.11.13)
公開日 平成21年6月4日(2009.6.4)
登録日 平成23年9月30日(2011.9.30)
発明者
  • 山本 健詞
  • 妹尾 孝憲
  • 大井 隆太朗
  • 三科 智之
  • 奥井 誠人
出願人
  • 国立研究開発法人情報通信研究機構
発明の名称 設定パラメータ最適化装置およびそのプログラム コモンズ
発明の概要 【課題】マルチカメラで撮影された各撮影画像が均一となるように設定パラメータを最適化すること。
【解決手段】設定パラメータ最適化装置2は、撮影画像間で共有する被写体について対応付けられた画素に設定されているパラメータ値を対応付けた対応リストを、選択可能なすべての撮影画像ペアについて作成する対応リスト作成手段20と、パラメータベクトルの設定変更値について撮影画像間の差分を最小化させるためのパワー関数に対応リストを用いたときのパワー値を算出するパワー値算出手段31と、対応リストが作成された全組み合わせおよびパラメータベクトルの各成分に対するパワー値の総和として総パワー値を算出する総パワー値算出手段32と、総パワー値を最小化するようにパラメータベクトルの設定変更値を制御し、最小状態を与えるときの各パラメータベクトルを各撮影画像の設定パラメータとする最小化手段33とを備える。
【選択図】図1
従来技術、競合技術の概要


マルチカメラの映像から自由視点の映像を合成する研究は、近年、イメージベースレンダリング技術(Image-Based Rendering;IBR)において非常に大きな注意を引いてきた。それは、自由視点の映像を合成する研究の応用分野として、文化遺産や伝統舞踊の映像保存、自由視点テレビ、教育アプリケーション、顔認証セキュリティシステム、娯楽等の様々な分野が発見されてきたからである。マルチカメラシステムにおいては、視点変更時(カメラの切り替え時)に視聴者が不自然さを感じなくするために、撮影画像を幾何補正したり、色補正したりすることが必要である。換言すると、IBRに対してマルチカメラの映像を利用するためには幾何補正や色補正が必要となる。



さらに快適な視聴を実現するためには、(1)カメラ間においては、角度や位置等のカメラ配置のパラメータや、ゲイン量、ガンマ補正、ズーム、露光時間、絞り量等のカメラ撮影のパラメータを最適化する必要がある。また、(2)撮影画像間においては、色の強度や視差等のパラメータを最適化する必要がある。以下では、簡便のため、これらの種々のパラメータのうち、色補正のパラメータを例示して説明することとする。



コンピュータビジョンの分野では、色補正は、必ずしも必要なものではない。しかしながら、色が補正されれば、パターンマッチングやパターン認識を援助することになる。そのため、コンピュータビジョンの分野においては、色補正を考慮することは有効な手法であると言える。



IBR用のカメラの幾何補正は2つのステップで実施される。第1ステップは、撮影前にカメラを極力正確な位置に置くステップであり、第2ステップは、撮影後にカメラキャリブレーション(カメラ撮影のパラメータを調整すること)を行って画像を修正するステップである。



また、色補正のステップも幾何補正のステップと非常に類似したものである。つまり、色補正のステップでは、第1ステップが、カメラの調整量(パラメータ)であるゲイン量やガンマ補正、ズーム、露光時間、絞り量を撮影前に極力調整するステップであり、第2ステップが、撮影された画像を修正するステップ(画像の設定パラメータを調整するステップ)である。



一般的に、マルチカメラシステムは以下の(A1)~(A3)の特徴を有している。
(A1)すべてのカメラのカラーフィルタは同じである。
(A2)すべてのカメラの絞り量を完全に同じものにすることは非常に困難である。この絞り量の違いを補償するためゲイン量を調整する。しかし、ゲイン量がRGBチャンネルで共通化されているカメラや、数種類の中からゲイン量を選ぶ程度の粗っぽい調整機能しか有していないカメラでは、十分に補償しきれない。残念ながら、現状では、ほとんどのカメラは、このようなタイプのカメラである。
(A3)ゲイン量やズームなどのカメラの特徴量のレベルは線形に変化するものではなく、かつカメラの個体差もある。そのため、ゲイン量やズームなどの応答は、完全には同じものになることはない。



これらの(A1)~(A3)の特徴を考慮した色補正の方法が知られている(非特許文献1~3参照)。例えば、非特許文献1,2では、(A1)の理由でRGBの各チャンネルを独立で考えることにしている。ただし、カメラのカラーフィルタがCMY(シアン,マジェンダ,イエロー)である場合には、CMYの各チャンネルで考える。この場合、入力データがRGBであるとすると、RGBからCMYに変換した後に色補正し、その後にCMYからRGBに変換することになる。
なお、マルチカメラにおいて色補正を色差空間で行う方法も存在するが、処理が比較的煩雑になってしまう(特許文献1参照)。



また、例えば、非特許文献1~3では、(A2)と(A3)の理由で非線形の変換を考えることにしている。
これに対して、カラーフィルタの色空間において、線形変換で色補正を行うものも存在する(特許文献2参照)。しかし、線形変換では、電子回路の非線形性などに起因して色合いの違いが発生してしまう。



特許文献2に記載された方法は、カメラ間の色の違いを得るために、カラーパターンボード(基準チャート)を使う。カラーパターンボードを利用する手法には、以下の(B1)、(B2)の利点がある。
(B1)カラーパターンボードを工夫することで、希望する色相のデータを得られる。そのため、色相のほぼ全域のデータを得ることも可能である。
(B2)カメラ間において対応する色を容易に特定することができる。なお、カメラ“1”、カメラ“2”の2台で同一シーンを撮影したきに、3次元空間中の一点が両カメラに写っているときに、それらの写っている点を対応点と呼ぶ。また、このときの各対応点の色を「対応する色」と呼ぶ。



それに対して、カラーパターンボードを使わずにカメラ間の色の違いを得る手法も存在している。これらの手法には、以下の(C1)~(C3)の利点がある。
(C1)カラーパターンボードを用意しなくても良い。逆にカラーパターンボードを使うことを想定すると、例えば、サッカー場のような大規模な空間を撮影する場合には、非常に大きなカラーパターンボードが必要となり、これを用意することは容易ではない。
(C2)カメラ間において、対応する色を撮影された画像内からピックアップするならば、撮影された画像内で実際に使われている輝度のすべてを利用して補正量を求めることも可能である。一方、カラーパターンボードの色だけでは、一部の輝度しか使えない場合もある。このような例としては、外光が入射してくる窓が被写体の脇にある状態の撮影が挙げられる。カラーパターンを被写体付近に置くと、カラーパターンよりも窓のほうが明るく写る。このとき、カラーパターンを撮影してもカラーパターンからは高輝度の領域のデータを得られない。つまり、撮影した画像に高輝度の領域があっても、その領域は補正値の算出に使われないことになる。そのため、この領域の補正量を作成するために何らかの追加処理が必要になってしまう。
(C3)もし、カラーパターンボードがあっても無くても同じ結果が得られるならば、無いほうが容易なのでよい。



非特許文献1~3は、カラーパターンボードを使わずにカメラ間の色の違いを得る手法であって、マルチカメラのうちある特定のカメラで撮影された撮影画像(以下、参照画像という)を予め定めておき、他のカメラで撮影した補正対象の撮影画像(以下、対象画像という)が参照画像と同じ色合いになるように補正するものである。このように2台のカメラ間で対応する色を抽出すると、妥当であるとは言えない色ばかりが抽出されてしまう。そこで、これらの方法では、参照画像と対象画像との差分に相当するエネルギを定義して、このエネルギを最小にする対応色を求めてRGBチャンネル毎にルックアップテーブルを算出し、算出したルックアップテーブルを用いて色補正を行っていた。これらの方法には、以下の(D1)~(D4)の利点がある。
(D1)カラーパターンボードを使用しない。
(D2)RGBチャンネルを独立に処理する。
(D3)非線形の変換で色補正を行う(ルックアップテーブルを利用する)。
(D4)オクルージョン問題にも対応できる。



前記した非特許文献1、2と、非特許文献3とでは、色補正の手順において相違点が存する。この相違点を具体的に説明するため、マルチカメラが例えば4台のカメラで構成されているものとする(カメラ“0”、カメラ“1”、カメラ“2”、カメラ“3”)。



非特許文献1、2に記載された方法では、カメラ“0”の撮影画像を参照画像として、カメラ“1”、カメラ“2”、カメラ“3”の撮影画像を第1対象画像、第2対象画像、第3対象画像とする場合、「参照画像と第1対象画像」、「参照画像と第2対象画像」、「参照画像と第3対象画像」のすべての組み合わせにおいて、各対象画像は参照画像に色合いが類似するように補正される。ここで、それぞれの補正は互いに独立に行われる。



また、非特許文献3に記載された方法では、初めに例えばカメラ“0”の撮影画像を参照画像として、カメラ“0”に最近接したカメラ“1” を対象画像として調整する。次に、このカメラ“1”の撮影画像を新たに参照画像として、カメラ“1”に最近接したカメラ“2” を対象画像として調整する。以下、同様に、参照画像を次々に変更して、再びカメラ“0”の撮影画像を参照画像とするまで繰り返す。つまり、カメラが一直線に配列されている場合やコの次状に配置されている場合には一往復して、例えば「0→1→2→3→2→1→0」の順番に調整される。また、カメラが円周状に配置されている場合には一周して、例えば「0→1→2→3→0」の順番に調整されることになる。
【特許文献1】
特開2005-4776号公報(段落0056、0057、図3)
【特許文献2】
特開2004-88247号公報(段落0047~0049、図2)
【非特許文献1】
K. Yamamoto, T. Yendo, T. Fujii, M. Tanimoto and D. Suter, “Colour Correction for Multiple-camera System by using Correspondences,” The journal of the institute of Image Information and Television Engineers, vol. 61,no. 2, pp. 213-222, Feb. 2007
【非特許文献2】
K. Yamamoto, T. Yendo, T. Fujii and M. Tanimoto, “Colour Correction of Multi-view Video by Using Correspondences,” Forth Symposium on Intelligent Media Integration for Social Information, pp. 65-66, Dec. 2006
【非特許文献3】
M. P. Tehrani, A. Ishikawa, S. Sakazawa and A. Koike, “Colour Correction of Multiview Camera System Using Matched Feature Points,” Forum on Information Technology 2007, pp. 371-372, Sep. 2007

産業上の利用分野



本発明は、設定パラメータ最適化装置およびそのプログラムに係り、特に、被写体を共有する3以上のカメラで撮影するマルチカメラから取得した撮影画像の設定パラメータを制御する設定パラメータ最適化装置およびそのプログラムに関する。

特許請求の範囲 【請求項1】
被写体を共有する3以上のカメラで撮影するマルチカメラから取得した前記各カメラで撮影された各撮影画像の中から選択された撮影画像ペアのうちの少なくとも一方の撮影画像の画像情報の設定パラメータを制御する設定パラメータ最適化装置であって、
前記撮影画像ペアを形成する各撮影画像間で、前記共有する被写体について画素を対応付ける画素対応付け手段と、
前記撮影画像間で対応付けられた各画素にそれぞれ設定されているパラメータの既設定値を、前記対応付けられたすべての画素にわたって対応付けた対応リストを選択可能なすべての撮影画像ペアについて作成する対応リスト作成手段と、
前記対応リストが作成された各撮影画像に対応する設定変更用のパラメータベクトルにおける各成分の設定変更値について前記撮影画像間の差分を最小化させるために、予め定められたパワー関数に対して、前記対応リストに対応付けられているパラメータの既設定値を適用することで前記設定変更用のパラメータベクトルの各成分それぞれについてパワー値を算出するパワー値算出手段と、
前記対応リストが作成されたすべての組み合わせおよび前記パラメータベクトルの各成分に対する、前記パワー値の総和である総パワー値を算出する総パワー値算出手段と、
前記総パワー値を最小化または最大化するように、前記撮影画像ペアのうちの少なくとも一方の撮影画像のパラメータベクトルの各成分の設定変更値を制御し、前記総パワー値が最小状態または最大状態を与えるときの各パラメータベクトルを、前記被写体を共有する各撮影画像の画像情報の設定パラメータとすることで前記撮影画像間の差分を最小化させる最小化手段とを備えることを特徴とする設定パラメータ最適化装置。

【請求項2】
被写体を共有する3以上のカメラで撮影するマルチカメラから取得した前記各カメラで撮影された各撮影画像の中から選択された撮影画像ペアの撮影画像の画像情報に基づいて、前記選択された撮影画像ペアを撮影したカメラぺアのうちの少なくとも一方のカメラの設定パラメータを制御する設定パラメータ最適化装置であって、
前記撮影画像ペアを形成する各撮影画像間で、前記共有する被写体について画素を対応付ける画素対応付け手段と、
前記撮影画像ペアに対応して各カメラに設定されている各カメラのパラメータの既設定値を、前記対応付けられたすべての画素にわたって対応付けた対応リストを選択可能なすべての撮影画像ペアについて作成する対応リスト作成手段と、
前記対応リストが作成された各撮影画像を撮影した各カメラに対応する設定変更用のパラメータベクトルにおける各成分の設定変更値について前記撮影画像間の差分を最小化させるために、予め定められたパワー関数に対して、前記対応リストに対応付けられているパラメータの既設定値を適用することで前記設定変更用のパラメータベクトルの各成分それぞれについてパワー値を算出するパワー値算出手段と、
前記対応リストが作成されたすべての組み合わせおよび前記パラメータベクトルの各成分に対する、前記パワー値の総和である総パワー値を算出する総パワー値算出手段と、
前記総パワー値を最小化または最大化するように、前記撮影画像ペアを撮影したカメラぺアのうちの少なくとも一方のカメラのパラメータベクトルの各成分の設定変更値を制御し、前記総パワー値が最小状態または最大状態を与えるときの各パラメータベクトルを、前記被写体を共有する各カメラの設定パラメータとすることで前記撮影画像間の差分を最小化させる最小化手段とを備えることを特徴とする設定パラメータ最適化装置。

【請求項3】
前記画素対応付け手段は、前記カメラの設定パラメータの更新により前記撮影画像間で、前記共有する被写体についての画素の対応付けが変化した場合に、当該撮影画像間の画素の対応付けを更新することを特徴とする請求項2に記載の設定パラメータ最適化装置。

【請求項4】
前記総パワー値算出手段は、
前記撮影画像ペアの一方の撮影画像が所定の撮影画像に固定され、かつ、他方の撮影画像が順次切り替えられることで組み合わされる各撮影画像ペアについて、前記パワー値の前記パラメータベクトルの各成分に対する総和を示す画像ペアパワー値をそれぞれ算出し、
その算出結果が、予め定められた閾値を超えた場合、または、前記撮影画像ペアの他方の撮影画像が順次切り替えられることで組み合わされる各撮影画像ペアにおける前記画像ペアパワー値の算出結果を要素とする集合においてその統計的偏り度が予め定められた閾値を超えた場合、当該算出結果において撮影画像ペアの他方において組み合わされた撮影画像を除外し、
前記総パワー値を算出することを特徴とする請求項1ないし請求項3のいずれか一項に記載の設定パラメータ最適化装置。

【請求項5】
前記総パワー値算出手段は、
前記撮影画像ペアの一方の撮影画像が所定の撮影画像に固定され、かつ、他方の撮影画像が順次切り替えられることで組み合わされる各撮影画像ペアについて、前記パワー値の前記パラメータベクトルの各成分に対する総和を示す画像ペアパワー値をそれぞれ算出した算出値を積算し、
その積算結果が、予め定められた閾値を超えた場合、または、前記撮影画像ペアの一方の固定された撮影画像が順次切り替えられることで組み合わされる各撮影画像ペアにおける前記画像ペアパワー値の積算結果を要素とする集合においてその統計的偏り度が予め定められた閾値を超えた場合、当該積算結果において撮影画像ペアの一方において固定された撮影画像を除外し、
前記総パワー値を算出することを特徴とする請求項1ないし請求項3のいずれか一項に記載の設定パラメータ最適化装置。

【請求項6】
前記撮影画像の画像情報の設定パラメータとして、色の強度を示すパラメータを扱うことを特徴とする請求項1に記載の設定パラメータ最適化装置。

【請求項7】
被写体を共有する3以上のカメラで撮影するマルチカメラから取得した前記各カメラで撮影された各撮影画像の中から選択された撮影画像ペアのうちの少なくとも一方の撮影画像の画像情報の設定パラメータを制御するために、コンピュータを、
前記撮影画像ペアを形成する各撮影画像間で、前記共有する被写体について画素を対応付ける画素対応付け手段、
前記撮影画像間で対応付けられた各画素それぞれ設定されているパラメータの既設定値を、前記対応付けられたすべての画素にわたって対応付けた対応リストを選択可能なすべての撮影画像ペアについて作成する対応リスト作成手段、
前記対応リストが作成された各撮影画像に対応する設定変更用のパラメータベクトルにおける各成分の設定変更値について前記撮影画像間の差分を最小化させるために、予め定められたパワー関数に対して、前記対応リストに対応付けられているパラメータの既設定値を適用することで前記設定変更用のパラメータベクトルの各成分それぞれについてパワー値を算出するパワー値算出手段、
前記対応リストが作成されたすべての組み合わせおよび前記パラメータベクトルの各成分に対する、前記パワー値の総和である総パワー値を算出する総パワー値算出手段、
前記総パワー値を最小化または最大化するように、前記撮影画像ペアのうちの少なくとも一方の撮影画像のパラメータベクトルの各成分の設定変更値を制御し、前記総パワー値が最小状態または最大状態を与えるときの各パラメータベクトルを、前記被写体を共有する各撮影画像の画像情報の設定パラメータとすることで前記撮影画像間の差分を最小化させる最小化手段、
として機能させることを特徴とする設定パラメータ最適化プログラム。
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

JP2007294464thum.jpg
出願権利状態 登録
※ 詳細内容の開示にあたっては、別途、JSTと秘密保持契約を締結していただくことが必要となります。


PAGE TOP

close
close
close
close
close
close
close