TOP > 国内特許検索 > カメラ、カメラアレイ及びカメラアレイシステム > 明細書

明細書 :カメラ、カメラアレイ及びカメラアレイシステム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4998792号 (P4998792)
公開番号 特開2009-109322 (P2009-109322A)
登録日 平成24年5月25日(2012.5.25)
発行日 平成24年8月15日(2012.8.15)
公開日 平成21年5月21日(2009.5.21)
発明の名称または考案の名称 カメラ、カメラアレイ及びカメラアレイシステム
国際特許分類 G01B  11/00        (2006.01)
G06T   1/00        (2006.01)
G01B  11/24        (2006.01)
G01C   3/06        (2006.01)
G01C   3/00        (2006.01)
H04N   5/232       (2006.01)
FI G01B 11/00 H
G06T 1/00 315
G01B 11/24 K
G01C 3/06 110V
G01C 3/00 120
G01C 3/06 140
H04N 5/232 Z
請求項の数または発明の数 6
全頁数 16
出願番号 特願2007-281547 (P2007-281547)
出願日 平成19年10月30日(2007.10.30)
審査請求日 平成22年10月22日(2010.10.22)
特許権者または実用新案権者 【識別番号】301022471
【氏名又は名称】独立行政法人情報通信研究機構
発明者または考案者 【氏名】大井 隆太朗
【氏名】山本 健詞
【氏名】妹尾 孝憲
【氏名】三科 智之
【氏名】奥井 誠人
個別代理人の代理人 【識別番号】100064414、【弁理士】、【氏名又は名称】磯野 道造
【識別番号】100111545、【弁理士】、【氏名又は名称】多田 悦夫
審査官 【審査官】有家 秀郎
参考文献・文献 特開平8-105713(JP,A)
特開2002-135807(JP,A)
特開2002-350131(JP,A)
特開2002-109518(JP,A)
特開2001-194126(JP,A)
特開2004-213332(JP,A)
特開2004-128736(JP,A)
特開2001-052177(JP,A)
特開2003-283819(JP,A)
大井隆太朗 外1名,”空間情報取得用マルチカメラシステムの実装”,電子情報通信学会技術研究報告,2007年 5月11日,Vol.107, No.40(IE2007 11-19),Page.13-16
調査した分野 G01B 11/00-11/30
G01C 3/00- 3/32
G06T 1/00- 1/60
H04N 5/232
特許請求の範囲 【請求項1】
被写体の3次元情報を取得するカメラアレイシステムで用いられ、撮像した当該被写体の画像データに含まれる幾何歪みの補正をするための補正指令をコンピュータから通信手段を介して受信し、当該補正指令に基づいて補正をした後の補正後画像データを、前記通信手段を介して伝送するカメラであって、
前記被写体を撮像し、前記画像データとすると共に、予め設定した基準マーカを撮像し、幾何歪みが未補正の未補正画像データとする撮像手段と、
この撮像手段で撮像した未補正画像データを、前記通信手段で前記コンピュータに伝送すると共に、前記通信手段で受信した前記補正指令に基づいて、前記画像データの座標を変換することで、当該画像データに含まれる幾何歪みの補正を行って補正後画像データとするキャリブレーション処理手段と、
前記コンピュータで前記補正後画像データの座標が指定された抽出領域を、前記通信手段を介して受信し、前記キャリブレーション処理手段で補正された補正後画像データから、当該抽出領域を抽出した補正後画像データを、前記通信手段を介してコンピュータに伝送する領域抽出手段と、を備え、
前記補正指令は、当該カメラを含む複数のカメラから伝送された前記未補正画像データそれぞれの基準マーカが予め設定された基準位置に整列するように求められた前記画像データの座標を変換するキャリブレーションデータを含むことを特徴とするカメラ。
【請求項2】
前記通信手段は、前記コンピュータから伝送された基準信号を受信し、
この基準信号に基づいて、前記被写体の画像データを、他のカメラで撮像される被写体の画像データと同期させる同期制御処理手段を備えることを特徴とする請求項1に記載のカメラ。
【請求項3】
請求項1又は2に記載のカメラを複数、同一平面上に配置したことを特徴とするカメラアレイ。
【請求項4】
請求項3に記載のカメラアレイと、このカメラアレイから伝送された被写体の画像データ及び当該画像データの幾何歪みが補正された後、当該被写体の3次元情報を取得する際に必要となる予め指定された領域が抽出された補正後画像データが伝送されるコンピュータと、を備えるカメラアレイシステムであって、
前記コンピュータは、
複数のカメラから伝送された前記未補正画像データそれぞれの基準マーカが予め設定した基準位置に整列するように、前記画像データの座標を変換するキャリブレーションデータを算出するキャリブレーションデータ算出手段と、
このキャリブレーションデータ算出手段で算出したキャリブレーションデータと、前記カメラが前記カメラアレイに配置された位置とに基づいて、前記被写体の3次元情報を取得する際に必要となる抽出領域を指定する抽出領域指定手段と、
前記カメラで抽出された補正後画像データと、前記カメラが前記カメラアレイに配置された位置とに基づいて、前記被写体の3次元情報を取得する3次元情報取得手段と、
を備えることを特徴とするカメラアレイシステム。
【請求項5】
請求項3に記載のカメラアレイと、このカメラアレイから伝送された被写体の画像データが伝送される第1コンピュータと、前記画像データの幾何歪みが補正された後、当該被写体の3次元情報を取得する際に必要となる予め指定された領域が抽出された補正後画像データが伝送される第2コンピュータと、を備えるカメラアレイシステムであって、
前記第1コンピュータは、
複数のカメラから伝送された前記未補正画像データそれぞれの基準マーカが予め設定した基準位置に整列するように、前記画像データの座標を変換するキャリブレーションデータを算出するキャリブレーションデータ算出手段と、
このキャリブレーションデータ算出手段で算出したキャリブレーションデータと、前記カメラが前記カメラアレイに配置された位置とに基づいて、前記被写体の3次元情報を取得する際に必要となる抽出領域を指定する抽出領域指定手段と、を備え、
前記第2コンピュータは、
前記カメラで抽出された補正後画像データと、前記カメラが前記カメラアレイに配置された位置とに基づいて、前記被写体の3次元情報を取得する3次元情報取得手段を備えることを特徴とするカメラアレイシステム。
【請求項6】
前記抽出された補正後画像データ同士を、同期させる基準となる基準信号を出力する基準信号出力手段を備えることを特徴とする請求項4又は5に記載のカメラアレイシステム。

発明の詳細な説明 【技術分野】
【0001】
本発明は、被写体を撮像した画像データのキャリブレーションをし、当該被写体の3次元情報を取得するカメラ、カメラアレイ及びカメラアレイシステムに関する。
【背景技術】
【0002】
従来、複数のカメラによって被写体を撮像する際に、同期したカメラ映像(画像データ)のキャリブレーション(校正、較正)を行う方法として、例えば、非特許文献1や特許文献1が開示されている。これらの方法は、各カメラで撮像したカメラ映像をホストPCに伝送した後、このホストPCにてキャリブレーションを行うものである(以下、従来技術1という)。
【0003】
また、カメラ映像のキャリブレーションを行うものとして、CPUに接続された複数のカメラにおいて、被写体を撮像したカメラ内部でキャリブレーションを行うものが特許文献2に開示されている。この特許文献2で開示されているものは、複数のカメラで撮像したカメラ映像による被写体(製品)の不良品判定を目的としたものである(以下、従来技術2という)。

【特許文献1】特開2001-52177号公報
【特許文献2】特開平8-105713号公報
【非特許文献1】王ほか、“実時間自由視点画像合成のためのカメラアレイシステムの構築とキャリブレーション手法の検討”、3次元画像コンファレンス2007、pp.97-100
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、従来技術1では、ホストPCにおいて、キャリブレーションを行う処理が集中してしまうので処理負荷が増加するという問題がある。また、従来技術1では、ホストPCの処理負荷が増加するばかりでなく、カメラ映像のキャリブレーションが終了した後、カメラ映像の中で不要な部分が破棄されるにも拘わらず、この破棄される不要な部分を、各カメラからホストPCに伝送する必要があり、カメラとホストPCとの間の伝送容量が増加するという問題がある。
【0005】
また、従来技術2では、カメラ内部にキャリブレーションを行う機構が設けられているものの、各カメラからキャリブレーションされたカメラ映像が出力されていないため、被写体の3次元情報を取得することができないという問題がある。また、従来技術2では、カメラの配置を変更した場合、再度キャリブレーションを行って、実際の較正値であるキャリブレーションデータを変更する必要があるものの、この場合にCPUから各カメラに対し、動的にキャリブレーションデータを更新する仕組みが存在していないという問題がある。さらに、従来技術2では、各カメラから出力されるカメラ映像同士の同期が保証されておらず、例えば、被写体が移動している場合、各カメラから出力されるカメラ映像にブレが生じ、ある時刻における正確な被写体の3次元情報を取得することができないという問題がある。
【0006】
そこで、本発明では、前記した問題を解決し、ホストPC(コンピュータ)の処理負荷を軽減すると共に、伝送されるカメラ映像の伝送量を低減することができ、また、被写体の正確な3次元情報を取得することができるカメラ、カメラアレイ及びカメラアレイシステムを提供することを目的とする。
【課題を解決するための手段】
【0007】
前記課題を解決するため、請求項1に記載のカメラは、被写体の3次元情報を取得するカメラアレイシステムで用いられ、撮像した当該被写体の画像データに含まれる幾何歪みの補正をするための補正指令をコンピュータから通信手段を介して受信し、当該補正指令に基づいて補正をした後の補正後画像データを、前記通信手段を介して伝送するカメラであって、撮像手段と、キャリブレーション処理手段と、領域抽出手段と、を備え、前記補正指令は、当該カメラを含む複数のカメラから伝送された前記未補正画像データそれぞれの基準マーカが予め設定された基準位置に整列するように求められた前記画像データの座標を変換するキャリブレーションデータを含むことを特徴とする。
【0008】
かかる構成によれば、カメラは、撮像手段によって、予め設定した基準マーカを撮像し、幾何歪みが未補正の未補正画像データとする。続いて、カメラは、この撮像手段で撮像した未補正画像データを、通信手段でコンピュータに伝送すると共に、通信手段で受信した補正指令に基づいて、撮像手段で撮像した被写体の画像データの座標を変換することで、当該画像データに含まれる幾何歪みの補正を行って補正後画像データとする。そして、カメラは、領域抽出手段によって、コンピュータで補正後画像データの座標が指定された抽出領域を、通信手段を介して受信し、キャリブレーション処理手段で補正された補正後画像データから、当該抽出領域を抽出した補正後画像データを、通信手段を介してコンピュータに伝送する。なお、補正後画像データを伝送するコンピュータは、補正指令を伝送したコンピュータ及び当該補正後画像データを受信する一又は複数の受信用コンピュータの少なくとも一方であればよい。
【0009】
また、請求項2に記載のカメラは、請求項1に記載のカメラにおいて、前記通信手段は、前記コンピュータから伝送された基準信号を受信し、同期制御処理手段を備えることを特徴とする。
【0010】
かかる構成によれば、カメラは、通信手段で受信した基準信号に基づいて、同期制御処理手段によって、被写体の画像データを、他のカメラで撮像される被写体の画像データと同期させる。
【0011】
請求項3に記載のカメラアレイは、請求項1又は2に記載のカメラを複数、同一平面上に配置したことを特徴とする。
かかる構成によれば、カメラアレイは、同一平面上に配置された複数のカメラにおいて、被写体を撮像した画像データに対し、キャリブレーション処理を行って、予め指定された抽出領域を抽出した、複数の抽出後の補正後画像データを、コンピュータに出力する。
【0012】
請求項4に記載のカメラアレイシステムは、請求項3に記載のカメラアレイと、このカメラアレイから伝送された被写体の画像データ及び当該画像データの幾何歪みが補正された後、当該被写体の3次元情報を取得する際に必要となる予め指定された領域が抽出された補正後画像データが伝送されるコンピュータと、を備えるカメラアレイシステムであって、前記コンピュータが、キャリブレーションデータ算出手段と、抽出領域指定手段と、3次元情報取得手段と、を備える構成とした。
【0013】
かかる構成によれば、カメラアレイシステムのコンピュータは、キャリブレーションデータ算出手段によって、複数のカメラから伝送された未補正画像データそれぞれの基準マーカが予め設定した基準位置に整列するように、画像データの座標を変換するキャリブレーションデータを算出する。また、コンピュータは、抽出領域指定手段によって、キャリブレーションデータ算出手段で算出したキャリブレーションデータと、カメラがカメラアレイに配置された位置とに基づいて、被写体の3次元情報を取得する際に必要となる抽出領域を指定する。そして、コンピュータは、3次元情報取得手段によって、カメラで抽出された補正後画像データと、カメラがカメラアレイに配置された位置とに基づいて、被写体の3次元情報を取得する。
【0014】
請求項5に記載のカメラアレイシステムは、請求項3に記載のカメラアレイと、このカメラアレイから伝送された被写体の画像データが伝送される第1コンピュータと、前記画像データの幾何歪みが補正された後、当該被写体の3次元情報を取得する際に必要となる予め指定された領域が抽出された補正後画像データが伝送される第2コンピュータと、を備えるカメラアレイシステムであって、前記第1コンピュータが、キャリブレーションデータ算出手段と、抽出領域指定手段と、を備え、前記第2コンピュータが、3次元情報取得手段を備えることを特徴とする。
【0015】
かかる構成によれば、カメラアレイシステムの第1コンピュータは、キャリブレーションデータ算出手段によって、複数のカメラから伝送された未補正画像データそれぞれの基準マーカが予め設定した基準位置に整列するように、画像データの座標を変換するキャリブレーションデータを算出する。また、第1コンピュータは、抽出領域指定手段によって、キャリブレーションデータ算出手段で算出したキャリブレーションデータと、カメラがカメラアレイに配置された位置とに基づいて、被写体の3次元情報を取得する際に必要となる抽出領域を指定する。そして、第2コンピュータは、3次元情報取得手段によって、カメラで抽出された補正後画像データと、カメラがカメラアレイに配置された位置とに基づいて、被写体の3次元情報を取得する。
【0016】
請求項6に記載のカメラアレイシステムは、請求項4又は5に記載のカメラアレイシステムにおいて、基準信号出力手段を備えることを特徴とする。
かかる構成によれば、カメラアレイシステムは、基準信号出力手段によって、抽出された補正後画像データ同士を、同期させる基準となる基準信号を出力する。
【発明の効果】
【0017】
請求項1、3に記載の発明によれば、キャリブレーション処理がなされ、補正後画像データから抽出された領域が伝送されるので、コンピュータの処理負荷を軽減することができると共に、伝送量を低減することができる。
【0018】
請求項2、6に記載の発明によれば、被写体の画像データ同士が同期されるので、被写体の正確な3次元情報を取得することができる。
【0019】
請求項4、5に記載の発明によれば、コンピュータの処理負荷を軽減することができると共に、伝送量を低減することができ、被写体の3次元情報を取得することができる。
【発明を実施するための最良の形態】
【0020】
次に、本発明の実施形態について、適宜、図面を参照しながら詳細に説明する。
(カメラアレイシステムの構成)
図1はカメラアレイシステムのブロック図である。この図1に示すように、カメラアレイシステムSは、任意形状の被写体を撮像して、当該被写体の3次元情報を取得するものであって、カメラアレイ1と、コンピュータ3と、コンピュータ4と、同期制御機6とを備えている。なお、被写体は、実際に存在するもの(実写)であり、この実施形態では、図1に示したように四角柱の上に円柱が接合した単体の静止物であるが、複数の静止物であってもよく、さらに、動物や人物等の動きのあるものであってもよい。
【0021】
3次元情報は、被写体を様々な視点から見えるようにした任意視点映像を作成する際に用いる当該被写体の空間情報(水平方向、垂直方向、奥行方向の寸法)や色彩・輝度に関する情報である。
【0022】
カメラアレイ1は、複数のカメラ5(5、5、・・・、5)をアレイフレーム2に所定距離離して配置(固定)したものである。そして、複数のカメラ5(5、5、・・・、5)とコンピュータ3とは、双方向通信が可能なカメラバスで接続されている。この実施形態では、カメラバスはEthernet(登録商標)(100Base-TX)上のUDP/IPを使用している。なお、カメラバスはこれに限定されず、双方向通信可能な通信路であればよく、例えば、IEEE1394やUSB2.0等の他のカメラバスを使用してもよい。
【0023】
アレイフレーム2は、堅牢な金属材料等で構成され、カメラ5が同一平面上でマトリクス状(縦横方向に並列)に配置されるように、当該カメラ5を固定している。この実施形態では、アレイフレーム2は、長方形状に形成されており、縦方向に3列、横方向に5行の合計15台のカメラ5を固定している。
【0024】
所定距離は、カメラ5同士の上下間(垂直方向)の距離又は左右間(水平方向)の距離であり、カメラ5の画角(正確には、後記する撮像手段7の画角)等によって決定されるものである。この実施形態では、所定距離を、垂直方向、水平方向ともに120mmとしている。
【0025】
カメラ5は、被写体を撮像した画像データに対し、キャリブレーション処理を行った後、当該画像データにおける領域を抽出してコンピュータ3に伝送するもので、撮像手段7と、キャリブレーション処理手段9と、領域抽出手段11と、同期制御処理手段13と、通信手段15とを備えている。ちなみに、このカメラ5は、1台のカメラアレイ1に対し、複数備えられた撮像点という意味から、カメラノードと称している。なお、この実施形態では、キャリブレーション処理手段9と、領域抽出手段11と、同期制御処理手段13と、通信手段15とCPUとFPGA(Field Programmable Gate Array)とから構成している。
【0026】
撮像手段7は、一般的なレンズ及びイメージセンサで構成されており、基準マーカ(マーカ)を撮像した画像データ(幾何歪みが未補正の画像データ、以下、未補正画像データという)と、被写体を撮像した画像データをキャリブレーション処理手段9に出力するものである。
【0027】
この撮像手段7は、被写体の画像データを撮像した後、同期制御処理手段13から出力されたイメージセンサ駆動クロック等の同期信号に基づいて、他のカメラ5で撮像した画像データと同期するようにして当該画像データを出力している。
【0028】
基準マーカ(マーカ)は、コンピュータ3において、キャリブレーション(幾何歪みの校正)を行うために基準となるものであり、背景色と異なる色彩を有した点である。この基準マーカを撮像した画像データが、複数のカメラ5(5、5、・・・、5)からコンピュータ3に伝送され、当該コンピュータ3において処理されることで、基準マーカが撮像されている当該画像データ上の座標がそれぞれ得られる。そして、コンピュータ3において、後記するように、変換行列が算出される。
【0029】
なお、この基準マーカは被写体に付着させたシール(例えば、蛍光塗料が塗布された点状のもの)であってもよいし、被写体を配置する前に、背景となる壁にマーキングしたものであってもよい。また、この基準マーカは、撮像手段7で撮像される画像データにおいて少なくとも一点あればよい。ただし、複数のカメラ5間の回転、拡大縮小、平行移動を含む補正や、各カメラ5が持つレンズ等に起因する歪み等により、カメラ5単体による画像データの補正が必要となる場合には、撮像手段7で撮像される同一画像データ内に、予め位置が分かっている複数のマーカ(チェッカーボード、格子パターン等)が含まれる必要がある。
【0030】
ここで、複数の基準マーカ(マーカ)の例を、図2、図3を参照して説明する。図2は、一般的な複数のマーカの例である格子パターン(白黒のパターン)を示している。また、図3は、この実施形態に用いた5点マーカの例を示している。図3に示したように、基準マーカは、中心点と、水平、垂直に直交する5点(中心点、当該中心点の左右(水平方向)に2点及び当該中心点の上下(垂直方向)に2点)からなっている。この実施形態では、中心点から上(下)の点までの距離は、1.0mであり、中心点から右の点までの距離は1.2mである。この5点の基準点により、撮像手段7で撮像される画像データについて、回転、拡大縮小、平行移動による補正が可能になる。
【0031】
さらに、ここで、撮像手段7で撮像された画像データのRGBカラーバランス(色調)のバラつきを補正する場合の基準マーカについて、図4を参照して説明する。図4に示したように、基準マーカはカラーチェッカー(登録商標)と呼ばれる異なる色のマーカを複数含むボードで与えられる。この図4では、ハッチングの違いによって色が異なることを示している。このマーカは、各色について、単なる点ではなく、所定形状(正方形)の面積を有しているものである。この場合、各基準マーカの色が、複数のカメラ5の撮像手段7で撮像された画像データで同じになるように変換する変換係数がコンピュータ3にて求められる。図1に戻る。
【0032】
この撮像手段7は、まず、基準マーカを撮像した未補正画像データをキャリブレーション処理手段9に出力し、その後、被写体を撮像した画像データをキャリブレーション処理手段9に出力する。
【0033】
この実施形態では、この撮像手段7に、画像データのサイズ(画素数)であるカメラ解像度が352×288画素(CIF(Common Intermediate Format))のイメージセンサと、焦点距離が3.7mm単焦点であるレンズとを採用している。また、これらのレンズ及びイメージセンサのサイズに基づく画角(撮像手段7の画角)は、対角方向に約67度である。
【0034】
キャリブレーション処理手段9は、撮像手段7で、所定フレーム分(この実施形態では1フレーム)の基準マーカを撮像した未補正画像データを、通信手段15を介してコンピュータ3に伝送すると共に、コンピュータ3で求められた画像データの座標を変換する変換係数(キャリブレーションデータ)を含む補正指令を、通信手段15を介して受信し、受信した補正指令に含まれる変換係数に基づいて、画像データの座標を変換することで、画像データに含まれる幾何歪みの補正を行って補正後画像データを出力するものである。
【0035】
変換係数は、ここではコンピュータ3で算出されて送られたHomography行列(変換行列)である。このHomography行列は、幾何歪みが未補正の画像データの座標(x0,y0)と、補正後の画像の座標(x1,y1)との対応付けを行ったものである。Homography行列を含んだものを、次の数式(1)に示す。
【0036】
【数1】
JP0004998792B2_000002t.gif

【0037】
このHomography行列を構成するh~h(行列係数)の値は、幾何歪みの大きさによって増減し、カメラ5のそれぞれで通常異なった値となる。なお、Homography行列は、32bit浮動小数点型の8個の行列係数として、32bit整数の読み出し座標2つと共に、コンピュータ3からカメラ5に伝送されている。
【0038】
なお、変換係数は、カメラ5間の幾何歪み補正の場合は、Homography行列やアフィン変換行列となる。そして、変換係数は、カメラ5間の幾何歪み補正以外の補正をする際、例えば、カメラ5間の輝度やRGBカラーバランス(色調)のバラつきを補正する際には、画像データの画素値を別の画素値に変換する関数で与えられてもよく、さらに、単体のカメラ5それぞれにおけるレンズの歪みを補正する際には、一般的な4次元関数(例えば、ax+bx+cx+dx+e=0)を用いてもよい。
【0039】
そして、このような変換係数(幾何歪み補正以外の補正をする際の変換係数)を受信したキャリブレーション処理手段9は、当該変換係数に基づいて、被写体の画像データを補正することとなる。この場合、補正後画像データは、幾何歪みが補正されただけではなく、輝度、RGBカラーバランス(色調)のバラつき及びレンズの歪みまでも補正されることとなる。この結果、コンピュータ3における処理負荷がいっそう軽減されることとなる。
【0040】
補正指令は、コンピュータ3からカメラ5にそれぞれに伝送され、キャリブレーションデータを含むと共に、1フレームごとに、キャリブレーション処理手段9でキャリブレーションした後の画像データ(補正後画像データ)から、カメラ5がカメラアレイ1に配置された位置に基づき3次元情報を取得する際に必要となる、抽出する抽出領域を指定したものである。この領域のサイズは、この実施形態では、250×250の矩形領域であり、補正後画像データの座標で指定されたものである。なお、抽出される領域は、カメラ5がカメラアレイ1の中で配置されている位置によって異なる。例えば、カメラアレイ1の最上段の行に備えられているカメラ5の場合、コンピュータ3において、被写体の3次元情報を取得するために、上端部分(水平352画素×垂直38画素)が不要となるため、この上端部分以外の部分の領域が指定される。
【0041】
領域抽出手段11は、キャリブレーション処理手段9から出力された補正後画像データの矩形領域(領域)を、補正指令に含まれる抽出領域に基づいて抽出するものである。
なお、矩形領域のサイズ(画素数)である読み出し解像度は250×250画素である。また、矩形領域の読み出し位置精度は、1画素(水平、垂直)である。
【0042】
この領域抽出手段11から抽出された抽出後の補正後画像データは、通信手段15を介して、コンピュータ3に伝送される。なお、同期制御処理手段13から撮像手段7に同期信号が出力されていない場合(基準信号を受信していない場合)、図1に示したように「同期されていない抽出後の補正後画像データ」としてコンピュータ3及びコンピュータ4の少なくとも一方に伝送されることになる。
【0043】
同期制御処理手段13は、コンピュータ3又は同期制御機6から伝送された基準信号に基づいて、撮像手段7で被写体を撮像した後、他のカメラ5で撮像した画像データと同期させる同期信号(イメージセンサ駆動クロック信号等)を生成して当該撮像手段7に出力するものである。この場合、通信手段15からコンピュータ3及びコンピュータ4の少なくとも一方に伝送されるデータは、図1に示したように、「同期された抽出後の補正後画像データ」となる。
【0044】
基準信号は、カメラアレイ1に固定されているすべてのカメラ5に伝送されており、撮像手段7で撮像される被写体の露光タイミングを同期させることで、全てのカメラ5から伝送される抽出後の補正後画像データが同期するようにする基準となるもので、撮像手段7で撮像された被写体の画像データの1フレームの開始タイミングを決定することになる。
【0045】
通信手段15は、カメラ5とコンピュータ3とを接続するカメラバスにより、コンピュータ3との間で様々なデータをやりとりするインターフェースである。なお、この通信手段15による画像データ又は補正後画像データをコンピュータ3に伝送するフレームレートは、この実施形態では25フレーム/秒である。
また、この通信手段15は、カメラ5からコンピュータ4に対し、抽出後の補正後画像データを伝送するインターフェースである。
【0046】
ここで、図5を参照して、この通信手段15を介して、コンピュータ3からカメラ5に伝送されるデータのフォーマットと、カメラ5からコンピュータ3に伝送されるデータのフォーマットとを説明する。この図2において、「float」は32bit浮動小数点型、「int」は32bit整数型、「char」は8bit文字型といったように、データのデータ型を示している。
【0047】
コンピュータ3からカメラ5に伝送されるデータは、変換行列の係数と、読み出し矩形の座標とであり、40Byte/frameで伝送されている。なお、コンピュータ3からカメラ5に伝送されるその他のデータには、基準信号があるが省略している。
【0048】
また、カメラ5からコンピュータ3に伝送されるデータは、幾何歪み補正後の画像データ(補正後画像データ)であり、62,500Byte/frameで伝送されている。なお、カメラ5からコンピュータ3に伝送されるその他のデータには、未補正画像データがあるが省略している。
【0049】
このように、カメラ5からコンピュータ3に伝送される補正後画像データと比較して、コンピュータ3からカメラ5に伝送されるデータは、十分に小さいので、カメラアレイシステムSの実時間性を妨げない。つまり、カメラアレイシステムSでは、カメラ5で撮像した被写体の3次元情報をリアルタイムに取得することが可能である。図1に戻る。
【0050】
このカメラ5によれば、キャリブレーション処理手段9によって、撮像手段7で撮像された画像データについて、キャリブレーション処理がなされ、領域抽出手段11によって、補正後画像データから抽出された抽出領域(抽出後の補正後画像データ)が通信手段15を介して伝送されるので、コンピュータ3の処理負荷を軽減することができると共に、伝送量を低減することができる。
【0051】
コンピュータ3は、一般的なパーソナルコンピュータ(ホストPC)で構成されており、通信手段17と、変換係数算出手段19と、抽出領域指定手段21と、基準信号出力手段23と、3次元情報取得手段25と、を備えている。なお、これら通信手段17、変換係数算出手段19、抽出領域指定手段21、基準信号出力手段23及び3次元情報取得手段25は、PCのハードウェアと協働するソフトウェアで実現でき、実際に、カメラ5単体又はカメラアレイ1として製品化する場合、当該ソフトウェアを記憶させた、付属のCD-ROM等として提供することができる。また、このコンピュータ3は、未補正画像データ、抽出後の補正後画像データを記憶する記憶手段(図示せず)を備えている。
【0052】
通信手段17は、カメラ5とコンピュータ3とを接続するカメラバスにより、カメラ5との間で様々なデータをやりとりするインターフェースである。なお、この通信手段17からカメラ5それぞれに対し、補正指令(変換行列と抽出領域とを含む)が伝送される。
【0053】
変換係数算出手段19は、カメラアレイ1の複数のカメラ5から伝送された未補正画像データ(基準マーカを撮像した1フレーム分の画像データ)を、カメラ5が配置されている通りに並べ、基準マーカが予め設定した基準位置に整列するようにして、変換係数(キャリブレーションデータ)を算出するものである。
【0054】
ここでは、基準マーカの座標を結んだ図形が所定形状の図形(ここでは、長方形)になるように、当該基準マーカの座標を移動させる画素数(例えば、水平方向に何画素、垂直方向に何画素)に基づいて、変換行列を算出している。
【0055】
ここで、図6を参照して、この実施形態における変換行列(Homography行列)の具体的な算出について説明する。この図6は、カメラアレイ1を側面から模式的に示した図である。この実施形態では、カメラアレイ1には、5×3眼カメラ(15台のカメラ5)が配置されており、側面からみた場合を模式的に示しているので、ハッチングで示した3個の四角形を、3台のカメラ5として示している。また、ボード状のものに付着しているハッチングした円形が基準マーカを示しており、上下のマーカ間の距離は2m(図3と同様である)である。
【0056】
まず、カメラ5の撮像手段7がキャリブレーション用の5点マーカが撮像される。この場合のカメラ5と被写体間距離は約6.7mである。そして、5点マーカの範囲は、中心点から左右の水平方向に2.4m、上下の垂直方向に2m(水平方向に2.4m、垂直方向に2m)である。そして、コンピュータ3(ホストPC)の変換係数算出手段19でHomography行列を算出する。
【0057】
また、変換係数は、画像データの輝度やRGBカラーバランス(色調)のバラつきを補正する際には、予め画素値を変換する関数を、また、レンズ歪みを補正する際には、前記した一般的な4次元関数(例えば、ax+bx+cx+dx+e=0)を記憶しておくことで、この関数に基づいて、求めてもよい。なお、輝度やRGBカラーバランス(色調)のバラつきを補正する際には、基準マーカ(前記したカラーチェッカー(登録商標))のみが撮像された画像データ、又は、基準マーカと被写体とが同時に撮像された画像データが必要になる。
【0058】
抽出領域指定手段21は、変換係数算出手段19で算出された変換係数と、カメラ5がカメラアレイ1に配置されている位置とに基づいて、3次元情報を取得する際に必要となる抽出領域を指定するものである。コンピュータ3では、予めカメラ5それぞれが、カメラアレイ1のどの位置に配置されているのかが記憶されている。なお、抽出領域の指定は、補正後画像データの矩形領域の左上座標を指定することで行われ、ここでは、補正後画像データの中央部分(50<x<301、20<y<271)を指定している。
【0059】
なお、抽出領域(補正後画像データの少なくとも1つの座標で指定された領域)は、補正指令に含まれていなくてもよく、当該抽出領域のみを単独で伝送してもよい。また、抽出領域のサイズは、この実施形態では、前記したように250×250画素である。
【0060】
基準信号出力手段23は、基準信号を生成して出力するものである。基準信号は、前記したように、補正後画像データを同期させるものであり、一般的なイメージセンサで構成されている撮像手段7の同期信号が通常は当該センサ固有の複数の速いクロックから構成されているのに対し、最低1系統の波形信号でよい。
【0061】
3次元情報取得手段25は、複数の補正後画像データと、カメラ5間の距離とに基づいて、被写体の奥行情報や3次元空間中の被写体の形状情報を取得するものである。例えば、隣接するカメラ5とカメラ5との距離と、これらのカメラ5,5から伝送された補正後画像データの画素のずれ量とから視差量を得ることができる。
【0062】
ここで、図7を参照して、未補正画像データと、補正後画像データと、抽出後の補正後画像データとの例を示す。ここでは、被写体として、馬をカメラ5で撮像したもので、当該馬の中央に基準マーカ(マーカ)を貼り付けている。
【0063】
図7(a)は、未補正画像データがコンピュータ3に伝送されたものを示しており、図7(b)は、未補正画像データから変換係数算出手段19で基準マーカの縦横が整列するようにして変換行列を求めた状態を示している。また、図7(c)は、カメラ5それぞれから伝送された、抽出後の補正後画像データが接合されたものを示している。図1に戻る。
【0064】
コンピュータ4は、一般的なパーソナルコンピュータ(データ受信用PC)であり、抽出後の補正後画像データを受信するものである。このコンピュータ4は、コンピュータ3における通信手段17と3次元情報取得手段25と記憶手段(図示せず)を少なくとも備えている。
【0065】
同期制御機6は、基準信号を単独で出力するもので、コンピュータ3に備えられた基準信号出力手段23と同等の機能を有している。
【0066】
このように、カメラアレイシステムSでは、カメラ5それぞれから未補正画像データがコンピュータ3に伝送された後、変換係数(ここでは変換行列)が求められ、この変換係数が各カメラ5に伝送される。そして、各カメラ5にて、キャリブレーション処理手段9でキャリブレーションがなされた後、抽出領域が抽出され、抽出後の補正後画像データが伝送される。そして、コンピュータ3の3次元情報取得手段25にて、カメラ5それぞれから伝送された、抽出後の補正後画像データから、被写体の3次元情報が取得される。
【0067】
このカメラアレイシステムSによれば、コンピュータ3の処理負荷を軽減することができると共に、コンピュータ3とカメラ5との間で伝送されるデータの伝送量を低減することができ、キャリブレーション処理された補正後画像データから被写体の3次元情報を取得することができる。
【0068】
(カメラアレイシステムの動作)
次に、図8に示したシーケンスチャートを参照して、カメラアレイシステムSにおける動作を説明する。なお、このシーケンスチャートでは、1台のカメラ5しか示していないが、実際には複数のカメラ5からコンピュータ3に画像データが伝送されている。
【0069】
まず、カメラ5は、撮像手段7でマーカ及び被写体を撮像する(ステップA1)。続いて、カメラ5は、キャリブレーション処理手段9、通信手段15を介して、撮像手段7で撮像したマーカの画像データ(未補正画像データ)をコンピュータ3に伝送する(ステップA2)。
【0070】
そして、コンピュータ3は、通信手段17を介して、未補正画像データを受信し、変換係数算出手段19によって、変換係数を算出し、通信手段17を介してカメラ5に伝送する(ステップB1)。また、コンピュータ3は、抽出領域指定手段21によって、補正後画像データから抽出領域を指定し、通信手段17を介してカメラ5に伝送する(ステップB2)。さらに、コンピュータ3は、通信手段17を介して、基準信号出力手段23から出力した基準信号をカメラ5に伝送する(ステップB3)。
【0071】
そうすると、カメラ5は、通信手段15を介して、変換係数、抽出領域及び基準信号を受信し、同期制御処理手段13によって、撮像手段7で撮像し(ステップA3)、同期させた被写体の画像データに対し、キャリブレーション処理手段9によって、キャリブレーション処理を施し(ステップA4)、領域抽出手段11によって、領域を抽出する(ステップA5)。
【0072】
そして、カメラ5は、通信手段15を介して、同期された抽出後の補正後画像データをコンピュータ3に伝送する(ステップA6)。
【0073】
そして、コンピュータ3は、通信手段17を介して、各カメラ5から伝送された抽出後の補正後画像データを受信し、3次元情報取得手段25によって、3次元情報を取得する(ステップB4)。
なお、このカメラアレイシステムSの動作において、B2(抽出領域を指定、伝送)はA5(領域の抽出)の直前であってもよいし、基準信号もA3(被写体を撮像)の前であれば、いつでもよく、常時伝送されていてもよい。また、抽出後の補正後画像データを、コンピュータ3に伝送することとして説明したが、コンピュータ4に伝送してもよい。
【0074】
(カメラ単体の動作について)
図9、図10を参照して、カメラ5において、単体でキャリブレーション処理を行った場合について説明する。図9は、カメラ単体の歪みの補正を模式的に示したものであり、図9(a)がレンズ歪みがある場合、図9(b)が補正後を示している。図10(a)は、変換前の画像データを示しており、図10(b)は変換後の画像データを示している。
【0075】
図9に示したように、カメラ5のレンズ歪みがある場合、魚眼レンズで被写体を撮像したように、中央部分ほど拡大された画像(図9(a))となり、補正後は各部分が拡大されることなく均一な画像(図9(b))となる。
【0076】
また、図10(b)に示した変換後の画像データは、変換前の画像データに次に示す数式(2)による計算によって求めたものである。この変換後の画像データには、図10(a)に示した変換前の画像データに回転と縮小変換を施したものである。なお、変換前の画像データにおいて、画素が存在していない領域は輝度値0(黒)として出力される。
【0077】
【数2】
JP0004998792B2_000003t.gif

【0078】
以上、本発明の実施形態について説明したが、本発明は前記実施形態には限定されない。例えば、本実施形態では、カメラアレイ1におけるカメラ5の台数を15台(横5台×縦3台)としたがこの台数に限定されず、任意の台数で構成してもよい。
【図面の簡単な説明】
【0079】
【図1】本発明の実施形態に係るカメラアレイシステムのブロック図である。
【図2】一般的なマーカの例を示した図である。
【図3】5点マーカの例を示した図である。
【図4】カラー補正に使用するマーカを示した図である。
【図5】カメラとコンピュータとの間で伝送されるデータを示した図である。
【図6】変換行列の具体的な算出について示した図である。
【図7】カメラアレイシステムでキャリブレーション処理された画像データの例を示した図である。
【図8】カメラアレイシステムの動作を説明するためのシーケンスチャートである。
【図9】カメラ単体の歪み補正を模式的に示した図である。
【図10】カメラ単体でキャリブレーション処理した画像データの例を示した図である。
【符号の説明】
【0080】
1 カメラアレイ
3 コンピュータ
4 コンピュータ(第2コンピュータ)
5 カメラ
6 同期制御機(基準信号出力手段)
7 撮像手段
9 キャリブレーション処理手段
11 領域抽出手段
13 同期制御処理手段
15、17 通信手段
19 変換行列算出手段
21 抽出領域指定手段
23 基準信号出力手段
25 3次元情報取得手段
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9