TOP > 国内特許検索 > 連動する複数の画像撮像装置を用いる画像処理方法及び装置 > 明細書

明細書 :連動する複数の画像撮像装置を用いる画像処理方法及び装置

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4214238号 (P4214238)
公開番号 特開2007-318187 (P2007-318187A)
登録日 平成20年11月14日(2008.11.14)
発行日 平成21年1月28日(2009.1.28)
公開日 平成19年12月6日(2007.12.6)
発明の名称または考案の名称 連動する複数の画像撮像装置を用いる画像処理方法及び装置
国際特許分類 H04N   5/232       (2006.01)
G06T   3/00        (2006.01)
G06T   5/00        (2006.01)
G06T   7/20        (2006.01)
FI H04N 5/232 Z
G06T 3/00 400J
G06T 5/00 300
G06T 7/20 B
請求項の数または発明の数 7
全頁数 10
出願番号 特願2006-142195 (P2006-142195)
出願日 平成18年5月23日(2006.5.23)
審査請求日 平成18年5月23日(2006.5.23)
特許権者または実用新案権者 【識別番号】390014306
【氏名又は名称】防衛省技術研究本部長
発明者または考案者 【氏名】木村 茂
【氏名】石丸 光宏
【氏名】渡部 誠
個別代理人の代理人 【識別番号】100079290、【弁理士】、【氏名又は名称】村井 隆
審査官 【審査官】関谷 隆一
参考文献・文献 特開2003-284053(JP,A)
特開2000-083243(JP,A)
特開2000-032435(JP,A)
特開平10-032746(JP,A)
調査した分野 H04N 5/232
G06T 7/20
H04N 7/18
特許請求の範囲 【請求項1】
複数の画像撮像装置から同時又はほぼ同時刻と見なせる画像と前記画像撮像装置の互いの配置に関わる情報とを取得し、
前記複数の画像撮像装置のうちの少なくとも一つの画像撮像装置から得られた画像に対する処理結果の情報を利用して、前記少なくとも一つの画像撮像装置以外の画像撮像装置から得られる画像を処理するパラメータを調整することを特徴とする画像処理方法。
【請求項2】
ある画像撮像装置から得られる画像の変形量又は動き量を基に、他の画像撮像装置から得られる画像の変形量又は動き量を推定し、その推定した画像の動き量又は変形量の情報を利用して、時系列の画像に対する画像処理を行う請求項1記載の画像処理方法。
【請求項3】
ある画像撮像装置から得られる画像の動き量又は変形量を基に、他の画像撮像装置から得られる画像の動き量又は変形量を推定し、その推定した画像の動き量又は変形量の情報を利用し、画像の安定化、画像積分によるノイズ除去、移動目標の検出、画像の融合のどれか又は全て含む処理を行う請求項2記載の画像処理方法。
【請求項4】
複数の画像撮像装置から同時に画像を取得することができ、前記複数の画像撮像装置は互いに固定されて連接されており、前記複数の画像撮像装置のうちの少なくとも1台の画像撮像装置の画像に対する処理結果の情報を利用して、前記少なくとも1台の画像撮像装置以外の画像撮像装置から得られる画像を処理するパラメータを調整する機能を有することを特徴とする画像処理装置。
【請求項5】
複数の画像撮像装置から同時に画像を取得することができ、前記複数の画像撮像装置の互いの配置に関わる情報を取得する手段を有し、前記複数の画像撮像装置のうちの少なくとも1台の画像撮像装置の画像に対する処理結果の情報を利用して、前記少なくとも1台の画像撮像装置以外の画像撮像装置から得られる画像を処理するパラメータを調整する機能を有することを特徴とする画像処理装置。
【請求項6】
ある画像撮像装置から得られる画像の動き量又は変形量から、他の画像撮像装置から得られる画像の動き量又は変形量を推定し、その推定した画像の動き量又は変形量の情報を利用して、時系列の画像に対する画像処理を行う請求項4又は5記載の画像処理装置。
【請求項7】
ある画像撮像装置から得られる画像の動き量又は変形量から、他の画像撮像装置から得られる画像の動き量又は変形量を推定し、その推定した画像の動き量又は変形量の情報を利用し、画像の安定化、画像積分によるノイズ除去、移動目標の検出、画像の融合のどれか又は全て含む処理を行う請求項6記載の画像処理装置。
発明の詳細な説明 【技術分野】
【0001】
本発明は、連動する複数の画像撮像装置を用いる画像処理方法及び装置であって、とくに画像の変形や画像の動き量を計測するための画像処理方法及び装置に関するものである。
【背景技術】
【0002】
一般に、画像の動き量を検出する方法としては、画像の動き量を画素の明度変化から高速に計算できる明度勾配法や、画像間の明度差の絶対値和や2乗和を利用し、特徴が一致する場所を探索するパターンマッチング等の方法がある。図6にパターンマッチングによる動き量検出の例を示し、入力画像1とこれと異なる時間に得られた入力画像2(例えば、次フレームの画像)との間の特徴が一致する場所を探し、この一致する場所を利用してパターンマッチングを行い、動き量Δxを検出している。
【0003】
上記で述べたいずれの方法を用いるとしても、画像内に手がかりとなる特徴が必要である。そのため、特徴のない低コントラストな画像では動き量を検出することは出来ない。
【発明の開示】
【発明が解決しようとする課題】
【0004】
解決すべき問題としては、例えば空の画像のような手がかりとなる特徴のない低コントラストの画像においては、明度勾配法やパターンマッチング等のいずれの手法でも動き量を検出できないという問題がある。例えば、図7に例を示すように、画像撮像装置A 201で取得する画像には樹木や地形が写っているため、それを手がかりとして動き量を検出することができる。ところが画像撮像装置B 202で取得する空の画像は低コントラストで手がかりとなる特徴がないため動き量を検出することが出来ない。特に微小目標発見のためには画像を拡大する必要があるため、より狭視野になり、特徴を捉えにくくなる。モーションセンサを用いれば動き量を検出することが可能だが、検出精度には限界があり、また高精度のモーションセンサは高価であるためコスト面での問題も生じる。
【0005】
本発明は、上記で述べた問題を解決するため、複数の画像撮像装置のうちの少なくとも一つの画像撮像装置から得られた画像に対する処理結果の情報を利用して、前記少なくとも一つの画像撮像装置以外の画像撮像装置から得られる画像を処理し、画像の動き量や変形量を検出可能とした画像処理方法及び装置を提供することを目的とする。
【0006】
また、本発明は、前記画像の動き量の情報を利用し、画像の安定化、画像積分によるノイズ除去、移動目標の検出、画像の融合のどれか又は全て含む処理を行うことのできる画像処理方法及び装置を提供することをもう一つの目的とする。
【0007】
本発明のその他の目的や新規な特徴は後述の実施の形態において明らかにする。
【課題を解決するための手段】
【0008】
上記目的を達成するために、本発明に係る画像処理方法は、複数の画像撮像装置から同時又はほぼ同時刻と見なせる画像と前記画像撮像装置の互いの配置に関わる情報とを取得し、
前記複数の画像撮像装置のうちの少なくとも一つの画像撮像装置から得られた画像に対する処理結果の情報を利用して、前記少なくとも一つの画像撮像装置以外の画像撮像装置から得られる画像を処理するパラメータを調整することを特徴としている。
【0009】
前記画像処理方法において、ある画像撮像装置から得られる画像の動き量又は変形量を基に、他の画像撮像装置から得られる画像の動き量又は変形量を推定し、その推定した画像の動き量又は変形量の情報を利用して、時系列の画像に対する画像処理を行ってもよい。
【0010】
前記画像処理方法において、ある画像撮像装置から得られる画像の動き量又は変形量を基に、他の画像撮像装置から得られる画像の動き量又は変形量を推定し、その推定した画像の動き量又は変形量の情報を利用し、画像の安定化、画像積分によるノイズ除去、移動目標の検出、画像の融合のどれか又は全て含む処理を行ってもよい。
【0011】
本発明に係る画像処理装置の第1の態様は、複数の画像撮像装置から同時に画像を取得することができ、前記複数の画像撮像装置は互いに固定されて連接されており、前記複数の画像撮像装置のうちの少なくとも1台の画像撮像装置の画像に対する処理結果の情報を利用して、前記少なくとも1台の画像撮像装置以外の画像撮像装置から得られる画像を処理するパラメータを調整する機能を有することを特徴としている。
【0012】
本発明に係る画像処理装置の第2の態様は、前記画像処理装置において、複数の画像撮像装置から同時に画像を取得することができ、前記複数の画像撮像装置の互いの配置に関わる情報を取得する手段を有し、前記複数の画像撮像装置のうちの少なくとも1台の画像撮像装置の画像に対する処理結果の情報を利用して、前記少なくとも1台の画像撮像装置以外の画像撮像装置から得られる画像を処理するパラメータを調整する機能を有することを特徴としている。
【0013】
前記画像処理装置の第1又は第2の態様において、ある画像撮像装置から得られる画像の動き量又は変形量から、他の画像撮像装置から得られる画像の動き量又は変形量を推定し、その推定した画像の動き量又は変形量の情報を利用して、時系列の画像に対する画像処理を行ってもよい。さらに、前記推定した画像の動き量又は変形量の情報を利用し、画像の安定化、画像積分によるノイズ除去、移動目標の検出、画像の融合のどれか又は全て含む処理を行ってもよい。
【発明の効果】
【0014】
本発明によれば、以下に記載されているような効果を奏する。
(1) 複数の画像撮像装置同士の位置関係の情報を利用し、それぞれの画像撮像装置で撮像した画像の動き量又は変形量を別の画像撮像装置で撮像した画像の動き量に互いに変換することができる。よって、いずれかの画像撮像装置で撮像した画像について動き量又は変形量を求めることができれば、十分な特徴を有しておらず単独では動き量又は変形量を求めることができない画像の動き量も求めることが可能となる。つまり、動き量又は変形量を求めるための十分な特徴を有していない低コントラスト画像の動き量又は変形量を求めることができる。
(2) 求めた動き量又は変形量を利用して、画像の安定化、画像積分によるノイズ除去、移動目標の検出、画像の融合等の画像処理を行うことができる。
【発明を実施するための最良の形態】
【0015】
以下、本発明を実施するための最良の形態として、画像処理方法及び装置の実施の形態を図面に従って説明する。
【0016】
(実施の形態1)
図1及び図2で本発明に係る連動する複数の画像撮像装置を用いる画像処理方法及び装置の実施の形態1を説明する。図1に示すように、連動する複数の画像撮像装置を用いる画像処理装置は、画像撮像装置(カメラ)A 201、画像撮像装置(カメラ)B 202、パラメータ取得手段403及び処理部405を備えている。図2のように、画像撮像装置A 201及び画像撮像装置B 202は共に可動プラットホーム205上に固定されて互いに連接状態にあり、それぞれ同時、もしくはほぼ同時刻に撮像した画像Aと画像Bを出力するものである。画像撮像装置A 201からの入力画像A 401はパラメータ取得手段403に出力され、画像撮像装置B 202からの入力画像B 402は処理部405に出力される。
【0017】
図2のように、画像撮像装置A 201は立木等の手がかりとなる情報(例えば、立木等を含む地形情報)があって動き量を検出できる画像を撮像し、画像撮像装置B 202は空の画像のような手がかりとなる特徴のない低コントラストの画像を撮像しているものとする。この場合、画像撮像装置Aと画像撮像装置Bの位置関係は固定され既知であるため、画像撮像装置Aで取得した画像の動き量Aを変換して、画像撮像装置Bで取得した画像の動き量Bを算出することが可能となる。このような関係を利用してパラメータ取得手段403は入力画像A 401から入力画像B 402を画像処理するために必要なパラメータB 404(具体的には入力画像Aの動き量(又は変形量)等を入力画像Bの動き量(又は変形量)等に変換した量)を算出することができる。処理部405はこのパラメータBを用いて画像Bに画像処理を施し、処理結果として出力する。
【0018】
この実施の形態1によれば、次の通りの効果を得ることができる。
【0019】
(1) 画像撮像装置A 201及び画像撮像装置B 202から同時又はほぼ同時刻と見なせる入力画像A及び入力画像Bを受け、かつそれら画像撮像装置が互いに連接、固定されている(つまり位置関係が既知である)ことを前提として、一方の画像撮像装置A 201から得られた入力画像Aに対する処理結果の情報を利用して、他方の画像撮像装置B 202から得られる入力画像Bを処理するパラメータを調整することができる。
【0020】
(2) 具体的に言えば、入力画像Aから入力画像Bを画像処理するために必要なパラメータB 404(具体的には入力画像Aの動き量(又は変形量)等を入力画像Bの動き量(又は変形量)等に変換した量)を、パラメータ取得手段403によって算出することができる。
【0021】
(3) 処理部405の処理結果として、例えば、動き量又は変形量を求めるための十分な特徴を有していない低コントラスト画像の動き量又は変形量を求めることができる。
【0022】
(実施の形態2)
図3は、本発明に係る連動する複数の画像撮像装置を用いる画像処理方法及び装置の実施の形態2を示す。この場合、パラメータB 404を算出する際に必要となる画像撮像装置A 201と画像撮像装置B 202の位置関係を取得するための配置情報取得手段501を有している。また、入力画像A 401から入力画像B 402を画像処理するために必要なパラメータB 404を算出するパラメータ取得手段403は、入力画像Aの動き量等のパラメータA 503を計算するためのパラメータ計算手段502と、配置情報取得手段501で取得した画像撮像装置A 201と画像撮像装置B 202の配置情報からパラメータA 503をパラメータB 404に変換するパラメータ変換手段504とを有する。
【0023】
この場合、画像撮像装置A 201と画像撮像装置B 202の位置関係が可変調整可能な場合であっても、配置情報取得手段501によって、画像撮像装置A 201と画像撮像装置B 202の位置関係を得ることで、前記パラメータB 404を算出可能である。例えば、典型的な動作においては、撮像開始前に、画像撮像装置A 201を第1の撮像対象の方向に向け、画像撮像装置B 202を第2の撮像対象の方向(第1の撮像対象の方向とは通常異なる方向となる)に向け、両画像撮像装置の位置関係を初期値として配置情報取得手段501に操作者が入力し、以後両画像撮像装置の位置関係を固定、連接状態として両画像撮像装置を一体的に移動させる。
【0024】
なお、その他の構成は前述した実施の形態1と同様であり、同一又は相当部分に同一符号を付して説明を省略する。
【0025】
この実施の形態2によれば、実施の形態1の効果に加えて、配置情報取得手段501を設けることによって、画像撮像装置A 201と画像撮像装置B 202の位置関係を任意に設定できる利点がある。
【0026】
(実施の形態3)
図4は、本発明に係る連動する複数の画像撮像装置を用いる画像処理方法及び装置の実施の形態3を示す。この場合、パラメータ計算手段502内に動き量検出手段606を有し、画像撮像装置Aから入力される時系列の入力画像A 401に対して連続するフレーム間の動き量をパラメータA 503として出力する。
【0027】
動き量検出手段606は、バッファ602-1,602-2、画像ワープ手段603、及び動き残差検出手段604を有する。画像撮像装置Aから入力される時系列の入力画像A 401は、バッファ602-1を介して動き残差検出手段604の一方の入力端子に加えられ、同時に1フレーム遅延させる遅延手段601、バッファ602-2、画像ワープ手段603を介して動き残差検出手段604の他方の入力端子に加えられる。動き残差検出手段604の両方の入力端子間の動き量の差は動き量推定の暫定値605として画像ワープ手段603に加えられる。
【0028】
従って、現時点の入力画像と1フレーム前の入力画像との間の動き量は、動き残差検出手段604の両入力端子間の残差検出と画像ワープ手段603による所定量の画像ワープとを、前記残差が少なくなるように任意の回数反復処理し、最終的な動き量が動き量検出手段606からパラメータA 503として出力される。
【0029】
そして、パラメータA 503をパラメータ変換手段504で変換したパラメータB 404を用いて、画像撮像装置Bから入力される時系列の画像に対して、対応するフレームに対する画像処理を処理部405で行う。
【0030】
なお、その他の構成は前述した実施の形態2と同様であり、同一又は相当部分に同一符号を付して説明を省略する。
【0031】
この実施の形態3によれば、実施の形態1,2の効果に加えて、入力画像A 401の連続するフレームを得て、入力画像B 402の連続するフレームの画像処理が可能である。
【0032】
(実施の形態4)
図5は、本発明に係る連動する複数の画像撮像装置を用いる画像処理方法及び装置の実施の形態4を示す。前記パラメータBを利用して、画像撮像装置B 202から入力される時系列の画像に対して、画像の安定化、画像積分によるノイズ除去、移動目標の検出、画像の融合のどれか又は全て含む処理を行うことができるが、図5の実施の形態4では、画像の融合の一例として、貼り合わせ処理の場合を示す。
【0033】
貼り合わせ処理を行う処理部701は、バッファ更新手段702と、統合画像バッファ703とを有している。そして、バッファ更新手段702は、画像撮像装置B 202から入力された入力画像B 402を一時保持し、パラメータB 404から生成した書き出し先のアドレス情報に基づき、統合画像バッファ703が保持する1フレーム前までの統合画像と情報をやり取りしながら、更新を行う。統合画像バッファ703は保存されている統合画像を出力画像として出力する。
【0034】
なお、その他の構成は前述した実施の形態3と同様であり、同一又は相当部分に同一符号を付して説明を省略する。
【0035】
この実施の形態4によれば、実施の形態1,2,3の効果に加えて、入力画像Bに適用するパラメータBを利用して貼り合わせ処理を行う処理部701で統合画像を作成し、出力することが可能である。
【0036】
なお、入力画像Bに適用するパラメータBを利用して入力画像Bを画像処理する処理部は、実施の形態4で例示した画像の融合の他に、画像の安定化、画像積分によるノイズ除去、移動目標検出のいずれか又は全部の処理を行う構成であってもよい。
【0037】
上記各実施の形態では、主として画像の動き量に着目して説明したが、撮像対象物が変形するような場合には、変形量に着目して画像処理を行うことができる。
【0038】
また、本発明は、画像撮像装置が3台以上の場合にも適用可能であり、3台以上の画像撮像装置のうちの少なくとも一つの画像撮像装置から得られた画像に対する処理結果の情報を利用して、前記少なくとも一つの画像撮像装置以外の画像撮像装置から得られる画像を処理するパラメータを調整可能である。
【0039】
以上本発明の実施の形態について説明してきたが、本発明はこれに限定されることなく請求項の記載の範囲内において各種の変形、変更が可能なことは当業者には自明であろう。
【図面の簡単な説明】
【0040】
【図1】本発明に係る連動する複数の画像撮像装置を用いる画像処理方法及び装置の実施の形態1を示す処理ブロック図である。
【図2】前記実施の形態1の説明図である。
【図3】本発明の実施の形態2を示す処理ブロック図である。
【図4】本発明の実施の形態3を示す処理ブロック図である。
【図5】本発明の実施の形態4を示す処理ブロック図である。
【図6】パターンマッチングで動き量を検出する例を示す説明図である。
【図7】低コントラストな画像からは動き量が検出できない例を示す説明図である。
【符号の説明】
【0041】
201 画像撮像装置A
202 画像撮像装置B
401 入力画像A
402 入力画像B
403 パラメータ取得手段
404 パラメータB
405,701 処理部
501 配置情報取得手段
502 パラメータ計算手段
503 パラメータA
504 パラメータ変換手段
601 遅延手段
602-1,602-2,702 バッファ
603 画像ワープ手段
604 動き残差検出手段
605 動き量推定の暫定値
606 動き量検出手段
703 統合画像バッファ
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6