TOP > 国内特許検索 > 移動量抽出装置及びプログラム、画像補正装置及びプログラム並びに記録媒体

移動量抽出装置及びプログラム、画像補正装置及びプログラム並びに記録媒体 新技術説明会

国内特許コード P120007113
整理番号 ShIP-8025N-JI02
掲載日 2012年3月29日
出願番号 特願2010-518003
登録番号 特許第4771186号
出願日 平成21年6月22日(2009.6.22)
登録日 平成23年7月1日(2011.7.1)
国際出願番号 JP2009061329
国際公開番号 WO2009154294
国際出願日 平成21年6月22日(2009.6.22)
国際公開日 平成21年12月23日(2009.12.23)
優先権データ
  • 特願2008-162477 (2008.6.20) JP
発明者
  • 三浦 憲二郎
  • ▲高▼橋 賢治
出願人
  • 国立大学法人静岡大学
発明の名称 移動量抽出装置及びプログラム、画像補正装置及びプログラム並びに記録媒体 新技術説明会
発明の概要

画像補正装置は、平行移動量及び回転移動量にそれぞれ所定の値が設定されて第1の変換フレーム画像が生成される毎に、変換されたフレーム画像In+1とフレーム画像Iとの同一座標の各画素値の差分の自乗値を演算し、変換されたフレーム画像In+1及びフレーム画像Iが少なくとも重複するすべての同一座標についての自乗値を積算してエラー関数を導出し、BFGS法を用いて導出されたエラー関数の値が最小値となる場合を探索し、エラー関数の値が最小値となる場合のアフィン変換パラメータをフレーム画像Iに対するフレーム画像In+1の変化量として抽出するCPU(22)を備えている。

従来技術、競合技術の概要


近年集積化技術の進歩により、ビデオカメラは、小型化・低価格化が進んで一般に普及するようになり、様々な場所で使用されている。特に、小型のビデオカメラは、近年、災害時に素早く情報収集を行うために、人間が立ち入れない場所で被災者の探索を行うロボットや、上空から災害状況を確認する無人ヘリコプターなど、遠隔操作用のレスキューロボットなどにも搭載されている。



しかし、ビデオカメラが搭載されたロボットは、自身が振動したり、荒れた路面上や地震で障害物が散在する状況下で走行したりする。このため、ロボットに搭載されたカメラから送られてくる映像にはゆれが生じてしまう。



そのため、オペレータは、即座に状況判断をすることが困難になり、画面酔いして操作に影響が出る可能性がある。したがって、このような映像のゆれによる影響を抑えるためは、リアルタイムで動画像処理が行われ、映像のゆれが軽減される必要がある。



現在、デジタルカメラのために開発・研究されているゆれを軽減する手法は、電子式、 光学式、イメージセンサーシフト式、レンズユニットスイング式などの手ぶれ補正機能があげられる。しかし、これらの補正機能は、カメラに搭載されるものであり、そのカメラで撮影した映像だけしか補正することができない。このため、必然的にカメラの大型化、高価格化を招いてしまう。



近年では、デジタルカメラの普及やパーソナルコンピュータ(PC)の発達により、一般の家庭用PCでも動画像の処理などが簡単に行われ、汎用性を高めるために、PCを利用した安定化処理が望まれる。しかしながら、動画像はデータ量が多く、それらを処理するにはCPU(Central Processing Unit)では負荷が大きいため、リアルタイムでの処理は難しい。



そこで、高速なグラフィック処理を目的としたグラフィックスハードウェアであるGPU(Graphics Processing Unit)を用いることが考えられる。GPUは、一般的なPCにも搭載され、並列処理による高速演算が可能である。GPUの処理性能、特に浮動小数点演算性能は、CPUに比べて10倍以上の性能を示すものもある。



本願発明者らによる、GPUを用いたぶれ補正技術として「GPUを用いたビデオ映像の安定化」が開示されている(非特許文献1参照)。非特許文献1に記載された技術は、アフィン変換を用いてグローバルモーションを推定する際に、BFGS法(準ニュートン法)のアルゴリズムを使用し、推定したグローバルモーションに基づいてビデオ映像の振動を補正する。

【非特許文献1】藤澤、他2名、「GPUを用いたビデオ映像の安定化」、社団法人情報処理学会、情報処理学会論文誌Vol.49、No.2、p.1-8

産業上の利用分野


本発明は、移動量抽出装置及びプログラム、画像補正装置及びプログラム並びに記録媒体に関する。

特許請求の範囲 【請求項1】 動画像を構成する複数のフレーム画像のうちの第1のフレーム画像に対して、平行移動量である第1方向への移動量x及び前記第1方向に直交する第2方向への移動量yと、回転移動量θとを含んだアフィン変換パラメータを用いて画像変換処理を行って、第1の変換フレーム画像を生成する画像変換部と、
前記画像変換部により前記平行移動量及び前記回転移動量にそれぞれ所定の値が設定されて前記第1の変換フレーム画像が生成される毎に、前記画像変換部により生成された第1の変換フレーム画像と、前記動画像を構成する複数のフレーム画像のうちの前記第1のフレーム画像と異なる第2のフレーム画像と、の同一座標の各画素値の差分の自乗値を演算し、前記第1の変換フレーム画像及び前記第2のフレーム画像が少なくとも重複するすべての同一座標についての前記自乗値を積算してエラー関数を導出するエラー関数導出部と、
BFGS法を用いて前記エラー関数導出部により導出されたエラー関数の値が最小値となる場合を探索し、前記エラー関数の値が最小値となる場合のアフィン変換パラメータを第2のフレーム画像に対する前記第1のフレーム画像の変化量として抽出する変化量抽出部と、
を備え
前記変化量抽出部は、前記エラー関数の最小値の探索の際にBFGS法で使用する導関数として、
【数式1】
を用いる画像変化量抽出装置。
【請求項2】 動画像を構成する複数のフレーム画像のうちの第1のフレーム画像に対して、平行移動量である第1方向への移動量x及び前記第1方向に直交する第2方向への移動量yと、回転移動量θ、ズーム方向の倍率zを含んだアフィン変換パラメータを用いて画像変換処理を行って、第1の変換フレーム画像を生成する画像変換部と、
前記画像変換部により前記平行移動量及び前記回転移動量にそれぞれ所定の値が設定されて前記第1の変換フレーム画像が生成される毎に、前記画像変換部により生成された第1の変換フレーム画像と、前記動画像を構成する複数のフレーム画像のうちの前記第1のフレーム画像と異なる第2のフレーム画像と、の同一座標の各画素値の差分の自乗値を演算し、前記第1の変換フレーム画像及び前記第2のフレーム画像が少なくとも重複するすべての同一座標についての前記自乗値を積算してエラー関数を導出するエラー関数導出部と、
BFGS法を用いて前記エラー関数導出部により導出されたエラー関数の値が最小値となる場合を探索し、前記エラー関数の値が最小値となる場合のアフィン変換パラメータを第2のフレーム画像に対する前記第1のフレーム画像の変化量として抽出する変化量抽出部と、
を備え
前記変化量抽出部は、前記エラー関数の最小値の探索の際にBFGS法で使用する導関数として、
【数式2】
を用いる画像変化量抽出装置。
【請求項3】 前記エラー関数導出部は、前記第1の変換フレーム画像と、前記第1のフレーム画像に隣接する第2のフレーム画像と、の同一座標の各画素値の差分の自乗値を演算する
請求項1又は2に記載の画像変化量抽出装置。
【請求項4】 前記エラー関数導出部は、前記第1の変換フレーム画像と前記第2のフレーム画像との各々の同一座標について、各画素値の差分の自乗値をそれぞれ独立して並列演算する
請求項1又は2に記載の画像変化量抽出装置。
【請求項5】 前記画像変換部は、動画像を構成する複数のフレーム画像のうちの最新の第1のフレーム画像に対して、前記画像変換処理を行って第1の変換フレーム画像を逐次生成し、
前記エラー関数導出部は、前記画像変換部により逐次生成された第1の変換フレーム画像と、前記第1のフレーム画像の直前のフレームである第2のフレーム画像と、の同一座標の各画素値の差分の自乗値を演算する
請求項1又は2に記載の画像変化量抽出装置。
【請求項6】 請求項1又は2に記載の画像変化量抽出装置と、
前記第1のフレーム画像と前記画像変化量抽出装置により抽出された変化量とに基づいて、第1のフレーム画像と前記第2のフレーム画像とのずれが少なくなるように、前記第1のフレーム画像に対して補正処理を行う補正部と、
を備えた画像補正装置。
【請求項7】 前記第2のフレーム画像に対して、前記補正部により補正処理された前記第1のフレーム画像を合成する画像合成部を更に備えた
請求項に記載の画像補正装置。
【請求項8】 請求項に記載の画像変化量抽出装置と、
前記第1のフレーム画像と前記画像変化量抽出装置により抽出された変化量とに基づいて、第1のフレーム画像と前記第2のフレーム画像とのずれが少なくなるように、前記第1のフレーム画像に対して補正処理を行う補正部と、
前記第2のフレーム画像に対して、前記補正部により補正処理された前記第1のフレーム画像を合成する画像合成部と、を備え、
前記画像変化量抽出装置は、次の第1のフレーム画像に対して、前記画像合成部により合成された画像を前記第2のフレーム画像として、前記次の第1のフレーム画像の変化量を抽出する
画像補正装置。
【請求項9】 請求項1又は2に記載の画像変化量抽出装置と、
前記第2のフレーム画像と前記画像変化量抽出装置により抽出された変化量とに基づいて、第1のフレーム画像と前記第2のフレーム画像とのずれが少なくなるように、前記第2のフレーム画像に対して補正処理を行う補正部と、
を備えた画像補正装置。
【請求項10】 前記第1のフレーム画像に対して、前記補正部により補正処理された前記第2のフレーム画像を合成する画像合成部を更に備えた
請求項に記載の画像補正装置。
【請求項11】 コンピュータを、請求項または請求項に記載の画像補正装置の各部として機能させるための画像補正プログラム。
【請求項12】 コンピュータを、
動画像を構成する複数のフレーム画像のうちの第1のフレーム画像に対して、平行移動量である第1方向への移動量x及び前記第1方向に直交する第2方向への移動量yと、回転移動量θとを含んだアフィン変換パラメータを用いて画像変換処理を行って、第1の変換フレーム画像を生成する画像変換手段、
前記画像変換手段より前記平行移動量及び前記回転移動量にそれぞれ所定の値が設定されて前記第1の変換フレーム画像が生成される毎に、前記画像変換手段により生成された第1の変換フレーム画像と、前記動画像を構成する複数のフレーム画像のうちの前記第1のフレーム画像と異なる第2のフレーム画像と、の同一座標の各画素値の差分の自乗値を演算し、前記第1の変換フレーム画像及び前記第2のフレーム画像が少なくとも重複するすべての同一座標についての自乗値を積算してエラー関数を導出するエラー関数導出手段、及び、
BFGS法を用いて前記エラー関数導出手段により導出されたエラー関数の値が最小値となる場合を探索し、前記エラー関数の値が最小値となる場合のアフィン変換パラメータを第2のフレーム画像に対する前記第1のフレーム画像の変化量として抽出する変化量抽出手段、
として機能させるための画像変化量抽出プログラムであって、

前記変化量抽出手段は、前記エラー関数の最小値の探索の際にBFGS法で使用する導関数として、
【数式3】
を用いる画像変化量抽出プログラム。
【請求項13】 コンピュータを、
動画像を構成する複数のフレーム画像のうちの第1のフレーム画像に対して、平行移動量である第1方向への移動量x及び前記第1方向に直交する第2方向への移動量yと、回転移動量θ、ズーム方向の倍率zを含んだアフィン変換パラメータを用いて画像変換処理を行って、第1の変換フレーム画像を生成する画像変換手段、
前記画像変換手段より前記平行移動量及び前記回転移動量にそれぞれ所定の値が設定されて前記第1の変換フレーム画像が生成される毎に、前記画像変換手段により生成された第1の変換フレーム画像と、前記動画像を構成する複数のフレーム画像のうちの前記第1のフレーム画像と異なる第2のフレーム画像と、の同一座標の各画素値の差分の自乗値を演算し、前記第1の変換フレーム画像及び前記第2のフレーム画像が少なくとも重複するすべての同一座標についての自乗値を積算してエラー関数を導出するエラー関数導出手段、及び、
BFGS法を用いて前記エラー関数導出手段により導出されたエラー関数の値が最小値となる場合を探索し、前記エラー関数の値が最小値となる場合のアフィン変換パラメータを第2のフレーム画像に対する前記第1のフレーム画像の変化量として抽出する変化量抽出手段、
として機能させるための画像変化量抽出プログラムであって、
前記変化量抽出手段は、前記エラー関数の最小値の探索の際にBFGS法で使用する導関数として、
【数式4】
を用いる画像変化量抽出プログラム。
産業区分
  • 計算機応用
  • 工業用ロボット
  • テレビ
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

JP2010518003thum.jpg
出願権利状態 権利存続中
ライセンスをご希望の方、特許の内容に興味を持たれた方は、下記までご連絡ください。


PAGE TOP

close
close
close
close
close
close
close