Top > Search of Japanese Patents > (In Japanese)移動量抽出装置及びプログラム、画像補正装置及びプログラム並びに記録媒体

(In Japanese)移動量抽出装置及びプログラム、画像補正装置及びプログラム並びに記録媒体 meetings

Patent code P120007113
File No. ShIP-8025N-JI02
Posted date Mar 29, 2012
Application number P2010-518003
Patent number P4771186
Date of filing Jun 22, 2009
Date of registration Jul 1, 2011
International application number JP2009061329
International publication number WO2009154294
Date of international filing Jun 22, 2009
Date of international publication Dec 23, 2009
Priority data
  • P2008-162477 (Jun 20, 2008) JP
Inventor
  • (In Japanese)三浦 憲二郎
  • (In Japanese)▲高▼橋 賢治
Applicant
  • (In Japanese)国立大学法人静岡大学
Title (In Japanese)移動量抽出装置及びプログラム、画像補正装置及びプログラム並びに記録媒体 meetings
Abstract (In Japanese)画像補正装置は、平行移動量及び回転移動量にそれぞれ所定の値が設定されて第1の変換フレーム画像が生成される毎に、変換されたフレーム画像In+1とフレーム画像Inとの同一座標の各画素値の差分の自乗値を演算し、変換されたフレーム画像In+1及びフレーム画像Inが少なくとも重複するすべての同一座標についての自乗値を積算してエラー関数を導出し、BFGS法を用いて導出されたエラー関数の値が最小値となる場合を探索し、エラー関数の値が最小値となる場合のアフィン変換パラメータをフレーム画像Inに対するフレーム画像In+1の変化量として抽出するCPU(22)を備えている。
Outline of related art and contending technology (In Japanese)

近年集積化技術の進歩により、ビデオカメラは、小型化・低価格化が進んで一般に普及するようになり、様々な場所で使用されている。特に、小型のビデオカメラは、近年、災害時に素早く情報収集を行うために、人間が立ち入れない場所で被災者の探索を行うロボットや、上空から災害状況を確認する無人ヘリコプターなど、遠隔操作用のレスキューロボットなどにも搭載されている。

しかし、ビデオカメラが搭載されたロボットは、自身が振動したり、荒れた路面上や地震で障害物が散在する状況下で走行したりする。このため、ロボットに搭載されたカメラから送られてくる映像にはゆれが生じてしまう。

そのため、オペレータは、即座に状況判断をすることが困難になり、画面酔いして操作に影響が出る可能性がある。したがって、このような映像のゆれによる影響を抑えるためは、リアルタイムで動画像処理が行われ、映像のゆれが軽減される必要がある。

現在、デジタルカメラのために開発・研究されているゆれを軽減する手法は、電子式、 光学式、イメージセンサーシフト式、レンズユニットスイング式などの手ぶれ補正機能があげられる。しかし、これらの補正機能は、カメラに搭載されるものであり、そのカメラで撮影した映像だけしか補正することができない。このため、必然的にカメラの大型化、高価格化を招いてしまう。

近年では、デジタルカメラの普及やパーソナルコンピュータ(PC)の発達により、一般の家庭用PCでも動画像の処理などが簡単に行われ、汎用性を高めるために、PCを利用した安定化処理が望まれる。しかしながら、動画像はデータ量が多く、それらを処理するにはCPU(Central Processing Unit)では負荷が大きいため、リアルタイムでの処理は難しい。

そこで、高速なグラフィック処理を目的としたグラフィックスハードウェアであるGPU(Graphics Processing Unit)を用いることが考えられる。GPUは、一般的なPCにも搭載され、並列処理による高速演算が可能である。GPUの処理性能、特に浮動小数点演算性能は、CPUに比べて10倍以上の性能を示すものもある。

本願発明者らによる、GPUを用いたぶれ補正技術として「GPUを用いたビデオ映像の安定化」が開示されている(非特許文献1参照)。非特許文献1に記載された技術は、アフィン変換を用いてグローバルモーションを推定する際に、BFGS法(準ニュートン法)のアルゴリズムを使用し、推定したグローバルモーションに基づいてビデオ映像の振動を補正する。
【非特許文献1】
藤澤、他2名、「GPUを用いたビデオ映像の安定化」、社団法人情報処理学会、情報処理学会論文誌Vol.49、No.2、p.1-8

Field of industrial application (In Japanese)

本発明は、移動量抽出装置及びプログラム、画像補正装置及びプログラム並びに記録媒体に関する。

Scope of claims (In Japanese)
【請求項1】
 
動画像を構成する複数のフレーム画像のうちの第1のフレーム画像に対して、平行移動量である第1方向への移動量x及び前記第1方向に直交する第2方向への移動量yと、回転移動量θとを含んだアフィン変換パラメータを用いて画像変換処理を行って、第1の変換フレーム画像を生成する画像変換部と、
前記画像変換部により前記平行移動量及び前記回転移動量にそれぞれ所定の値が設定されて前記第1の変換フレーム画像が生成される毎に、前記画像変換部により生成された第1の変換フレーム画像と、前記動画像を構成する複数のフレーム画像のうちの前記第1のフレーム画像と異なる第2のフレーム画像と、の同一座標の各画素値の差分の自乗値を演算し、前記第1の変換フレーム画像及び前記第2のフレーム画像が少なくとも重複するすべての同一座標についての前記自乗値を積算してエラー関数を導出するエラー関数導出部と、
BFGS法を用いて前記エラー関数導出部により導出されたエラー関数の値が最小値となる場合を探索し、前記エラー関数の値が最小値となる場合のアフィン変換パラメータを第2のフレーム画像に対する前記第1のフレーム画像の変化量として抽出する変化量抽出部と、
を備え
前記変化量抽出部は、前記エラー関数の最小値の探索の際にBFGS法で使用する導関数として、
【数1】
 
(省略)
を用いる画像変化量抽出装置。

【請求項2】
 
動画像を構成する複数のフレーム画像のうちの第1のフレーム画像に対して、平行移動量である第1方向への移動量x及び前記第1方向に直交する第2方向への移動量yと、回転移動量θ、ズーム方向の倍率zを含んだアフィン変換パラメータを用いて画像変換処理を行って、第1の変換フレーム画像を生成する画像変換部と、
前記画像変換部により前記平行移動量及び前記回転移動量にそれぞれ所定の値が設定されて前記第1の変換フレーム画像が生成される毎に、前記画像変換部により生成された第1の変換フレーム画像と、前記動画像を構成する複数のフレーム画像のうちの前記第1のフレーム画像と異なる第2のフレーム画像と、の同一座標の各画素値の差分の自乗値を演算し、前記第1の変換フレーム画像及び前記第2のフレーム画像が少なくとも重複するすべての同一座標についての前記自乗値を積算してエラー関数を導出するエラー関数導出部と、
BFGS法を用いて前記エラー関数導出部により導出されたエラー関数の値が最小値となる場合を探索し、前記エラー関数の値が最小値となる場合のアフィン変換パラメータを第2のフレーム画像に対する前記第1のフレーム画像の変化量として抽出する変化量抽出部と、
を備え
前記変化量抽出部は、前記エラー関数の最小値の探索の際にBFGS法で使用する導関数として、
【数2】
 
(省略)
を用いる画像変化量抽出装置。

【請求項3】
 
前記エラー関数導出部は、前記第1の変換フレーム画像と、前記第1のフレーム画像に隣接する第2のフレーム画像と、の同一座標の各画素値の差分の自乗値を演算する
請求項1又は2に記載の画像変化量抽出装置。

【請求項4】
 
前記エラー関数導出部は、前記第1の変換フレーム画像と前記第2のフレーム画像との各々の同一座標について、各画素値の差分の自乗値をそれぞれ独立して並列演算する
請求項1又は2に記載の画像変化量抽出装置。

【請求項5】
 
前記画像変換部は、動画像を構成する複数のフレーム画像のうちの最新の第1のフレーム画像に対して、前記画像変換処理を行って第1の変換フレーム画像を逐次生成し、
前記エラー関数導出部は、前記画像変換部により逐次生成された第1の変換フレーム画像と、前記第1のフレーム画像の直前のフレームである第2のフレーム画像と、の同一座標の各画素値の差分の自乗値を演算する
請求項1又は2に記載の画像変化量抽出装置。

【請求項6】
 
請求項1又は2に記載の画像変化量抽出装置と、
前記第1のフレーム画像と前記画像変化量抽出装置により抽出された変化量とに基づいて、第1のフレーム画像と前記第2のフレーム画像とのずれが少なくなるように、前記第1のフレーム画像に対して補正処理を行う補正部と、
を備えた画像補正装置。

【請求項7】
 
前記第2のフレーム画像に対して、前記補正部により補正処理された前記第1のフレーム画像を合成する画像合成部を更に備えた
請求項6に記載の画像補正装置。

【請求項8】
 
請求項6に記載の画像変化量抽出装置と、
前記第1のフレーム画像と前記画像変化量抽出装置により抽出された変化量とに基づいて、第1のフレーム画像と前記第2のフレーム画像とのずれが少なくなるように、前記第1のフレーム画像に対して補正処理を行う補正部と、
前記第2のフレーム画像に対して、前記補正部により補正処理された前記第1のフレーム画像を合成する画像合成部と、を備え、
前記画像変化量抽出装置は、次の第1のフレーム画像に対して、前記画像合成部により合成された画像を前記第2のフレーム画像として、前記次の第1のフレーム画像の変化量を抽出する
画像補正装置。

【請求項9】
 
請求項1又は2に記載の画像変化量抽出装置と、
前記第2のフレーム画像と前記画像変化量抽出装置により抽出された変化量とに基づいて、第1のフレーム画像と前記第2のフレーム画像とのずれが少なくなるように、前記第2のフレーム画像に対して補正処理を行う補正部と、
を備えた画像補正装置。

【請求項10】
 
前記第1のフレーム画像に対して、前記補正部により補正処理された前記第2のフレーム画像を合成する画像合成部を更に備えた
請求項9に記載の画像補正装置。

【請求項11】
 
コンピュータを、請求項6または請求項9に記載の画像補正装置の各部として機能させるための画像補正プログラム。

【請求項12】
 
コンピュータを、
動画像を構成する複数のフレーム画像のうちの第1のフレーム画像に対して、平行移動量である第1方向への移動量x及び前記第1方向に直交する第2方向への移動量yと、回転移動量θとを含んだアフィン変換パラメータを用いて画像変換処理を行って、第1の変換フレーム画像を生成する画像変換手段、
前記画像変換手段より前記平行移動量及び前記回転移動量にそれぞれ所定の値が設定されて前記第1の変換フレーム画像が生成される毎に、前記画像変換手段により生成された第1の変換フレーム画像と、前記動画像を構成する複数のフレーム画像のうちの前記第1のフレーム画像と異なる第2のフレーム画像と、の同一座標の各画素値の差分の自乗値を演算し、前記第1の変換フレーム画像及び前記第2のフレーム画像が少なくとも重複するすべての同一座標についての自乗値を積算してエラー関数を導出するエラー関数導出手段、及び、
BFGS法を用いて前記エラー関数導出手段により導出されたエラー関数の値が最小値となる場合を探索し、前記エラー関数の値が最小値となる場合のアフィン変換パラメータを第2のフレーム画像に対する前記第1のフレーム画像の変化量として抽出する変化量抽出手段、
として機能させるための画像変化量抽出プログラムであって、

前記変化量抽出手段は、前記エラー関数の最小値の探索の際にBFGS法で使用する導関数として、
【数3】
 
(省略)
を用いる画像変化量抽出プログラム。

【請求項13】
 
コンピュータを、
動画像を構成する複数のフレーム画像のうちの第1のフレーム画像に対して、平行移動量である第1方向への移動量x及び前記第1方向に直交する第2方向への移動量yと、回転移動量θ、ズーム方向の倍率zを含んだアフィン変換パラメータを用いて画像変換処理を行って、第1の変換フレーム画像を生成する画像変換手段、
前記画像変換手段より前記平行移動量及び前記回転移動量にそれぞれ所定の値が設定されて前記第1の変換フレーム画像が生成される毎に、前記画像変換手段により生成された第1の変換フレーム画像と、前記動画像を構成する複数のフレーム画像のうちの前記第1のフレーム画像と異なる第2のフレーム画像と、の同一座標の各画素値の差分の自乗値を演算し、前記第1の変換フレーム画像及び前記第2のフレーム画像が少なくとも重複するすべての同一座標についての自乗値を積算してエラー関数を導出するエラー関数導出手段、及び、
BFGS法を用いて前記エラー関数導出手段により導出されたエラー関数の値が最小値となる場合を探索し、前記エラー関数の値が最小値となる場合のアフィン変換パラメータを第2のフレーム画像に対する前記第1のフレーム画像の変化量として抽出する変化量抽出手段、
として機能させるための画像変化量抽出プログラムであって、
前記変化量抽出手段は、前記エラー関数の最小値の探索の際にBFGS法で使用する導関数として、
【数4】
 
(省略)
を用いる画像変化量抽出プログラム。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2010518003thum.jpg
State of application right Registered
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close