Top > Search of Japanese Patents > (In Japanese)モーションブラー制御装置、方法、及びプログラム

(In Japanese)モーションブラー制御装置、方法、及びプログラム meetings

Patent code P120007862
File No. ShIP-8081N-JI04
Posted date Aug 22, 2012
Application number P2010-550568
Patent number P5388072
Date of filing Feb 15, 2010
Date of registration Oct 18, 2013
International application number JP2010052209
International publication number WO2010093040
Date of international filing Feb 15, 2010
Date of international publication Aug 19, 2010
Priority data
  • P2009-031418 (Feb 13, 2009) JP
Inventor
  • (In Japanese)三浦 憲二郎
  • (In Japanese)▲高▼橋 賢治
Applicant
  • (In Japanese)国立大学法人静岡大学
Title (In Japanese)モーションブラー制御装置、方法、及びプログラム meetings
Abstract (In Japanese)モーションブラー制御装置は、フレーム間移動算出手段によって、所定時間間隔で取得された複数のフレーム画像からフレーム間移動方向及びフレーム間移動量を算出する。モーションブラー補正手段によって、フレーム間移動量を超えない範囲で設定されたブラー量と、フレーム間移動方向とに基づいて、複数のフレーム画像のうち所定フレーム画像のモーションブラーを補正して補正フレーム画像を生成する。評価手段によって、補正フレーム画像をモーションブラー評価関数により評価する。モーションブラー制御装置は、モーションブラー評価関数が所定の条件を満たすようにブラー量を制御する。
Outline of related art and contending technology (In Japanese)

近年集積化技術の進歩により、ビデオカメラは、小型化・低価格化が進んで一般に普及するようになり、様々な場所で使用されている。特に、小型のビデオカメラは、近年、災害時に素早く情報収集を行うために、人間が立ち入れない場所で被災者の探索を行うロボットや、上空から災害状況を確認する無人ヘリコプター、遠隔操作用のレスキューロボットなどにも搭載されている。

しかし、ビデオカメラが搭載されたロボットは、自身が振動したり、荒れた路面上や地震で障害物が散在する状況下で走行したりする。このため、ロボットに搭載されたカメラから送られてくる映像にはゆれが生じてしまう。

そのため、オペレータは、即座に状況判断をすることが困難になり、画面酔いして操作に影響が出る可能性がある。したがって、このような映像のゆれによる影響を抑えるためは、リアルタイムで動画像処理が行われ、映像のゆれが軽減される必要がある。

現在、デジタルカメラのために開発・研究されているゆれを軽減する手法は、電子式、光学式、イメージセンサーシフト式、レンズユニットスイング式などの手ぶれ補正機能があげられる。しかし、これらの補正機能は、カメラに搭載されるものであり、そのカメラで撮影した映像だけしか補正することができない。このため、必然的にカメラの大型化、高価格化を招いてしまう。

近年では、デジタルカメラの普及やパーソナルコンピュータ(PC)の発達により、一般の家庭用PCでも動画像の処理などが簡単に行われ、汎用性を高めるために、PCを利用した安定化処理が望まれる。しかしながら、動画像はデータ量が多く、それらを処理するにはCPU(Central Processing Unit)では負荷が大きいため、リアルタイムでの処理は難しい。

そこで、高速なグラフィック処理を目的としたグラフィックスハードウェアであるGPU(Graphics Processing Unit)を用いることが考えられる。GPUは、一般的なPCにも搭載され、並列処理による高速演算が可能である。GPUの処理性能、特に浮動小数点演算性能は、CPUに比べて10倍以上の性能を示すものもある。

本発明者らによる、GPUを用いたぶれ補正技術として「GPUを用いたビデオ映像の安定化」が開示されている(非特許文献1参照)。非特許文献1に記載された技術は、アフィン変換を用いてグローバルモーションを推定する際に、BFGS法(準ニュートン法)のアルゴリズムを使用し、推定したグローバルモーションに基づいてビデオ映像の振動を補正する。また、BFGS法を用いたグローバルモーション推定の改良技術として、特願2008-162477号(平成20年6月20日出願)の特許出願を行っている。

Field of industrial application (In Japanese)

本発明は、動画像におけるモーションブラーを制御する装置、方法及びプログラムに関する。

Scope of claims (In Japanese)
【請求項1】
 
所定時間間隔で取得された複数のフレーム画像の中の所定フレーム画像のモーションブラーを制御するモーションブラー制御装置であって、
所定時間間隔で取得された複数のフレーム画像からフレーム間移動方向及びフレーム間移動量を算出するフレーム間移動算出手段と、
前記フレーム間移動量を超えない範囲で設定されたブラー量と、前記フレーム間移動方向とに基づいて、前記複数のフレーム画像のうち前記所定フレーム画像のモーションブラーを補正して補正フレーム画像を生成するモーションブラー補正手段と、
前記補正フレーム画像をモーションブラー評価関数により評価する評価手段と、を有し、
前記モーションブラー評価関数が所定の条件を満たすように前記ブラー量を制御する、
ことを特徴とするモーションブラー制御装置。

【請求項2】
 
前記モーションブラー補正手段は、
前記フレーム間移動量を超えない範囲で設定されたブラー量と、前記フレーム間移動方向とに基づいて、アンシャープマスクを設定するアンシャープマスク設定手段と、
前記アンシャープマスクに基づいて、前記所定フレーム画像のモーションブラーを補正して補正フレーム画像を生成するアンシャープ処理手段と、を有する
ことを特徴とする請求項1記載のモーションブラー制御装置。

【請求項3】
 
前記モーションブラー補正手段は、
前記フレーム間移動量を超えない範囲で設定されたブラー量と、前記フレーム間移動方向とに基づいて、逆畳み込み演算を行うことにより前記所定フレーム画像のモーションブラーを補正して補正フレーム画像を生成する、
ことを特徴とする請求項1記載のモーションブラー制御装置。

【請求項4】
 
前記フレーム間移動算出手段は、平行移動量と回転移動量とを含んだアフィン変換パラメータに基づいて、前記複数のフレーム画像間のグローバルモーションを推定して、前記フレーム間移動方向と前記フレーム間移動量とを算出する、
ことを特徴とする請求項1~3いずれか記載のモーションブラー制御装置。

【請求項5】
 
前記アフィン変換パラメータは、画像の倍率を更に含んでいる、
ことを特徴とする請求項4記載のモーションブラー制御装置。

【請求項6】
 
前記複数のフレーム画像は、動画像を構成するフレーム画像である、
ことを特徴とする請求項1~5いずれか記載のモーションブラー制御装置。

【請求項7】
 
前記モーションブラー評価関数が前記所定の条件を満たすまで、前記ブラー量を変化させて、前記モーションブラー補正手段による補正と前記評価手段による評価とを繰り返して、前記所定フレーム画像のモーションブラーを低減する、
ことを特徴とする請求項1~6いずれか記載のモーションブラー制御装置。

【請求項8】
 
前記モーションブラー評価関数が最大値または最小値になるまで前記モーションブラー補正手段による補正と前記評価手段による評価とを繰り返す、
ことを特徴とする請求項7記載のモーションブラー制御装置。

【請求項9】
 
前記モーションブラー評価関数Eは、以下の式で与えられる、
ことを特徴とする請求項1~8のいずれか1項記載のモーションブラー制御装置。
【数1】
 
(省略)
ただし、I(x,y)は評価対象画像の座標(x,y)の画素値である。

【請求項10】
 
所定時間間隔で取得された複数のフレーム画像の中の所定フレーム画像のモーションブラーを制御するモーションブラー制御方法であって、
所定時間間隔で取得された複数のフレーム画像からフレーム間移動方向及びフレーム間移動量を算出するステップと、
前記フレーム間移動量を超えない範囲で設定されたブラー量と、前記フレーム間移動方向とに基づいて、前記複数のフレーム画像のうち前記所定フレーム画像のモーションブラーを補正して補正フレーム画像を生成するステップと、
前記補正フレーム画像をモーションブラー評価関数により評価するステップと、を有し、
前記モーションブラー評価関数が所定の条件を満たすように前記ブラー量を制御する、
ことを特徴とするモーションブラー制御方法。

【請求項11】
 
所定時間間隔で取得された複数のフレーム画像の中の所定フレーム画像のモーションブラーを制御するモーションブラー制御プログラムであって、
コンピュータを、
所定時間間隔で取得された複数のフレーム画像からフレーム間移動方向及びフレーム間移動量を算出するフレーム間移動算出手段、
前記フレーム間移動量を超えない範囲で設定されたブラー量と、前記フレーム間移動方向とに基づいて、前記複数のフレーム画像のうち前記所定フレーム画像のモーションブラーを補正して補正フレーム画像を生成するモーションブラー補正手段、及び
前記補正フレーム画像をモーションブラー評価関数により評価する評価手段
として機能させ、
前記モーションブラー評価関数が所定の条件を満たすように前記ブラー量を制御する、
ことを特徴とするモーションブラー制御プログラム。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2010550568thum.jpg
State of application right Registered
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close