Top > Search of Japanese Patents > (In Japanese)モーションブラー制御装置、方法、及びプログラム > Specification

Specification :(In Japanese)モーションブラー制御装置、方法、及びプログラム

Country (In Japanese)日本国特許庁(JP)
Gazette (In Japanese)特許公報(B2)
Patent Number P5388072
Date of registration Oct 18, 2013
Date of issue Jan 15, 2014
Title of the invention, or title of the device (In Japanese)モーションブラー制御装置、方法、及びプログラム
IPC (International Patent Classification) H04N   5/232       (2006.01)
G06T   5/20        (2006.01)
FI (File Index) H04N 5/232 Z
G06T 5/20 Z
Number of claims or invention 11
Total pages 17
Application Number P2010-550568
Date of filing Feb 15, 2010
International application number PCT/JP2010/052209
International publication number WO2010/093040
Date of international publication Aug 19, 2010
Application number of the priority 2009031418
Priority date Feb 13, 2009
Claim of priority (country) (In Japanese)日本国(JP)
Date of request for substantive examination Feb 15, 2013
Patentee, or owner of utility model right (In Japanese)【識別番号】304023318
【氏名又は名称】国立大学法人静岡大学
Inventor, or creator of device (In Japanese)【氏名】三浦 憲二郎
【氏名】▲高▼橋 賢治
Representative (In Japanese)【識別番号】100079049、【弁理士】、【氏名又は名称】中島 淳
【識別番号】100084995、【弁理士】、【氏名又は名称】加藤 和詳
【識別番号】100099025、【弁理士】、【氏名又は名称】福田 浩志
Examiner (In Japanese)【審査官】吉川 康男
Document or reference (In Japanese)特開2007-183842(JP,A)
特開2007-305113(JP,A)
国際公開第2009/019848(WO,A1)
Field of search H04N 5/232
G06T 5/20
Scope of claims (In Japanese)【請求項1】
所定時間間隔で取得された複数のフレーム画像の中の所定フレーム画像のモーションブラーを制御するモーションブラー制御装置であって、
所定時間間隔で取得された複数のフレーム画像からフレーム間移動方向及びフレーム間移動量を算出するフレーム間移動算出手段と、
前記フレーム間移動量を超えない範囲で設定されたブラー量と、前記フレーム間移動方向とに基づいて、前記複数のフレーム画像のうち前記所定フレーム画像のモーションブラーを補正して補正フレーム画像を生成するモーションブラー補正手段と、
前記補正フレーム画像をモーションブラー評価関数により評価する評価手段と、を有し、
前記モーションブラー評価関数が所定の条件を満たすように前記ブラー量を制御する、
ことを特徴とするモーションブラー制御装置。
【請求項2】
前記モーションブラー補正手段は、
前記フレーム間移動量を超えない範囲で設定されたブラー量と、前記フレーム間移動方向とに基づいて、アンシャープマスクを設定するアンシャープマスク設定手段と、
前記アンシャープマスクに基づいて、前記所定フレーム画像のモーションブラーを補正して補正フレーム画像を生成するアンシャープ処理手段と、を有する
ことを特徴とする請求項1記載のモーションブラー制御装置。
【請求項3】
前記モーションブラー補正手段は、
前記フレーム間移動量を超えない範囲で設定されたブラー量と、前記フレーム間移動方向とに基づいて、逆畳み込み演算を行うことにより前記所定フレーム画像のモーションブラーを補正して補正フレーム画像を生成する、
ことを特徴とする請求項1記載のモーションブラー制御装置。
【請求項4】
前記フレーム間移動算出手段は、平行移動量と回転移動量とを含んだアフィン変換パラメータに基づいて、前記複数のフレーム画像間のグローバルモーションを推定して、前記フレーム間移動方向と前記フレーム間移動量とを算出する、
ことを特徴とする請求項1~3いずれか記載のモーションブラー制御装置。
【請求項5】
前記アフィン変換パラメータは、画像の倍率を更に含んでいる、
ことを特徴とする請求項4記載のモーションブラー制御装置。
【請求項6】
前記複数のフレーム画像は、動画像を構成するフレーム画像である、
ことを特徴とする請求項1~5いずれか記載のモーションブラー制御装置。
【請求項7】
前記モーションブラー評価関数が前記所定の条件を満たすまで、前記ブラー量を変化させて、前記モーションブラー補正手段による補正と前記評価手段による評価とを繰り返して、前記所定フレーム画像のモーションブラーを低減する、
ことを特徴とする請求項1~6いずれか記載のモーションブラー制御装置。
【請求項8】
前記モーションブラー評価関数が最大値または最小値になるまで前記モーションブラー補正手段による補正と前記評価手段による評価とを繰り返す、
ことを特徴とする請求項7記載のモーションブラー制御装置。
【請求項9】
前記モーションブラー評価関数Eは、以下の式で与えられる、
ことを特徴とする請求項1~8のいずれか1項記載のモーションブラー制御装置。
【数1】
JP0005388072B2_000011t.gif

ただし、I(x,y)は評価対象画像の座標(x,y)の画素値である。
【請求項10】
所定時間間隔で取得された複数のフレーム画像の中の所定フレーム画像のモーションブラーを制御するモーションブラー制御方法であって、
所定時間間隔で取得された複数のフレーム画像からフレーム間移動方向及びフレーム間移動量を算出するステップと、
前記フレーム間移動量を超えない範囲で設定されたブラー量と、前記フレーム間移動方向とに基づいて、前記複数のフレーム画像のうち前記所定フレーム画像のモーションブラーを補正して補正フレーム画像を生成するステップと、
前記補正フレーム画像をモーションブラー評価関数により評価するステップと、を有し、
前記モーションブラー評価関数が所定の条件を満たすように前記ブラー量を制御する、
ことを特徴とするモーションブラー制御方法。
【請求項11】
所定時間間隔で取得された複数のフレーム画像の中の所定フレーム画像のモーションブラーを制御するモーションブラー制御プログラムであって、
コンピュータを、
所定時間間隔で取得された複数のフレーム画像からフレーム間移動方向及びフレーム間移動量を算出するフレーム間移動算出手段、
前記フレーム間移動量を超えない範囲で設定されたブラー量と、前記フレーム間移動方向とに基づいて、前記複数のフレーム画像のうち前記所定フレーム画像のモーションブラーを補正して補正フレーム画像を生成するモーションブラー補正手段、及び
前記補正フレーム画像をモーションブラー評価関数により評価する評価手段
として機能させ、
前記モーションブラー評価関数が所定の条件を満たすように前記ブラー量を制御する、
ことを特徴とするモーションブラー制御プログラム。
Detailed description of the invention (In Japanese)【技術分野】
【0001】
本発明は、動画像におけるモーションブラーを制御する装置、方法及びプログラムに関する。
【背景技術】
【0002】
近年集積化技術の進歩により、ビデオカメラは、小型化・低価格化が進んで一般に普及するようになり、様々な場所で使用されている。特に、小型のビデオカメラは、近年、災害時に素早く情報収集を行うために、人間が立ち入れない場所で被災者の探索を行うロボットや、上空から災害状況を確認する無人ヘリコプター、遠隔操作用のレスキューロボットなどにも搭載されている。
【0003】
しかし、ビデオカメラが搭載されたロボットは、自身が振動したり、荒れた路面上や地震で障害物が散在する状況下で走行したりする。このため、ロボットに搭載されたカメラから送られてくる映像にはゆれが生じてしまう。
【0004】
そのため、オペレータは、即座に状況判断をすることが困難になり、画面酔いして操作に影響が出る可能性がある。したがって、このような映像のゆれによる影響を抑えるためは、リアルタイムで動画像処理が行われ、映像のゆれが軽減される必要がある。
【0005】
現在、デジタルカメラのために開発・研究されているゆれを軽減する手法は、電子式、光学式、イメージセンサーシフト式、レンズユニットスイング式などの手ぶれ補正機能があげられる。しかし、これらの補正機能は、カメラに搭載されるものであり、そのカメラで撮影した映像だけしか補正することができない。このため、必然的にカメラの大型化、高価格化を招いてしまう。
【0006】
近年では、デジタルカメラの普及やパーソナルコンピュータ(PC)の発達により、一般の家庭用PCでも動画像の処理などが簡単に行われ、汎用性を高めるために、PCを利用した安定化処理が望まれる。しかしながら、動画像はデータ量が多く、それらを処理するにはCPU(Central Processing Unit)では負荷が大きいため、リアルタイムでの処理は難しい。
【0007】
そこで、高速なグラフィック処理を目的としたグラフィックスハードウェアであるGPU(Graphics Processing Unit)を用いることが考えられる。GPUは、一般的なPCにも搭載され、並列処理による高速演算が可能である。GPUの処理性能、特に浮動小数点演算性能は、CPUに比べて10倍以上の性能を示すものもある。
【0008】
本発明者らによる、GPUを用いたぶれ補正技術として「GPUを用いたビデオ映像の安定化」が開示されている(非特許文献1参照)。非特許文献1に記載された技術は、アフィン変換を用いてグローバルモーションを推定する際に、BFGS法(準ニュートン法)のアルゴリズムを使用し、推定したグローバルモーションに基づいてビデオ映像の振動を補正する。また、BFGS法を用いたグローバルモーション推定の改良技術として、特願2008-162477号(平成20年6月20日出願)の特許出願を行っている。
【先行技術文献】
【0009】

【非特許文献1】藤澤、他2名、「GPUを用いたビデオ映像の安定化」、社団法人情報処理学会、情報処理学会論文誌Vol.49、No.2、p.1-8
【発明の開示】
【発明が解決しようとする課題】
【0010】
しかしながら、グローバルモーションを推定してビデオ映像を補正しても、各フレーム内でのモーションブラーは残ってしまう。モーションブラーとは露光時間内のカメラの移動に基づいて発生する“にじみ”であり、1つのフレーム内での移動量に基づくものであるので、グローバルモーション補正によって除去することができない。
【0011】
一般の動画像撮影に用いられているイメージセンサ(CCD、CMOSなど)では、フレーム間隔は一定であるものの、その中での露光時間(電荷蓄積時間)は撮影領域の明るさによって異なる。例えば、明るい場合は露光時間が短く、暗い場合は露光時間が長い。したがって、明るさに応じてフレームごとに露光時間が変化する。モーションブラー量は露光時間に依存するため、撮影領域が一定速度で動いていてもモーションブラー量は一定にはならない。
【0012】
本発明は上記問題点を解決するものであり、グローバルモーション推定で算出された移動方向に基づいて、動画像における各フレームのモーションブラーの制御及び低減を高速且つ精度よく行う、モーションブラー制御技術を提供することを目的とする。
【課題を解決するための手段】
【0013】
上記の目的を達成するために、本発明に係るモーションブラー制御装置は、所定時間間隔で取得された複数のフレーム画像の中の所定フレーム画像のモーションブラーを制御するモーションブラー制御装置であって、所定時間間隔で取得された複数のフレーム画像からフレーム間移動方向及びフレーム間移動量を算出するフレーム間移動算出手段と、前記フレーム間移動量を超えない範囲で設定されたブラー量と、前記フレーム間移動方向とに基づいて、前記複数のフレーム画像のうち前記所定フレーム画像のモーションブラーを補正して補正フレーム画像を生成するモーションブラー補正手段と、前記補正フレーム画像をモーションブラー評価関数により評価する評価手段と、を有し、前記モーションブラー評価関数が所定の条件を満たすように前記ブラー量を制御することを特徴とする。
【0014】
また、本発明に係るモーションブラー制御方法は、所定時間間隔で取得された複数のフレーム画像の中の所定フレーム画像のモーションブラーを制御するモーションブラー制御方法であって、所定時間間隔で取得された複数のフレーム画像からフレーム間移動方向及びフレーム間移動量を算出するステップと、前記フレーム間移動量を超えない範囲で設定されたブラー量と、前記フレーム間移動方向とに基づいて、前記複数のフレーム画像のうち前記所定フレーム画像のモーションブラーを補正して補正フレーム画像を生成するステップと、前記補正フレーム画像をモーションブラー評価関数により評価するステップと、を有し、前記モーションブラー評価関数が所定の条件を満たすように前記ブラー量を制御することを特徴とする。
【0015】
また、本発明に係るモーションブラー制御プログラムは、 所定時間間隔で取得された複数のフレーム画像の中の所定フレーム画像のモーションブラーを制御するモーションブラー制御プログラムであって、コンピュータを、所定時間間隔で取得された複数のフレーム画像からフレーム間移動方向及びフレーム間移動量を算出するフレーム間移動算出手段、前記フレーム間移動量を超えない範囲で設定されたブラー量と、前記フレーム間移動方向とに基づいて、前記複数のフレーム画像のうち前記所定フレーム画像のモーションブラーを補正して補正フレーム画像を生成するモーションブラー補正手段、及び前記補正フレーム画像をモーションブラー評価関数により評価する評価手段として機能させ、前記モーションブラー評価関数が所定の条件を満たすように前記ブラー量を制御することを特徴とするモーションブラー制御プログラムである。
【0016】
本発明に係るモーションブラー補正手段は、前記フレーム間移動量を超えない範囲で設定されたブラー量と、前記フレーム間移動方向とに基づいて、アンシャープマスクを設定するアンシャープマスク設定手段と、前記アンシャープマスクに基づいて、前記所定フレーム画像のモーションブラーを補正して補正フレーム画像を生成するアンシャープ処理手段と、を有するようにすることができる。
【0017】
本発明に係るモーションブラー補正手段は、前記フレーム間移動量を超えない範囲で設定されたブラー量と、前記フレーム間移動方向とに基づいて、逆畳み込み演算を行うことにより前記所定フレーム画像のモーションブラーを補正して補正フレーム画像を生成するようにすることができる。
【0018】
本発明に係るフレーム間移動算出手段は、平行移動量と回転移動量とを含んだアフィン変換パラメータに基づいて、前記複数のフレーム画像間のグローバルモーションを推定して、前記フレーム間移動方向と前記フレーム間移動量とを算出するようにすることができる。
【0019】
上記のアフィン変換パラメータは、画像の倍率を更に含むようにすることができる。
【0020】
本発明に係る複数のフレーム画像を、動画像を構成するフレーム画像とすることができる。
【0021】
本発明では、モーションブラー評価関数が前記所定の条件を満たすまで、前記ブラー量を変化させて、前記モーションブラー補正手段による補正と前記評価手段による評価とを繰り返して、前記所定フレーム画像のモーションブラーを低減するようにすることができる。また、本発明では、モーションブラー評価関数が最大値または最小値になるまで前記モーションブラー補正手段による補正と前記評価手段による評価とを繰り返すようにすることができる。
【0022】
本発明に係るモーションブラー評価関数Eは、以下の式で与えられるようにすることができる。
【0023】
【数1】
JP0005388072B2_000002t.gif

【0024】
ただし、I(x,y)は評価対象画像の座標(x,y)の画素値である。
【0025】
本発明は上記構成により、モーションブラーの制御及び低減を高速且つ精度良く行なうことができる。本発明者の従来技術であるグローバルモーション推定技術により、フレーム間の移動方向(平行移動、回転移動)を算出することができる。本発明は、このフレーム間移動方向を用いることによりフレーム内でのモーションブラーの方向が推定でき、この情報を用いることでフレーム内でのモーションブラーの制御を効率よく行うことができる。
【0026】
グローバルモーション推定技術ではフレーム間移動量も算出できるが、1フレーム内でのモーションブラーは1フレームの露光時間によって決まるため、フレーム間移動量と1フレーム内のモーションブラー量とには相関性が少ない。したがって、モーションブラー評価関数が所定の条件を満たすまで、フレーム間移動量を超えない範囲で設定されたブラー量を変化させて、モーションブラー補正と、モーションブラー評価関数による評価とを繰り返して、最適なモーションブラー量を求める必要がある。
【0027】
グローバルモーション推定ではフレーム間の移動方向が推定できるので、フレームとフレームの間の軌跡は直線状または曲線状で与えられる。したがって、ブラー量(移動距離)Lは1次元量になる。このブラー量Lの最適値を求めて、元のフレーム画像を、畳み込み演算やアンシャープマスクを用いて補正することにより、モーションブラーを低減する演算を高速に行うことができる。
【0028】
本発明における前記複数のフレーム画像の間の時間間隔は任意であるが、動画像における隣接フレームであることが好ましい。ただし本発明は動画像に限らず、所定の時間間隔で撮像された複数のフレーム画像であれば適用できる。例えば、デジタルカメラなどで1回のシャッタ操作に対して複数のフレーム画像を取得して、モーションブラーを低減することもできる。
【0029】
なお、本発明に係るプログラムは、コンピュータ読み取り可能な記録媒体に格納して提供することもできる。
【発明の効果】
【0030】
本発明は上記構成により、グローバルモーション推定で算出された移動方向に基づいて、動画像における各フレームのモーションブラーの制御及び低減を高速且つ精度よく行うことができる。
【図面の簡単な説明】
【0031】
【図1】本発明の実施形態に係る画像補正装置のブロック図である。
【図2】アンシャープマスクの説明図である。
【図3A】9ピクセルでのアンシャープマスクの例を示す図である。
【図3B】9ピクセルでのアンシャープマスクの例を示す図である。
【図4】アンシャープマスクのカーネルHの例を示す図である。
【図5】フレーム間のグローバルモーション推定の説明図である。
【図6】フレーム間のグローバルモーション推定の説明図である。
【図7】Xiaolin Wuのアルゴリズムによる直線描画の例を示す図である。
【図8】モーションブラー除去のフローチャートである。
【図9】モーションブラー除去結果(左図:除去前、右図:除去後)を示す図である。
【図10】逆畳み込み演算によるブラー除去結果を示す図である。

【発明を実施するための最良の形態】
【0032】
以下、本発明の好ましい実施の形態について図面を参照しながら詳細に説明する。
【0033】
<装置の構成>
図1は、本発明の実施の形態に係る画像補正装置の構成を示すブロック図である。画像補正装置は、被写体を撮像して画像を生成するカメラ10と、カメラ10で生成された画像のぶれをなくすように画像処理を行う画像処理装置20と、を備えている。
【0034】
画像処理装置20は、カメラ10との間で信号のやりとりを行う入出力ポート21と、演算処理を行う演算処理回路22と、画像やその他のデータを記憶するハードディスクドライブ23と、演算処理回路22の制御プログラムを記憶するROM(Read Only Memory)24と、データのワークエリアであるRAM(Random Access Memory)25と、を備えている。
【0035】
演算処理回路22は、入出力ポート21を介して、カメラ10からの動画像を受信すると、動画像を構成する各フレーム画像から1フレーム毎にカメラ10の移動方向及び移動量(グローバルモーション)を求める。演算処理回路22は、フレーム間のグローバルモーションに基づいて各フレーム画像の振動補正を行うとともに、フレーム間移動方向に基づいてモーションブラーを制御・除去する。
【0036】
なお、本実施形態における、評価関数の計算、逆畳み込み演算、アンシャープマスク作成などの計算は並列演算に適しており、演算の一部をGPU(グラフィック・プロセッサ)で演算することにより高速化することができる。
【0037】
<モーションブラー除去>
画像内のモーションブラーを除去する手法としては、フーリエ変換を使用した逆畳み込み演算や、アンシャープマスクなどを使用した先鋭化などがある。いずれの手法も、露光時間中のカメラの動きを知ることによってモーションブラーを除去する。
【0038】
以下にそれらの詳細について説明する。
【0039】
<逆畳み込み演算>
g(x)をブラー付加画像、f(x)をブラー除去画像、h(x)をPSF(Point Spread Function)とすると、ブラーのない画像から得られるブラー付加画像は
【0040】
【数2】
JP0005388072B2_000003t.gif

【0041】
と表せ、畳み込み演算によりブラー付加画像が生成できることがわかる。なお、★は畳み込み演算子である。
【0042】
ここで、ブラー付加画像g(x)の離散フーリエ変換をG(u)、ブラー除去画像f(x)の離散フーリエ変換をF(u)、PSF(Point Spread Function)h(x)の離散フーリエ変換をH(u)、とすると、フーリエの畳み込みの定理から、ブラーのない画像から得られるブラー付加画像は
【0043】
【数3】
JP0005388072B2_000004t.gif

【0044】
と表すことができる。逆に、ブラー付加画像からブラーのない画像を得るブラー除去は、
【0045】
【数4】
JP0005388072B2_000005t.gif

【0046】
と表すことができ、これをDeconvolutionという。
【0047】
但し、この式では、分母であるH(u)が0になる可能性があるため、計算が行えない場合があり、また、PSFを推定する必要がある。分母が0になる場合の対策及びPSF推定についてはあとで説明する。
【0048】
ここでは、Deconvolutionの計算手法の例として、4手法を紹介する。
【0049】
(1)Deconvolution
もっとも単純な手法としては、Aを任意の定数として分母が0になる場合は条件分岐を行い、以下の式を用いる。
【0050】
【数5】
JP0005388072B2_000006t.gif

【0051】
計算式が簡単で、比較的高速に計算できるが、Aを任意の定数としており、計算が不正確である可能性がある。
【0052】
(2)Wiener filter
Wiener filterとは、分母に非常に小さい値を入れて分母が0になることを回避する手法である。適切な定数Γ(ノイズ)を用いて、以下の式で計算する。
【0053】
【数6】
JP0005388072B2_000007t.gif

【0054】
ここで、H(u)バー(Hの上にバーがあるもの)は、H(u)を複素共役したものである。Wiener filterは計算式が簡単で、比較的高速に計算できるが、ノイズΓを一定と仮定しており、計算が不安定となる可能性がある。
【0055】
(3)Richardson-Lucy Deconvolution
Richardson-Lucy Deconvolutionは、ベイズの定理を用い、以下の式で計算する。
【0056】
【数7】
JP0005388072B2_000008t.gif

【0057】
フーリエ空間での除算がなく、安定した解を得られるが、計算速度は非常に遅い。また、実空間で真っ暗な部分は分母が0をとりうる。
【0058】
なお、Richardson-Lucy Deconvolutionについては、「W.H.RICHARDSON, “Bayesian-Based Iterative Method of Image Restoration" J.Opt.Soc.Am., Vol.62, pp.55-59 ,1972.」及び「Lucy,L.B.,"An iterative technique for the rectication of observed distributions" Astronomical Journal, Vol.79, pp.745-754,1974.」に記載されている。
【0059】
(4)Iterative Back Projection
Iterative Back Projectionは、計算式内から除算を排除し、以下の式を用いる。
【0060】
【数8】
JP0005388072B2_000009t.gif

【0061】
この式には除算がなく、安定した解を得られるが、計算速度は非常に遅い。なお、(0<α<1)である。Iterative Back Projectionについては「Irani, Peleg, "Improving Resolution by Image Registration" CVGIP : Graphical Models and Image Processing, Vol.53,pp.231-239, 1991.」に記載されている。<アンシャープマスク>
アンシャープマスクは図2のように、元映像とアンシャープ(平滑化した)な画像との差分を求める先鋭化フィルタである。例として、周辺9ピクセルを利用したアンシャープマスクを図3A、図3Bに示した。
【0063】
本実施形態では、アンシャープに方向性をつけて、図3Bに示すようにすることで、モーションブラー方向に対応した先鋭化を行うようにしている。
【0064】
<PSF、アンシャープマスク推定>
モーションブラーを除去のためには、逆畳み込み演算に使用するPSFや、アンシャープマスクに使用する平滑化画像を、最適に作成する必要がある。
【0065】
PSF、もしくはアンシャープマスクに使用するマスクを、カーネルHとすると、カーネルは例えば図4に示したものとなる。
【0066】
カーネルを推定するために、後述の反復推定が必要となるが、ここでは反復推定の高速化のため、後述のグローバルモーションによる拘束を行う。
【0067】
<グローバルモーションを用いたカーネル推定>
すでに求められているグローバルモーションから、カメラの移動方向を直線、または、曲線であるものと仮定し、カメラの移動距離(ブラー量)Lについての1変数のみの反復推定を行うことで、高速化、高精度化を図る。カーネルH(図4)において、カメラの移動距離Lは白線の長さとなる。
【0068】
グローバルモーションから、カメラの移動方向を直線、または、曲線であるものと仮定するために、動画において、ひとつ前のフレーム画像をIn-1、現在のフレーム画像をIn、ひとつ後のフレーム画像をIn+1として、In-1とIn間のモーションを推定すると共に、InとIn+1間のモーションを推定する。この二つのモーションから、Inのときの動きが推定でき、これにより全ピクセルにおいて独立して現在のフレーム画像Inでのブラー方向が推定できる。(図5及び図6参照)
【0069】
上述のカメラの移動方向を示す線(直線、曲線)の作成には,アンチエイリアシングが行えるXiaolin Wuのアルゴリズムを用いている。有限の大きさの画素を有する画像上に線を作成すると、画素の大きさに起因したギザギザ(ジャギー)が発生してしまう。このジャギーによる影響を低減するために、線の周辺のギザギザ(ジャギー)部分に位置する画素の値を、線の中心からの距離に応じた中間階調にする。これを、「アンチエイリアシング」という(図7参照)。これを行うことにより、画素の大きさ以下の演算に関してもスムーズに演算を行うことができる。詳細については、非特許文献(“Abrash, Michael (June 1992). ”Fast Antialiasing (Column)”. Dr. Dobb’s Journal 17 (6): 139(7)“、”Wu, Xiaolin (July 1991). ”An efficient antialiasing technique”. Computer Graphics 25 (4): 143-152.doi:10.1145/127719.122734. ISBN 0-89791-436-8.“、”Wu, Xiaolin (1991). ”Fast Anti-Aliased Circle Generation”. in James Arvo (Ed.). Graphics Gems II.San Francisco: Morgan Kaufmann. pp. 446-450. ISBN 0-12-064480-0.“)に記載されている。
【0070】
<反復推定によるカーネル作成>
n番目のフレーム画像の元の画像をIn(x,y)とする。ここで、In(x,y)は、フレーム画像中のx,y座標における画素値(輝度値等)である。これに、ブラー量(移動距離)Lnに応じた上述の畳み込み演算やアンシャープマスクを行うことにより、補正フレーム画像I’n(x,y,Ln)を生成し、以下の(1)式で表されるモーションブラー評価関数Eにより評価を行う。
【0071】
【数9】
JP0005388072B2_000010t.gif

・・・(1)
【0072】
このモーションブラー評価関数Eは、評価対象画像I(x,y)について、ある画素のX方向及びY方向の3階差分を計算し、これを画像全体にわたって積算するものであり、画像の鮮鋭度を表す関数である。wとhは、それぞれ評価対象画像のモーションブラー評価範囲の幅および高さ(ピクセル数)である。モーションブラー評価範囲を、画像全体としてもよいし、画像の一部のみとしてもよい。
【0073】
補正フレーム画像I’n(x,y,Ln)を評価対象画像Iとして、ブラー量Lnを変化させながら、Eを最大化させるようなブラー量Lnを反復推定して求めると、最終的に最適なLnを求めることができる。ブラー量Lnは、フレーム間隔時間が1になるように正規化されており、0~1の範囲で反復推定される。なお、ブラー量Lnの反復推定は、Eが最大値になるまで続ける必要はなく、適当な条件を満たしたところで繰り返しを止めても良い。特に、アンシャープマスクについては、逆畳み込み演算のPSFほどの正確さが要求されないため、少ない反復回数でも良い。
【0074】
上記の(1)式の評価関数は、掛け算と引き算のみで構成されているので、比較的高速に演算可能である。
【0075】
ここで反復推定には、1変数で且つ探索の範囲制限を行えるBrent法を用いた。Brent法については「"Numerical Recipes in C++", Cambridge University Press, W.H.Press,S.A.Teukolsky and W. T. Vetterling and B. P.Flannery,2002」に記載されている。
【0076】
なお、上記(1)式の評価関数は、評価対象を動画に限らない。また、グローバルモーションを使用した探索範囲の限定を行わなくても、上記(1)式の評価関数を、単独で探索に用いることもできる。
【0077】
<全体の処理フロー>
全体のフロー図を図8に示す。
【0078】
まずは、上記の非特許文献1や特願2008-162477号に記載された方法で、動画像のフレーム間の「グローバルモーション推定」を行い、フレーム間の移動量及び移動方向に基づいて「振動補正」を行う。
【0079】
その後、振動補正によって周辺部に生じる未定義領域に対して、「モザイキング」によりフレーム間の補間を行う。
【0080】
さらにその後、本発明の特徴である「モーションブラー除去」を行う。
【0081】
モーションブラー除去のフロー図を図9に示す。
【0082】
「Lの初期値を設定」では、最初にブラー量L(=0~1)の初期値を設定する。Lは、フレーム間の移動量に対するモーションブラー量の割合であり、(1フレームの露光時間)/(フレーム間時間)に相当する。設定する初期値は特に限定されないが、露光時間はフレームごとに大きく変化しないので、1つ前のフレームのモーションブラー除去で求めたLを初期値として用いると良い。
【0083】
「モーションブラー除去」では、上述の逆畳み込み演算やアンシャープマスクを用いて、ブラー量Lに相当するモーションブラーを除去する。
【0084】
「評価関数によりEを計算」では、上記(1)式によりモーションブラー除去の評価値であるEを計算する。
【0085】
「Eが最大値」になるまで、「Lを変更」しながら、「モーションブラー除去」、「評価関数によりEを計算」を繰り返す。なお、Eが最大値になるまで計算を繰り返す必要はなく、適当な条件を満たした段階で演算を止めても良い。
【0086】
逆畳み込み演算によるブラー除去結果を図10に示す。図10左図はモーションブラー除去前の画像であり、図10右図はモーションブラー除去後の画像である。
【0087】
<変形例>
上記の実施形態では、ブラー量Lの最適値を求めて、モーションブラーを低減・除去する実施形態について説明したが、これに限定されるものではない。用途によってはモーションブラーを少し残しておいた方が良いことがあるので、ブラー量Lを最適値からずらした値に設定しても良い。その場合には、モーションブラー評価関数Eを用いて、Eが最大値から所定割合ずれた値になるブラー量Lを求める。動きを強調するためにあえてモーションブラーを付与するような場合に用いることができる。
【符号の説明】
【0088】
10:カメラ、 20:画像処理装置、 21:入出力ポート、 22:演算処理回路、 23:HDD、 24:ROM、 25:RAM
Drawing
(In Japanese)【図1】
0
(In Japanese)【図2】
1
(In Japanese)【図3A】
2
(In Japanese)【図3B】
3
(In Japanese)【図4】
4
(In Japanese)【図5】
5
(In Japanese)【図6】
6
(In Japanese)【図8】
7
(In Japanese)【図9】
8
(In Japanese)【図7】
9
(In Japanese)【図10】
10