TOP > 国内特許検索 > 画像処理装置、方法およびプログラム > 明細書

明細書 :画像処理装置、方法およびプログラム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4767313号 (P4767313)
公開番号 特開2010-157094 (P2010-157094A)
登録日 平成23年6月24日(2011.6.24)
発行日 平成23年9月7日(2011.9.7)
公開日 平成22年7月15日(2010.7.15)
発明の名称または考案の名称 画像処理装置、方法およびプログラム
国際特許分類 G06T   3/40        (2006.01)
FI G06T 3/40 C
請求項の数または発明の数 6
全頁数 13
出願番号 特願2008-334955 (P2008-334955)
出願日 平成20年12月26日(2008.12.26)
審査請求日 平成20年12月26日(2008.12.26)
特許権者または実用新案権者 【識別番号】503360115
【氏名又は名称】独立行政法人科学技術振興機構
発明者または考案者 【氏名】寅市 和男
【氏名】亀山 啓輔
【氏名】平野 華世子
個別代理人の代理人 【識別番号】100103171、【弁理士】、【氏名又は名称】雨貝 正彦
審査官 【審査官】鹿野 博嗣
参考文献・文献 特開2007-226656(JP,A)
特表2008-511202(JP,A)
特開2007-310837(JP,A)
調査した分野 G06T 3/40
特許請求の範囲 【請求項1】
動画から抽出される2つのフレームであってそれぞれのフレーム内での位置がずれている共通の部分画像が含まれる第1および第2フレームの画像データを取得する画像データ取得手段と、
前記第1フレームにおいて前記部分画像に対応する画像データと、前記第2フレームにおいて前記部分画像に対応する画像データとを用いて、前記部分画像の拡大処理を行う拡大処理手段と、
前記部分画像に含まれるエッジの方向を算出するエッジ方向算出手段と、
を備え、前記第1フレームの画像データには、前記部分画像を構成する第1の画素の画素値が含まれており、
前記第2フレームの画像データには、前記部分画像を構成する第2の画素の画素値が含まれており、
前記第1および第2フレームのそれぞれに対応する前記部分画像を重ねたときに、前記第1の画素の画素位置と前記第2の画素の画素位置とがずれており、
前記拡大処理手段は、複数の前記第1の画素の間あるいは複数の前記第2の画素の間に補間画素を設定し、前記補間画素を通る前記エッジ方向に沿ったライン上に、前記第1の画素に基づいて画素値が算出される第1の補助画素と、前記第2の画素に基づいて画素値が算出される第2の補助画素とを生成し、これら第1および第2の補助画素の画素値を用いて前記補間画素の画素値を算出することを特徴とする画像処理装置。
【請求項2】
請求項1において、
前記第1および第2の補助画素の画素値を用いた前記補助画素の画素値の算出は、標本位置が不均等間隔な標本化関数を用いて行われることを特徴とする画像処理装置。
【請求項3】
動画から抽出される2つのフレームであってそれぞれのフレーム内での位置がずれている共通の部分画像が含まれる第1および第2フレームの画像データを画像データ取得手段によって取得する画像データ取得ステップと、
前記第1フレームにおいて前記部分画像に対応する画像データと、前記第2フレームにおいて前記部分画像に対応する画像データとを用いて、前記部分画像の拡大処理を拡大処理手段によって行う拡大処理ステップと、
前記部分画像に含まれるエッジの方向をエッジ方向算出手段によって算出するエッジ方向算出ステップと、
を有し、前記第1フレームの画像データには、前記部分画像を構成する第1の画素の画素値が含まれており、
前記第2フレームの画像データには、前記部分画像を構成する第2の画素の画素値が含まれており、
前記第1および第2フレームのそれぞれに対応する前記部分画像を重ねたときに、前記第1の画素の画素位置と前記第2の画素の画素位置とがずれており、
前記拡大処理手段は、複数の前記第1の画素の間あるいは複数の前記第2の画素の間に補間画素を設定し、前記補間画素を通る前記エッジ方向に沿ったライン上に、前記第1の画素に基づいて画素値が算出される第1の補助画素と、前記第2の画素に基づいて画素値が算出される第2の補助画素とを生成し、これら第1および第2の補助画素の画素値を用いて前記補間画素の画素値を算出することを特徴とする画像処理方法。
【請求項4】
請求項3において、
前記第1および第2の補助画素の画素値を用いた前記補助画素の画素値の算出は、標本位置が不均等間隔な標本化関数を用いて行われることを特徴とする画像処理方法。
【請求項5】
コンピュータを、
動画から抽出される2つのフレームであってそれぞれのフレーム内での位置がずれている共通の部分画像が含まれる第1および第2フレームの画像データを取得する画像データ取得手段と、
前記第1フレームにおいて前記部分画像に対応する画像データと、前記第2フレームにおいて前記部分画像に対応する画像データとを用いて、前記部分画像の拡大処理を行う拡大処理手段と、
前記部分画像に含まれるエッジの方向を算出するエッジ方向算出手段と、
して機能させるための画像処理プログラムであって、
前記第1フレームの画像データには、前記部分画像を構成する第1の画素の画素値が含まれており、
前記第2フレームの画像データには、前記部分画像を構成する第2の画素の画素値が含まれており、
前記第1および第2フレームのそれぞれに対応する前記部分画像を重ねたときに、前記第1の画素の画素位置と前記第2の画素の画素位置とがずれており、
前記拡大処理手段は、複数の前記第1の画素の間あるいは複数の前記第2の画素の間に補間画素を設定し、前記補間画素を通る前記エッジ方向に沿ったライン上に、前記第1の画素に基づいて画素値が算出される第1の補助画素と、前記第2の画素に基づいて画素値が算出される第2の補助画素とを生成し、これら第1および第2の補助画素の画素値を用いて前記補間画素の画素値を算出する画像処理プログラム。
【請求項6】
請求項5において、
前記第1および第2の補助画素の画素値を用いた前記補助画素の画素値の算出は、標本位置が不均等間隔な標本化関数を用いて行われる画像処理プログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、動画の一部を拡大する画像処理装置、方法およびプログラムに関する。
【0002】
なお、本明細書においては、関数値が局所的な領域(標本位置を除く)の全部あるいは一部において0以外の有限の値を有し、それ以外の領域で0となる場合を「有限台」と称して説明を行うものとする。
【背景技術】
【0003】
画像の補間とは、画像の拡大、縮小、回転、変形、解像度の変更などの操作を行うときに、元の画像を構成する各画素の間に中間の色を生成したり、隣り合う画素の色を平均化する技術の総称である。従来から、画像を補間する手法としては、バイ・リニア法、バイ・キュービック法、ニアレスト・ネイバー法などの各種の方法が知られている(例えば、特許文献1参照。)。

【特許文献1】特開2008-154237号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
ところで、防犯カメラの撮影によって得られた動画像の一部を拡大したい場合がある。例えば、動画像の一部に含まれる不審者の画像を拡大するような場合である。ところが、一般に静止画に比べると動画の解像度は低く設定されているため、高精細な静止画を拡大する場合に比べると、拡大後の画像の画質が低下するという問題があった。
【0005】
本発明は、このような点に鑑みて創作されたものであり、その目的は、動画の一部を拡大する際の画質の低下を防止することができる画像処理装置、方法およびプログラムを提供することにある。
【課題を解決するための手段】
【0006】
上述した課題を解決するために、本発明の画像処理装置は、動画から抽出される2つのフレームであってそれぞれのフレーム内での位置がずれている共通の部分画像が含まれる第1および第2フレームの画像データを取得する画像データ取得手段と、第1フレームにおいて部分画像に対応する画像データと、第2フレームにおいて部分画像に対応する画像データとを用いて、部分画像の拡大処理を行う拡大処理手段とを備えている。
【0007】
また、本発明の画像処理方法は、動画から抽出される2つのフレームであってそれぞれのフレーム内での位置がずれている共通の部分画像が含まれる第1および第2フレームの画像データを画像データ取得手段によって取得する画像データ取得ステップと、第1フレームにおいて部分画像に対応する画像データと、第2フレームにおいて部分画像に対応する画像データとを用いて、部分画像の拡大処理を拡大処理手段によって行う拡大処理ステップとを有している。
【0008】
また、本発明の画像処理プログラムは、コンピュータを、動画から抽出される2つのフレームであってそれぞれのフレーム内での位置がずれている共通の部分画像が含まれる第1および第2フレームの画像データを取得する画像データ取得手段と、第1フレームにおいて部分画像に対応する画像データと、第2フレームにおいて部分画像に対応する画像データとを用いて、部分画像の拡大処理を行う拡大処理手段として機能させる。
【0009】
また、上述した第1フレームの画像データには、部分画像を構成する第1の画素の画素
値が含まれており、第2フレームの画像データには、部分画像を構成する第2の画素の画素値が含まれており、第1および第2フレームのそれぞれに対応する部分画像を重ねたときに、第1の画素の画素位置と第2の画素の画素位置とがずれている。
【0010】
また、上述した拡大処理手段は、複数の第1の画素の間あるいは複数の第2の画素の間に補間画素を設定し、この補間画素の画素値の算出を、第1および第2の画素の両方の画素値を用いて行う。
【0011】
また、上述した部分画像に含まれるエッジの方向を算出するエッジ方向算出手段をさらに備え、拡大処理手段は、エッジ方向算出手段で算出されたエッジの方向に沿って補間画素の画素値を算出する。
【0012】
また、上述した拡大処理手段は、補間画素を通るエッジ方向に沿ったライン上に、第1の画素に基づいて画素値が算出される第1の補助画素と、第2の画素に基づいて画素値が算出される第2の補助画素とを生成し、これら第1および第2の補助画素の画素値を用いて補間画素の画素値を算出する。
【0013】
また、上述した第1および第2の補助画素の画素値を用いた補助画素の画素値の算出は、標本位置が不均等間隔な標本化関数を用いて行われることが望ましい。
【発明の効果】
【0014】
本発明によると、動画に含まれる2フレーム分の画像データを用いることにより、拡大対象となる画像の画素数を増やすことができるため、動画の一部を拡大する際の画質の低下を防止することができる。
【発明を実施するための最良の形態】
【0015】
以下、本発明を適用した一実施形態の画像処理装置について、図面に基づいて詳細に説明する。
【0016】
図1は、一実施形態の画像処理装置の構成を示す図である。図1に示すように、本実施形態の画像処理装置は、動画格納部10、表示処理部60、表示部70、画像処理部100を含んで構成されている。画像処理部100は、フレーム抽出部12、フレームメモリ14、16、拡大対象抽出部20、拡大対象指示部22、補間対象画素決定部30、補間位置決定部32、拡大倍率指定部34、エッジ方向算出部40、補助画素算出部42、補助画素格納部44、不均等補間処理部50、拡大画像格納部52を備えている。この画像処理装置は、動画として取り込まれた原画像の一部を拡大して静止画像として表示を行うものである。
【0017】
上述したフレーム抽出部12が画像データ取得手段に、拡大対象抽出部20、補間対象画素決定部30、補間位置決定部32、補助画素算出部42、不均等補間処理部50が拡大処理手段に、エッジ方向算出部40がエッジ方向算出手段にそれぞれ対応する。また、フレーム抽出部12による動作が画像データ取得ステップの動作に、拡大対象抽出部20、補間対象画素決定部30、補間位置決定部32、補助画素算出部42、不均等補間処理部50による動作が拡大処理ステップの動作に、エッジ方向算出部40による動作がエッジ方向算出ステップの動作にそれぞれ対応する。
【0018】
また、上述した画像処理装置は、CPU、ROM、RAM等を備えたコンピュータの構成によって実現することができる。この場合に、動作格納部10やフレームメモリ14、16、補助画素格納部44、拡大画像格納部52はハードディスク装置や半導体メモリによって構成することが可能である。拡大対象抽出部20、補間対象画素決定部30、補間位置決定部32、エッジ方向算出部40、補助画素算出部42、不均等補間処理部50は、ROMやRAMあるいはハードディスク装置等に格納された所定の画像処理プログラムをCPUで実行することにより実現することができる。
【0019】
最初に、本実施形態における画像拡大処理の原理について説明する。図2は、動画に含まれる連続する2枚のフレーム画像を示す図である。図2(A)には1枚目のフレーム(第1フレーム)に対応する画像が、図2(B)には2枚目のフレーム(第2フレーム)に対応する画像が示されている。例えば、所定の固定位置に設置されたCCDカメラで撮影した動画を考えるものとする。また、図2(A)、(B)に含まれる部分画像M1、M2が動いている共通の被写体を示しており、この部分画像M1、M2は図2(A)に示される第1フレームと図2(B)に示される第2フレームでは位置が変化している。本実施形態では、このように動きのある部分画像M1を拡大対象としており、利用者がこの部分画像M1を含む範囲Wを指定することで範囲Wに含まれる動きのある部分画像M1が拡大対象として抽出される。
【0020】
図3は、第1および第2フレームの部分画像を各フレーム内での絶対座標を一致させて重ねた図である。図3において、M1は第1フレームの画像に含まれる部分画像を、M2は第2フレームの画像に含まれる部分画像をそれぞれ示している。また、格子状の水平線および垂直線は画素間隔に対応しており、これらの線が交差した位置に画素が存在する。
【0021】
本実施形態の拡大処理は、図3に示す2つの部分画像M1、M2のように、本来は同じ画像であるが実際には画素間隔未満のずれが生じることを利用して補間精度を上げる点に特徴がある。
【0022】
図4は、2つの部分画像を画素間隔の整数倍ずらして重ね合わせた場合の説明図である。部分画像M1、M2のそれぞれに対応する画像データは複数の画素の画素値によって構成されており、これら2つの部分画像M1、M2を画素間隔の整数倍ずらして重ね合わせても、画素間隔未満のずれが生じてしまう(偶然、画素間隔未満のずれが生じない場合もあり得る)。
【0023】
図5は、2つの部分画像を完全に重ね合わせた場合の説明図である。図5において、実線で示された水平線および垂直線は第1フレームの画素位置を示すものであり、これら水平線と垂直線とが交わる位置に画素が存在する。また、点線で示された水平線および垂直線は第2フレームの画素位置を示すものであり、これら水平線と垂直線とが交わる位置に画素が存在する。このように、部分画像M1と部分画像M2とを真に重ね合わせることができれば、部分画像M1を構成する複数の画素とは別の位置に部分画像M2を構成する複数の画素を配置することができ、拡大対象となる部分画像を構成する画素数を2倍に増やすことができる。
【0024】
ところで、図4に示す部分画像M1に対して部分画像M2がどの程度ずれているかは、部分画像M2を水平方向Hあるいは垂直方向Vに沿って画素間隔の整数倍移動させた後の部分画像と部分画像M1との相関を演算することにより求めることができる。図6は、2つの部分画像の相関値を示す図である。縦軸Sは相関値を示し、横軸は部分画像M2を水平方向Hに沿って移動させた移動量であり、画素間隔を1として正規化してある。このようにして得られた相関値は画素間隔の整数倍に対応した離散値となるが、これらの離散値を通る自由曲線(例えば2次スプラインや3次スプライン等)を決定し、そのピークpを求めることにより、ずれδの値を正確に知ることができる。垂直方向Vについても同様である。
【0025】
なお、上記で説明した画像のずれ量検出方法は水平方向、垂直方向に分けて演算する方法を示したが、水平方向座標H、垂直方向座標Vとしたとき、画像の濃淡をf(H,V)の2変数関数で近似し、第1フレームの濃淡f1(H,V)と第2フレームの濃淡f2(H,V)との相関演算により求めることもできる。
【0026】
次に、上述したずれδを考慮して拡大処理を行う原理について説明する。図7は、拡大対象となる部分画像を構成する画素の配置を示す図である。図7において、実線の水平線と垂直線の交点に位置する画素(○)は、第1フレームに含まれた部分画像M1に対応する画素である。また、点線の水平線と垂直線の交点に位置する画素(△)は、第2フレームに含まれた部分画像M2に対応する画素である。
【0027】
図8は、部分画像を拡大する場合の補間画素の配置を示す図である。例えば、部分画像を5倍に拡大する場合を考えると、図8に示すように、○で示された画素P1~P4の間に新たな補間画素(●)を発生させる必要がある。本実施形態では、これらの補間画素の画素値を、第1フレームの部分画像M1の画素P1等と第2フレームの部分画像M2の画素Q1等の各画素値を用いて演算する。
【0028】
ところで、画像の拡大を考えた場合に、部分画像に含まれるエッジ(輪郭線)に沿った向きに補間演算を行うことにより、輪郭線に沿ってジャギーが発生することを防止することができる。したがって、本実施形態では、部分画像に含まれるエッジの向きに補間処理を行う。
【0029】
図9は、エッジ方向推定の概要を示す図である。図9において、P1、P2、P3、P4は、第1フレームの部分画像M1に含まれる4つの画素を示している(図8に示したP1~P4と同じ)。また、矢印Aは濃度勾配を、矢印Lは濃度勾配と直交するエッジ方向を示している。
【0030】
平面近似式をax+by+c=Pとし、画素位置(xi,yi)における濃度をPkとすると、以下の式が成立する。
【0031】
【数1】
JP0004767313B2_000002t.gif

【0032】
この式から濃度勾配r=-a/bが算出され、濃度勾配に垂直な向きR=b/aをエッジ方向として推定することができる。
【0033】
図10は、エッジ方向に沿った補間処理の概要を示す図である。例えば、補間画素Pの画素値を補間処理によって求めるものとする。この補間画素Pの画素値は、エッジ方向Lに沿って存在する4つの補助画素A1、B1、A2、B2の各画素値を用いて行われる。ここで、補助画素A1の画素値は、第1フレームの部分画像の画素P1、P3等の画素値を用いて算出される。補助画素A2の画素値は、第1フレームの部分画像の画素P3、P4等の画素値を用いて算出される。補助画素B1の画素値は、第2フレームの部分画像の画素Q1、Q3等の画素値を用いて算出される。補助画素B2の画素値は、第2フレームの部分画像の画素Q3、Q4等の画素値を用いて算出される。
【0034】
これらの補助画素の画素値を算出する補間演算は、例えば図11に示す標本化関数を用いて行われる。この標本化関数φ(t)は、以下の式で示される区分多項式であり、補間位置を中心に左右2画素(図10に示す例では、補間位置を中心に上下2画素あるいは左右2画素)の画素値を用いて補間画素の画素値を算出することができる。
【0035】
φ(t)=-1.75|t|2+1.0 (|t|≦0.5)
1.25|t|2-3.0|t|+1.75 (0.5<|t|≦1.0)
0.75|t|2-2.0|t|+1.25 (1.0<|t|≦1.5)
-0.25|t|2+|t|-1.0 (1.5<|t|≦2.0)
0 (2.0<|t|)
ところで、上述した標本化関数は、標本位置が等間隔に配置されていることを前提としており、上述した4つの補助画素A1、B1、A2、B2のように画素間隔が等間隔でない場合(不均等間隔の場合)には補間処理に用いることができない。
【0036】
そこで、補間画素Pの画素値を求める補間処理では、不均等間隔の標本位置に対応した別の標本化関数(不均等標本化関数)が用いられる。図12は、不均等間隔の標本位置に対応した不均等標本化関数を示す図である。この不均等標本化関数は、不均等な間隔として与えられる標本位置(画素間隔)に対して、有限台の区間の標本点{ti}(i=-2,-1,0,1,2)の4標本区間を[ti,(ti+ti+1)/2]区間毎に8区間に分割し、その間の関数siを以下に示すtの2次式で表したものである。tiは標本位置を表す。
【0037】
1(t)=a12+b1t+c1 [t-2,(t-2+t-1)/2]
2(t)=a22+b2t+c2 [(t-2+t-1)/2,t-1
3(t)=a32+b3t+c3 [t-1,(t-1+t0)/2]
4(t)=a42+b4t+c4 [(t-1+t0)/2,t0
5(t)=a52+b5t+c5 [t0,(t0+t1)/2]
6(t)=a62+b6t+c6 [(t0+t1)/2,t1
7(t)=a72+b7t+c7 [t1,(t1+t2)/2]
8(t)=a82+b8t+c8 [(t1+t2)/2,t2
この式において、次の条件を満たす不均等標本化関数が決定される。
(1)各関数の接合点(標本位置およびその中間点)において値と傾きが連続である。
(2)各関数の接合点での値は、t0以外の標本位置では0である。
(3)標本位置の中間点における関数値は、標本位置における誤差が最小になるように決定される。上記の条件を満たす不均等標本化関数は以下のように表すことができる。
【0038】
1(t)=-B1(t-t-22
2(t)=B1(3t-t-1-2t-2)(t-t-1
3(t)=-B2(3t-2t0-t-1)(t-t-1
+2(t-t-12/(t0-t-12
4(t)=B2(t-t02-2(t-t02/(t0-t-12
5(t)=B3(t-t02-2(t-t02/(t0-t12
6(t)=-B3(3t-2t0-t1)(t-t1
+2(t-t12/(t0-t12
7(t)=B4(3t-t1-2t2)(t-t1
8(t)=-B4(t-t22
1=(t0-t-2)/(4(t0-t-12(t-1-t-2)+4(t-1-t-23
2=(t0-t-2)/(4(t0-t-1)(t-1-t-22+4(t0-t-13
3=(t2-t0)/(4(t2-t12(t1-t0)+4(t1-t03
4=(t2-t0)/(4(t2-t1)(t1-t02+4(t2-t13
この式で表された不均等標本化関数を用いて補間画素Pの画素値を求める演算は、具体的には以下のようにして行われる。
(a)補助画素A1をt0に、補助画素B1をt1に、補助画素A2をt2に対応させて、補間画素Pに対応する関数値1を演算する。この演算では、不均等標本化関数のt0における関数値が補助画素A1の画素値に一致するように、不均等標本化関数の式に補助画素A1の画素値が乗算される。
(b)補助画素A1をt-1に、補助画素B1をt0に、補助画素A2をt1に、補助画素B2をt2に対応させて、補間画素Pに対応する関数値2を演算する。この演算では、不均等標本化関数のt0における関数値が補助画素B1の画素値に一致するように、不均等標本化関数の式に補助画素B1の画素値が乗算される。
(c)補助画素A1をt-2に、補助画素B1をt-1に、補助画素A2をt0に、補助画素B2をt1に対応させて、補間画素Pに対応する関数値3を演算する。この演算では、不均等標本化関数のt0における関数値が補助画素A2の画素値に一致するように、不均等標本化関数の式に補助画素A2の画素値が乗算される。
(d)補助画素B1をt-2に、補助画素A2をt-1に、補助画素B2をt0に対応させて、補間画素Pに対応する関数値4を演算する。この演算では、不均等標本化関数のt0における関数値が補助画素B2の画素値に一致するように、不均等標本化関数の式に補助画素B2の画素値が乗算される。
(e)このようにして演算された4つの関数値1~4の合計値が補間画素Pの画素値となる。同様にして、全て補間画素について画素値の演算が行われる。
【0039】
図13は、本実施形態の画像処理装置の動作手順を示す流れ図である。以下、図1に示した画像処理装置の各構成の動作を、図13に示す動作手順にしたがって説明する。
【0040】
動画格納部10は、動画像として取り込まれた画像データをフレーム単位で格納する。例えば、所定の固定位置に設置されたCCDカメラによる撮影が行われ、このCCDカメラから1/30秒間隔でフレーム単位の画像データが出力され、動画格納部10に格納される。
【0041】
フレーム抽出部12は、連続する2フレーム分(図2(A)に示す第1フレームと図2(B)に示す第2フレーム)の画像データを抽出する(ステップ100)。第1フレームの画像データはフレームメモリ14に格納される。第2フレームの画像データはフレームメモリ16に格納される。また、フレームメモリ14に格納された第1フレームの画像データは、表示処理部60に送られて静止画として表示部70に表示される。
【0042】
拡大対象抽出部20は、第1フレームの画像に含まれる部分画像M1を拡大対象画像として抽出する(ステップ101)。この拡大対象画像の抽出は、拡大対象指示部22による指示に応じて行われる。例えば、利用者によってマウス等のポインティングデバイスが操作され、表示中の静止画の一部の領域(図2(A)にWで示されている)が指定されると、拡大対象指示部22は、この指定された領域を拡大対象抽出部20に向けて出力する。拡大対象抽出部20は、指定された領域に含まれる動きのある部分画像M1を拡大対象画像として抽出する。
【0043】
なお、本実施形態では、拡大対象画像として動きのある部分画像M1のみが抽出される。例えば、拡大対象抽出部20は、フレームメモリ14、16から読み出した2フレーム分の画像データを比較することで動きのある部分を判別し、拡大対象指示部22によって指定された領域に含まれる動きのある部分画像M1を抽出する。
【0044】
補間対象画素決定部30は、拡大対象画像に対応する2フレーム分の部分画像M1、M2に含まれる各画素(補間対象画素)を決定する(ステップ102)。部分画像M1、M2内を構成する各画素(図7において○あるいは△で示されている)が補間対象画素として決定される。
【0045】
補間位置決定部32は、拡大倍率指定部34によって指定された拡大倍率(例えば、利用者が任意の値を入力したり複数の候補値からいずれかを選択することで拡大倍率を設定することができるものとする)に基づいて、図8において●で示された補間位置(補間画素の位置)を決定する(ステップ103)。
【0046】
エッジ方向算出部40は、第1フレームの部分画像M1に含まれる各画素の画素値(図8、図9ではP1~P4で示された各画素の画素値)に基づいて、補間画素が含まれる領域における画像のエッジ方向Lを算出する(ステップ104)。
【0047】
補助画素算出部42は、補間対象画素決定部30によって決定された補間対象画素と補間位置決定部32によって決定された補間位置と、エッジ方向算出部40によって算出されたエッジ方向Lとに基づいて補助画素(図10ではA1、A2、B1、B2で示されている)の画素位置および画素値を算出する(ステップ105)。算出された補助画素に関する情報(画素位置および画素値)は補助画素格納部44に格納される。
【0048】
不均等補間処理部50は、補助画素格納部44に格納された補助画素に関する情報と不均等標本化関数を用いて、補間位置決定部32によって決定された各補間画素の画素値を演算する(ステップ106)。このようにして求められた補間画素の画素値は拡大画像格納部52に格納された後(ステップ107)、表示処理部60によって読み出されて部分画像M1を所定倍数(例えば5倍)で拡大した画像が表示部70に表示される(ステップ108)。
【0049】
なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形実施が可能である。例えば、上述した実施形態では、補間位置を包囲する4つの画素の画素値に基づいて画像の濃度勾配およびエッジ方向を算出したが、より多くの数の画素(例えば16画素)の画素値を用いて濃度勾配やエッジ方向を算出するようにしてもよい。
【0050】
また、上述した実施形態では、連続する2つのフレームの画像データを抽出したが、部分画像の動きが遅い場合などでは、連続しない2つのフレーム(例えば、1番目のフレームと3番目のフレーム)の画像データを抽出するようにしてもよい。
【図面の簡単な説明】
【0051】
【図1】一実施形態の画像処理装置の構成を示す図である。
【図2】動画に含まれる連続する2枚のフレーム画像を示す図である。
【図3】第1および第2フレームの部分画像を各フレーム内での絶対座標を一致させて重ねた図である。
【図4】2つの部分画像を画素間隔の整数倍ずらして重ね合わせた場合の説明図である。
【図5】2つの部分画像を完全に重ね合わせた場合の説明図である。
【図6】2つの部分画像の相関値を示す図である。
【図7】拡大対象となる部分画像を構成する画素の配置を示す図である。
【図8】部分画像を拡大する場合の補間画素の配置を示す図である。
【図9】エッジ方向推定の概要を示す図である。
【図10】エッジ方向に沿った補間処理の概要を示す図である。
【図11】補助画素の演算に用いられる標本化関数を示す図である。
【図12】不均等間隔の標本位置に対応した不均等標本化関数を示す図である。
【図13】本実施形態の画像処理装置の動作手順を示す流れ図である。
【符号の説明】
【0052】
10 動画格納部
12 フレーム抽出部
14、16 フレームメモリ
20 拡大対象抽出部
22 拡大対象指示部
30 補間対象画素決定部
32 補間位置決定部
34 拡大倍率指定部
40 エッジ方向算出部
42 補助画素算出部
44 補助画素格納部
50 不均等補間処理部
52 拡大画像格納部
60 表示処理部
70 表示部
100 画像処理部
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12