TOP > 国内特許検索 > 画像処理装置、方法およびプログラム > 明細書

明細書 :画像処理装置、方法およびプログラム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4388110号 (P4388110)
公開番号 特開2009-049562 (P2009-049562A)
登録日 平成21年10月9日(2009.10.9)
発行日 平成21年12月24日(2009.12.24)
公開日 平成21年3月5日(2009.3.5)
発明の名称または考案の名称 画像処理装置、方法およびプログラム
国際特許分類 H04N   1/387       (2006.01)
G06T   3/40        (2006.01)
FI H04N 1/387 101
G06T 3/40 C
請求項の数または発明の数 24
全頁数 18
出願番号 特願2007-211859 (P2007-211859)
出願日 平成19年8月15日(2007.8.15)
審査請求日 平成19年8月20日(2007.8.20)
特許権者または実用新案権者 【識別番号】503360115
【氏名又は名称】独立行政法人科学技術振興機構
発明者または考案者 【氏名】寅市 和男
【氏名】李 佳
【氏名】大宮 康宏
個別代理人の代理人 【識別番号】100103171、【弁理士】、【氏名又は名称】雨貝 正彦
審査官 【審査官】白石 圭吾
参考文献・文献 特開2005-312014(JP,A)
特開2001-084244(JP,A)
調査した分野 H04N 1/387
G06T 3/40
特許請求の範囲 【請求項1】
互いに直交する水平軸および垂直軸に沿って配置された複数の画素によって構成された画像の入力を行う画像入力手段と、
前記画像入力手段によって入力された画像に対して拡大/縮小の倍率を指定する倍率指定手段と、
前記倍率指定手段によって指定された倍率に応じた補間位置を決定する補間位置決定手段と、
前記補間位置決定手段によって決定された一つの前記補間位置を包囲する4つの画素の画素値に基づいて、これら4つの画素に対応する画像の濃度勾配を算出し、濃度勾配に対して垂直な向きをエッジの方向として決定するエッジ方向検出手段と、
前記補間位置を通り、前記エッジ方向検出手段によって検出されたエッジの向きを有する第1の補間軸を設定するとともに、水平軸あるいは垂直軸のいずれか一方を第2の補間軸として用い、これら第1および第2のそれぞれに沿って前記補間位置を挟んで斜め方向と左右あるいは上下2画素ずつ合計16個の画素を、前記画像入力手段によって入力された画像を構成する複数の画素の中から補間対象画素として抽出する補間対象画素決定手段を有し、この抽出された16個の画素の画素値に基づき、前記補間位置の画素値を算出する補間処理手段と、
を備えることを特徴とする画像処理装置。
【請求項2】
請求項1において、
前記第1の補間軸は、エッジの向きに一致した直線形状を有することを特徴とする画像処理装置。
【請求項3】
請求項1において、
前記第1の補間軸は、補間位置においてエッジの向きに一致した直線に接する非直線形状を有することを特徴とする画像処理装置。
【請求項4】
請求項1において、
前記補間処理手段は、前記第2の補間軸に沿って第1の補間処理を行うことにより仮想的な複数の補間位置における画素値を算出し、この第1の補間処理によって得られた複数の補間位置に対応する画素値を用いて、前記補間位置決定手段によって決定された補間位置に対応する補間値を前記第1の補間軸に沿って算出することを特徴とする画像処理装置。
【請求項5】
請求項1において、
前記補間対象画素決定手段は、前記エッジ方向検出手段によって検出されたエッジの向きに基づいて、前記水平軸および前記垂直軸のいずれを前記第2の補間軸として用いるかを決定することを特徴とする画像処理装置。
【請求項6】
請求項1において、
前記補間対象画素決定手段は、前記第1の補間軸との角度が45度以上となる前記水平軸あるいは前記垂直軸を前記第2の補間軸として設定することを特徴とする画像処理装置。
【請求項7】
請求項1において、
前記補間処理手段は、前記第1および第2の補間軸に沿って格子状に配置されるように前記第2の補間軸に沿って前記所定個の画素の画素位置を調整した後に補間処理を行うことを特徴とする画像処理装置。
【請求項8】
請求項1~7のいずれかにおいて、
前記補間処理手段による補間処理は、隣接する画素の間隔をtとしたときに、
φ(t)=-1.75|t|2 +1.0 (|t|≦0.5)
1.25|t|2 -3.0|t|+1.75 (0.5<|t|≦1.0)
0.75|t|2 -2.0|t|+1.25 (1.0<|t|≦1.5)
-0.25|t|2 +|t|-1.0 (1.5<|t|≦2.0)
0 (2.0<|t|)
で表される標本化関数φ(t)を用いて行われることを特徴とする画像処理装置。
【請求項9】
互いに直交する水平軸および垂直軸に沿って配置された複数の画素によって構成された画像の入力を行う画像入力ステップと、
前記画像入力ステップにおいて入力された画像に対して拡大/縮小の倍率を指定する倍率指定ステップと、
前記倍率指定ステップにおいて指定された倍率に応じた補間位置を決定する補間位置決定ステップと、
前記補間位置決定ステップにおいて決定された一つの前記補間位置を包囲する4つの画素の画素値に基づいて、これら4つの画素に対応する画像の濃度勾配を算出し、濃度勾配に対して垂直な向きをエッジの方向として決定するエッジ方向検出ステップと、
前記補間位置を通り、前記エッジ方向検出ステップにおいて検出されたエッジの向きを有する第1の補間軸を設定するとともに、水平軸あるいは垂直軸のいずれか一方を第2の補間軸として用い、これら第1および第2のそれぞれに沿って前記補間位置を挟んで斜め方向と左右あるいは上下2画素ずつ合計16個の画素を、前記画像入力ステップにおいて入力された画像を構成する複数の画素の中から補間対象画素として抽出する補間対象画素決定ステップを有し、この抽出された16個の画素の画素値に基づき、前記補間位置の画素値を算出する補間処理ステップと、
を有することを特徴とする画像処理方法。
【請求項10】
請求項9において、
前記第1の補間軸は、エッジの向きに一致した直線形状を有することを特徴とする画像処理方法。
【請求項11】
請求項9において、
前記第1の補間軸は、補間位置においてエッジの向きに一致した直線に接する非直線形状を有することを特徴とする画像処理方法。
【請求項12】
請求項9において、
前記補間処理ステップは、前記第2の補間軸に沿って第1の補間処理を行うことにより仮想的な複数の補間位置における画素値を算出し、この第1の補間処理によって得られた複数の補間位置に対応する画素値を用いて、前記補間位置決定ステップにおいて決定された補間位置に対応する補間値を前記第1の補間軸に沿って算出することを特徴とする画像処理方法。
【請求項13】
請求項9において、
前記補間対象画素決定ステップは、前記エッジ方向検出ステップにおいて検出されたエッジの向きに基づいて、前記水平軸および前記垂直軸のいずれを前記第2の補間軸として用いるかを決定することを特徴とする画像処理方法。
【請求項14】
請求項9において、
前記補間対象画素決定ステップは、前記第1の補間軸との角度が45度以上となる前記水平軸あるいは前記垂直軸を前記第2の補間軸として設定することを特徴とする画像処理方法。
【請求項15】
請求項9において、
前記補間処理ステップは、前記第1および第2の補間軸に沿って格子状に配置されるように前記第2の補間軸に沿って前記所定個の画素の画素位置を調整した後に補間処理を行うことを特徴とする画像処理方法。
【請求項16】
請求項9~15のいずれかにおいて、
前記補間処理ステップにおける補間処理は、隣接する画素の間隔をtとしたときに、
φ(t)=-1.75|t|2 +1.0 (|t|≦0.5)
1.25|t|2 -3.0|t|+1.75 (0.5<|t|≦1.0)
0.75|t|2 -2.0|t|+1.25 (1.0<|t|≦1.5)
-0.25|t|2 +|t|-1.0 (1.5<|t|≦2.0)
0 (2.0<|t|)
で表される標本化関数φ(t)を用いて行われることを特徴とする画像処理方法。
【請求項17】
コンピュータを、
互いに直交する水平軸および垂直軸に沿って配置された複数の画素によって構成された画像の入力を行う画像入力手段と、
前記画像入力手段によって入力された画像に対して拡大/縮小の倍率を指定する倍率指定手段と、
前記倍率指定手段によって指定された倍率に応じた補間位置を決定する補間位置決定手段と、
前記補間位置決定手段によって決定された一つの前記補間位置を包囲する4つの画素の画素値に基づいて、これら4つの画素に対応する画像の濃度勾配を算出し、濃度勾配に対して垂直な向きをエッジの方向として決定するエッジ方向検出手段と、
前記補間位置を通り、前記エッジ方向検出手段によって検出されたエッジの向きを有する第1の補間軸を設定するとともに、水平軸あるいは垂直軸のいずれか一方を第2の補間軸として用い、これら第1および第2のそれぞれに沿って前記補間位置を挟んで斜め方向と左右あるいは上下2画素ずつ合計16個の画素を、前記画像入力手段によって入力された画像を構成する複数の画素の中から補間対象画素として抽出する補間対象画素決定手段を有し、この抽出された16個の画素の画素値に基づき、前記補間位置の画素値を算出する補間処理手段と、
して機能させるための画像処理プログラム。
【請求項18】
請求項17において、
前記第1の補間軸は、エッジの向きに一致した直線形状を有することを特徴とする画像処理プログラム。
【請求項19】
請求項17において、
前記第1の補間軸は、補間位置においてエッジの向きに一致した直線に接する非直線形状を有することを特徴とする画像処理プログラム。
【請求項20】
請求項17において、
前記補間処理手段は、前記第2の補間軸に沿って第1の補間処理を行うことにより仮想的な複数の補間位置における画素値を算出し、この第1の補間処理によって得られた複数の補間位置に対応する画素値を用いて、前記補間位置決定手段によって決定された補間位置に対応する補間値を前記第1の補間軸に沿って算出することを特徴とする画像処理プログラム。
【請求項21】
請求項17において、
前記補間対象画素決定手段は、前記エッジ方向検出手段によって検出されたエッジの向きに基づいて、前記水平軸および前記垂直軸のいずれを前記第2の補間軸として用いるかを決定することを特徴とする画像処理プログラム。
【請求項22】
請求項17において、
前記補間対象画素決定手段は、前記第1の補間軸との角度が45度以上となる前記水平軸あるいは前記垂直軸を前記第2の補間軸として設定することを特徴とする画像処理プログラム。
【請求項23】
請求項17において、
前記補間処理手段は、前記第1および第2の補間軸に沿って格子状に配置されるように前記第2の補間軸に沿って前記所定個の画素の画素位置を調整した後に補間処理を行うことを特徴とする画像処理プログラム。
【請求項24】
請求項17~23のいずれかにおいて、
前記補間処理手段による補間処理は、隣接する画素の間隔をtとしたときに、
φ(t)=-1.75|t|2 +1.0 (|t|≦0.5)
1.25|t|2 -3.0|t|+1.75 (0.5<|t|≦1.0)
0.75|t|2 -2.0|t|+1.25 (1.0<|t|≦1.5)
-0.25|t|2 +|t|-1.0 (1.5<|t|≦2.0)
0 (2.0<|t|)
で表される標本化関数φ(t)を用いて行われることを特徴とする画像処理プログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、入力画像の解像度変換を行う画像処理装置、方法およびプログラムに関する。
【背景技術】
【0002】
従来から、バイキュービック法を用いて画像の補間処理を行う際に、画像のエッジ付近での補間係数の調整やサンプリング間隔の変更を行って水平方向および垂直方向での補間を順次行う手法が知られている(例えば、特許文献1参照。)。

【特許文献1】特開2006-54899号公報(第8-19頁、図1-15)
【発明の開示】
【発明が解決しようとする課題】
【0003】
ところで、上述した特許文献1に記載の従来技術では、エッジ付近で補間係数の調整を行っているが、基本的にはエッジ方向に沿った補間を行っているわけではないため、ジャギー等が発生し、画像の解像度を変換する際に画質が劣化するという問題があった。特に、バイキュービック法を用いた場合には、1変数補間関数を用いて水平方向に沿って補間処理後に垂直方向に沿って補間処理しているため、補間位置に対して上下左右の斜め方向に位置する画素の値が直接反映されるわけではなく、ジャギーの発生をある程度許容せざるを得なかった。
【0004】
本発明は、このような点に鑑みて創作されたものであり、その目的は、画像の倍率を変更する際に生じる画質の劣化を防止することができる画像処理装置、方法およびプログラムを提供することにある。
【課題を解決するための手段】
【0005】
上述した課題を解決するために、本発明の画像処理装置は、画像の入力を行う画像入力手段と、画像入力手段によって入力された画像に含まれるエッジの方向を検出するエッジ方向検出手段と、画像入力手段によって入力された画像に対して、エッジ方向検出手段によって検出されたエッジの向きに補間処理を行う補間処理手段とを備えている。
【0006】
また、本発明の画像処理方法は、画像の入力を行う画像入力ステップと、画像入力ステップにおいて入力された画像に含まれるエッジの方向を検出するエッジ方向検出ステップと、画像入力ステップにおいて入力された画像に対して、エッジ方向検出ステップにおいて検出されたエッジの向きに補間処理を行う補間処理ステップとを有している。
【0007】
また、本発明の画像処理プログラムは、コンピュータを、画像の入力を行う画像入力手段と、画像入力手段によって入力された画像に含まれるエッジの方向を検出するエッジ方向検出手段と、画像入力手段によって入力された画像に対して、エッジ方向検出手段によって検出されたエッジの向きに補間処理を行う補間処理手段として機能させる。
【0008】
画像に含まれるエッジの向きを検出してその方向に合わせて補間処理を行うことにより、補間位置に対してエッジの向きに存在する画素の影響を直接反映させた補間処理を行うことができ、画像の倍率を変更する際に生じる画質の劣化を防止することができる。
【0009】
また、上述した画像入力手段によって入力された画像は、互いに直交する水平軸および垂直軸に沿って配置された複数の画素によって構成されており、エッジ方向検出手段は、補間位置を包囲する4つの画素の画素値に基づいてエッジの方向を検出することが望ましい。あるいは、上述した画像入力ステップにおいて入力された画像は、互いに直交する水平軸および垂直軸に沿って配置された複数の画素によって構成されており、エッジ方向検出ステップは、補間位置を包囲する4つの画素の画素値に基づいてエッジの方向を検出することが望ましい。これにより、エッジ方向検出に必要な画素数を少なくして演算量を削減することができる。
【0010】
また、上述したエッジ方向検出手段は、補間位置を包囲する4つの画素の画素値に基づいて、これら4つの画素に対応する画像の濃度勾配を算出し、濃度勾配に対して垂直な向きをエッジの方向として推定することが望ましい。あるいは、上述したエッジ方向検出ステップは、補間位置を包囲する4つの画素の画素値に基づいて、これら4つの画素に対応する画像の濃度勾配を算出し、濃度勾配に対して垂直な向きをエッジの方向として推定することが望ましい。エッジが存在する場合にはエッジを挟んで濃淡勾配が生じるため、濃淡勾配を用いることにより、確実にエッジの向きを知ることができる。
【0011】
また、上述した画像入力手段によって入力された画像に対して拡大/縮小の倍率を指定する倍率指定手段をさらに備え、補間処理手段は、倍率指定手段によって指定された倍率に応じた補間位置を決定する補間位置決定手段を有することが望ましい。あるいは、上述した画像入力ステップにおいて入力された画像に対して拡大/縮小の倍率を指定する倍率指定ステップをさらに備え、補間処理ステップは、倍率指定ステップにおいて指定された倍率に応じた補間位置を決定する補間位置決定ステップを有することが望ましい。あるいは、コンピュータを、さらに、画像入力手段によって入力された画像に対して拡大/縮小の倍率を指定する倍率指定手段として機能させ、補間処理手段は、倍率指定手段によって指定された倍率に応じた補間位置を決定する補間位置決定手段を有することが望ましい。これにより、指定された倍率に応じて、必要な補間位置を決定することが可能となる。
【0012】
また、上述した補間処理手段は、補間位置の周囲であって、エッジ方向検出手段によって検出されたエッジの向きに沿って配置された所定個数の画素を補間対象画素として抽出する補間対象画素決定手段を有することが望ましい。上述した補間対象画素決定手段は、エッジ方向検出手段によって検出されたエッジの向きを有する第1の補間軸を設定し、この第1の補間軸を挟んで所定範囲内に位置する所定個の画素を補間対象画素として抽出することが望ましい。あるいは、上述した補間処理ステップは、補間位置の周囲であって、エッジ方向検出ステップによって検出されたエッジの向きに沿って配置された所定個数の画素を補間対象画素として抽出する補間対象画素決定ステップを有することが望ましい。上述した補間対象画素決定ステップは、エッジ方向検出ステップにおいて検出されたエッジの向きを有する第1の補間軸を設定し、この第1の補間軸を挟んで所定範囲内に位置する所定個の画素を補間対象画素として抽出することが望ましい。また、上述した第1の補間軸は、エッジの向きに一致した直線形状または非直線形状を有することが望ましい。
【0013】
これにより、エッジの向きに沿って並んだ画素の画素値を、補間位置の画素値を算出する補間処理に反映させることが可能となり、エッジ方向に沿って滑らかでジャギーの発生のない画像を得ることができる。
【0014】
また、水平軸および垂直軸のいずれか一方が第2の補間軸として用いられ、補間処理手段は、第1および第2の補間軸のいずれか一方の補間軸に沿って第1の補間処理を行うことにより仮想的な複数の補間位置における画素値を算出し、この第1の補間処理によって得られた複数の補間位置に対応する画素値を用いて、補間位置決定手段によって決定された補間位置に対応する補間値をいずれか他方の補間軸に沿って算出することが望ましい。あるいは、水平軸および垂直軸のいずれか一方が第2の補間軸として用いられ、補間処理ステップは、第1および第2の補間軸のいずれか一方の補間軸に沿って第1の補間処理を行うことにより仮想的な複数の補間位置における画素値を算出し、この第1の補間処理によって得られた複数の補間位置に対応する画素値を用いて、補間位置決定手段によって決定された補間位置に対応する補間値をいずれか他方の補間軸に沿って算出することが望ましい。第1および第2の補間軸のそれぞれについて別々に補間処理を行って最終的な補間値を求めることができ、処理の簡略化を図ることが可能となる。
【0015】
また、上述した補間対象画素決定手段は、エッジ検出手段によって検出されたエッジの向きに基づいて、水平軸および垂直軸のいずれを第2の補間軸として用いるかを決定することが望ましい。具体的には、上述した補間対象画素決定手段は、第1の補間軸との角度が45度以上となる水平軸あるいは垂直軸を第2の補間軸として設定することが望ましい。あるいは、上述した補間対象画素決定ステップは、エッジ検出ステップにおいて検出されたエッジの向きに基づいて、水平軸および垂直軸のいずれを第2の補間軸として用いるかを決定することが望ましい。具体的には、上述した補間対象画素決定ステップは、第1の補間軸との角度が45度以上となる水平軸あるいは垂直軸を第2の補間軸として設定することが望ましい。垂直に近い2軸のそれぞれに沿って補間処理を行うことにより、補間精度を向上させることができる。
【0016】
また、上述した補間処理手段は、第1および第2の補間軸に沿って格子状に配置されるように第2の補間軸に沿って所定個の画素の画素位置を調整した後に補間処理を行うことが望ましい。あるいは、上述した補間処理ステップは、第1および第2の補間軸に沿って格子状に配置されるように第2の補間軸に沿って所定個の画素の画素位置を調整した後に補間処理を行うことが望ましい。第1および第2の補間軸のそれぞれについて別々に補間処理を行って最終的な補間値を求める際に、従来と同等のアルゴリズムを用いて処理の簡略化を図ることが可能となる。
【0017】
また、上述した補間処理は、隣接する画素の間隔をtとしたときに、
φ(t)=-1.75|t|2+1.0 (|t|≦0.5)
1.25|t|2-3.0|t|+1.75 (0.5<|t|≦1.0)
0.75|t|2-2.0|t|+1.25 (1.0<|t|≦1.5)
-0.25|t|2+|t|-1.0 (1.5<|t|≦2.0)
0 (2.0<|t|)
で表される標本化関数φ(t)を用いて行われることが望ましい。
【発明を実施するための最良の形態】
【0018】
以下、本発明を適用した一実施形態の画像処理装置について、図面に基づいて詳細に説明する。
【0019】
〔第1の実施形態〕
図1は、第1の実施形態の画像処理装置の構成を示す図である。図1に示すように、本実施形態の画像処理装置は、画像入力部10、画像データ格納部12、補間処理部20、倍率指定部40、出力処理部50、表示装置52、プリンタ54を含んで構成されている。
【0020】
画像入力部10は、所定の解像度の画像データを取り込むためのものである。例えば、紙原稿に描かれた画像を所定の解像度で光学的に読み取るスキャナを画像入力部10として用いることができる。あるいは、CDやDVD等の挿抜可能な記憶媒体に記録された画像データを取り込む場合には、これらの記憶媒体のドライブ装置(読み取り装置)を画像入力部10として用いることができる。半導体メモリやハードディスク装置に記録された画像データを取り込む場合には、これらを接続する入出力インタフェースを画像入力部10として用いることができる。また、インターネットやその他のネットワーク、あるいは電話回線等を介した通信によって画像データを取り込む場合には、回線の種類等に応じた通信装置を画像入力部10として用いることができる。このようにして画像入力部10によって取り込まれた画像データに対応する画像は、互いに直交する水平軸(x軸)および垂直軸(y軸)に沿って配置された複数の画素によって構成されている。
【0021】
画像データ格納部12は、画像入力部10によって取り込まれた画像データや、補間処理部20によって最終的に得られた補間後の画像データやこの補間後の画像データを得るために必要な中間データを格納する。
【0022】
補間処理部20は、画像入力部10によって取り込まれて画像データ格納部12に格納された画像データや中間データに基づいて、画像の拡大あるいは縮小に必要な補間処理を行う。なお、本明細書では、画像入力部10によって取り込まれて画像データ格納部12に格納された画像データを「入力画像データ」、入力画像データに対応する画像を「入力画像」と称する。また、画像を構成する複数の画素のそれぞれの値(濃淡値や輝度値あるいはカラーの場合にはRGBの各値など)を「画素値」、画像を構成する複数の画素の画素値の集まりを「画像データ」と称する。補間処理部20による補間処理によって倍率が変更された後の画像データは画像データ格納部12に格納される。補間処理部20は、補間領域決定部22、エッジ方向算出部24、補間位置決定部26、補間対象画素決定部28、第1方向補間部30、第2方向補間部32を備えている。
【0023】
倍率指定部40は、画像の拡大/縮小倍率を指定する。例えば、キーボードを倍率指定部40として用い、キーボードのテンキー等を操作して倍率の値を直接入力することができる。あるいは、マウスを倍率指定部40として用い、表示装置52に表示された倍率指定画面の所定箇所を指し示すことにより、任意の倍率を入力したり、あらかじめ用意された複数の倍率の中から所望の値を選択するようにしてもよい。
【0024】
出力処理部50は、補間処理部20によって拡大/縮小処理された後の画像データを画像データ格納部12から読み出し、拡大/縮小された画像を表示装置52の画面上に表示したり、プリンタ54によって印刷するために必要な処理を行う。具体的には、出力処理部50は、画像データ格納部12から読み出した画像データを表示装置52による表示に必要な形式の信号(例えばNTSC信号やGBR信号)に変換して表示装置52に入力する機能や、プリンタ54による印刷に必要な形式の信号に変換する機能を有する。
【0025】
上述した画像入力部10が画像入力手段に、エッジ方向算出部24がエッジ方向検出手段に、補間位置決定部26、補間対象画素決定部28、第1方向補間部30、第2方向補間部32が補間処理手段に、倍率指定部40が倍率指定手段に、補間位置決定部26が補間位置決定手段に、補間対象画素決定部28が補間対象画素決定手段にそれぞれ対応する。また、画像入力部10によって行われる動作が画像入力ステップに、エッジ方向算出部24によって行われる動作がエッジ方向検出ステップに、補間位置決定部26、補間対象画素決定部28、第1方向補間部30、第2方向補間部32によって行われる動作が補間処理ステップに、倍率指定部40によって行われる動作が倍率指定ステップに、補間位置決定部26によって行われる動作が補間位置決定ステップに、補間対象画素決定部28によって行われる動作が補間対象画素決定ステップにそれぞれ対応する。
【0026】
また、上述した画像処理装置は、CPU、ROM、RAM等を備えたコンピュータの構成によって実現することができる。この場合に、画像データ格納部12はハードディスク装置や半導体メモリによって構成することが可能である。補間処理部20は、ROMやRAMあるいはハードディスク装置等に格納された所定の画像処理プログラムをCPUで実行することにより実現することができる。
【0027】
本実施形態の画像処理装置はこのような構成を有しており、次に画像処理装置による補間処理の具体的な内容について説明する。図2は、本実実施形態の画像処理装置による補間処理の動作手順を示す流れ図である。
【0028】
画像入力部10を用いて画像データの入力が行われた後(ステップ200)、倍率指定部40を用いた倍率の指定が行われる(ステップ201)。次に、補間領域決定部22は、入力画像を構成する複数の画素の中から2×2画素(4画素)を抽出し、これら4画素で区画された領域(四角形)を「補間領域」として決定する(ステップ202)。
【0029】
次に、エッジ方向算出部24は、補間領域を決定した際に用いられた4画素の画素値に基づいて、これら4画素に対応する画像の濃度勾配を算出する(ステップ203)。後述するように、補間領域を決定する際に用いられた4画素の内部に補間位置が設定されるため、補間位置を包囲する4つの画素の画素値に基づいて、画像の濃度勾配が算出されることになる。また、エッジ方向算出部24は、濃度勾配に対して垂直な向きを画像のエッジ方向(輪郭線の向き)として推定する(ステップ204)。
【0030】
図3は、濃度勾配算出およびエッジ方向推定の概要を示す図である。図3において、P1、P2、P3、P4は、ステップ202で決定された補間領域を区画する4つの画素を示している。また、矢印Aは濃度勾配を、矢印Bは濃度勾配と直交するエッジ方向を示している。
【0031】
平面近似式をax+by+c=Pとし、画素位置(xi,yi)における濃度をPkとすると、以下の式が成立する。
【0032】
【数1】
JP0004388110B2_000002t.gif

【0033】
エッジ方向算出部24は、この式から濃度勾配r=-a/bを算出するとともに、濃度勾配に垂直な向きR=b/aをエッジ方向として推定する。
【0034】
次に、補間位置決定部26は、補間領域内における補間位置、すなわち、補間領域内において補間画素を発生させる位置を決定する(ステップ205)。図4は、補間位置決定の概要を示す図である。例えば、ステップ201において倍率「5」が指定された場合、すなわち、入力画像を5倍に拡大する場合が示されている。この場合には、図4で点線の四角で示されるように、隣接する2つの画素の間に等間隔に4つの補間画素を発生させればよい。例えば、pで示される補間画素の位置(補間位置)がステップ205において決定される。
【0035】
次に、補間対象画素決定部28は、エッジ方向算出部24によって推定されたエッジ方向に基づいて、補間画素の画素値を算出するために必要なn×n画素を「補間対象画素」として抽出する(ステップ206)。nは2以上の偶数であるが、具体的には、使用する標本化関数を決定すればnの値も決まる。但し、滑らかな補間処理を行うためにはnの値は4以上が望ましく、本実施形態ではn=4に設定されている。標本化関数の具体例については後述する。
【0036】
図5は、補間対象画素抽出の概要を示す図である。図5において、a1~a6、b1~b6、c1~c6、d1~d6、e1~e6のそれぞれは、入力画像を構成する各画素を示している。また、Eはステップ204において推定されたエッジ方向を示している。従来から行われている補間処理では、n=4の場合には、補間画素pを挟んで水平(x軸方向)と垂直(y軸方向)のそれぞれに上下左右(水平方向をx軸、垂直方向をy軸とする)2画素ずつの合計16画素(b2~b5、c2~c5、d2~d5、e2~e5)が補間対象画素として抽出されていた。これに対して、本実施形態では、補間画素pを通るエッジ方向Eをρ軸とし、このρ軸がy軸の代わりに用いられる。そして、x軸とρ軸のそれぞれを補間軸(ρ軸が第1の補間軸に、x軸が第2の補間軸に対応する)に設定し、これら非直交の2つの補間軸のそれぞれに沿って補間画素pを挟んで左右と斜め方向の2画素ずつが補間対象画素として抽出される。具体的には、補間対象画素決定部28は、補間対象画素としてb3~b6、c2~c5、d1~d4、e1~e4の16画素を抽出する。
【0037】
次に、第1方向補間部30は、ρ軸を第1方向とし、第1方向に沿った補間処理を行う(ステップ207)。図6は、第1方向に沿った補間処理に先立って行われる画素位置調整の概要を示す図である。図5に示したように、補間画素p周辺に配置された16個の補間対象画素は、ρ軸方向に見ると、ρ軸と平行には配置されてはいない。例えば、図5に示した補間対象画素の中で最も右側に配置された4つの画素b6、c5、d4、e4を見ると、これら4画素はρ軸と平行になっていない。本実施形態では、第1方向補間部30は、第1方向(ρ軸)に沿った補間処理を行う前に、図6に示すように座標変換を行って、ρ軸(図6では垂直方向)に沿って16個の補間対象画素が規則的に配置されるように画素位置調整が行われる。
【0038】
図7および図8は、画素位置調整を行う際の補間画素pの算出方法の概要を示す図である。図7に示すように、補間画素pと左上の画素c3との間のx軸方向の距離をL1、y軸方向の距離をL3、補間画素pと左下の画素d3との間のx軸方向の距離をL2とする。図8に示すように、画素位置調整後の補間画素pと左上の画素c3との間のρ軸方向の距離はL3が用いられる。また、画素位置調整前は補間画素pの左下に配置されていた画素d3の位置が右下にずれるため、このずれに対応して補間画素pの位置もずれる。
【0039】
図9は、画素位置調整後に行われる第1方向に沿った補間処理の概要を示す図である。図9に示すように、ρ軸に沿って配置された4画素の画素値を用いることにより、補間画素pと同じρ軸に沿った位置に対応する仮想的な補間画素h1~h4の各画素値が補間処理によって算出される。図10は、補間画素の画素値算出に用いられる標本化関数を示す図である。この標本化関数φ(t)は、以下の式で示される区分多項式であり、補間位置を中心に左右2画素(ρ軸に沿った補間を行う場合には図9に示すρ軸に沿って上下2画素)の画素値を用いて補間画素の画素値を算出することができる。
【0040】
φ(t)=-1.75|t|2+1.0 (|t|≦0.5)
1.25|t|2-3.0|t|+1.75 (0.5<|t|≦1.0)
0.75|t|2-2.0|t|+1.25 (1.0<|t|≦1.5)
-0.25|t|2+|t|-1.0 (1.5<|t|≦2.0)
0 (2.0<|t|)
次に、第2方向補間部32は、x軸を第2方向とし、第2方向に沿った補間処理を行う(ステップ208)。図11は、第1方向に沿った補間処理の後に行われる第2方向に沿った補間処理の概要を示す図である。図11に示すように、水平方向(x軸方向)に沿って配置された仮想的な補間画素h1~h4の画素値を用いることにより、最終的な補間画素pの画素値が補間処理によって算出される。
【0041】
次に、補間位置決定部26は、補間領域内に他の補間画素(補間値の算出が終了していない補間画素)があるか否かを判定する(ステップ209)。他の補間画素がある場合には肯定判断が行われ、ステップ205に戻って補間位置の決定動作以降が繰り返される。また、補間領域内の全ての補間画素について補間値の算出が終了した場合にはステップ209の判定において否定判断が行われ、次に、補間領域決定部22は、補間処理が終了していない他の補間領域があるか否かを判定する(ステップ210)。他の補間領域がある場合には肯定判断が行われ、ステップ202に戻って補間領域の決定動作以降が繰り返される。また、全ての補間領域について補間処理が終了した場合にはステップ210の判定において否定判断が行われる。なお、画像を拡大した場合には、入力画像の全てが表示対象あるいは印刷対象になるとは限らない。このような場合には、表示対象あるいは印刷対象となる一部の画像について、ステップ210の判定を行うようにしてもよい。
【0042】
このようにして全ての補間領域について補間処理が終了した画像データが画像データ格納部12に格納された後、出力処理部50は、この画像データを読み出して、所定倍率(例えば5倍)で拡大された後の画像を表示装置52の画面上に表示、あるいはこの画像をプリンタで印刷する(ステップ211)。
【0043】
このように、本実施形態の画像処理装置では、画像に含まれるエッジの向きを検出してその方向に合わせて補間処理を行うことにより、補間位置に対してエッジの向きに存在する画素の影響を直接反映させた補間処理を行うことができ、画像の倍率を変更する際に生じる画質の劣化を防止することができる。また、補間位置を包囲する4つの画素の画素値に基づいてエッジの方向を検出することにより、エッジ方向検出に必要な画素数を少なくして演算量を削減することができる。特に、エッジが存在する場合にはエッジを挟んで濃淡勾配が生じるため、濃淡勾配を用いることにより、確実にエッジの向きを知ることができる。
【0044】
また、エッジの向きを有する第1の補間軸としてのρ軸を設定し、このρ軸を挟んで所定範囲内に位置する所定個の画素を補間対象画素として抽出することにより、エッジの向きに沿って並んだ画素の画素値を、補間位置の画素値を算出する補間処理に反映させることが可能となり、エッジ方向に沿って滑らかでジャギーの発生のない画像を得ることができる。また、第1および第2の補間軸(ρ軸とx軸)のそれぞれについて別々に補間処理を行って最終的な補間値を求めることにより、処理の簡略化を図ることが可能となる。
【0045】
また、ρ軸およびx軸に沿って格子状に配置されるようにx軸に沿って所定個の画素の画素位置を調整した後に補間処理を行うことにより、ρ軸およびx軸のそれぞれについて別々に補間処理を行って最終的な補間値を求める際に、従来と同等のアルゴリズムを用いて処理の簡略化を図ることが可能となる。
【0046】
図12は、本実施形態の画像処理装置による補間処理によって得られた画像を示す図である。また、図13は比較のためにバイキュービック法を用いた補間処理によって得られた画像を示す例である。図12から明らかなように、本実施形態ではエッジ方向に沿った補間処理を行うことにより、ジャギーの発生がない拡大画像を得ることができる。
【0047】
ところで、上述した本実施形態の説明では、ステップ207の第1方向の補間処理(図9)をρ軸に沿って行い、ステップ208の第2方向の補間処理(図11)をx軸に沿って行ったが、反対に、第1方向の補間処理をx軸に沿って行い、第2方向の補間処理をρ軸に沿って行うようにしてもよい。この変形例は、後述する第2の実施形態にも適用することができる。
【0048】
図14は、変形例の第1方向に沿った補間処理の概要を示す図である。図14に示すように、x軸に沿って配置された4画素の画素値を用いることにより、補間画素pと同じx軸に沿った位置(画素位置調整後の位置)に対応する仮想的な補間画素v1~v4の各画素値が補間処理によって算出される。
【0049】
図15は、変形例の第1方向に沿った補間処理の後に行われる第2方向に沿った補間処理の概要を示す図である。図15に示すように、ρ軸方向に沿って配置された仮想的な補間画素v1~v4の画素値を用いることにより、最終的な補間画素pの画素値が補間処理によって算出される。
【0050】
また、上述した本実施形態の説明では、x軸を固定し、エッジ方向に一致させたρ軸をy軸に置き換えたが、x軸とエッジ方向との角度が45度未満の場合には、y軸を固定し、エッジ方向に一致させたρ軸をx軸に置き換えた方が補間精度が向上する。
【0051】
図16は、エッジ方向に応じて補間軸を可変設定する変形例の画像処理装置による補間処理の動作手順を示す流れ図である。図2に示す流れ図に対して、ステップ204の次にステップ220の補間軸決定の動作手順が追加されている。このステップ220では、補間対象画素決定部28は、x軸とエッジ方向Eと角度を算出し、ρ軸と組み合わせて使用する補間軸を決定する。具体的には、x軸とエッジ方向Eとの角度が45度以上の場合には、x軸とρ軸とが補間軸に設定され、図2を用いて説明した一連の補間処理が実施される。一方、x軸とエッジ方向Eとの角度が45度未満の場合には、y軸とρ軸とが補間軸に設定される。この場合には、ステップ206では、図5において、ρ軸を挟んでy軸方向に上下2画素ずつが選択されて補間対象の16画素が抽出される。また、ステップ207では、第1方向の補間処理がρ軸に沿って行われ、ステップ208の第2方向の補間処理がy軸に沿って行われる。あるいは、反対に、第1方向の補間処理をy軸に沿って行い、第2方向の補間処理をρ軸に沿って行うようにしてもよい。なお、x軸とρ軸の角度を算出する代わりに、y軸とρ軸の角度を算出して、ρ軸と組み合わせて使用する補間軸を決定するようにしてもよい。
【0052】
このように、ρ軸との角度が45度以上となるx軸あるいはy軸を第2の補間軸として設定し、垂直に近い2軸のそれぞれに沿って補間処理を行うことにより、補間精度を向上させることができる。
【0053】
また、上述した本実施形態の説明では、ステップ206において補間対象の16画素を抽出する際に、エッジ方向Eに沿った直線をρ軸に設定したが、非直線のρ軸を設定するようにしてもよい。この変形例は、後述する第2の実施形態にも適用することができる。例えば、以下に示す関数H1(x、y)~H3(x、y)のいずれかによって表される曲線をρ軸として設定するようにしてもよい。
【0054】
H1(x,y)=(ax2+bx+c)(dy2+ey+f)
H2(x,y)=ax2+by2+cx+dy+exy+f
H3(x,y)=ax4+by4+cx22+dx2y+exy2
+fxy+gx+hy+f
図17は、非直線のρ軸を設定した場合の補間対象画素抽出の概要を示す図である。図17に示すように、補間位置においてエッジ方向の直線と接するように非直線のρ軸が設定され、このρ軸を挟んで左右2画素ずつ合計16画素(b2~b5、c2~c5、d2~d5、e1~e4)が補間対象画素として抽出される。
【0055】
〔第2の実施形態〕
上述した第1の実施形態では、ρ軸に沿ってn×n個の補間対象画素を抽出した後(図5)、x軸方向に画素位置をずらす画素位置調整を行ったが(図6)、画素位置調整を行わずにそのまま第1方向および第2方向に沿った補間処理を行うようにしてもよい。
【0056】
図18は、第2の実施形態の補間処理の概要を示す図である。補間処理全体の動作手順は図2に示したものと同じである。ステップ206の補間対象の16画素の抽出動作までは上述した第1の実施形態と同じ要領で行われる。
【0057】
次に、第1方向補間部30は、図18に示すように、x軸に沿って配置された4画素の画素値を用いることにより、これらの4画素を通るx軸方向の直線と、補間画素pを通るエッジ方向Eの直線との交点に対応する仮想的な補間画素w1~w4の画素値を補間処理によって算出する(ステップ207)。また、第2方向補間部32は、ρ軸方向に沿って配置された仮想的な補間画素w1~w4の画素値を用いることにより、最終的な補間画素pの画素値を補間処理によって算出する(ステップ208)。
【0058】
このように、本実施形態の画像処理装置では、画像に含まれるエッジの向きを検出してその方向に合わせて補間処理を行うことにより、補間位置に対してエッジの向きに存在する画素の影響を直接反映させた補間処理を行うことができ、画像の倍率を変更する際に生じる画質の劣化を防止することができる。特に、x軸に沿った画素位置をそのまま用いることにより、エッジ方向に沿って配置された各画素の影響をより正確に補間処理に反映させることが可能となる。
【0059】
なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形実施が可能である。例えば、上述した実施形態では、入力画像を拡大して表示等を行う場合について説明したが、動作原理自体は画像の拡大だけでなく縮小についても同様であるため、画像の縮小についても本発明を適用し、画質の劣化を防止することができる。
【0060】
また、上述した実施形態では、補間位置を包囲する4つの画素の画素値に基づいて画像の濃度勾配およびエッジ方向を算出したが、より多くの数の画素(例えば16画素)の画素値を用いて濃度勾配やエッジ方向を算出するようにしてもよい。
【図面の簡単な説明】
【0061】
【図1】第1の実施形態の画像処理装置の構成を示す図である。
【図2】本実実施形態の画像処理装置による補間処理の動作手順を示す流れ図である。
【図3】濃度勾配算出およびエッジ方向推定の概要を示す図である。
【図4】補間位置決定の概要を示す図である。
【図5】補間対象画素抽出の概要を示す図である。
【図6】第1方向に沿った補間処理に先立って行われる画素位置調整の概要を示す図である。
【図7】画素位置調整を行う際の補間画素pの算出方法の概要を示す図である。
【図8】画素位置調整を行う際の補間画素pの算出方法の概要を示す図である。
【図9】画素位置調整後に行われる第1方向に沿った補間処理の概要を示す図である。
【図10】補間画素の画素値算出に用いられる標本化関数を示す図である。
【図11】第1方向に沿った補間処理の後に行われる第2方向に沿った補間処理の概要を示す図である。
【図12】本実施形態の画像処理装置による補間処理によって得られた画像を示す図である。
【図13】バイキュービック法を用いた補間処理によって得られた画像を示す例である。
【図14】変形例の第1方向に沿った補間処理の概要を示す図である。
【図15】変形例の第1方向に沿った補間処理の後に行われる第2方向に沿った補間処理の概要を示す図である。
【図16】エッジ方向に応じて補間軸を可変設定する変形例の画像処理装置による補間処理の動作手順を示す流れ図である。
【図17】非直線のρ軸を設定した場合の補間対象画素抽出の概要を示す図である。
【図18】第2の実施形態の補間処理の概要を示す図である。
【符号の説明】
【0062】
10 画像入力部
12 画像データ格納部
20 補間処理部
22 補間領域決定部
24 エッジ方向算出部
26 補間位置決定部
28 補間対象画素決定部
30 第1方向補間部
32 第2方向補間部
40 倍率指定部
50 出力処理部
52 表示装置
54 プリンタ
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14
【図16】
15
【図17】
16
【図18】
17