TOP > 国内特許検索 > 画像処理装置、方法およびプログラム > 明細書

明細書 :画像処理装置、方法およびプログラム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4628406号 (P4628406)
公開番号 特開2009-048301 (P2009-048301A)
登録日 平成22年11月19日(2010.11.19)
発行日 平成23年2月9日(2011.2.9)
公開日 平成21年3月5日(2009.3.5)
発明の名称または考案の名称 画像処理装置、方法およびプログラム
国際特許分類 G06T   3/40        (2006.01)
H04N   1/387       (2006.01)
H04N   1/393       (2006.01)
G06T  11/80        (2006.01)
FI G06T 3/40 C
H04N 1/387
H04N 1/393
G06T 11/80 A
請求項の数または発明の数 54
全頁数 27
出願番号 特願2007-211878 (P2007-211878)
出願日 平成19年8月15日(2007.8.15)
審査請求日 平成19年8月20日(2007.8.20)
特許権者または実用新案権者 【識別番号】503360115
【氏名又は名称】独立行政法人科学技術振興機構
発明者または考案者 【氏名】寅市 和男
【氏名】李 佳
【氏名】大宮 康宏
個別代理人の代理人 【識別番号】100103171、【弁理士】、【氏名又は名称】雨貝 正彦
審査官 【審査官】白石 圭吾
参考文献・文献 特開2006-222965(JP,A)
特開2004-194168(JP,A)
特開2001-084244(JP,A)
調査した分野 H04N 1/387
G06T 3/40
特許請求の範囲 【請求項1】
修整対象となる画像を表示する表示手段と、
利用者の指示に応じて、前記表示手段によって表示された画像に含まれる修整箇所を、修整方向とともに指示する修整指示手段と、
前記修整指示手段によって指示された修整箇所に対応する部分画像に対して、前記修整指示手段によって指示された修整方向に沿った補間処理を行う第1の補間処理手段と、
を備えることを特徴とする画像処理装置。
【請求項2】
請求項1において、
画像の入力を行う画像入力手段と、前記画像入力手段によって入力された画像に対して補間処理を行う第2の補間処理手段とをさらに備え、
前記表示手段は、前記第2の補間処理手段による補間処理によって得られた画像を前記修整対象となる画像として表示することを特徴とする画像処理装置。
【請求項3】
請求項2において、
前記画像入力手段によって入力された画像に含まれる2×2画素の濃度勾配に基づいてエッジの方向を検出するエッジ方向検出手段をさらに備え、
前記第2の補間処理手段は、前記エッジ方向検出手段によって検出されたエッジの向きに並ぶ4×4画素の画素値を用いて補間処理を行うことを特徴とする画像処理装置。
【請求項4】
請求項3において、
前記画像入力手段によって入力された画像は、互いに直交する水平軸および垂直軸に沿って配置された複数の画素によって構成されており、
前記エッジ方向検出手段は、補間位置を包囲する4つの画素の画素値に基づいてエッジの方向を検出することを特徴とする画像処理装置。
【請求項5】
請求項4において、
前記エッジ方向検出手段は、前記補間位置を包囲する4つの画素の画素値に基づいて、これら4つの画素に対応する画像の濃度勾配を算出し、濃度勾配に対して垂直な向きをエッジの方向として推定することを特徴とする画像処理装置。
【請求項6】
請求項2~5のいずれかにおいて、
前記第1の補間処理手段は、前記画像入力手段によって入力された画像を構成する画素の画素値を用いて、前記部分画像に対応する補間処理を行うことを特徴とする画像処理装置。
【請求項7】
請求項2~6のいずれかにおいて、
前記画像入力手段によって入力された画像に対して拡大/縮小の倍率を指定する倍率指定手段をさらに備え、
前記第1および第2の補間処理手段は、前記倍率指定手段によって指定された倍率に応じた補間位置を決定する補間位置決定手段を有することを特徴とする画像処理装置。
【請求項8】
請求項1または2において、
前記第1の補間処理手段は、補間位置の周囲であって、前記修整指示手段によって指示された修整方向に沿って配置された所定個数の画素を補間対象画素として抽出する補間対象画素決定手段を有することを特徴とする画像処理装置。
【請求項9】
請求項8において、
前記補間対象画素決定手段は、前記修整指示手段によって指示された修正方向を有する第1の補間軸を設定し、この第1の補間軸を挟んで所定範囲内に位置する所定個の画素を前記補間対象画素として抽出することを特徴とする画像処理装置。
【請求項10】
請求項9において、
前記修整指示手段は、ポインティングデバイスを有しており、
前記修整方向の指示は、前記表示手段によって画面に表示された画像の修整箇所を、この修整箇所に含まれるエッジに沿って前記ポインティングデバイスを移動させることにより行うことを特徴とする画像処理装置。
【請求項11】
請求項10において、
前記第1の補間軸は、前記ポインティングデバイスの移動軌跡を近似して得られる直線形状を有することを特徴とする画像処理装置。
【請求項12】
請求項10において、
前記第1の補間軸は、前記ポインティングデバイスの移動軌跡を近似して得られる円弧形状を有することを特徴とする画像処理装置。
【請求項13】
請求項10において、
前記第1の補間軸は、前記ポインティングデバイスの移動軌跡を近似して得られる自由曲線形状を有することを特徴とする画像処理装置。
【請求項14】
請求項9~13のいずれかにおいて、
水平軸および垂直軸のいずれか一方が第2の補間軸として用いられ、
前記第1の補間処理手段は、前記第1および第2の補間軸のいずれか一方の補間軸に沿って第1の補間処理を行うことにより仮想的な複数の補間位置における画素値を算出し、この第1の補間処理によって得られた複数の補間位置に対応する画素値を用いて、前記補間位置決定手段によって決定された補間位置に対応する補間値をいずれか他方の補間軸に沿って算出することを特徴とする画像処理装置。
【請求項15】
請求項14において、
前記補間対象画素決定手段は、前記修整指示手段によって指示された修整方向に基づいて、前記水平軸および前記垂直軸のいずれを前記第2の補間軸として用いるかを決定することを特徴とする画像処理装置。
【請求項16】
請求項15において、
前記補間対象画素決定手段は、前記第1の補間軸との角度が45度以上となる前記水平軸あるいは前記垂直軸を前記第2の補間軸として設定することを特徴とする画像処理装置。
【請求項17】
請求項14~16のいずれかにおいて、
前記第1の補間処理手段は、前記第1および第2の補間軸に沿って格子状に配置されるように前記第2の補間軸に沿って前記所定個の画素の画素位置を調整した後に補間処理を行うことを特徴とする画像処理装置。
【請求項18】
請求項1~17のいずれかにおいて、
前記第1の補間処理手段による補間処理は、隣接する画素の間隔をtとしたときに、
φ(t)=-1.75|t|2+1.0 (|t|≦0.5)
1.25|t|2-3.0|t|+1.75 (0.5<|t|≦1.0)
0.75|t|2-2.0|t|+1.25 (1.0<|t|≦1.5)
-0.25|t|2+|t|-1.0 (1.5<|t|≦2.0)
0 (2.0<|t|)
で表される標本化関数φ(t)を用いて行われることを特徴とする画像処理装置。
【請求項19】
修整対象となる画像を表示する表示ステップと、
利用者の指示に応じて、前記表示ステップにおいて表示された画像に含まれる修整箇所を、修整方向とともに指示する修整指示ステップと、
前記修整指示ステップにおいて指示された修整箇所に対応する部分画像に対して、前記修整指示ステップにおいて指示された修整方向に沿った補間処理を行う第1の補間処理ステップと、
を有することを特徴とする画像処理方法。
【請求項20】
請求項19において、
画像の入力を行う画像入力ステップと、前記画像入力ステップにおいて入力された画像に対して補間処理を行う第2の補間処理ステップとをさらに有し、
前記表示ステップは、前記第2の補間処理ステップにおける補間処理によって得られた画像を前記修整対象となる画像として表示することを特徴とする画像処理方法。
【請求項21】
請求項20において、
前記画像入力ステップにおいて入力された画像に含まれる2×2画素の濃度勾配に基づいてエッジの方向を検出するエッジ方向検出ステップをさらに有し、
前記第2の補間処理ステップは、前記エッジ方向検出ステップにおいて検出されたエッジの向きに並ぶ4×4画素の画素値を用いて補間処理を行うことを特徴とする画像処理方法。
【請求項22】
請求項21において、
前記画像入力ステップにおいて入力された画像は、互いに直交する水平軸および垂直軸に沿って配置された複数の画素によって構成されており、
前記エッジ方向検出ステップは、補間位置を包囲する4つの画素の画素値に基づいてエッジの方向を検出することを特徴とする画像処理方法。
【請求項23】
請求項22において、
前記エッジ方向検出ステップは、前記補間位置を包囲する4つの画素の画素値に基づいて、これら4つの画素に対応する画像の濃度勾配を算出し、濃度勾配に対して垂直な向きをエッジの方向として推定することを特徴とする画像処理方法。
【請求項24】
請求項20~23のいずれかにおいて、
前記第1の補間処理ステップは、前記画像入力ステップにおいて入力された画像を構成する画素の画素値を用いて、前記部分画像に対応する補間処理を行うことを特徴とする画像処理方法。
【請求項25】
請求項20~24のいずれかにおいて、
前記画像入力ステップにおいて入力された画像に対して拡大/縮小の倍率を指定する倍率指定ステップをさらに有し、
前記第1および第2の補間処理ステップは、前記倍率指定ステップにおいて指定された倍率に応じた補間位置を決定する補間位置決定ステップを有することを特徴とする画像処理方法。
【請求項26】
請求項19または20において、
前記第1の補間処理ステップは、補間位置の周囲であって、前記修整指示ステップにおいて指示された修整方向に沿って配置された所定個数の画素を補間対象画素として抽出する補間対象画素決定ステップを有することを特徴とする画像処理方法。
【請求項27】
請求項26において、
前記補間対象画素決定ステップは、前記修整指示ステップにおいて指示された修正方向を有する第1の補間軸を設定し、この第1の補間軸を挟んで所定範囲内に位置する所定個の画素を前記補間対象画素として抽出することを特徴とする画像処理方法。
【請求項28】
請求項27において、
前記修整指示ステップは、ポインティングデバイスを用いて行われ、
前記修整方向の指示は、前記表示ステップにおいて画面に表示された画像の修整箇所を、この修整箇所に含まれるエッジに沿って前記ポインティングデバイスを移動させることにより行うことを特徴とする画像処理方法。
【請求項29】
請求項28において、
前記第1の補間軸は、前記ポインティングデバイスの移動軌跡を近似して得られる直線形状を有することを特徴とする画像処理方法。
【請求項30】
請求項28において、
前記第1の補間軸は、前記ポインティングデバイスの移動軌跡を近似して得られる円弧形状を有することを特徴とする画像処理方法。
【請求項31】
請求項28において、
前記第1の補間軸は、前記ポインティングデバイスの移動軌跡を近似して得られる自由曲線形状を有することを特徴とする画像処理方法。
【請求項32】
請求項27~31のいずれかにおいて、
水平軸および垂直軸のいずれか一方が第2の補間軸として用いられ、
前記第1の補間処理ステップは、前記第1および第2の補間軸のいずれか一方の補間軸に沿って第1の補間処理を行うことにより仮想的な複数の補間位置における画素値を算出し、この第1の補間処理によって得られた複数の補間位置に対応する画素値を用いて、前記補間位置決定ステップにおいて決定された補間位置に対応する補間値をいずれか他方の補間軸に沿って算出することを特徴とする画像処理方法。
【請求項33】
請求項32において、
前記補間対象画素決定ステップは、前記修整指示ステップにおいて指示された修整方向に基づいて、前記水平軸および前記垂直軸のいずれを前記第2の補間軸として用いるかを決定することを特徴とする画像処理方法。
【請求項34】
請求項33において、
前記補間対象画素決定ステップは、前記第1の補間軸との角度が45度以上となる前記水平軸あるいは前記垂直軸を前記第2の補間軸として設定することを特徴とする画像処理方法。
【請求項35】
請求項32~34のいずれかにおいて、
前記第1の補間処理ステップは、前記第1および第2の補間軸に沿って格子状に配置されるように前記第2の補間軸に沿って前記所定個の画素の画素位置を調整した後に補間処理を行うことを特徴とする画像処理方法。
【請求項36】
請求項19~35のいずれかにおいて、
前記第1の補間処理ステップにおける補間処理は、隣接する画素の間隔をtとしたときに、
φ(t)=-1.75|t|2+1.0 (|t|≦0.5)
1.25|t|2-3.0|t|+1.75 (0.5<|t|≦1.0)
0.75|t|2-2.0|t|+1.25 (1.0<|t|≦1.5)
-0.25|t|2+|t|-1.0 (1.5<|t|≦2.0)
0 (2.0<|t|)
で表される標本化関数φ(t)を用いて行われることを特徴とする画像処理方法。
【請求項37】
コンピュータを、
修整対象となる画像を表示する表示手段と、
利用者の指示に応じて、前記表示手段によって表示された画像に含まれる修整箇所を、修整方向とともに指示する修整指示手段と、
前記修整指示手段によって指示された修整箇所に対応する部分画像に対して、前記修整指示手段によって指示された修整方向に沿った補間処理を行う第1の補間処理手段と、
して機能させるための画像処理プログラム。
【請求項38】
請求項37において、
コンピュータを、さらに、画像の入力を行う画像入力手段と、前記画像入力手段によって入力された画像に対して補間処理を行う第2の補間処理手段として機能させ、
前記表示手段は、前記第2の補間処理手段による補間処理によって得られた画像を前記修整対象となる画像として表示することを特徴とする画像処理プログラム。
【請求項39】
請求項38において、
コンピュータを、さらに、前記画像入力手段によって入力された画像に含まれる2×2画素の濃度勾配に基づいてエッジの方向を検出するエッジ方向検出手段として機能させ、
前記第2の補間処理手段は、前記エッジ方向検出手段によって検出されたエッジの向きに並ぶ4×4画素の画素値を用いて補間処理を行うことを特徴とする画像処理プログラム。
【請求項40】
請求項39において、
前記画像入力手段によって入力された画像は、互いに直交する水平軸および垂直軸に沿って配置された複数の画素によって構成されており、
前記エッジ方向検出手段は、補間位置を包囲する4つの画素の画素値に基づいてエッジの方向を検出することを特徴とする画像処理プログラム。
【請求項41】
請求項40において、
前記エッジ方向検出手段は、前記補間位置を包囲する4つの画素の画素値に基づいて、これら4つの画素に対応する画像の濃度勾配を算出し、濃度勾配に対して垂直な向きをエッジの方向として推定することを特徴とする画像処理プログラム。
【請求項42】
請求項38~41のいずれかにおいて、
前記第1の補間処理手段は、前記画像入力手段によって入力された画像を構成する画素の画素値を用いて、前記部分画像に対応する補間処理を行うことを特徴とする画像処理プログラム。
【請求項43】
請求項38~42のいずれかにおいて、
コンピュータを、さらに、前記画像入力手段によって入力された画像に対して拡大/縮小の倍率を指定する倍率指定手段として機能させ、
前記第1および第2の補間処理手段は、前記倍率指定手段によって指定された倍率に応じた補間位置を決定する補間位置決定手段を有することを特徴とする画像処理プログラム。
【請求項44】
請求項37または38において、
前記第1の補間処理手段は、補間位置の周囲であって、前記修整指示手段によって指示された修整方向に沿って配置された所定個数の画素を補間対象画素として抽出する補間対象画素決定手段を有することを特徴とする画像処理プログラム。
【請求項45】
請求項44において、
前記補間対象画素決定手段は、前記修整指示手段によって指示された修正方向を有する第1の補間軸を設定し、この第1の補間軸を挟んで所定範囲内に位置する所定個の画素を前記補間対象画素として抽出することを特徴とする画像処理プログラム。
【請求項46】
請求項45において、
前記修整指示手段は、ポインティングデバイスを用いて行われ、
前記修整方向の指示は、前記表示手段によって画面に表示された画像の修整箇所を、この修整箇所に含まれるエッジに沿って前記ポインティングデバイスを移動させることにより行うことを特徴とする画像処理プログラム。
【請求項47】
請求項46において、
前記第1の補間軸は、前記ポインティングデバイスの移動軌跡を近似して得られる直線形状を有することを特徴とする画像処理プログラム。
【請求項48】
請求項46において、
前記第1の補間軸は、前記ポインティングデバイスの移動軌跡を近似して得られる円弧形状を有することを特徴とする画像処理プログラム。
【請求項49】
請求項46において、
前記第1の補間軸は、前記ポインティングデバイスの移動軌跡を近似して得られる自由曲線形状を有することを特徴とする画像処理プログラム。
【請求項50】
請求項45~49のいずれかにおいて、
水平軸および垂直軸のいずれか一方が第2の補間軸として用いられ、
前記第1の補間処理手段は、前記第1および第2の補間軸のいずれか一方の補間軸に沿って第1の補間処理を行うことにより仮想的な複数の補間位置における画素値を算出し、この第1の補間処理によって得られた複数の補間位置に対応する画素値を用いて、前記補間位置決定手段によって決定された補間位置に対応する補間値をいずれか他方の補間軸に沿って算出することを特徴とする画像処理プログラム。
【請求項51】
請求項50において、
前記補間対象画素決定手段は、前記修整指示手段によって指示された修整方向に基づいて、前記水平軸および前記垂直軸のいずれを前記第2の補間軸として用いるかを決定することを特徴とする画像処理プログラム。
【請求項52】
請求項51において、
前記補間対象画素決定手段は、前記第1の補間軸との角度が45度以上となる前記水平軸あるいは前記垂直軸を前記第2の補間軸として設定することを特徴とする画像処理プログラム。
【請求項53】
請求項50~52のいずれかにおいて、
前記第1の補間処理手段は、前記第1および第2の補間軸に沿って格子状に配置されるように前記第2の補間軸に沿って前記所定個の画素の画素位置を調整した後に補間処理を行うことを特徴とする画像処理プログラム。
【請求項54】
請求項37~53のいずれかにおいて、
前記第1の補間処理手段による補間処理は、隣接する画素の間隔をtとしたときに、
φ(t)=-1.75|t|2+1.0 (|t|≦0.5)
1.25|t|2-3.0|t|+1.75 (0.5<|t|≦1.0)
0.75|t|2-2.0|t|+1.25 (1.0<|t|≦1.5)
-0.25|t|2+|t|-1.0 (1.5<|t|≦2.0)
0 (2.0<|t|)
で表される標本化関数φ(t)を用いて行われることを特徴とする画像処理プログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、入力画像に対して解像度変換を行った後修整を行う画像処理装置、方法およびプログラムに関する。
【背景技術】
【0002】
従来から、バイキュービック法を用いて画像の補間処理を行う際に、画像のエッジ付近での補間係数の調整やサンプリング間隔の変更を行って水平方向および垂直方向での補間を順次行う手法が知られている(例えば、特許文献1参照。)。

【特許文献1】特開2006-54899号公報(第8-19頁、図1-15)
【発明の開示】
【発明が解決しようとする課題】
【0003】
ところで、上述した特許文献1に記載の従来技術では、エッジ付近で補間係数の調整を行っているが、基本的にはエッジ方向に沿った補間を行っているわけではないため、ジャギー等が発生し、画像の解像度を変換する際に画質が劣化する場合があった。このような場合に、ジャギー等が発生した箇所を部分的に修整することができれば便利であるが、従来は、画像の修整や修復は、作業者が修整部分をなぞって画素値を変更する必要があり、手ぶれなども加わるため、精度が悪く、しかも修整に時間がかかるという問題があった。
【0004】
本発明は、このような点に鑑みて創作されたものであり、その目的は、画像の修整に要する時間を短縮し、しかも修整の精度を向上させることができる画像処理装置、方法およびプログラムを提供することにある。
【課題を解決するための手段】
【0005】
上述した課題を解決するために、本発明の画像処理装置は、修整対象となる画像を表示する表示手段と、利用者の指示に応じて、表示手段によって表示された画像に含まれる修整箇所を、修整方向とともに指示する修整指示手段と、修整指示手段によって指示された修整箇所に対応する部分画像に対して、修整指示手段によって指示された修整方向に沿った補間処理を行う第1の補間処理手段とを備えている。
【0006】
また、本発明の画像処理方法は、修整対象となる画像を表示する表示ステップと、利用者の指示に応じて、表示ステップにおいて表示された画像に含まれる修整箇所を、修整方向とともに指示する修整指示ステップと、修整指示ステップにおいて指示された修整箇所に対応する部分画像に対して、修整指示ステップにおいて指示された修整方向に沿った補間処理を行う第1の補間処理ステップとを有している。
【0007】
また、本発明の画像処理プログラムは、コンピュータを、修整対象となる画像を表示する表示手段と、利用者の指示に応じて、表示手段によって表示された画像に含まれる修整箇所を、修整方向とともに指示する修整指示手段と、修整指示手段によって指示された修整箇所に対応する部分画像に対して、修整指示手段によって指示された修整方向に沿った補間処理を行う第1の補間処理手段として機能させる。
【0008】
表示された画像に含まれる修整箇所と修整方向を指定するだけで、修整箇所について修整方向に合わせて補間処理を行って画像の修整を行うことができるため、画像の修整に要する時間を短縮することができる。また、修整方向に沿った補間処理を行うことにより、補間位置に対して修整方向に沿って存在する画素の影響を直接反映させることができ、精度の高い補間処理ができ、修整の精度を向上させることができる。
【0009】
また、画像の入力を行う画像入力手段と、画像入力手段によって入力された画像に対して補間処理を行う第2の補間処理手段とをさらに備え、表示手段は、第2の補間処理手段による補間処理によって得られた画像を修整対象となる画像として表示することが望ましい。また、上述した画像入力手段によって入力された画像に含まれる2×2画素の濃度勾配に基づいてエッジの方向を検出するエッジ方向検出手段をさらに備え、第2の補間処理手段は、エッジ方向検出手段によって検出されたエッジの向きに並ぶ4×4画素の画素値を用いて補間処理を行うことが望ましい。
【0010】
また、画像の入力を行う画像入力ステップと、画像入力ステップにおいて入力された画像に対して補間処理を行う第2の補間処理ステップとをさらに有し、表示ステップは、第2の補間処理ステップにおける補間処理によって得られた画像を修整対象となる画像として表示することが望ましい。また上述した画像入力ステップにおいて入力された画像に含まれる2×2画素の濃度勾配に基づいてエッジの方向を検出するエッジ方向検出ステップをさらに有し、第2の補間処理ステップは、エッジ方向検出ステップにおいて検出されたエッジの向きに並ぶ4×4画素の画素値を用いて補間処理を行うことが望ましい。
【0011】
また、コンピュータを、さらに、画像の入力を行う画像入力手段と、画像入力手段によって入力された画像に対して補間処理を行う第2の補間処理手段として機能させ、上述した表示手段は、第2の補間処理手段による補間処理によって得られた画像を修整対象となる画像として表示することが望ましい。また、コンピュータを、さらに、画像入力手段によって入力された画像に含まれる2×2画素の濃度勾配に基づいてエッジの方向を検出するエッジ方向検出手段として機能させ、上述した第2の補間処理手段は、エッジ方向検出手段によって検出されたエッジの向きに並ぶ4×4画素の画素値を用いて補間処理を行うことが望ましい。
【0012】
画像に含まれるエッジの向きを検出してその方向に合わせて補間処理を行うことにより、補間位置に対してエッジの向きに存在する画素の影響を直接反映させた補間処理を行うことができ、画像の倍率を変更する際に生じる画質の劣化を防止することができる。また、このような画像を修整対象とすることにより、修整箇所の数を減らすことができ、画像の修整に要する時間および手間をさらに低減することが可能となる。
【0013】
また、上述した画像入力手段によって入力された画像は、互いに直交する水平軸および垂直軸に沿って配置された複数の画素によって構成されており、エッジ方向検出手段は、補間位置を包囲する4つの画素の画素値に基づいてエッジの方向を検出することが望ましい。あるいは、上述した画像入力ステップにおいて入力された画像は、互いに直交する水平軸および垂直軸に沿って配置された複数の画素によって構成されており、エッジ方向検出ステップは、補間位置を包囲する4つの画素の画素値に基づいてエッジの方向を検出することが望ましい。これにより、エッジ方向検出に必要な画素数を少なくして演算量を削減することができる。
【0014】
また、上述したエッジ方向検出手段は、補間位置を包囲する4つの画素の画素値に基づいて、これら4つの画素に対応する画像の濃度勾配を算出し、濃度勾配に対して垂直な向きをエッジの方向として推定することが望ましい。あるいは、上述したエッジ方向検出ステップは、補間位置を包囲する4つの画素の画素値に基づいて、これら4つの画素に対応する画像の濃度勾配を算出し、濃度勾配に対して垂直な向きをエッジの方向として推定することが望ましい。エッジが存在する場合にはエッジを挟んで濃淡勾配が生じるため、濃淡勾配を用いることにより、確実にエッジの向きを知ることができる。
【0015】
また、上述した第1の補間処理手段は、画像入力手段によって入力された画像を構成する画素の画素値を用いて、部分画像に対応する補間処理を行うことが望ましい。あるいは、上述した第1の補間処理ステップは、画像入力ステップにおいて入力された画像を構成する画素の画素値を用いて、部分画像に対応する補間処理を行うことが望ましい。これにより、画像表示のために行われた補間処理による画質の劣化の影響を取り除くことができる。
【0016】
また、上述した画像入力手段によって入力された画像に対して拡大/縮小の倍率を指定する倍率指定手段をさらに備え、第1および第2の補間処理手段は、倍率指定手段によって指定された倍率に応じた補間位置を決定する補間位置決定手段を有することが望ましい。あるいは、上述した画像入力ステップにおいて入力された画像に対して拡大/縮小の倍率を指定する倍率指定ステップをさらに有し、第1および第2の補間処理ステップは、倍率指定ステップにおいて指定された倍率に応じた補間位置を決定する補間位置決定ステップを有することが望ましい。あるいは、コンピュータを、さらに、画像入力手段によって入力された画像に対して拡大/縮小の倍率を指定する倍率指定手段として機能させ、第1および第2の補間処理手段は、倍率指定手段によって指定された倍率に応じた補間位置を決定する補間位置決定手段を有することが望ましい。これにより、指定された倍率に応じて、必要な補間位置を決定することが可能となる。
【0017】
また、上述した第1の補間処理手段は、補間位置の周囲であって、修整指示手段によって指示された修整方向に沿って配置された所定個数の画素を補間対象画素として抽出する補間対象画素決定手段を有することが望ましい。上述した補間対象画素決定手段は、修整指示手段によって指示された修正方向を有する第1の補間軸を設定し、この第1の補間軸を挟んで所定範囲内に位置する所定個の画素を補間対象画素として抽出することが望ましい。あるいは、上述した第1の補間処理ステップは、補間位置の周囲であって、修整指示ステップにおいて指示された修整方向に沿って配置された所定個数の画素を補間対象画素として抽出する補間対象画素決定ステップを有することが望ましい。上述した補間対象画素決定ステップは、修整指示ステップにおいて指示された修正方向を有する第1の補間軸を設定し、この第1の補間軸を挟んで所定範囲内に位置する所定個の画素を補間対象画素として抽出することが望ましい。これにより、修整方向の向きに沿って並んだ画素の画素値を、補間位置の画素値を算出する補間処理に反映させることが可能となり、修整方向に沿って滑らかでジャギーの発生のない画像を得ることができる。
【0018】
また、上述した修整指示手段は、ポインティングデバイスを有しており(あるいはポインティングデバイスを用いて行われ)、修整方向の指示は、表示手段によって画面に表示された画像の修整箇所を、この修整箇所に含まれるエッジに沿ってポインティングデバイスを移動させることにより行うことが望ましい。あるいは、上述した修整指示ステップは、ポインティングデバイスを用いて行われ、修整方向の指示は、表示ステップにおいて画面に表示された画像の修整箇所を、この修整箇所に含まれるエッジに沿ってポインティングデバイスを移動させることにより行うことが望ましい。これにより、簡単な操作で修整箇所および修整方向を指示することが可能となる。
【0019】
また、上述した第1の補間軸は、ポインティングデバイスの移動軌跡を近似して得られる直線形状を有することが望ましい。修整方向を示す形状を単純化することにより、補間処理の簡略化が可能となる。
【0020】
また、上述した第1の補間軸は、ポインティングデバイスの移動軌跡を近似して得られる円弧形状または自由曲線形状を有することが望ましい。これにより、ポインティングデバイスの移動軌跡を正確に特定することが可能になり、修整箇所に含まれる画像のエッジに正確に沿った修整が可能となり、修整の精度を向上させることができる。
【0021】
また、水平軸および垂直軸のいずれか一方が第2の補間軸として用いられ、第1の補間処理手段は、第1および第2の補間軸のいずれか一方の補間軸に沿って第1の補間処理を行うことにより仮想的な複数の補間位置における画素値を算出し、この第1の補間処理によって得られた複数の補間位置に対応する画素値を用いて、補間位置決定手段によって決定された補間位置に対応する補間値をいずれか他方の補間軸に沿って算出することが望ましい。あるいは、水平軸および垂直軸のいずれか一方が第2の補間軸として用いられ、第1の補間処理ステップは、第1および第2の補間軸のいずれか一方の補間軸に沿って第1の補間処理を行うことにより仮想的な複数の補間位置における画素値を算出し、この第1の補間処理によって得られた複数の補間位置に対応する画素値を用いて、補間位置決定ステップにおいて決定された補間位置に対応する補間値をいずれか他方の補間軸に沿って算出することが望ましい。第1および第2の補間軸のそれぞれについて別々に補間処理を行って最終的な補間値を求めることができ、処理の簡略化を図ることが可能となる。
【0022】
また、上述した補間対象画素決定手段は、修整指示手段によって指示された修整方向に基づいて、水平軸および垂直軸のいずれを第2の補間軸として用いるかを決定することが望ましい。具体的には、上述した補間対象画素決定手段は、第1の補間軸との角度が45度以上となる水平軸あるいは垂直軸を第2の補間軸として設定することが望ましい。あるいは、上述した補間対象画素決定ステップは、修整指示ステップにおいて指示された修整方向に基づいて、水平軸および垂直軸のいずれを第2の補間軸として用いるかを決定することが望ましい。具体的には、上述した補間対象画素決定ステップは、第1の補間軸との角度が45度以上となる水平軸あるいは垂直軸を第2の補間軸として設定することが望ましい。垂直に近い2軸のそれぞれに沿って補間処理を行うことにより、補間精度を向上させることができる。
【0023】
また、上述した第1の補間処理手段は、第1および第2の補間軸に沿って格子状に配置されるように第2の補間軸に沿って所定個の画素の画素位置を調整した後に補間処理を行うことが望ましい。あるいは、上述した第1の補間処理ステップは、第1および第2の補間軸に沿って格子状に配置されるように第2の補間軸に沿って所定個の画素の画素位置を調整した後に補間処理を行うことが望ましい。第1および第2の補間軸のそれぞれについて別々に補間処理を行って最終的な補間値を求める際に、従来と同等のアルゴリズムを用いて処理の簡略化を図ることが可能となる。
【0024】
また、上述した補間処理は、隣接する画素の間隔をtとしたときに、
φ(t)=-1.75|t|2+1.0 (|t|≦0.5)
1.25|t|2-3.0|t|+1.75 (0.5<|t|≦1.0)
0.75|t|2-2.0|t|+1.25 (1.0<|t|≦1.5)
-0.25|t|2+|t|-1.0 (1.5<|t|≦2.0)
0 (2.0<|t|)
で表される標本化関数φ(t)を用いて行われることが望ましい。
【発明を実施するための最良の形態】
【0025】
以下、本発明を適用した一実施形態の画像処理装置について、図面に基づいて詳細に説明する。
【0026】
〔第1の実施形態〕
図1は、第1の実施形態の画像処理装置の構成を示す図である。図1に示すように、本実施形態の画像処理装置は、画像入力部10、画像データ格納部12、補間処理部20、倍率指定部40、修整指示部42、出力処理部50、表示装置52、プリンタ54を含んで構成されている。
【0027】
画像入力部10は、所定の解像度の画像データを取り込むためのものである。例えば、紙原稿に描かれた画像を所定の解像度で光学的に読み取るスキャナを画像入力部10として用いることができる。あるいは、CDやDVD等の挿抜可能な記憶媒体に記録された画像データを取り込む場合には、これらの記憶媒体のドライブ装置(読み取り装置)を画像入力部10として用いることができる。半導体メモリやハードディスク装置に記録された画像データを取り込む場合には、これらを接続する入出力インタフェースを画像入力部10として用いることができる。また、インターネットやその他のネットワーク、あるいは電話回線等を介した通信によって画像データを取り込む場合には、回線の種類等に応じた通信装置を画像入力部10として用いることができる。このようにして画像入力部10によって取り込まれた画像データに対応する画像は、互いに直交する水平軸(x軸)および垂直軸(y軸)に沿って配置された複数の画素によって構成されている。
【0028】
画像データ格納部12は、画像入力部10によって取り込まれた画像データや、補間処理部20によって最終的に得られた補間後の画像データやこの補間後の画像データを得るために必要な中間データを格納する。
【0029】
補間処理部20は、画像入力部10によって取り込まれて画像データ格納部12に格納された画像データや中間データに基づいて、画像の拡大あるいは縮小に必要な補間処理を行う。また、補間処理部20は、拡大あるいは縮小後の画像が表示されたときに、利用者の指示にしたがって画像の部分的な修整処理を行う。なお、本明細書では、画像入力部10によって取り込まれて画像データ格納部12に格納された画像データを「入力画像データ」、入力画像データに対応する画像を「入力画像」と称する。また、画像を構成する複数の画素のそれぞれの値(濃淡値や輝度値あるいはカラーの場合にはRGBの各値など)を「画素値」、画像を構成する複数の画素の画素値の集まりを「画像データ」と称する。補間処理部20による補間処理によって倍率が変更された後の画像データは画像データ格納部12に格納される。補間処理部20は、補間領域決定部22、エッジ方向算出部24、補間位置決定部26、補間対象画素決定部28、第1方向補間部30、第2方向補間部32、修整処理部34を備えている。
【0030】
倍率指定部40は、画像の拡大/縮小倍率を指定する。例えば、キーボードを倍率指定部40として用い、キーボードのテンキー等を操作して倍率の値を直接入力することができる。あるいは、マウスを倍率指定部40として用い、表示装置52に表示された倍率指定画面の所定箇所を指し示すことにより、任意の倍率を入力したり、あらかじめ用意された複数の倍率の中から所望の値を選択するようにしてもよい。
【0031】
修整指示部42は、表示された画像に対して修整を行う場合に、利用者によってその旨を指示するとともに、表示された画像中の修整箇所と修整方向を指定する。例えば、マウスやスタイラスペン等のポインティングデバイスを修整指示部42として用い、表示装置52に表示された画像表示画面の所定箇所を指し示すことにより画像の修整を行う旨を指示するとともに、表示画像を部分的になぞることにより修整箇所を指定することができる。
【0032】
出力処理部50は、補間処理部20によって拡大/縮小処理された後の画像データを画像データ格納部12から読み出し、拡大/縮小された画像を表示装置52の画面上に表示したり、プリンタ54によって印刷するために必要な処理を行う。具体的には、出力処理部50は、画像データ格納部12から読み出した画像データを表示装置52による表示に必要な形式の信号(例えばNTSC信号やGBR信号)に変換して表示装置52に入力する機能や、プリンタ54による印刷に必要な形式の信号に変換する機能を有する。
【0033】
上述した出力処理部50、表示装置52が表示手段に、修整指示部42が修整指示手段に、補間位置決定部26、補間対象画素決定部28、第1方向補間部30、第2方向補間部32が第1および第2の補間処理手段に、画像入力部10が画像入力手段に、エッジ方向算出部24がエッジ方向検出手段に、倍率指定部40が倍率指定手段に、補間位置決定部26が補間位置決定手段に、補間対象画素決定部28が補間対象画素決定手段にそれぞれ対応する。また、出力処理部50、表示装置52によって行われる動作が表示ステップに、修整指示部42によって行われる動作が修整指示ステップに、補間位置決定部26、補間対象画素決定部28、第1方向補間部30、第2方向補間部32が第によって行われる動作が1および第2の補間処理ステップに、画像入力部10によって行われる動作が画像入力ステップに、エッジ方向算出部24によって行われる動作がエッジ方向検出ステップに、倍率指定部40によって行われる動作が倍率指定手ステップに、補間位置決定部26によって行われる動作が補間位置決定ステップに、補間対象画素決定部28によって行われる動作が補間対象画素決定ステップにそれぞれ対応する。
【0034】
また、上述した画像処理装置は、CPU、ROM、RAM等を備えたコンピュータの構成によって実現することができる。この場合に、画像データ格納部12はハードディスク装置や半導体メモリによって構成することが可能である。補間処理部20は、ROMやRAMあるいはハードディスク装置等に格納された所定の画像処理プログラムをCPUで実行することにより実現することができる。
【0035】
本実施形態の画像処理装置はこのような構成を有しており、次に画像処理装置による補間処理の具体的な内容について説明する。図2および図3は、本実実施形態の画像処理装置による補間処理の動作手順を示す流れ図である。
【0036】
画像入力部10を用いて画像データの入力が行われた後(ステップ200)、倍率指定部40を用いた倍率の指定が行われる(ステップ201)。次に、補間領域決定部22は、入力画像を構成する複数の画素の中から2×2画素(4画素)を抽出し、これら4画素で区画された領域(四角形)を「補間領域」として決定する(ステップ202)。
【0037】
次に、エッジ方向算出部24は、補間領域を決定した際に用いられた4画素の画素値に基づいて、これら4画素に対応する画像の濃度勾配を算出する(ステップ203)。後述するように、補間領域を決定する際に用いられた4画素の内部に補間位置が設定されるため、補間位置を包囲する4つの画素の画素値に基づいて、画像の濃度勾配が算出されることになる。また、エッジ方向算出部24は、濃度勾配に対して垂直な向きを画像のエッジ方向(輪郭線の向き)として推定する(ステップ204)。
【0038】
図4は、濃度勾配算出およびエッジ方向推定の概要を示す図である。図4において、P1、P2、P3、P4は、ステップ202で決定された補間領域を区画する4つの画素を示している。また、矢印Aは濃度勾配を、矢印Bは濃度勾配と直交するエッジ方向を示している。
【0039】
平面近似式をax+by+c=Pとし、画素位置(xi,yi)における濃度をPkとすると、以下の式が成立する。
【0040】
【数1】
JP0004628406B2_000002t.gif

【0041】
エッジ方向算出部24は、この式から濃度勾配r=-a/bを算出するとともに、濃度勾配に垂直な向きR=b/aをエッジ方向として推定する。
【0042】
次に、補間位置決定部26は、補間領域内における補間位置、すなわち、補間領域内において補間画素を発生させる位置を決定する(ステップ205)。図5は、補間位置決定の概要を示す図である。例えば、ステップ201において倍率「5」が指定された場合、すなわち、入力画像を5倍に拡大する場合が示されている。この場合には、図5で点線の四角で示されるように、隣接する2つの画素の間に等間隔に4つの補間画素を発生させればよい。例えば、pで示される補間画素の位置(補間位置)がステップ205において決定される。
【0043】
次に、補間対象画素決定部28は、エッジ方向算出部24によって推定されたエッジ方向に基づいて、補間画素の画素値を算出するために必要なn×n画素を「補間対象画素」として抽出する(ステップ206)。nは2以上の偶数であるが、具体的には、使用する標本化関数を決定すればnの値も決まる。但し、滑らかな補間処理を行うためにはnの値は4以上が望ましく、本実施形態ではn=4に設定されている。標本化関数の具体例については後述する。
【0044】
図6は、補間対象画素抽出の概要を示す図である。図6において、a1~a6、b1~b6、c1~c6、d1~d6、e1~e6のそれぞれは、入力画像を構成する各画素を示している。また、Eはステップ204において推定されたエッジ方向を示している。従来から行われている補間処理では、n=4の場合には、補間画素pを挟んで水平(x軸方向)と垂直(y軸方向)のそれぞれに上下左右(水平方向をx軸、垂直方向をy軸とする)2画素ずつの合計16画素(b2~b5、c2~c5、d2~d5、e2~e5)が補間対象画素として抽出されていた。これに対して、本実施形態では、補間画素pを通るエッジ方向Eをρ軸とし、このρ軸がy軸の代わりに用いられる。そして、x軸とρ軸のそれぞれを補間軸(ρ軸が第1の補間軸に、x軸が第2の補間軸に対応する)に設定し、これら非直交の2つの補間軸のそれぞれに沿って補間画素pを挟んで左右と斜め方向の2画素ずつが補間対象画素として抽出される。具体的には、補間対象画素決定部28は、補間対象画素としてb3~b6、c2~c5、d1~d4、e1~e4の16画素を抽出する。
【0045】
次に、第1方向補間部30は、ρ軸を第1方向とし、第1方向に沿った補間処理を行う(ステップ207)。図7は、第1方向に沿った補間処理に先立って行われる画素位置調整の概要を示す図である。図6に示したように、補間画素p周辺に配置された16個の補間対象画素は、ρ軸方向に見ると、ρ軸と平行には配置されてはいない。例えば、図6に示した補間対象画素の中で最も右側に配置された4つの画素b6、c5、d4、e4を見ると、これら4画素はρ軸と平行になっていない。本実施形態では、第1方向補間部30は、第1方向(ρ軸)に沿った補間処理を行う前に、図7に示すように座標変換を行って、ρ軸(図7では垂直方向)に沿って16個の補間対象画素が規則的に配置されるように画素位置調整が行われる。
【0046】
図8および図9は、画素位置調整を行う際の補間画素pの算出方法の概要を示す図である。図8に示すように、補間画素pと左上の画素c3との間のx軸方向の距離をL1、y軸方向の距離をL3、補間画素pと左下の画素d3との間のx軸方向の距離をL2とする。図9に示すように、画素位置調整後の補間画素pと左上の画素c3との間のρ軸方向の距離はL3が用いられる。また、画素位置調整前は補間画素pの左下に配置されていた画素d3の位置が右下にずれるため、このずれに対応して補間画素pの位置もずれる。
【0047】
図10は、画素位置調整後に行われる第1方向に沿った補間処理の概要を示す図である。図10に示すように、ρ軸に沿って配置された4画素の画素値を用いることにより、補間画素pと同じρ軸に沿った位置に対応する仮想的な補間画素h1~h4の各画素値が補間処理によって算出される。図11は、補間画素の画素値算出に用いられる標本化関数を示す図である。この標本化関数φ(t)は、以下の式で示される区分多項式であり、補間位置を中心に左右2画素(ρ軸に沿った補間を行う場合には図10に示す上下方向各2画素)の画素値を用いて補間画素の画素値を算出することができる。
【0048】
φ(t)=-1.75|t|2+1.0 (|t|≦0.5)
1.25|t|2-3.0|t|+1.75 (0.5<|t|≦1.0)
0.75|t|2-2.0|t|+1.25 (1.0<|t|≦1.5)
-0.25|t|2+|t|-1.0 (1.5<|t|≦2.0)
0 (2.0<|t|)
次に、第2方向補間部32は、x軸を第2方向とし、第2方向に沿った補間処理を行う(ステップ208)。図12は、第1方向に沿った補間処理の後に行われる第2方向に沿った補間処理の概要を示す図である。図12に示すように、水平方向(x軸方向)に沿って配置された仮想的な補間画素h1~h4の画素値を用いることにより、最終的な補間画素pの画素値が補間処理によって算出される。
【0049】
次に、補間位置決定部26は、補間領域内に他の補間画素(補間値の算出が終了していない補間画素)があるか否かを判定する(ステップ209)。他の補間画素がある場合には肯定判断が行われ、ステップ205に戻って補間位置の決定動作以降が繰り返される。また、補間領域内の全ての補間画素について補間値の算出が終了した場合にはステップ209の判定において否定判断が行われ、次に、補間領域決定部22は、補間処理が終了していない他の補間領域があるか否かを判定する(ステップ210)。他の補間領域がある場合には肯定判断が行われ、ステップ202に戻って補間領域の決定動作以降が繰り返される。また、全ての補間領域について補間処理が終了した場合にはステップ210の判定において否定判断が行われる。なお、画像を拡大した場合には、入力画像の全てが表示対象あるいは印刷対象になるとは限らない。このような場合には、表示対象あるいは印刷対象となる一部の画像について、ステップ210の判定を行うようにしてもよい。
【0050】
このようにして全ての補間領域について補間処理が終了した画像データが画像データ格納部12に格納された後、出力処理部50は、この画像データを読み出して、所定倍率(例えば5倍)で拡大された後の画像を表示装置52の画面上に表示する(ステップ211)。
【0051】
図13は、本実施形態の画像処理装置による補間処理によって得られた画像を示す図である。また、図14は比較のためにバイキュービック法を用いた補間処理によって得られた画像を示す例である。図13から明らかなように、本実施形態ではエッジ方向に沿った補間処理を行うことにより、ジャギーの発生がない拡大画像を得ることができる。
【0052】
ところで、本実施形態の画像処理装置では、図13に示すように、画像の修整を行わなくても、原理的にはエッジ方向に沿ってジャギーの発生のない画像が得られるはずであるが、画像のエッジ近傍での画素値の状態(濃淡の状態)等によってはエッジ検出が必ずしも正確に行えず、ジャギーの発生を確実に排除することできないおそれがある。本実施形態では、このような場合に、拡大/縮小された後の表示画像を利用者が目視確認し、必要に応じて修整指示が行われる。
【0053】
次に、修整処理部34は、表示画像の修整が指示されたか否かを判定する(ステップ212)。利用者による修整指示部42を用いた修整指示がなされない場合には否定判断が行われ、一連の画像処理動作が終了する。
【0054】
また、利用者による修整指示がなされた場合にはステップ212の判定において肯定判断が行われ、以下に示す一連の画像修整処理が修整処理部34の指示によって実施される。
【0055】
まず、利用者によって修整指示部42を用いた画像の修整箇所の指示がなされる(ステップ213)。この修整箇所の指示には、修整箇所の位置と、修整箇所に含まれるエッジの向きが含まれる。
【0056】
図15および図16は、修整箇所指示の概要を示す図である。図15に示すように、ステップ211において表示された画像の中で、領域Wに顕著なジャギーの発生が確認された場合を考える。図16に示すように、利用者は、修整指示部42を操作することにより、領域W内でジャギーが発生しているエッジの上をなぞることにより、修整箇所の位置と、修整箇所に含まれるエッジの向き(修整方向)を指示することができる。例えば、修整指示部42としてマウスを用いた場合には、矢印Rの始点においてマウスのボタンを押下し、その状態を維持しながらマウスを矢印Rの向きに移動させ、矢印の終点においてマウスのボタンの押下を解除することにより、修整箇所の位置と、修整箇所に含まれるエッジの向きを指示することができる。なお、領域Wの幅の設定については、例えば矢印Rを中心とした両側の所定画素数分が含まれるように設定したり、幅を指定する値を予め入力しておいてこの指定された幅となるように設定するなどの方法が考えられる。
【0057】
次に、補間領域決定部22は、修整箇所として指定された領域Wに含まれる画像(部分画像)を構成する複数の画素の中から2×2画素(4画素)を抽出し、これら4画素で区画された領域(四角形)を修整用の「補間領域」として決定する(ステップ214)。この動作自体はステップ202の動作と同じであるが、ステップ202では入力画像の全領域に含まれる4画素が抽出されたのに対し、ステップ214では領域Wに含まれる画像に対応する4画素が抽出される点が異なっている。なお、ステップ214では、ステップ211において表示された拡大/縮小後の画像に含まれる4画素が抽出されるのではなく、領域Wに対応する拡大/縮小前の入力画像に含まれる4画素が抽出される。同様に、修整処理についても、領域Wに対応する拡大/縮小前の入力画像に含まれる画素の画素値が用いられる。
【0058】
次に、補間位置決定部26は、補間領域内における補間位置、すなわち、補間領域内において補間画素を発生させる位置を決定する(ステップ215)。また、補間対象画素決定部28は、ステップ213において指示されたエッジの向きに基づいて、補間画素の画素値を算出するために必要なn×n画素を「補間対象画素」として抽出する(ステップ216)。例えば、ステップ206と同様に、4×4画素が抽出される。
【0059】
図17は、画像修整の対象となる補間対象画素抽出の概要を示す図である。図17において、Rは図16に示した矢印Rそのものであり、ステップ213において指定されたエッジの向きを示している。補間画素pを通るエッジの向きRをρ’軸とし、このρ’軸がy軸の代わりに用いられる。そして、x軸とρ’軸のそれぞれを補間軸(ρ’軸が第1の補間軸に、x軸が第2の補間軸に対応する)に設定し、これら非直交の2つの補間軸のそれぞれに沿って補間画素pを挟んで左右と斜め方向の2画素ずつが補間対象画素として抽出される。具体的には、補間対象画素決定部28は、補間対象画素としてb3~b6、c2~c5、d1~d4、e1~e4の16画素を抽出する。なお、図6と図17のそれぞれでは同じ16画素が抽出された例が図示されているが、一般にはこれらの図におけるエッジの向きEとRは必ずしも一致しないため、一部が異なるように16画素の抽出が行われる。
【0060】
次に、第1方向補間部30は、ρ’軸を第1方向とし、第1方向に沿った補間処理を行う(ステップ217)。また、第2方向補間部32は、x軸を第2方向とし、第2方向に沿った補間処理を行う(ステップ218)。これにより、修整後の補間画素pの画素値が補間処理によって算出される。
【0061】
次に、補間位置決定部26は、補間領域内に他の補間画素(補間値の算出が終了していない補間画素)があるか否かを判定する(ステップ219)。他の補間画素がある場合には肯定判断が行われ、ステップ215に戻って補間位置の決定動作以降が繰り返される。また、補間領域内の全ての補間画素について補間値の算出が終了した場合にはステップ219の判定において否定判断が行われ、次に、補間領域決定部22は、補間処理が終了していない他の補間領域があるか否かを判定する(ステップ220)。他の補間領域がある場合には肯定判断が行われ、ステップ214に戻って補間領域の決定動作以降が繰り返される。また、領域Wに含まれる全ての補間領域について補間処理が終了した場合にはステップ220の判定において否定判断が行われる。
【0062】
このようにして修整指示がなされた領域Wに対応する補間領域について補間処理が終了した画像データが画像データ格納部12に格納された後、例えば、位置が同じである修整処理前の画素の画素値に修整処理後の画素の画素値が上書きされた後、出力処理部50は、この画像データを読み出して、所定倍率(例えば5倍)で拡大された後の画像を表示装置52の画面上に表示する(ステップ221)。
【0063】
このように、本実施形態の画像処理装置では、表示された画像に含まれる修整箇所と修整方向を指定するだけで、修整箇所について修整方向に合わせて補間処理を行って画像の修整を行うことができるため、画像の修整に要する時間を短縮することができる。また、修整方向に沿った補間処理を行うことにより、補間位置に対して修整方向に沿って存在する画素の影響を直接反映させることができ、精度の高い補間処理ができ、修整の精度を向上させることができる。
【0064】
また、入力画像に含まれるエッジの向きを検出してその方向に合わせて補間処理を行って画像表示を行うことにより、補間位置に対してエッジの向きに存在する画素の影響を直接反映させた補間処理を行うことができ、画像の倍率を変更する際に生じる画質の劣化を防止することができる。また、このような画像を修整対象とすることにより、修整箇所の数を減らすことができ、画像の修整に要する時間および手間をさらに低減することが可能となる。
【0065】
特に、補間位置を包囲する4つの画素の画素値に基づいてエッジの方向を検出することにより、エッジ方向検出に必要な画素数を少なくして演算量を削減することができる。また、エッジが存在する場合にはエッジを挟んで濃淡勾配が生じるため、濃淡勾配を用いることにより、確実にエッジの向きを知ることができる。また、入力画像を構成する画素の画素値を用いて画像の修整を行うことにより、画像表示のために行われた補間処理による画質の劣化の影響を取り除くことができる。
【0066】
また、修整方向の向きに沿って並んだ画素の画素値を、補間位置の画素値を算出する補間処理に反映させることにより、修整方向に沿って滑らかでジャギーの発生のない画像を得ることができる。
【0067】
ところで、上述した本実施形態の説明では、ステップ207の第1方向の補間処理(図10)をρ軸に沿って行い、ステップ208の第2方向の補間処理(図12)をx軸に沿って行ったが、反対に、第1方向の補間処理をx軸に沿って行い、第2方向の補間処理をρ軸に沿って行うようにしてもよい。この変形例は、ステップ217において行われる第1方向の補間処理とステップ218において行われる第2の補間処理についても同様である。
【0068】
図18は、変形例の第1方向に沿った補間処理の概要を示す図である。図18に示すように、x軸に沿って配置された4画素の画素値を用いることにより、補間画素pと同じx軸に沿った位置(画素位置調整後の位置)に対応する仮想的な補間画素v1~v4の各画素値が補間処理によって算出される。
【0069】
図19は、変形例の第1方向に沿った補間処理の後に行われる第2方向に沿った補間処理の概要を示す図である。図19に示すように、ρ軸方向(あるいはρ’軸方向)に沿って配置された仮想的な補間画素v1~v4の画素値を用いることにより、最終的な補間画素pの画素値が補間処理によって算出される。
【0070】
また、上述した本実施形態の説明では、x軸を固定し、エッジ方向に一致させたρ軸をy軸に置き換えたが、x軸とエッジ方向との角度が45度未満の場合には、y軸を固定し、エッジ方向に一致させたρ軸をx軸に置き換えた方が補間精度が向上する。
【0071】
図20は、エッジ方向に応じて補間軸を可変設定する変形例の画像処理装置による補間処理の動作手順を示す流れ図である。図2に示す流れ図に対して、ステップ204の次にステップ220の補間軸決定の動作手順が追加されている。このステップ220では、補間対象画素決定部28は、x軸とエッジ方向Eと角度を算出し、ρ軸と組み合わせて使用する補間軸を決定する。具体的には、x軸とエッジ方向Eとの角度が45度以上の場合には、x軸とρ軸とが補間軸に設定され、図2を用いて説明した一連の補間処理が実施される。一方、x軸とエッジ方向Eとの角度が45度未満の場合には、y軸とρ軸とが補間軸に設定される。この場合には、ステップ206では、図6において、ρ軸を挟んでy軸方向に上下2画素ずつが選択されて補間対象の16画素が抽出される。また、ステップ207では、第1方向の補間処理がρ軸に沿って行われ、ステップ208の第2方向の補間処理がy軸に沿って行われる。あるいは、反対に、第1方向の補間処理をy軸に沿って行い、第2方向の補間処理をρ軸に沿って行うようにしてもよい。なお、x軸とρ軸の角度を算出する代わりに、y軸とρ軸の角度を算出して、ρ軸と組み合わせて使用する補間軸を決定するようにしてもよい。
【0072】
このように、ρ軸との角度が45度以上となるx軸あるいはy軸を第2の補間軸として設定し、垂直に近い2軸のそれぞれに沿って補間処理を行うことにより、補間精度を向上させることができる。
【0073】
また、上述した本実施形態の説明では、ステップ206において補間対象の16画素を抽出する際に、エッジ方向Eに沿った直線をρ軸に設定したが、非直線のρ軸を設定するようにしてもよい。例えば、以下に示す関数H1(x、y)~H3(x、y)のいずれかによって表される曲線をρ軸として設定するようにしてもよい。
【0074】
H1(x,y)=(ax2+bx+c)(dy2+ey+f)
H2(x,y)=ax2+by2+cx+dy+exy+f
H3(x,y)=ax4+by4+cx22+dx2y+exy2
+fxy+gx+hy+f
図21は、非直線のρ軸を設定した場合の補間対象画素抽出の概要を示す図である。図21に示すように、補間位置においてエッジ方向の直線と接するように非直線のρ軸が設定され、このρ軸を挟んで左右2画素ずつ合計16画素(b2~b5、c2~c5、d2~d5、e1~e4)が補間対象画素として抽出される。
【0075】
上述した実施形態では、ρ軸に沿ってn×n個の補間対象画素を抽出した後(図6)、x軸方向に画素位置をずらす画素位置調整を行ったが(図7)、画素位置調整を行わずにそのまま第1方向および第2方向に沿った補間処理を行うようにしてもよい。
【0076】
図22は、変形例の補間処理の概要を示す図である。補間処理全体の動作手順は図2および図3に示したものと同じである。ステップ206の補間対象の16画素の抽出動作までは上述した第1の実施形態と同じ要領で行われる。
【0077】
次に、第1方向補間部30は、図22に示すように、x軸に沿って配置された4画素の画素値を用いることにより、これらの4画素を通るx軸方向の直線と、補間画素pを通るエッジ方向Eの直線との交点に対応する仮想的な補間画素w1~w4の画素値を補間処理によって算出する(ステップ207)。また、第2方向補間部32は、ρ軸方向に沿って配置された仮想的な補間画素w1~w4の画素値を用いることにより、最終的な補間画素pの画素値を補間処理によって算出する(ステップ208)。ステップ217において行われる第1方向の補間処理とステップ218において行われる第2の補間処理についても同様である。
【0078】
このように、本実施形態の画像処理装置では、画像に含まれるエッジの向きを検出してその方向に合わせて補間処理を行うことにより、補間位置に対してエッジの向きに存在する画素の影響を直接反映させた補間処理を行うことができ、画像の倍率を変更する際に生じる画質の劣化を防止することができる。特に、x軸に沿った画素位置をそのまま用いることにより、エッジ方向に沿って配置された各画素の影響をより正確に補間処理に反映させることが可能となる。
【0079】
〔第2の実施形態〕
上述した第1の実施形態では、エッジ方向に沿った補間処理を行って拡大/縮小した画像を作成して表示し(ステップ202~211)、この表示された画像においてジャギーの発生が目視で確認された領域Wについて修整処理を行うようにしたが、修整箇所を確認するために表示される画像を、エッジ方向に沿った補間処理ではなく、従来から行われている各種の補間処理によって作成するようにしてもよい。
【0080】
図23は、第2の実施形態の動作手順を示す流れ図である。この流れ図は、図2に示した流れ図に対して、ステップ203の濃度勾配算出とステップ204のエッジ方向推定の各動作が省略されている。すなわち、図24に示すように、補間対象画素決定部28は、補間位置を包囲する上下左右2画素ずつ、合計16個の画素を補間対象画素として抽出する(ステップ206)。また、第1方向補間部30は、y軸に沿って配置された4画素の画素値を用いることにより、補間画素pと同じy軸に沿った位置に対応する仮想的な補間画素h1~h4の各画素値を補間処理によって算出する(ステップ207)。次に、図25に示すように、第2方向補間部32は、x軸方向に沿って配置された仮想的な補間画素h1~h4の画素値を用いることにより、修整処理前の最終的な補間画素pの画素値を補間処理によって算出する(ステップ208)。このようにして拡大された画像が表示された後(ステップ211)、図3に示す一連の画像修整処理が実施される。
【0081】
なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形実施が可能である。例えば、上述した実施形態では、入力画像を拡大して表示等を行う場合について説明したが、動作原理自体は画像の拡大だけでなく縮小についても同様であるため、画像の縮小についても本発明を適用し、画質の劣化を防止することができる。
【0082】
また、上述した実施形態では、補間位置を包囲する4つの画素の画素値に基づいて画像の濃度勾配およびエッジ方向を算出したが、より多くの数の画素(例えば16画素)の画素値を用いて濃度勾配やエッジ方向を算出するようにしてもよい。
【0083】
また、上述した実施形態では、図17を用いて説明したように、補間対象画素決定部28は、修整方向(エッジの向き)に基づいて補間画素の画素値を算出するためにn×n個の画素を抽出しているが、この抽出処理を行うためには修整方向を何らかの関数で表す必要がある。最も、簡単には図17に示す矢印Rの形状を直線近似する場合が考えられる。このように、修整方向を示す形状を単純化することにより、補間処理の簡略化が可能となる。あるいは、矢印Rの形状を円弧形状または自由曲線形状で近似する場合が考えられる。この場合には、マウス等のポインティングデバイスの移動軌跡を正確に特定することが可能になり、修整箇所に含まれる画像のエッジの向きを修整方向として指定し、エッジの方向に正確に沿った修整が可能となり、修整の精度を向上させることができる。
【図面の簡単な説明】
【0084】
【図1】第1の実施形態の画像処理装置の構成を示す図である。
【図2】本実実施形態の画像処理装置による補間処理の動作手順を示す流れ図である。
【図3】本実実施形態の画像処理装置による補間処理の動作手順を示す流れ図である。
【図4】濃度勾配算出およびエッジ方向推定の概要を示す図である。
【図5】補間位置決定の概要を示す図である。
【図6】補間対象画素抽出の概要を示す図である。
【図7】第1方向に沿った補間処理に先立って行われる画素位置調整の概要を示す図である。
【図8】画素位置調整を行う際の補間画素pの算出方法の概要を示す図である。
【図9】画素位置調整を行う際の補間画素pの算出方法の概要を示す図である。
【図10】画素位置調整後に行われる第1方向に沿った補間処理の概要を示す図である。
【図11】補間画素の画素値算出に用いられる標本化関数を示す図である。
【図12】第1方向に沿った補間処理の後に行われる第2方向に沿った補間処理の概要を示す図である。
【図13】本実施形態の画像処理装置による補間処理によって得られた画像を示す図である。
【図14】バイキュービック法を用いた補間処理によって得られた画像を示す例である。
【図15】修整箇所指示の概要を示す図である。
【図16】修整箇所指示の概要を示す図である。
【図17】画像修整の対象となる補間対象画素抽出の概要を示す図である。
【図18】変形例の第1方向に沿った補間処理の概要を示す図である。
【図19】変形例の第1方向に沿った補間処理の後に行われる第2方向に沿った補間処理の概要を示す図である。
【図20】エッジ方向に応じて補間軸を可変設定する変形例の画像処理装置による補間処理の動作手順を示す流れ図である。
【図21】非直線のρ軸を設定した場合の補間対象画素抽出の概要を示す図である。
【図22】変形例の補間処理の概要を示す図である。
【図23】第2の実施形態の動作手順を示す流れ図である。
【図24】従来手法による補間処理の説明図である。
【図25】従来手法による補間処理の説明図である。
【符号の説明】
【0085】
10 画像入力部
12 画像データ格納部
20 補間処理部
22 補間領域決定部
24 エッジ方向算出部
26 補間位置決定部
28 補間対象画素決定部
30 第1方向補間部
32 第2方向補間部
34 修整処理部
40 倍率指定部
42 修整指示部
50 出力処理部
52 表示装置
54 プリンタ
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14
【図16】
15
【図17】
16
【図18】
17
【図19】
18
【図20】
19
【図21】
20
【図22】
21
【図23】
22
【図24】
23
【図25】
24