TOP > 国内特許検索 > 画像処理装置、画像形成装置、画像処理方法、画像処理装置制御プログラム及び、コンピュータ読み取り可能な記録媒体 > 明細書

明細書 :画像処理装置、画像形成装置、画像処理方法、画像処理装置制御プログラム及び、コンピュータ読み取り可能な記録媒体

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4599561号 (P4599561)
公開番号 特開2007-049365 (P2007-049365A)
登録日 平成22年10月8日(2010.10.8)
発行日 平成22年12月15日(2010.12.15)
公開日 平成19年2月22日(2007.2.22)
発明の名称または考案の名称 画像処理装置、画像形成装置、画像処理方法、画像処理装置制御プログラム及び、コンピュータ読み取り可能な記録媒体
国際特許分類 H04N   5/262       (2006.01)
G06T   1/00        (2006.01)
G06T   3/00        (2006.01)
FI H04N 5/262
G06T 1/00 500A
G06T 3/00 300
請求項の数または発明の数 7
全頁数 14
出願番号 特願2005-230952 (P2005-230952)
出願日 平成17年8月9日(2005.8.9)
新規性喪失の例外の表示 特許法第30条第1項適用 平成17年2月9日 京都大学主催の「京都大学工学部情報学科数理工学コース特別研究発表会」において文書をもって発表
審査請求日 平成19年9月14日(2007.9.14)
特許権者または実用新案権者 【識別番号】504132272
【氏名又は名称】国立大学法人京都大学
発明者または考案者 【氏名】宗像 豊哲
【氏名】佐藤 彰洋
【氏名】徐 普永
個別代理人の代理人 【識別番号】110000338、【氏名又は名称】特許業務法人原謙三国際特許事務所
審査官 【審査官】鈴木 明
参考文献・文献 特開2001-358990(JP,A)
特開2004-208146(JP,A)
特開平08-102889(JP,A)
調査した分野 H04N 5/262-5/278
G06T 1/00
G06T 3/00
特許請求の範囲 【請求項1】
複数の画素からなる画像のそれぞれの画素に対して、入力信号を量子化して出力信号に変換する画像処理装置において、
注目画素の今回の出力信号よりひとつ前に出力された当該注目画素の出力信号である前信号を記憶部から読み出す前信号読み出し手段と、
上記入力信号を上記前信号に応じて変更した値について、ランダムに変化する閾値により量子化した結果を示す出力信号を生成する出力信号生成手段と、
上記生成された出力信号を、上記注目画素の前信号として上記記憶部に記憶させる前信号更新手段と、
を備えることを特徴とする画像処理装置。
【請求項2】
ノイズにより上記閾値をランダムに変化させるノイズ発生手段を備えることを特徴とする請求項1に記載の画像処理装置。
【請求項3】
上記出力信号生成手段は、上記入力信号と所定の係数を乗算した上記前信号とを加算した値を、ランダムに変化するディザパターンの値を閾値として量子化することにより、出力信号を生成することを特徴とする請求項1または2に記載の画像処理装置。
【請求項4】
請求項1~3の何れか1項に記載の画像処理装置を備え、各画素をそれぞれ上記生成された出力信号にて出力することを特徴とする画像形成装置。
【請求項5】
複数の画素からなる画像のそれぞれの画素に対して、入力信号を量子化して出力信号に変換する画像処理方法において、
注目画素の今回の出力信号よりひとつ前に出力された当該注目画素の出力信号である前信号を記憶部から読み出す前信号読み出しステップと、
上記入力信号を上記前信号に応じて変更した値について、ランダムに変化する閾値により量子化した結果を示す出力信号を生成する出力信号生成ステップと、
上記生成された出力信号を、上記注目画素の前信号として上記記憶部に記憶させる前信号更新ステップと、
を含むことを特徴とする画像処理方法。
【請求項6】
請求項1~3の何れか1項に記載の画像処理装置を動作させるための制御プログラムであって、コンピュータを上記画像処理装置における上記各手段として機能させるための画像処理装置制御プログラム。
【請求項7】
請求項6に記載の画像処理装置制御プログラムが記録されたコンピュータ読み取り可能な記録媒体。
発明の詳細な説明 【技術分野】
【0001】
本発明は、動画像に対して加工処理を行う画像処理に関するものである。
【背景技術】
【0002】
近年、ビデオ、DVD、AV機器といったデジタル家電が普及してきており、手軽に画像を加工するニーズが高まっている。画像の加工には、例えば、動画像中の被写体の奇跡を鮮明にするために、残像効果を生じさせるものがある。ここで、残像効果とは、物体が通過した後に物体の軌跡の像が残って表示される現象を生じさせる効果のことである。動画像に残像効果を発生させるために、ビデオのフィードバックの原理を利用した方法が、従来広く使われている。ビデオのフィードバックとは、ビデオカメラの出力信号を映し出している表示装置を撮影した場合に起こる現象で、映像が何重にも繰り返して表示される現象のことである。ビデオカメラの撮影条件やコントラストや表示装置の表示条件等を調節することで、スパイラルパターン、スポットパターンなどの様々なパターンを作り出すことが可能である。このようなビデオのフィードバックの原理を利用した残像効果の発生は、フィードバックされるフレームがどの程度ブレンドされるかを調整することによって、実現されている(例えば、非特許文献1、2参照)。

【非特許文献1】Physical Review E、Vol. 61, No.4, (2000) 3743
【非特許文献2】Nature, Vol. 414, DEC (2001) 864
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、上記従来の、ビデオのフィードバックを利用しての残像効果の発生では、残像効果を作り出すフレーム数をtとすると、過去t個のフレーム画像全ての情報を記憶しておかなければならない。これらt個のフレームの画素値を用いて現在の画素値を決定する。そのため、従来の残像効果を発生させるための画像処理装置には、大きな容量のメモリが必要であるという問題点がある。
【0004】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、小さなメモリの容量にて、残像効果のように前の出力信号により後の出力信号に変調を与える効果を発生させることができる画像処理装置、画像形成装置、画像処理方法、画像処理装置制御プログラム及び、コンピュータ読み取り可能な記録媒体を実現することにある。
【課題を解決するための手段】
【0005】
本発明に係る画像処理装置は、上記課題を解決するために、複数の画素からなる画像のそれぞれの画素に対して、入力信号を量子化して出力信号に変換する画像処理装置において、注目画素の今回の出力信号よりひとつ前に出力された当該注目画素の出力信号である前信号を記憶部から読み出す前信号読み出し手段と、上記入力信号を上記前信号に応じて変更した値について、ランダムに変化する閾値により量子化した結果を示す出力信号を生成する出力信号生成手段と、上記生成された出力信号を、上記注目画素の前信号として上記記憶部に記憶させる前信号更新手段と、を備えることを特徴としている。
【0006】
また、本発明に係る画像処理方法は、上記課題を解決するために、複数の画素からなる画像のそれぞれの画素に対して、入力信号を量子化して出力信号に変換する画像処理方法において、注目画素の今回の出力信号よりひとつ前に出力された当該注目画素の出力信号である前信号を記憶部から読み出す前信号読み出しステップと、上記入力信号を上記前信号に応じて変更した値について、ランダムに変化する閾値により量子化した結果を示す出力信号を生成する出力信号生成ステップと、上記生成された出力信号を、上記注目画素の前信号として上記記憶部に記憶させる前信号更新ステップと、を含むことを特徴としている。
【0007】
上記構成および上記方法によると、注目画素の出力信号を生成する際、当該注目画素の入力信号を今回の出力信号よりひとつ前に出力された当該注目画素の出力信号である前信号に応じて変更した値に対して、ランダムに変化する閾値にて量子化を行う。つまり、上記構成および上記方法では、画像を構成する各画素の信号処理において、ランダムな閾値にて量子化を行う際に、今回の入力信号に前信号を付加する(フィードバックする)ことで、固有の緩和時間を有する処理を行うことができる。ここで、緩和時間とは、ステップ状の入力信号に対して、出力信号が対応する定常の信号(前信号を付加していないもの)に緩和するまでの時間を指す。この緩和時間と比べて変化速度の遅い入力信号と速い入力信号とでは異なる応答特性を示す。よってこの応答特性を用い、動画像の画素の変化速度に応じて画素の応答を分別する処理が可能となる。この分別処理を施すことにより、変化速度の遅い画素は処理されずに出力されるが、変化速度の速い画素は出力信号に変調を加えられて出力されることになる。
【0008】
よって、上記構成および上記方法によると、緩和時間を基準とした入力信号の変化速度に対応して、出力信号に変調を与えることができる。
【0009】
このように、前信号をフィードバックすることと、ランダムに変化する閾値での量子化を行うことにより、動画像に残像効果を与えることができる。つまり、画像中の物体が通過した後に物体の軌跡の像が残って表示される効果を与えることができる信号を生成することができる。よって、前信号のみを記憶しておくだけで、残像効果を発生することができる。
【0010】
ここで、処理する信号は、例えば、画素値の情報を示す信号であってもよい。ここで、画素値とは、ピクセル値であり、画素の色情報を表すものである。例えば、24ビットBitmap形式では、RGB(R:赤、G:緑、B:青)の順に夫々[0,255]の範囲で画素の色情報が格納されている。処理する信号が画素値の情報を示す信号である場合、前画素値のみを記憶しておくだけで、残像効果を発生することができる。ここで、グレースケールの画像を扱う場合には、上記画素値として輝度の情報を表す信号について処理を行ってもよい。
【0011】
また、明度の情報を表す信号について処理したり、彩度の情報を表す信号について処理したりすると、明度や彩度の変化に遅れが生じて見えるようになる。どちらも、にじみを感じさせる動画となる。これは、以下に説明する、変化の速度に応じて出力信号に変調を加えられる特性を応用した、画像から高周波除去を行うことができる性質の結果生じている現象と考えられる。
【0012】
また、上記構成および上記方法によると、残像効果を発現させる以外にも、入力信号の変化速度に応じて出力信号に変調を加えられる特性を応用し、画像から高周波除去を行うことができる。ここで、除去できる波長は固有の緩和時間に依存して決まる。おおよそ緩和時間の逆数の周波数より高調波が周波数のべき乗で減少する。よってこの性質を用いることによりノイズの高周波成分を除去し、ノイズの低減に役立つことが期待できる。このような、入力信号の変化速度に応じて出力信号に変調を加えられる現象を、動的ヒステリシスあるいはダイナミックヒステリシスと呼ぶ。これは、動的相転移現象のひとつの特徴である。
【0013】
以上のように、上記構成および上記方法によると、従来のように残像効果を作り出す全フレーム分を記憶しておく必要がなく、前の出力信号である前信号を記憶しておくだけで、残像効果のように前信号により後の出力信号に変調を与えることができる。よって、少なくとも前信号を記憶しておくことができる小さい容量のメモリにて、残像効果のように前の出力信号により後の出力信号に変調を与える効果を発生させることができる。よって、コストを下げて、前の出力信号により後の出力信号に変調を与える画像処理を行う画像処理装置を形成することができる。また、従来の画像処理装置を上記構成にするとことで、従来残像効果を作り出す過去のフレーム画像全ての情報を記憶するために使用していたメモリを他の用途に使用することができる。
【0014】
また、本発明に係る画像処理装置は、上記構成に加え、ノイズにより上記閾値をランダムに変化させるノイズ発生手段を備えていてもよい。
【0015】
上記構成によると、ノイズ発生手段が発生するノイズにより、閾値がランダムに変化し、発明に係る画像処理装置は、この閾値を用いて量子化を行う。このように、自装置における閾値を変化させる構成を用いて量子化を行うことで、他の装置を用いることなく、入力信号に対する処理を行うことができる。なお、ノイズの発生は、従来公知の方法を好適に用いることができる。
【0016】
なお、本発明に係る画像処理装置では、上記出力信号生成手段は、上記入力信号と所定の係数を乗算した上記前信号とを加算した値を、ランダムに変化するディザパターンの値を閾値として量子化することにより、出力信号を生成してもよい。
【0017】
ここでは、入力信号と所定の係数を乗算した上記前信号とを加算した値を、ランダムに変化するディザパターンの値を閾値として量子化することによって、「上記入力信号を上記前信号に応じて変更した値について、ランダムに変化する閾値により量子化した結果を示す出力信号」を生成するが、これに限定されることはない。上記出力信号を生成できれば、例えば、入力信号と所定の係数を乗算した前信号とランダムなノイズ信号との加算結果を、予め定められた閾値で量子化してもよい。あるいは、上記出力信号を生成できれば、入力信号に、所定の係数を乗算した前信号をランダムに変化する閾値で量子化した値を、加算してもよい。
【0018】
いずれの場合であっても、「上記入力信号を上記前信号に応じて変更した値について、ランダムに変化する閾値により量子化した結果を示す出力信号」を生成することができればよい。
【0019】
なお、上記「ディザパターンの値」とは、ディザ法により発生させた値のことである。
【0020】
また、本発明に係る画像形成装置は、上記何れかに記載の画像処理装置を備え、各画素をそれぞれ上記算出された出力信号にて出力することを特徴としている。
【0021】
上記構成によれば、画像を出力する際に、画像を構成する各画素の信号処理において、ランダムな閾値にて量子化を行うとき、前信号のフィードバックを付加した固有の緩和時間を定義できるフィルター処理を行うことができる。そのために、緩和時間を基準とした入力信号の変化速度に対応して、出力信号に変調を与えることができる。
【0022】
注目画素の今回の出力信号よりひとつ前に出力された当該注目画素の出力信号である前信号をフィードバックすることと、ランダムに変化する閾値での量子化を行うこととにより、残像効果を与えた動画像を出力することができる。つまり、画像中の物体が通過した後に物体の軌跡の像が残って表示される出力画像を形成することができる。
【0023】
よって、上記構成によると、小さい容量のメモリにて、残像効果を発させた動画像を形成することができる。よって、コストを下げて残像効果を発生させた画像を出力する画像形成装置を形成することができる。また、従来の画像形成装置を上記構成にするとことで、従来残像効果を作り出す過去のフレーム画像全ての情報を記憶するために使用していたメモリを他の用途に使用することができる。
【0024】
また、上記画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置における上記各手段として動作させることにより、上記画像処理装置をコンピュータにて実現させる画像処理装置制御プログラム、及びその画像処理装置制御プログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【0025】
これらの構成によれば、画像処理装置制御プログラムを、コンピュータに読み取り実行させることによって、上記画像処理装置と同一の作用効果を実現することができる。
【発明の効果】
【0026】
本発明に係る画像処理装置は、以上のように、注目画素の今回の出力信号よりひとつ前に出力された当該注目画素の出力信号である前信号を記憶部から読み出す前信号読み出し手段と、上記入力信号を上記前信号に応じて変更した値について、ランダムに変化する閾値により量子化した結果を示す出力信号を生成する出力信号生成手段と、上記生成された出力信号を、上記注目画素の前信号として上記記憶部に記憶させる前信号更新手段と、を備えている。
【0027】
上記構成によれば、注目画素の出力信号を算出する際、当該注目画素の入力信号を今回の出力信号よりひとつ前に出力された当該注目画素の出力信号である前信号に応じて変更した値に対して、ランダムに変化する閾値にて量子化を行う。つまり、上記構成では、画像を構成する各画素の信号処理において、ランダムな閾値にて量子化を行う際に、今回の入力信号に前信号を付加する(フィードバックする)ことで、固有の緩和時間を有する処理を行うことができる。ここで、緩和時間とは、ステップ状の入力信号に対して、出力信号が対応する定常の信号(前信号を付加していないもの)に緩和するまでの時間を指す。この緩和時間と比べて変化速度の遅い入力信号と速い入力信号とでは異なる応答特性を示す。よってこの応答特性を用い、動画像の画素の変化速度に応じて画素の応答を分別する処理が可能となる。この分別処理を施すことにより、変化速度の遅い画素は処理されずに出力されるが、変化速度の速い画素は出力信号に変調を加えられて出力されることになる。よって、上記構成によると、緩和時間を基準とした入力信号の変化速度に対応して、出力信号に変調を与えることができる。
【0028】
このように、前信号をフィードバックすることと、ランダムに変化する閾値での量子化を行うことにより、動画像に残像効果を与えることができる。つまり、画像中の物体が通過した後に物体の軌跡の像が残って表示される効果を与えることができる信号を生成することができる。よって、前信号のみを記憶しておくだけで、残像効果を発生することができる。
【0029】
また、上記構成によると、残像効果を発現させる以外にも、入力信号の変化速度に応じて出力信号に変調を加えられる特性を応用し、画像から高周波除去を行うことができる。
【0030】
以上にように、上記構成によると、従来のように残像効果を作り出す全フレーム分を記憶しておく必要がなく、前の出力信号である前信号を記憶しておくだけで、残像効果のように前信号により後の出力信号に変調を与えることができる。よって、少なくとも前信号を記憶しておくことができる小さい容量のメモリにて、残像効果のように前の出力信号により後の出力信号に変調を与える効果を発生させることができる。よって、コストを下げて、前の出力信号により後の出力信号に変調を与える画像処理を行う画像処理装置を形成することができる。また、従来の画像処理装置を上記構成にするとことで、従来残像効果を作り出す過去のフレーム画像全ての情報を記憶するために使用していたメモリを他の用途に使用することができる。
【発明を実施するための最良の形態】
【0031】
本発明の一実施形態について図1~図3に基づいて説明すると以下の通りである。図1は、本実施形態の画像処理装置1を備えた画像形成装置2の主要部の構成を示すブロック図である。
【0032】
図1に示すように、画像処理装置1は、制御部3、記憶部4、ノイズ発生部5とを、備えている。
【0033】
制御部3は、出力画素値生成部(出力信号生成手段)31、前画素値読み出し部(前信号読み出し手段)32、前画素値更新部(前信号更新手段)として機能する。また、制御部3は、画像処理装置1内における各種構成の動作を統括的に制御するものである。なお、この統括的な制御は、画像処理装置1の外の画像形成装置2に備えられた制御装置(図示せず)により行われてもかまわない。
【0034】
出力画素値生成部31は、注目画素(処理対象画素)の、映像信号源6から入力された画素値の情報を示す信号である入力画素値と、前画素値読み出し部32が記憶部4から読み出した前画素値とを基に、入力画素値を前画素値に応じて変更した値について、ランダムに変化する閾値により量子化した結果を示す出力画素値を生成(算出、演算)する。
【0035】
本実施形態では、処理対象の信号を画素値として説明するが、これに限定はされない。ここで、画素値とは、ピクセル値であり、画素の色情報を表すものである。例えば、24ビットBitmap形式では、RGB(R:赤、G:緑、B:青)の順に夫々[0,255]の範囲で画素の色情報が格納されている。また、前画素値とは、注目画素の今回の出力画素値よりひとつ前に出力された当該注目画素の出力画素値である。
【0036】
また、本実施形態では、出力画素値生成部31は、以下で説明するように、入力画素値と前画素値とランダムなノイズ信号との加算結果を、予め定められた閾値で2値化することによって、「入力画素値を前画素値に応じて変更した値について、ランダムに変化する閾値により量子化した結果を示す出力画素値」を生成するものとする。しかし、これには、限定されず、例えば、入力画素値と前画素値との加算を行う加算器と、ノイズ信号によりランダムに変化する閾値で加算器の出力結果を量子化する量子化器とを備えてもよい。また、上記出力画素値を生成できれば、入力画素値を前画素値に応じて変更した値を直接生成せず、例えばランダムなノイズ信号と前画素値との加算結果を閾値として、入力画素値を量子化してもよい。いずれの場合であっても、「入力画素値を前画素値に応じて変更した値について、ランダムに変化する閾値により量子化した結果を示す出力画素値」生成すれば、同様の効果を得られる。
【0037】
前画素値読み出し部32は、出力画素値生成部31が注目画素の今回の出力画素値を算出する際に、記憶部4から、当該注目画素の今回の出力画素値よりひとつ前に出力された当該注目画素の出力画素値を読み出す。
【0038】
前画素値更新部32は、出力画素値生成部31が注目画素の今回の出力画素値を算出した後、この出力画素値を、記憶部4に記憶されている当該注目画素の前画素値と入れ替えて、算出された今回の出力画素値を前画素値として記憶させる。
【0039】
なお、本実施形態では、出力画素値生成部31は、各画素についてそれぞれ、1シート毎に出力画素値を生成(算出、演算)するものとするが、出力画素値生成部が画素毎に設けられ、それぞれの出力画素値生成部が対応するそれぞれの画素について出力画素値を生成してもかまわない。
【0040】
記憶部4は、ハードディスクなどの不揮発性の記憶装置によって構成されるものである。この記憶部4には、画素毎にそれぞれ対応付けられて前画素値が記憶されている。なお、画素毎に記憶メモリを有していてもよい。
【0041】
ノイズ発生部5は、ランダムなノイズを発生させて、出力画素値生成部31に与え、入力画素値と前画素値とに加算させる。なお、ノイズの発生方法は公知の方法を用いればよい。例えば、線形合同法、乗算合同法とBox-Muller法の組み合わせ、Ziggurat法、電子回路内のノイズを増幅する方法、原子核の崩壊現象が確率的であることを利用した方法、ノイズパターンをROMに記憶させておき、そのパターンを用いる方法がある。なお、これらは、単なる例示であり、これら以外の方法であってもかまわない。
【0042】
映像信号源6は、画像(映像)を入力信号として入力画素値を画像処理装置1に入力する。映像信号源6は、画像を示す信号を入力できるものであれば、どのようなものであってもかまわなく、例えば、ビデオやチューナー等が挙げられる。
【0043】
表示装置7は、表示パネル等からなり、画像処理装置1から出力される出力画素値を示す信号を含む出力信号に基づき画像を表示させる。
【0044】
以下に、入力画素値から出力画素値を算出するためのモデルを定式化し、その近似理論について述べる。そして、出力画素値が、前画素値の重みと、ノイズによりランダムに変換する閾値にて2値化する、つまりランダム関数に通す、際のランダム関数のノイズ強度との2つのパラメータに依存して非線形特性(履歴現象、遅れ)を生じることを示す。ここで、履歴現象とは、ある量xの変化に伴って、他の量yが変化する場合、xの変化の経路によって同じxの値に対するyの値が異なる現象のことである。x-y平面上にxとyとの関係をプロットすると、yがxに対する多価関数として描かれる。磁性体の磁気現象として履歴現象(ヒステリシス、hysteresis)はよく知られている。
【0045】
なお、本実施形態では、ノイズ発生部5が発生させるノイズ信号によりノイズを発生させて2値化を行っているが、限定はされず、他の方法で2値化を行う際の閾値を変化させてもよい。
【0046】
次に、図2を用いて、画像処理装置1の行う処理(演算処理)、つまり、入力画素値を出力画素値に変換する処理について説明する。なお、画像の時刻tのフレームの位置(i,j)における入力画素値をsij(t)、出力画素値をYij(t)とする。
【0047】
ここでは一般化のため、入力画素値sij(t)、出力画素値Yij(t)は、画素の取りうる最大値で規格化され、0≦sij(t)≦1、0≦Yij(t)≦1であるとする。初めに、出力画素値生成部31は、離散時間t=0,1,2…に対して、映像信号源6から入力画素値sij(t)が印加されると、この入力画素値に、前出力画素値読み出し部32が記憶部4から読み出した前出力画素値yij(k)(t-1)を定数(F)倍したものと、ランダムに変化するノイズ信号の値ξij(t)と、バイアスIとを加算する。つまり、sij(t)+ξij(t)+I+Fyij(k)(t-1)を計算する。そして、この加算した値について予め定められた閾値θにて閾値判定を行い、閾値上であれば1を、閾値下であれば0を与える(2値化する)。そして、kについて1からNまで総和を取り、平均値を算出しその値を出力画素値Yij(t)とする。ここで、Nは出力画素値の取りえる値である。
【0048】
これを式に表すと、次の式(1)のようになる。
【0049】
【数1】
JP0004599561B2_000002t.gif

【0050】
ここで、Θ( )は、Heviside 関数であり、次の式(2)を満たすものである。
【0051】
【数2】
JP0004599561B2_000003t.gif

【0052】
また、Iはバイアスである。本実施形態では、説明の簡略化のためI=0とする。Nは初期パラメータとして与えられる。Nの値は出力画像の画素値のとり得る最大値と一致させるのがよい。例えば、24ビットのBitmap形式では、RBG夫々に対して、N=255とする。また、θは閾値、ξ(t)は独立分布のガウスノイズN(0,σ2)である。ここで、ガウスノイズとは、次の式(3)の確率密度関数G(ξ)からサンプルされる値である。
【0053】
【数3】
JP0004599561B2_000004t.gif

【0054】
なお、画像中の物体が通過した後に物体の軌跡の像が残って表示される効果、いわゆる残像効果を発生させるためには、上記Fとσとは、0.8≦F≦1.3、0.3≦σ≦0.6の範囲であることが好ましい。
【0055】
以上の演算処理を、全ての画素について1フレーム毎に行う。図2において、入力値(input signal)s(t)が分割されているのは、同じ値を各画素で用いることを示しており、出力値Y(t)として結合しているのは、各画素値の演算結果の総和を算出して出力画像の信号としていることを示しているからである。
【0056】
本実施形態の画像処理装置1は、「ディザ法で使用されるランダム関数において、前回の2値化された画素値である前画素値を記憶する記憶部と、その前画素値を正帰還する回路を付加し、それらの値の集団平均値を算出している」と言うことができる。このことによって、本実施形態の画像処理装置1は、動画像の持つ空間的に局在化する画素の時間構造を分離する動画像フィルタとして動作している。
【0057】
ここで、ディザ法(dither technique)について説明する。ディザ法は、2値表示素子において、濃淡画像を表示させる仕組のひとつで、2値化した過程でしきい値をランダムに変化させ、濃淡の画像の局所的な平均濃度に対応した黒点(あるいは輝点)を発生させる方法である。このランダム関数をディザといい、発生方法には一様なランダム雑音を用いる方法や、濃淡度値に応じた黒点の2値パターンを組織的に発生させる方法などがある。ディザ法は2値表示デバイス(ディスプレイ装置やプリンタなど)の濃淡画像を表示するために利用されるが、これ以外にも粗い量子化によって生じる濃淡の疑似輪郭の軽減にも利用されている。カラー画像についても同様の手法で、限られた数の色を用いて自然なカラー表示を行うことができる。ここで、上記粗い量子化と擬似輪郭について説明しておく。連続的な色の変化を離散化し有限の色によって画像を表示する操作を量子化と言うが、この色の数が少ないことを粗い量子化と呼ぶ。また、擬似輪郭とは、有限階調の色(パターン)で表示する表示装置において、階調が急激に変化する場所において、あたかも輪郭があるかのように見える現象のことを指す。
【0058】
次に、出力画素値Yij(t)と入力画素値sij(t)との関係である入出力関係について説明する。式(1)の緩和時間(ステップ状の入力画素値に対して、出力画素値が対応する定常値に緩和するまでの時間)τrelaxと、信号の変化の速さ(入力画素値の入力の変化の速さ)τsignalとの大小関係によって、出力画素値Yij(t)と入力画素値sij(t)との関係は大きく異なる。
・τrelax≦ατsignal:一対一対応の入出力関係
・τrelax≧ατsignal:hysteresis特性の入出力関係
ここでαは正の定数である。式(1)の緩和時間が入力画素値の入力の変化時間より速い場合には入力の変化に追従して出力画素値の出力が表われるため、入出力関係は一対一対応となる。反対の場合は、入力画素値の入力の変化に出力画素値の出力が追従することができなくなるため、入出力関係はhysteresis特性を示す。
【0059】
この性質を確認するために、以下の式(4),(5)の2つの入力信号を考える。
【0060】
【数4】
JP0004599561B2_000005t.gif

【0061】
【数5】
JP0004599561B2_000006t.gif

【0062】
ここで、Lは入力画素値s(t)の速度を決める定数であり、周波数の逆数に比例する値である。式(4),(5)は、それぞれ入力画素値の最小値から最大値、最大値から最小値までを一定の刻み幅で動く入力信号となる。入力画素値の変化の速さを表わす尺度を、以下の式(6)のように定義する。
【0063】
【数6】
JP0004599561B2_000007t.gif

【0064】
図3に、出力画素値の平均値<y>(図3では縦軸)と、入力画素値s(図3では横軸)との、L依存性を示す。図3(a)~(c)において、F=2、σ=0.5である。また、図3(a)ではL=10、図3(b)ではL=10、図3(c)ではL=10である。Lが大きくなるにつれて(信号が遅くなるにつれて)入出力関係が一対一対応に近づいていくのがわかる。
【0065】
本実施形態では、上記のように、入力画素値s(t)が系の緩和時間に比べて、早く変化する場合と遅く変化する場合とで入出力特性が異なるという特徴を用いて、入力画素値の変化速度に応じて出力画素値に変調を加える動画像フィルタとして動作する画像処理装置1について説明した。これはIsing modelにおいて調べられてきた動的相転移に類するものと考えられる。本実施形態の画像処理装置1は、入力画像の時間的空間的相関構造に依存して、様々な変化をすることが期待できる。なお、時間的空間的相関構造とは、tフレームでの位置(x,y)における画素値がフレーム(時刻)tと位置(x,y)の関数Y(x,y,t)で表示できる構造のことである
なお、2つの正方形が壁面を弾性的に反射する動画を、本実施形態の画像処理装置1にて処理したところ、Fとσを変化させることで、正方形が残像を残して移動したり、正方形の形状が記憶されるなどの効果を動画像に与え得ることを確認した。この場合、グレースケールの画像を扱い、画素値として輝度情報について信号処理を行った。例えば、F=0.9、σ=0.4の時には、前回の1フレームを記憶しておくことで、5フレーム分の残像効果が得られることを確認した。
【0066】
以上のように、本実施形態の画像処理装置1では、注目画素の出力信号(本実施形態では、出力画素値)を生成(算出)する際、当該注目画素の入力信号を今回の出力信号よりひとつ前に出力された当該注目画素の出力信号である前信号(本実施形態では、前画素値)に応じて変更した値に対して、ランダムに変化する閾値にて量子化を行う。つまり、画像を構成する各画素の信号処理において、ランダムな閾値にて量子化を行う際に、今回の入力信号に前信号を付加する(フィードバックする)ことで、固有の緩和時間を有する処理を行うことができる。ここで、緩和時間とは、ステップ状の入力信号に対して、出力信号が対応する定常の信号(前信号を付加していないもの)に緩和するまでの時間を指す。この緩和時間と比べて変化速度の遅い入力信号と速い入力信号とでは異なる応答特性を示す。よってこの応答特性を用い、動画像の画素の変化速度に応じて画素の応答を分別する処理が可能となる。この分別処理を施すことにより、変化速度の遅い画素は処理されずに出力されるが、変化速度の速い画素は出力信号に変調を加えられて出力されることになる。よって、画像処理装置1は、緩和時間を基準とした入力信号の変化速度に対応して、出力信号に変調を与えることができる。
【0067】
そのため、画像処理装置1は、前信号をフィードバックすることと、ランダムに変化する閾値での量子化を行うことにより、動画像に残像効果を与えることができる。つまり、画像中の物体が通過した後に物体の軌跡の像が残って表示される効果を与えることができる信号を生成することができる。よって、前信号のみを記憶しておくだけで、残像効果を発生することができる。
【0068】
また、画像処理装置1は、残像効果を発現させる以外にも、入力信号の変化速度に応じて出力信号に変調を加えられる特性を応用し、画像から高周波除去を行うことができる。この、入力信号の変化速度に応じて出力信号に変調を加えられる現象を、動的ヒステリシスあるいはダイナミックヒステリシスと呼ぶ。これは、動的相転移現象のひとつの特徴である。
【0069】
よって、画像処理装置1は、従来のように残像効果を作り出す全フレーム分を記憶しておく必要がなく、前の出力信号である前信号を記憶しておくだけで、残像効果のように前信号により後の出力信号に変調を与えることができる。よって、少なくとも前信号を記憶しておくことができる小さい容量の記憶部(メモリ)にて、残像効果のように前の出力信号により後の出力信号に変調を与える効果を発生させることができる。よって、コストを下げて、前の出力信号により後の出力信号に変調を与える画像処理を行う画像処理装置を形成することができる。また、従来の画像処理装置を上記構成にするとことで、従来残像効果を作り出す過去のフレーム画像全ての情報を記憶するために使用していたメモリを他の用途に使用することができる。
【0070】
なお、画像処理装置1は、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
【0071】
すなわち、画像処理装置1は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像処理装置1の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記画像処理装置1に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【0072】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD-ROM/MO/MD/DVD/CD-R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
【0073】
また、画像処理装置1を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【0074】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【0075】
本発明は、動画像に対して加工を行う画像処理の分野に利用することができる。例えば、ビデオ、DVD、AV機器等のデジタル家電に搭載したり、デジタル動画像加工ソフトのプラグインとしても適用することができる。
【図面の簡単な説明】
【0076】
【図1】本発明の実施形態を示すものであり、本発明に係る画像処理装置を有する画像形成装置の要部構成を示すブロック図である。
【図2】入力信号から出力信号を得る演算処理の概念を示す図である。を示すブロック図である。
【図3】(a)~(c)は、出力画素値の平均値<y>の、入力画素値sに対する依存性の関係を示す図である。
【符号の説明】
【0077】
1 画像処理装置
2 画像形成装置
3 制御部
4 記憶部
5 ノイズ発生部(ノイズ発生手段)
31 出力画素値生成部(出力信号生成手段)
32 前画素値読み出し部(前信号読み出し手段)
33 記憶更新部(記憶更新手段)
図面
【図1】
0
【図2】
1
【図3】
2