Top > Search of Japanese Patents > IMAGE SIGNAL PROCESSING METHOD > Specification

Specification :(In Japanese)画像信号処理方法

Country (In Japanese)日本国特許庁(JP)
Gazette (In Japanese)特許公報(B2)
Patent Number P3955910
Publication number P2007-116731A
Date of registration May 18, 2007
Date of issue Aug 8, 2007
Date of publication of application May 10, 2007
Title of the invention, or title of the device (In Japanese)画像信号処理方法
IPC (International Patent Classification) H04N   1/41        (2006.01)
FI (File Index) H04N 1/41 B
Number of claims or invention 2
Total pages 15
Application Number P2006-327570
Division of application (In Japanese)P2004-263242の分割、
【原出願日】Sep 10, 2004
Date of filing Dec 4, 2006
Date of request for substantive examination Dec 4, 2006
Patentee, or owner of utility model right (In Japanese)【識別番号】504174135
【氏名又は名称】国立大学法人九州工業大学
Inventor, or creator of device (In Japanese)【氏名】近藤 浩
Accelerated examination, or accelerated appeal examination (In Japanese)早期審査対象出願
Representative (In Japanese)【識別番号】100101340、【弁理士】、【氏名又は名称】丸山 英一
Examiner (In Japanese)【審査官】堀井 啓明
Document or reference (In Japanese)特開平03-293881(JP,A)
特開平05-324815(JP,A)
特開昭62-019973(JP,A)
特開平08-307869(JP,A)
特開平02-044861(JP,A)
特開昭64-048567(JP,A)
特開昭63-193680(JP,A)
特開平05-316367(JP,A)
特開平08-336044(JP,A)
特開平11-008770(JP,A)
特開平01-205670(JP,A)
Field of search H04N1/41-1/419
H04N7/12-7/137
Scope of claims (In Japanese)【請求項1】
2以上の自然数であるNに対してN×N画素の引き続くブロックからなる入力された原画像信号を各ブロックの同一画素を取り出して第1の画像、第2の画像・・・第nの画像(n=N2からなる複数の画像に分解し、複数の分解画像を取得する第1の工程と、
前記第1の工程で取得した複数の分解画像のうち、第1の画像からエッジ位置を検出し、そのエッジ位置情報を取得する第2の工程と、
前記第1の工程で取得した複数の分解画像のうち、第1の画像以外の複数の分解画像から前記第2の工程取得したエッジ位置情報と同一位置の画素値である前記N×N画素のブロックから抽出した画素値をそれぞれ得て、エッジ位置に対応する画素値を取得する第3の工程とを有することを特徴とする画像信号処理方法。
【請求項2】
2以上の自然数であるNに対してN×N画素の引き続くブロックからなる入力された原画像信号を各ブロックの同一画素を取り出して第1の画像、第2の画像・・・第nの画像(n=N2からなる複数の画像に分解し、複数の分解画像を取得する第1の工程と、
前記第1の工程で取得した複数の分解画像のうち、第1の画像からエッジ位置を検出し、そのエッジ位置情報を取得する第2の工程と、
前記第1の工程で取得した複数の分解画像のうち、第1の画像以外の複数の分解画像から前記第2の工程で取得したエッジ位置情報と同一位置の画素値である前記N×N画素のブロックから抽出した画素値をそれぞれ得て、エッジ位置に対応する画素値を取得する第3の工程と、
前記第1の工程で取得した複数の分解画像のうち、第1の画像から前記第1の画像以外の複数の分解画像のエッジ位置情報に対応する画素の推定画素値をそれぞれ推定算出し、エッジ位置に対応する推定画素値を取得する第4の工程と、
前記第4の工程で取得したエッジ位置に対応する推定画素値と、前記第3の工程で取得したエッジ位置に対応する画素値との差分を算出し、エッジ位置に対応する差分値を取得する第5の工程とを有することを特徴とする画像信号処理方法。
Detailed description of the invention (In Japanese)【技術分野】
【0001】
本発明は、画像信号処理方法に関し、詳しくは画像障害を起こすことなく画像圧縮率を上げる画像信号処理方法に関する。
【背景技術】
【0002】
従来、デジタル画像の普及は、目を見張るものがあり、携帯電話、インターネット等で1日に送信される画像は膨大な情報量となる。この送受信をストレスなく行うため種々の画像圧縮符号化法が開発された。
【0003】
これらをまとめて世界標準としたのが、静止画ではJPEG(特許文献1)、動画ではMPEGである。これらは安定性、効率の観点から選ばれたもので複数の手法を組み合わせたものである。このうち最も多用されている手法がDCT・サブブロック符号化法である。
【0004】
これは殆どのデジタルカメラに内蔵されており、圧縮効率も高く安定性に優れた手法である。
【0005】
しかしこれは圧縮率を上げると不自然なノイズブロックが現れる。このデジタル特有の劣化は視覚的に大きな画質障害となる。

【特許文献1】米国特許第4698672号
【発明の開示】
【発明が解決しようとする課題】
【0006】
本発明者は、現在の圧縮率よりもさらに1/4の圧縮率を、画質障害を起こすことなく実現できる方法の開発を試み、同じ情報量で4倍の情報が送信できることになり、インターネットや携帯電話における膨大な情報量の送信ニーズに応えることが出来る画像信号処方法を完成し、本発明に至った。この発明はこの業界の市場にインパクトを与える非常に画期的なものである。
【0007】
本発明の課題は、圧縮画像を作成する際、画質障害を起こすことなく、圧縮率を大幅に上げる画像信号処理方法を提供することにある。
【0008】
本発明の他の課題は以下の記載によって明らかとなる。
【課題を解決するための手段】
【0009】
上記課題は、以下の発明によって解決される。
【0010】
(請求項1)
2以上の自然数であるNに対してN×N画素の引き続くブロックからなる入力された原画像信号を各ブロックの同一画素を取り出して第1の画像、第2の画像・・・第nの画像(n=N2からなる複数の画像に分解し、複数の分解画像を取得する第1の工程と、
前記第1の工程で取得した複数の分解画像のうち、第1の画像からエッジ位置を検出し、そのエッジ位置情報を取得する第2の工程と、
前記第1の工程で取得した複数の分解画像のうち、第1の画像以外の複数の分解画像から前記第2の工程取得したエッジ位置情報と同一位置の画素値である前記N×N画素のブロックから抽出した画素値をそれぞれ得て、エッジ位置に対応する画素値を取得する第3の工程とを有することを特徴とする画像信号処理方法。
【0011】
(請求項2)
2以上の自然数であるNに対してN×N画素の引き続くブロックからなる入力された原画像信号を各ブロックの同一画素を取り出して第1の画像、第2の画像・・・第nの画像(n=N2からなる複数の画像に分解し、複数の分解画像を取得する第1の工程と、
前記第1の工程で取得した複数の分解画像のうち、第1の画像からエッジ位置を検出し、そのエッジ位置情報を取得する第2の工程と、
前記第1の工程で取得した複数の分解画像のうち、第1の画像以外の複数の分解画像から前記第2の工程で取得したエッジ位置情報と同一位置の画素値である前記N×N画素のブロックから抽出した画素値をそれぞれ得て、エッジ位置に対応する画素値を取得する第3の工程と、
前記第1の工程で取得した複数の分解画像のうち、第1の画像から前記第1の画像以外の複数の分解画像のエッジ位置情報に対応する画素の推定画素値をそれぞれ推定算出し、エッジ位置に対応する推定画素値を取得する第4の工程と、
前記第4の工程で取得したエッジ位置に対応する推定画素値と、前記第3の工程で取得したエッジ位置に対応する画素値との差分を算出し、エッジ位置に対応する差分値を取得する第5の工程とを有することを特徴とする画像信号処理方法。

【発明の効果】
【0012】
本発明によれば、圧縮画像を作成する際、画質障害を起こすことなく、圧縮率を大幅に上げる画像信号処理方法を提供できる。
【発明を実施するための最良の形態】
【0013】
以下、本発明の好ましい実施の形態について説明する。
【0014】
図1は、本発明の画像信号処理方法を実施する画像信号処理装置の一例を示す機能ブロック図であり、同図において、1は入力部、2は画像処理部、3は符号化処理部、4は伝送部、5は復号化処理部、6は出力部である。
【0015】
入力部1は、カメラなどの撮影手段を用いることができる。カメラにより人物の顔や顔写真のような被写体を、撮像レンズを介して撮影し、CCD(撮像素子)の撮像面上に結像し、CCDにより結像された光学像を画素単位で光量に応じた信号電荷に光電変換され、光電変換された信号はA/D変換器によりデジタル信号に変換される。
【0016】
画像処理部2は、入力画像処理部と出力画像処理部に分けられ、入力画像処理部は、分解処理部200、エッジ位置情報取得部201、画素値取得部202、画素値推定算出部203、差分値算出部204を少なくとも備えている。
【0017】
分解処理部200は、N×N画素の引き続くブロックからなる原画像信号を各ブロックの同一位置の画素を取り出して第1の画像、第2の画像・・・第nの画像からなる複数の画像に分解する。
【0018】
本実施例では2×2画素の引き続くブロックからなる原画像信号を4分解する例について説明する。従って、原画像は第1の画像、第2の画像、第3の画像、第4の画像に分解される。
【0019】
エッジ位置情報取得部201は、前記分解処理部200で分解された画像のうち、第1の画像からエッジ位置を検出し、そのエッジ位置情報を取得する。取得したエッジ位置情報は、図示しないメモリーに一時的に保存する。
【0020】
本発明では、画像の平坦部とエッジ部のうち、エッジ部位置のみを検出する点に特徴がある。エッジ部は画像の輪郭を表し、人間の目が敏感に反応する個所だからである。
【0021】
画素値取得部202は、前記分解処理部200で分解された画像のうち、前記第1の画像以外の画像、具体的には第2の画像、第3の画像、第4の画像から前記エッジ位置情報取得部201により取得したエッジ位置情報に対応した画素値をそれぞれの画像から取得する。取得した画素値は、図示しないメモリーに一時的に保存する。
【0022】
画素値推定算出部203は、前記エッジ位置情報取得部201により取得したエッジ位置情報に対応する第1の画像以外の画像、具体的には第2の画像、第3の画像、第4の画像の画素値を第1の画像から推定算出する。推定算出の手法については、後述の処理フローで詳述する。推定算出された画素値は、図示しないメモリーに一時的に保存する。
【0023】
差分値算出部204は、前記画素値推定算出部203で推定算出した画素値と、前記画素値取得部202により取得した画素値との差分値を算出する。
【0024】
本発明では、図3に示すように、エッジ位置情報取得部201で取得したエッジ位置情報と、差分値算出部204で算出された差分値を関連付けてテーブルに保存することも好ましいことである。
【0025】
前記符号化処理部3は、該差分値算出部204で算出された差分値と、前記分解処理部200で分解された第1の画像とを取得して圧縮処理して処理データを生成する。圧縮処理の手法は後述する。
【0026】
前記復号化処理部5は、前記符号化処理部3から伝送部4を介して伝送された前記処理データを符号化処理部3と同じルールに基づいて伸長する。ここで同じルールというのは、符号化手法と逆手法(可逆変換)を意味している。
【0027】
前記画像処理部2における出力画像処理部は、推定画像作成部205と加算処理部206と復元画像生成部207とを少なくとも備えている。
【0028】
推定画像作成部205は、前記復号化処理部5で伸長されたデータのうち、第1の画像から該第1の画像以外の画像、具体的には第2の画像、第3の画像、第4の画像に相当する画像を推定・作成する。
【0029】
加算処理部206は、前記推定画像作成部205で作成された画像に、前記伸長されたデータのうちの差分値を前記作成された画像のエッジに加算する。
【0030】
復元画像生成部207は、該加算処理部206で加算された画像と前記伸長された第1の画像を合成して、復元画像を作成する。
【0031】
伝送部4としては、例えば伝送路や蓄積装置などを用いることができ、伝送路としては通信回線などが挙げられ、蓄積装置としてはハードディスクなどの補助記憶装置などが挙げられる。
【0032】
出力部6は復元画像の出力部であり、例えばディスプレイを用いることができる。
【0033】
次に、図2のフローチャートに基づいて本発明の画像信号処理方法の一例を説明する。
【0034】
まず、図1に示す分解処理部200で、画像分解工程を行う(S1)。ここでは図4に示す原画像を4分解して図5(a)~図5(d)の分解画像を得た場合の例で説明する。
【0035】
原画像をf(i,j)とし、4分解した画像をF1(m,n)、F2(m,n)、F3(m,n)、F4(m,n)とした時の、画像を下記数式で示す。
【0036】
(数1)
F1(m,n)=f(2m,2n)・・・・・・・(1)
F2(m,n)=f(2m,2n+1)・・・・・(2)
F3(m,n)=f(2m+1,2n)・・・・・(3)
F4(m,n)=f(2m+1,2n+1)・・・(4)
(m=0,1,2,… i/2、n=0,1,2,… j/2)
【0037】
すなわち、原画像f(i,j)をすべて2×2画素の引き続くブロックと考えて、各ブロックから0行0列目の画素だけ取り出して作った画像がF1(m,n)、0行1列目の画素のみから作られた画像がF2(m,n)、1行0列目の画素から作られる画像がF3(m,n)、残りの画素(1行1列目)から作られる画像がF4(m,n)である。
【0038】
図5(a)~図5(d)に示す分解画像F1~F4は、図4に示す原画像に対して1/2×1/2画素の画像となる。
【0039】
つまりF1~F4は、原画像に対して1/4のサイズの画像となる。一見すべてが同じように見える画像であるが、これらはすべて1画素分だけシフトした画像であり、微妙な差が存在する。
【0040】
一般に、原画像f(i,j)のサイズが大きければ大きいほど、分解画像F1~F4の差は小さくなる。例えば、原画像が512×512画素の画像だとした場合、分解画像F1~F4はそれぞれ256×256画素の画像になる。
【0041】
次に、図1に示すエッジ位置情報取得部201で、エッジ情報取得工程を行う(S2)。この工程は、4分解した画像の一つ、例えばF1(m,n)画像からエッジ部(画像輪郭部)を検出して取得する工程である。
【0042】
エッジ部を検出する手法としては、ラプラシアンフィルタやゾーベル、プレビッツフィルタ等があるが、ここではラプラシアンフィルタを用いて、エッジ部を検出する。
【0043】
図6には、図5(a)をラプラシアンフィルタにより検出したエッジ部が示されている。なお、図6は、ラプラシアンフィルタリング後の数値を閾値処理し、二値化した画像の例である。
【0044】
このエッジ部は、図5(a)~(d)のどのエッジ部も非常によく似ており、同じ手法で得られたエッジ部はほぼ同一場所となる。
【0045】
即ち、このことは分解画像F2~F4のエッジ部や平坦部の位置情報は分解画像F1から得られるということになる。
【0046】
ここで、ラプラシアンフィルタとは、画像エッジ検出や先鋭化に用いられるフィルタリング処理方法で、その計算は2次微分を用いた方法で計算される。中心画素に対して近傍画素を以下のように係数をふってそれぞれ乗算して和を出す手法である。図7には4方向に対して行った場合、図8には8方向に対して行った場合の例が示されている。
【0047】
次に、図1に示す画素値取得部202で、エッジ部の画素値取得工程を行う(S3)。この工程は、前記S2の処理により取得したエッジ部の位置情報を、前記S1の処理により分解された画像F2、F3、F4に対応するエッジ部の位置の画素値を取得する。
【0048】
本発明の画像信号処理方法の第1の特徴は、以上のS1~S3までの工程を少なくとも備えていることである。
【0049】
以上のS1~S3までの工程を備えていれば、従来のJPEG基本方式を採用しても、画質障害を起こすことなく、圧縮率を大幅に上げることが可能となり、また画像の復元以外にも利用可能である。
【0050】
次に本発明の画像信号処理方法の第2の特徴について説明する。第2の特徴は上記S1~S3の処理に続いて、以下の処理を行うことである。
【0051】
即ち、上記S1~S3の処理に続いて、図1に示す画素値推定算出部203で、エッジ部の画素値推定工程を行う(S4)。この工程は、分解工程により分解されたF1以外の画像をF1から推定してエッジ部の画素値を推定算出する工程である。本発明の例では4分解した場合の処理方法であるため、1つの画像をF1(m,n)としたとき、推定画素は、F´2(m,n), F´3(m,n), F´4(m,n)とする。
【0052】
このとき、推定画像は以下のような数式により算出することができる。
【0053】
(数2)
2(m,n)=(F1(m,n)+F1(m,n+1))/2
=(f(2m,2n)+f(2m,2n+2))/2・・・(5)
3(m,n)=(F1(m,n)+F1(m+1,n))/2
=(f(2m,2n)+f(2m+2,2n))/2・・・(6)
4(m,n)=(F1(m,n)+F1(m,n+1)+F1(m+1,n)+F1(m+1,n+1))/4
=(f(2m,2n)+f(2m,2n+2)+f(2m+2,2n)+f(2m+2,2n+2))/4・・・(7)
【0054】
上記算出された式により、全てF1の画像により推定することができるということがわかる。ここでは、エッジ部位置の画素値を推定すれば足りる。
【0055】
なお、本発明では、S3とS4の処理はいずれを先に行ってもよい。
【0056】
次に、図1に示す差分値算出部204で、差分値算出工程を行う(S5)。この工程は、前記S3とS4の処理によりそれぞれ取得した画素値の差分値を算出する工程である。
【0057】
この工程では、エッジ部とエッジ部以外の部分(平坦部)を考えたとき、S3の処理において、推定値のみで画像を表現した場合には、エッジ部も平坦部も推定値から求められてしまい、画像の劣化が激しくなってしまうため、エッジ部に関してだけは、推定値ではなく真値を用いることにしている点が特徴である。即ち、本発明において、このS5の処理を行うことにより、本発明の課題である画像劣化をなくすことが可能となる。
【0058】
エッジ部は、以下の数式により算出することができる。
【0059】
(数3)
D2(m,n)=F2(m,n)-F´2(m,n)・・・(8)
D3(m,n)=F3(m,n)-F´3(m,n)・・・(9)
D4(m,n)=F4(m,n)-F´4(m,n)・・・(10)
【0060】
ここで、m,nとしては、エッジ位置情報取得工程により取得した位置情報が用いられる。
【0061】
算出されたD2、D3、D4は、図3に示すようなテーブルに、エッジ位置m、nと関連付けて保存することもできる。
【0062】
またこのD2~D4の値は、バラツキが小さな値であるため、圧縮しやすい形になる。
【0063】
以上のS5までの処理を行うのが、本発明の第2の特徴である。かかるS1~S5までの処理を行うことにより、画質障害を起こすことなく、圧縮率を大幅に上げる効果が更に向上する。またこのS1~S5までの処理を行って得られたデータを画像の復元以外にも利用できる
【0064】
次に、本発明の画像信号処理方法の第3の特徴について説明する。第3の特徴は上記S1~S5処理に続いて、以下の処理を行うことである。
【0065】
即ち、上記S1~S5処理に続いて、図1に示す符号化処理部3において、圧縮工程を行う(S6)。この工程は、S1の処理で分解された画像のうち、F1画像と、S5の処理で算出された差分値を伝送に適した状態にする工程である。
【0066】
F1画像は、復元画像の要となる画像であるため、劣化が少ない圧縮が必要である。
【0067】
例えば、F1画像をDCT変換した後、エントロピー符号化で符号化して送るようにする。この場合、ほぼ可逆変換となるため、復号した場合、画像の劣化がなくなる。このため、本発明のF1画像を伝送する際に好ましい圧縮手法となる。
【0068】
また、差分値の圧縮においては、差分値を1次元数列に構成することが好ましい。例えば、エッジ位置情報に対応する差分値D2を上から下に走査して1次元数列を構成する。この構成された数列を1次元DCTにより符号化しやすい形に変換する。変換されたものを符号化する。符号化する過程で、DCT係数の出現確率を計測し、エントロピーテーブルを基に対応する符号を割り当てる。これにより、圧縮された処理データが出来上がる。
【0069】
次に、圧縮された処理データを伝送部4(図1参照)で伝送する(S7)。また、このとき伝送路でなく蓄積装置を用いた場合は、例えばハードディスクに記憶しておくことが好ましい。
【0070】
次に、図1に示す復号化処理部5で、伸長工程を行う(S8)。この工程は、S6の処理で圧縮された処理データを圧縮された方法により、伸長する。伸長に際しては、前記処理データを符号化処理部3で圧縮するのと同じルールに基づいて伸長する。ここで同じルールというのは、符号化手法と逆手法(可逆変換)を採用することを意味している。
【0071】
次に、図1に示す推定画像作成部205で、画像推定工程を行う(S9)。この工程は、S8の処理で伸長されたデータのうち、F1画像を基に、式(5)、(6)、(7)の手法により画像を推定する処理を行う。
【0072】
これにより、分解された画像のうち、F1以外の画像を推定し、推定画像F´2, F´3, F´4が作成される。
【0073】
次に、図1に示す加算処理部206で、差分値加算工程を行う(S10)。この工程は、S9の処理により作成された推定画像F´2,3, F´4に、前記伸長されたデータのうち、差分値のデータを加算する。
【0074】
つまり、F´2にはD2を加算し、F´3にはD3を加算し、F´4にはD4を加算する。エッジ部については、原画像とほぼ同様な鮮明さを持つように処理する。
【0075】
次に、図1に示す復元画像生成部207で、画像復元を行う(S11)。この工程は、F1画像と、S10の処理により加算された3つの画像を合成し、復元画像を構成するものである。
【0076】
この復元画像の例を図9(a)に示す。図9(a)には、本発明を用いた復元画像、図9(b)には、同一ビットレートの場合のJPEG手法を用いた復元画像、図9(c)には、同一ノイズでの復元画像が示されている。図9(a)は、ビットレート1画素当り0.5ビット、ノイズ値(SN)=30dBという結果であった。これに対し、図9(b)は、ビットレート1画素当り0.5ビット、ノイズ値(SN)=26dBという結果であり、図9(c)は、ビットレート1画素当り1.7、ノイズ値(SN)=30dBという結果であった。
【0077】
つまり、同一ビットレート(圧縮率を同じにすること)の場合の復元画像では、本発明による復元画像とJPEGによる復元画像では、JPEG手法による復元画像のほうがノイズが目立つ。また、JPEG手法による復元画像のノイズを同一にしようとすると、ビットレートを上げなくてはならない(圧縮率を下げなければならない)。
【図面の簡単な説明】
【0078】
【図1】本発明の画像信号処理方法を実施する画像信号処理装置の一例を示す機能ブロック図
【図2】本発明の画像信号処理方法の一例を説明するフローチャート
【図3】エッジ位置とD2、D3、D4を対応させたテーブル例を示す図
【図4】原画像の例を示す図
【図5】(a)~(d)は原画像を4分解して得られた分解画像の例を示す図
【図6】ラプラシアンフィルタリング後の数値を閾値処理し、二値化した画像の例を示す図
【図7】ラプラシアンフィルタリングを4方向に対して行った場合を示す例を示す図
【図8】ラプラシアンフィルタリングを8方向に対して行った場合を示す例を示す図
【図9】(a)は本発明を用いた復元画像、(b)は同一ビットレートの場合のJPEG手法を用いた復元画像、(c)は同一ノイズの場合のJPEG手法を用いた復元画像の例を示す図
【符号の説明】
【0079】
1:入力部
2:画像処理部
200:分解処理部
201:エッジ位置情報取得部
202:画素値取得部
203:画素値推定算出部
204:差分値算出部
205:推定画像作成部
206:加算処理部
207:復元画像生成部
3:符号化処理部
4:伝送部
5:復号化処理部
6:出力部
Drawing
(In Japanese)【図1】
0
(In Japanese)【図2】
1
(In Japanese)【図3】
2
(In Japanese)【図4】
3
(In Japanese)【図5】
4
(In Japanese)【図6】
5
(In Japanese)【図7】
6
(In Japanese)【図8】
7
(In Japanese)【図9】
8