Top > Search of Japanese Patents > SUPERRESOLUTION IMAGE PROCESSING DEVICE AND CODEBOOK CREATION DEVICE FOR SUPERRESOLUTION IMAGE PROCESSING

SUPERRESOLUTION IMAGE PROCESSING DEVICE AND CODEBOOK CREATION DEVICE FOR SUPERRESOLUTION IMAGE PROCESSING

Patent code P130008951
File No. 11-060
Posted date Apr 3, 2013
Application number P2011-277225
Publication number P2013-127718A
Patent number P5892592
Date of filing Dec 19, 2011
Date of publication of application Jun 27, 2013
Date of registration Mar 4, 2016
Inventor
  • (In Japanese)延原 肇
  • (In Japanese)橋上 英宜
Applicant
  • (In Japanese)国立大学法人筑波大学
Title SUPERRESOLUTION IMAGE PROCESSING DEVICE AND CODEBOOK CREATION DEVICE FOR SUPERRESOLUTION IMAGE PROCESSING
Abstract PROBLEM TO BE SOLVED: To provide a practical superresolution image processing device providing high reproducibility by a relatively small hardware resource, and a codebook creation device for superresolution image processing that creates a codebook used by the superresolution image processing device.
SOLUTION: For executing highly versatile superresolution image processing in a short time, a superresolution image processing device 101 according to the present embodiment first, creates an original codebook 202 from an image as a processing object, and creates a codebook 106 formed by selecting only records suited for the superresolution processing, from the original codebook 202. A norm is used for effectively reducing the number of records for use in the codebook 106. The adoption of the techniques can materialize the superresolution image processing device 101 achieving a high recall ratio of high-frequency components by a relatively small calculation amount.
Outline of related art and contending technology (In Japanese)

超解像技術とは、低解像度の原画像から高解像度の画像を生成することで、違和感の少ない拡大画像を得るための技術である。この超解像技術は、テレビやパソコン等といった画像閲覧装置の高解像度化に伴い、注目され、一部の民生機器等で採用されている。
例えば、携帯電話に付属する比較的低解像度のカメラで撮影した画像を高解像度のディスプレイで閲覧する場合や、アナログテレビ時代に作成された低解像度の動画コンテンツを高解像度のテレビで閲覧する場合、或は低解像度の動画ストリーミングデータを高解像度のディスプレイで閲覧する場合等に、この超解像技術が用いられる。
更には、監視カメラ等の撮影画像データを高解像度化することで、社会基盤の安全性向上に寄与できる可能性もある。

前述のように、超解像技術は違和感のない拡大画像を得るための技術であるが、これは転じて「失われた高周波成分を類推する」技術である。
例えば、ある画像データのピクセルサイズを縦横1/2倍ずつ、1/4倍に縮小する場合、隣り合う二つのピクセルの平均値を算出して、一つのピクセルに変換する。この平均値演算は、積分の一種といえる。そして、ピクセルの羅列を信号として捉えた場合、平均値演算を行ってピクセルを間引くことは、信号の高周波成分を除去することと等価である。
逆に、ある画像データのピクセルサイズを縦横2倍ずつ、4倍に拡大する場合、一番簡単な方法としては、隣り合う二つのピクセルの中間値を算出して、間のピクセルを得る方法であるが、この算出方法では失われた高周波成分が再現されない。このため、中間値演算による拡大画像はあたかもピンぼけのような、境界線が曖昧な画像になる。
つまり、超解像技術は、ピクセルのパターンを解析して、適切と思われるピクセルを算出し、元画像の隣接するピクセル同士の間に埋めることで、「失われた高周波成分を類推する」技術である。

これまで、多くの研究者が超解像画像処理の技術を開発している。発明者が本発明の先行技術文献として参考にした非特許文献を非特許文献1乃至5に挙げる。これらの技術は、予め「高周波成分の辞書ファイル」とも呼べるコードブックを作成しておき、入力画像データから微視的な局所領域を抜き出して、局所領域のデータでコードブックを検索する、という手法において共通する。

Field of industrial application (In Japanese)

本発明は、超解像画像処理装置及び超解像画像処理用コードブック作成装置に適用して好適な技術に関する。
より詳細には、低解像度の原画像から高解像度の画像を出力する、超解像画像処理装置と、この超解像画像処理装置が利用するコードブックを作成する超解像画像処理用コードブック作成装置に関する。

Scope of claims (In Japanese)
【請求項1】
 
入力画像データを拡大する拡大処理部と、
前記拡大処理部で拡大された前記入力画像データから所定の矩形範囲で抜き出して入力局所領域低周波成分を出力する局所領域抽出部と、
前記入力局所領域低周波成分のノルムを演算して入力局所領域ノルムを出力するノルム演算部と、
前記入力局所領域低周波成分を前記入力局所領域ノルムで除算して入力局所領域正規化低周波成分を出力する除算器と、
画像データを所定の矩形範囲で抜き出した局所領域の低周波成分を正規化した正規化低周波成分が格納される正規化低周波成分フィールドと、前記局所領域の高周波成分を正規化した正規化高周波成分が格納される正規化高周波成分フィールドとを有すると共に、前記正規化低周波成分に基づく主成分値でレコードがグルーピングされているコードブックと、
前記入力局所領域正規化低周波成分に基づいて前記コードブックをツリー検索して所定のレコード群を特定するツリー探索部と、
前記入力局所領域正規化低周波成分と前記所定のレコード群の前記正規化低周波成分との類似度を演算して最も類似するレコードを特定するベクトル類似度演算部と、
前記ベクトル類似度演算部によって特定された前記レコードの前記正規化高周波成分と、前記入力局所領域ノルムとを乗算して局所領域高周波成分を出力する乗算器と、
前記局所領域高周波成分と前記入力局所領域低周波成分とを加算する加算器と
前記入力局所領域正規化低周波成分と前記コードブックの第一主成分基底ベクトルとの内積を演算して第一主成分値を出力する第一内積演算器と、
前記入力局所領域正規化低周波成分と前記コードブックの第二主成分基底ベクトルとの内積を演算して第二主成分値を出力する第二内積演算器と
を具備し、
前記コードブックは、前記正規化低周波成分フィールドと、前記正規化高周波成分フィールドと、前記正規化低周波成分の第一主成分値が格納される第一主成分値フィールドと、前記第一主成分値の近似するレコードについてグルーピングした第一主成分グループ番号が格納される第一主成分グループ番号フィールドと、前記正規化低周波成分の第二主成分値が格納される第二主成分値フィールドと、前記第一主成分グループ番号が等しいレコードのうち前記第二主成分値の近似するレコードについてグルーピングした第二主成分グループ番号が格納される第二主成分グループ番号フィールドとを有し、
前記ツリー探索部は、前記第一主成分値と前記第二主成分値で前記コードブックをツリー検索して所定のレコード群を特定する、
超解像画像処理装置。

【請求項2】
 
前記拡大処理部はBicubic拡大処理を実行する、請求項1記載の超解像画像処理装置。

【請求項3】
 
サンプル画像データを所定の矩形範囲で抜き出した局所領域毎に、正規化した低周波成分と正規化した高周波成分とを作成し、前記正規化した低周波成分が格納される正規化低周波成分フィールドと前記正規化した高周波成分が格納される正規化高周波成分フィールドよりなる原コードブックを作成するコードブックレコード作成部と、
評価用画像データを所定の矩形範囲で抜き出した局所領域毎に前記原コードブックに最も類似するレコードを特定して超解像画像処理を施した後、類似度を算出して前記原コードブックのレコードを選定してコードブックを作成するレコード選定処理部と
前記コードブックに、前記コードブックの前記正規化低周波成分を主成分分析した第一主成分値が格納される第一主成分値フィールドと、前記第一主成分値の近似するレコードについてグルーピングした第一主成分グループ番号が格納される第一主成分グループ番号フィールドと、前記正規化低周波成分の第二主成分値が格納される第二主成分値フィールドと、前記第一主成分グループ番号が等しいレコードのうち前記第二主成分値の近似するレコードについてグルーピングした第二主成分グループ番号が格納される第二主成分グループ番号フィールドを設けると共に、第一主成分基底ベクトルと、第二主成分基底ベクトルとを演算して出力する主成分分析処理部と
を具備する超解像画像処理用コードブック作成装置。

【請求項4】
 
前記コードブックレコード作成部はBicubic拡大処理を実行する、請求項3記載の超解像画像処理用コードブック作成装置。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2011277225thum.jpg
State of application right Registered
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close