TOP > 国内特許検索 > 超解像画像処理装置及び超解像画像処理用コードブック作成装置

超解像画像処理装置及び超解像画像処理用コードブック作成装置 コモンズ

国内特許コード P130008951
整理番号 11-060
掲載日 2013年4月3日
出願番号 特願2011-277225
公開番号 特開2013-127718
登録番号 特許第5892592号
出願日 平成23年12月19日(2011.12.19)
公開日 平成25年6月27日(2013.6.27)
登録日 平成28年3月4日(2016.3.4)
発明者
  • 延原 肇
  • 橋上 英宜
出願人
  • 国立大学法人 筑波大学
発明の名称 超解像画像処理装置及び超解像画像処理用コードブック作成装置 コモンズ
発明の概要 【課題】比較的少ないハードウェアリソースで高い再現性を実現する、実用的な超解像画像処理装置と、この超解像画像処理装置が利用するコードブックを作成する超解像画像処理用コードブック作成装置を提供する。
【解決手段】汎用性の高い超解像画像処理を短時間に実行するため、本実施形態の超解像画像処理装置101は、先ず、処理対象とする画像から原コードブック202を作成し、原コードブック202から超解像処理に適したレコードのみを選定したコードブック106を作成した。また、コードブック106に用いるレコード数を効果的に低減させるために、ノルムを用いた。これらの技術の採用により、比較的少ない計算量で高い高周波成分の再現率を達成する超解像画像処理装置101を実現できる。
【選択図】図1
従来技術、競合技術の概要


超解像技術とは、低解像度の原画像から高解像度の画像を生成することで、違和感の少ない拡大画像を得るための技術である。この超解像技術は、テレビやパソコン等といった画像閲覧装置の高解像度化に伴い、注目され、一部の民生機器等で採用されている。
例えば、携帯電話に付属する比較的低解像度のカメラで撮影した画像を高解像度のディスプレイで閲覧する場合や、アナログテレビ時代に作成された低解像度の動画コンテンツを高解像度のテレビで閲覧する場合、或は低解像度の動画ストリーミングデータを高解像度のディスプレイで閲覧する場合等に、この超解像技術が用いられる。
更には、監視カメラ等の撮影画像データを高解像度化することで、社会基盤の安全性向上に寄与できる可能性もある。



前述のように、超解像技術は違和感のない拡大画像を得るための技術であるが、これは転じて「失われた高周波成分を類推する」技術である。
例えば、ある画像データのピクセルサイズを縦横1/2倍ずつ、1/4倍に縮小する場合、隣り合う二つのピクセルの平均値を算出して、一つのピクセルに変換する。この平均値演算は、積分の一種といえる。そして、ピクセルの羅列を信号として捉えた場合、平均値演算を行ってピクセルを間引くことは、信号の高周波成分を除去することと等価である。
逆に、ある画像データのピクセルサイズを縦横2倍ずつ、4倍に拡大する場合、一番簡単な方法としては、隣り合う二つのピクセルの中間値を算出して、間のピクセルを得る方法であるが、この算出方法では失われた高周波成分が再現されない。このため、中間値演算による拡大画像はあたかもピンぼけのような、境界線が曖昧な画像になる。
つまり、超解像技術は、ピクセルのパターンを解析して、適切と思われるピクセルを算出し、元画像の隣接するピクセル同士の間に埋めることで、「失われた高周波成分を類推する」技術である。



これまで、多くの研究者が超解像画像処理の技術を開発している。発明者が本発明の先行技術文献として参考にした非特許文献を非特許文献1乃至5に挙げる。これらの技術は、予め「高周波成分の辞書ファイル」とも呼べるコードブックを作成しておき、入力画像データから微視的な局所領域を抜き出して、局所領域のデータでコードブックを検索する、という手法において共通する。

産業上の利用分野


本発明は、超解像画像処理装置及び超解像画像処理用コードブック作成装置に適用して好適な技術に関する。
より詳細には、低解像度の原画像から高解像度の画像を出力する、超解像画像処理装置と、この超解像画像処理装置が利用するコードブックを作成する超解像画像処理用コードブック作成装置に関する。

特許請求の範囲 【請求項1】
入力画像データを拡大する拡大処理部と、
前記拡大処理部で拡大された前記入力画像データから所定の矩形範囲で抜き出して入力局所領域低周波成分を出力する局所領域抽出部と、
前記入力局所領域低周波成分のノルムを演算して入力局所領域ノルムを出力するノルム演算部と、
前記入力局所領域低周波成分を前記入力局所領域ノルムで除算して入力局所領域正規化低周波成分を出力する除算器と、
画像データを所定の矩形範囲で抜き出した局所領域の低周波成分を正規化した正規化低周波成分が格納される正規化低周波成分フィールドと、前記局所領域の高周波成分を正規化した正規化高周波成分が格納される正規化高周波成分フィールドとを有すると共に、前記正規化低周波成分に基づく主成分値でレコードがグルーピングされているコードブックと、
前記入力局所領域正規化低周波成分に基づいて前記コードブックをツリー検索して所定のレコード群を特定するツリー探索部と、
前記入力局所領域正規化低周波成分と前記所定のレコード群の前記正規化低周波成分との類似度を演算して最も類似するレコードを特定するベクトル類似度演算部と、
前記ベクトル類似度演算部によって特定された前記レコードの前記正規化高周波成分と、前記入力局所領域ノルムとを乗算して局所領域高周波成分を出力する乗算器と、
前記局所領域高周波成分と前記入力局所領域低周波成分とを加算する加算器と
前記入力局所領域正規化低周波成分と前記コードブックの第一主成分基底ベクトルとの内積を演算して第一主成分値を出力する第一内積演算器と、
前記入力局所領域正規化低周波成分と前記コードブックの第二主成分基底ベクトルとの内積を演算して第二主成分値を出力する第二内積演算器と
を具備し、
前記コードブックは、前記正規化低周波成分フィールドと、前記正規化高周波成分フィールドと、前記正規化低周波成分の第一主成分値が格納される第一主成分値フィールドと、前記第一主成分値の近似するレコードについてグルーピングした第一主成分グループ番号が格納される第一主成分グループ番号フィールドと、前記正規化低周波成分の第二主成分値が格納される第二主成分値フィールドと、前記第一主成分グループ番号が等しいレコードのうち前記第二主成分値の近似するレコードについてグルーピングした第二主成分グループ番号が格納される第二主成分グループ番号フィールドとを有し、
前記ツリー探索部は、前記第一主成分値と前記第二主成分値で前記コードブックをツリー検索して所定のレコード群を特定する、
超解像画像処理装置。

【請求項2】
前記拡大処理部はBicubic拡大処理を実行する、請求項記載の超解像画像処理装置。

【請求項3】
サンプル画像データを所定の矩形範囲で抜き出した局所領域毎に、正規化した低周波成分と正規化した高周波成分とを作成し、前記正規化した低周波成分が格納される正規化低周波成分フィールドと前記正規化した高周波成分が格納される正規化高周波成分フィールドよりなる原コードブックを作成するコードブックレコード作成部と、
評価用画像データを所定の矩形範囲で抜き出した局所領域毎に前記原コードブックに最も類似するレコードを特定して超解像画像処理を施した後、類似度を算出して前記原コードブックのレコードを選定してコードブックを作成するレコード選定処理部と
前記コードブックに、前記コードブックの前記正規化低周波成分を主成分分析した第一主成分値が格納される第一主成分値フィールドと、前記第一主成分値の近似するレコードについてグルーピングした第一主成分グループ番号が格納される第一主成分グループ番号フィールドと、前記正規化低周波成分の第二主成分値が格納される第二主成分値フィールドと、前記第一主成分グループ番号が等しいレコードのうち前記第二主成分値の近似するレコードについてグルーピングした第二主成分グループ番号が格納される第二主成分グループ番号フィールドを設けると共に、第一主成分基底ベクトルと、第二主成分基底ベクトルとを演算して出力する主成分分析処理部と
を具備する超解像画像処理用コードブック作成装置。

【請求項4】
前記コードブックレコード作成部はBicubic拡大処理を実行する、請求項記載の超解像画像処理用コードブック作成装置。
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

JP2011277225thum.jpg
出願権利状態 登録
この特許について質問等ある場合は、電子メールによりご連絡ください。


PAGE TOP

close
close
close
close
close
close
close