TOP > 中国の大学の特許 > 北京大学の特許一覧 > 非局所的超解像再構成の方法及び装置

非局所的超解像再構成の方法及び装置

国内特許コード P150011810
掲載日 2015年3月30日
出願番号 特願2014-546300
公表番号 特表2015-502120
出願日 平成24年12月13日(2012.12.13)
公表日 平成27年1月19日(2015.1.19)
国際出願番号 CN2012086570
国際公開番号 WO2013087003
国際出願日 平成24年12月13日(2012.12.13)
国際公開日 平成25年6月20日(2013.6.20)
優先権データ
  • 201110418317.3 (2011.12.14) CN
発明者
  • リウ、チアイン
  • チュォ、ユェ
  • レン、チエ
  • クオ、ツォンミン
出願人
  • 北京大学
  • 北大方正集▲団▼有限公司
  • 北京北大方正▲電▼子有限公司
発明の名称 非局所的超解像再構成の方法及び装置
発明の概要 【課題】従来技術の中に存在している、非局所的超解像再構成された画像の解像度が低い問題を解決すべく、本発明は、デジタル画像補強技術分野に属し、特に非局所的超解像度の再構成の方法及び装置に関する。
【解決手段】本発明の実施例の方法において、現在のマクロブロックの他の各フレームの画像における検索ウィンドウの位置を特定し、現在の画素ブロックに対応する画素点が属するマクロブロックの各フレームの画像における検索ウィンドウの位置に基づいて、現在の画素ブロックの各フレームの画像における検索ウィンドウを特定し、検索ウィンドウにおける各画素ブロックと現在の画素ブロックの類似度の値をそれぞれ特定し、各画素ブロックの類似度の値に基づいて、各画素ブロックの最適化された中心画素値をそれぞれ特定する。本発明の実施例を採用することにより、非局所的超解像再構成された画像の解像度を向上させることが可能である。
【選択図】図1
従来技術、競合技術の概要



マルチフレームの超解像再構成(Super-Resolution Image Reconstruction)の目標は、一連の低解像度画像を融合して1枚の高解像度画像に生成することである。副画素のオフセットが存在しているので、低解像度画像の間に、幾つかの相補的な情報が含まれている。これら画像間のオフセットを知っておけば、これらの低解像度の画像を融合してジャギーを除去して高解像度画像を生成することが可能となる。





従来のマルチフレーム融合算出法では、各々の低解像度画像間のオフセットを知る必要があった。従って、精確な動き推定は、従来のマルチフレームの融合では決定的な役割を果たしている。動き推定が誤ったら、ひどい歪みが生じてしまう。動き推定を回避するために、動き推定を必須としない超解像度方法が現れてきた。この算出法では、ブロックの間の類似度を計測し、重み付けにより中心画素値を算出する。しかし、当該算出法は平行移動の場合しか考慮していない。ところが、自然な動画では、常に複雑な動きが含まれており、更には、1フレーム内で、あるテクスチャーも回転するから、非局所的算出法により見つけることのできる相似ブロックの数が減ってしまう。非局所的超解像再構成又は非局所的雑音除去の算出法に基づいて、適応型パラメータ選択と変性しない類似度測度という2種類の改善案が提案されている。





適応型パラメータ選択は、ブロックの大きさ及び検索ウィンドウの大きさと非局所的方法の性能との間の関係を検討することによって、これらのパラメータを適応的に選択する。しかし、当該算出法の移動ウィンドウポリシーは画素に基づくものであり、かつ局所的最適化に拘りやすいので、再構成された画像の解像度を低下させてしまう。





上述のように、従来の、非局所的超解像再構成された画像の解像度が低かった。

産業上の利用分野



本発明は、デジタル画像補強の技術分野に関し、特に非局所的超解像再構成の方法及び装置に関する。

特許請求の範囲 【請求項1】
再構成すべき各フレームの画像に対して補間処理を行い、各フレームの画像を複数の同じ大きさのマクロブロックに分割し、
各フレームの画像におけるそれぞれのマクロブロックに対して、現在のマクロブロックの他の各フレームの画像における検索ウィンドウの位置を特定する操作を行い、
各フレームの画像上のそれぞれの画素点を円心とし、設定された距離を半径とし、それぞれの画素点に対応する画素ブロックを特定し、
各フレームの画像におけるそれぞれの画素ブロックに対して、現在の画素ブロックに対応する画素点が属するマクロブロックの各フレームの画像における検索ウィンドウの位置に基づいて、現在の画素ブロックの各フレームの画像における検索ウィンドウを特定し、検索ウィンドウにおけるそれぞれの画素ブロックと現在の画素ブロックの類似度の値をそれぞれ特定する操作を行い、
それぞれの画素ブロックの類似度の値に基づいて、それぞれの画素ブロックの最適化された中心画素値をそれぞれ特定することを特徴とする非局所的超解像再構成の方法。

【請求項2】
現在のマクロブロックの他の各フレームの画像における検索ウィンドウの位置の特定において、
現在のマクロブロックから他の各フレームの画像への動きベクトルをそれぞれ特定し、
1フレームの画像に対して、特定された現在のマクロブロックから当該1フレームの画像への動きベクトルを、現在のマクロブロックの当該1フレームの画像における検索ウィンドウの動きベクトルとすると共に、検索ウィンドウの位置を再位置決めすることを特徴とする請求項1に記載の方法。

【請求項3】
下記式、即ち、






(式中、現在のマクロブロックが第mフレームの画像に位置する;A1は現在のマクロブロックから第nフレームの画像への動きベクトルである;Aiは現在のマクロブロックの第i-1フレームの画像上に対応するマクロブロックから第iフレームの画像への動きベクトルである;A2は現在のマクロブロックから第xフレームの画像への動きベクトルである;Ajは現在のマクロブロックの第j+1フレームの画像上に対応するマクロブロックから第jフレームの画像への動きベクトルである)に基づいて、現在のマクロブロックから他の各フレームの画像への動きベクトルを特定することを特徴とする請求項2に記載の方法。

【請求項4】
下記のステップによりAiを特定し、即ち、
現在のマクロブロックの第i-1フレームの画像上に対応するマクロブロックの初期予測ベクトルを特定し、特定された初期予測ベクトルに基づいて適応型ルードパターンサーチによりAiを取得し、
下記のステップによりAjを特定し、即ち、
現在のマクロブロックの第j+1フレームの画像上に対応するマクロブロックの初期予測ベクトルを特定し、特定された初期予測ベクトルに基づいて適応型ルードパターンサーチによりAjを取得することを特徴とする請求項3に記載の方法。

【請求項5】
現在のマクロブロックの第i-1フレームの画像上に対応するマクロブロックの初期予測ベクトルの特定において、
第i-1フレームの画像は現在のマクロブロックが属する画像であり、かつ現在のマクロブロックが画像の最も左側に位置すれば、マクロブロックの初期予測ベクトルをゼロベクトルとし、
第i-1フレームの画像は現在のマクロブロックが属する画像であり、かつ現在のマクロブロックが画像の最も左側に位置しなければ、左側と隣り合うマクロブロックの動きベクトルをマクロブロックの初期予測ベクトルとし、
第i-1フレームの画像は現在のマクロブロックが属する画像でなければ、前フレームの画像上のマクロブロックの動きベクトルをマクロブロックの初期予測ベクトルとし、
現在のマクロブロックの第j+1フレームの画像上に対応するマクロブロックの初期予測ベクトルの特定において、
第j+1フレームの画像は現在のマクロブロックが属する画像であり、かつ現在のマクロブロックが画像の最も左側に位置すれば、マクロブロックの初期予測ベクトルをゼロベクトルとし、
第j+1フレームの画像は現在のマクロブロックが属する画像であり、かつ現在のマクロブロックが画像の最も左側に位置しなければ、左側と隣り合うマクロブロックの動きベクトルをマクロブロックの初期予測ベクトルとし、
第j+1フレームの画像は現在のマクロブロックが属する画像でなければ、後フレームの画像上のマクロブロックの動きベクトルをマクロブロックの初期予測ベクトルとすることを特徴とする請求項4に記載の方法。

【請求項6】
検索ウィンドウにおける各画素ブロックと現在の画素ブロックの類似度の値の特定において、
検索ウィンドウにおける各画素ブロックと現在の画素ブロックの局所的構造記述子及び局所的輝度記述子をそれぞれ特定し、
特定された局所的構造記述子及び局所的輝度記述子に基づいて正規化された類似度の総合数値を特定し、
特定された局所的構造記述子、局所的輝度記述子及び正規化された類似度の総合数値に基づいて、検索ウィンドウにおける各画素ブロックと現在の画素ブロックとの類似度の値をそれぞれ特定することを特徴とする請求項1に記載の方法。

【請求項7】
下記式、即ち、



に基づいて正規化された類似度の総合数値を特定し、


(式中、C(k,l)は正規化された類似度の総合数値であり、W(k,l,i,j)は画素点(k,l) に対応する画素ブロックと、画素点(i,j)に対応する画素ブロックの類似度の値であり、kは現在の画素ブロックに対応する画素点の横座標であり、lは現在の画素ブロックに対応する画素点の縦座標であり、 iは他の画素ブロックに対応する画素点の横座標であり、 jは他の画素ブロックに対応する画素点の縦座標であり、rは半径であり、P(i,j,r)は他の画素ブロックの局所的構造記述子であり、P(k,l,r)は現在の画素ブロックの局所的構造記述子であり、I(i,j,r)は他の画素ブロックの局所的な輝度記述子であり、I(k,l,r)は現在の画素ブロックの局所的輝度記述子であり、σは局所的構造記述子に対応する重み付け値であり、σは局所的輝度記述子に対応する重み付け値であり、N(k,l)は(k,l)の近傍である)に基づいて類似度の値を特定することを特徴とする請求項6に記載の方法。

【請求項8】
前記局所的構造記述子に対応する重み付け値は、下記式、


(式中、σ0は初期値であり、Lは区分関数の長さである)に基づいて特定されていることを特徴とする請求項7に記載の方法。

【請求項9】
現在の画素ブロックの最適化された中心画素値の特定において、
1つの画素ブロックに対して、それぞれの画素ブロックと現在の画素ブロックの類似度の値をそれぞれに重み付け値とし、それぞれの画素ブロックの最適化される前の中心画素値を重み付けして平均値を求め、現在の画素ブロックの最適化された中心画素値を得ることを特徴とする請求項1~8の何れか1項に記載の方法。

【請求項10】
再構成すべき各フレームの画像に対して補間処理を行い、各フレームの画像を複数の同じ大きさのマクロブロックに分割する第1の処理モジュールと、
各フレームの画像におけるそれぞれのマクロブロックに対して、現在のマクロブロックの他の各フレームの画像における検索ウィンドウの位置を特定する操作を行う位置特定モジュールと、
各フレームの画像上のそれぞれの画素点を円心とし、設定された距離を半径とし、それぞれの画素点に対応する画素ブロックを特定する第2の処理モジュールと、
各フレームの画像におけるそれぞれの画素ブロックに対して、現在の画素ブロックに対応する画素点が属するマクロブロックの各フレームの画像における検索ウィンドウの位置に基づいて、現在の画素ブロックの各フレームの画像における検索ウィンドウを特定し、検索ウィンドウにおけるそれぞれの画素ブロックと現在の画素ブロックの類似度の値をそれぞれ特定する操作を行う類似度特定モジュールと、
それぞれの画素ブロックの類似度の値に基づいて、それぞれの画素ブロックの最適化された中心画素値をそれぞれ特定する画素値特定モジュールと、
を備えることを特徴とする非局所的超解像再構成の装置。

【請求項11】
前記位置特定モジュールは、具体的に、
現在のマクロブロックから他の各フレームの画像への動きベクトルを特定し、
1フレームの画像に対して、特定された現在のマクロブロックから当該1フレームの画像への動きベクトルを、現在のマクロブロックの当該1フレームの画像における検索ウィンドウの動きベクトルとすると共に、検索ウィンドウの位置を再位置決めすることを特徴とする請求項10に記載の装置。

【請求項12】
前記位置特定モジュールは、下記式、即ち、






(式中、現在のマクロブロックが第mフレームの画像に位置する;A1は現在のマクロブロックから第nフレームの画像への動きベクトルである;Aiは現在のマクロブロックの第i-1フレームの画像上に対応するマクロブロックから第iフレームの画像への動きベクトルである;A2は現在のマクロブロックから第xフレームの画像への動きベクトルである;Ajは現在のマクロブロックの第j+1フレームの画像上に対応するマクロブロックから第jフレームの画像への動きベクトルである)に基づいて、現在のマクロブロックから他の各フレームの画像への動きベクトルを特定することを特徴とする請求項11に記載の装置。

【請求項13】
前記位置特定モジュールは、具体的に、
現在のマクロブロックの第i-1フレームの画像上に対応するマクロブロックの初期予測ベクトルを特定し、特定された初期予測ベクトルに基づいて適応型ルードパターンサーチによりAiを取得し、
現在のマクロブロックの第j+1フレームの画像上に対応するマクロブロックの初期予測ベクトルを特定し、特定された初期予測ベクトルに基づいて適応型ルードパターンサーチによりAjを取得することを特徴とする請求項12に記載の装置。

【請求項14】
前記位置特定モジュールは、具体的に、
第i-1フレームの画像は現在のマクロブロックが属する画像であり、かつ現在のマクロブロックが画像の最も左側に位置すれば、マクロブロックの初期予測ベクトルをゼロベクトルとし、
第i-1フレームの画像は現在のマクロブロックが属する画像であり、かつ現在のマクロブロックが画像の最も左側に位置しなければ、左側と隣り合うマクロブロックの動きベクトルをマクロブロックの初期予測ベクトルとし、
第i-1フレームの画像は現在のマクロブロックが属する画像でなければ、前フレームの画像上のマクロブロックの動きベクトルをマクロブロックの初期予測ベクトルとし、
現在のマクロブロックの第j+1フレームの画像上に対応するマクロブロックの初期予測ベクトルの特定において、
第j+1フレームの画像は現在のマクロブロックが属する画像であり、かつ現在のマクロブロックが画像の最も左側に位置すれば、マクロブロックの初期予測ベクトルをゼロベクトルとし、
第j+1フレームの画像は現在のマクロブロックが属する画像であり、かつ現在のマクロブロックが画像の最も左側に位置しなければ、左側と隣り合うマクロブロックの動きベクトルをマクロブロックの初期予測ベクトルとし、
第j+1フレームの画像は現在のマクロブロックが属する画像でなければ、後フレームの画像上のマクロブロックの動きベクトルをマクロブロックの初期予測ベクトルとすることを特徴とする請求項13に記載の装置。

【請求項15】
前記類似度特定モジュールは、具体的に、
検索ウィンドウにおける各画素ブロックと現在の画素ブロックの局所的構造記述子及び局所的輝度記述子をそれぞれ特定し、特定された局所的構造記述子及び局所的輝度記述子に基づいて正規化された類似度の総合数値を特定し、特定された局所的構造記述子、局所的輝度記述子及び正規化された類似度の総合数値に基づいて、検索ウィンドウにおける各画素ブロックと現在の画素ブロックとの類似度の値をそれぞれ特定することを特徴とする請求項10に記載の装置。

【請求項16】
前記画素値特定モジュールは、具体的に、
1つの画素ブロックに対して、それぞれの画素ブロックと現在の画素ブロックの類似度の値をそれぞれに重み付け値とし、それぞれの画素ブロックの最適化される前の中心画素値を重み付けして平均値を求め、現在の画素ブロックの最適化された中心画素値を得ることを特徴とする請求項10~15の何れか1項に記載の装置。
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

JP2014546300thum.jpg
出願権利状態 公開
分野
  • 電気
※ 特許の内容に興味を持たれた方は、下記問合せ先にご相談下さい。


PAGE TOP

close
close
close
close
close
close