TOP > 中国の大学の特許 > 北京大学の特許一覧 > 非局所的超解像再構成の方法及び装置 > 明細書

明細書 :非局所的超解像再構成の方法及び装置

発行国 日本国特許庁(JP)
公表番号 特表2015-502120 (P2015-502120A)
公報種別 特許公報(B2)
公表日 平成27年1月19日(2015.1.19)
特許番号 特許第6126121号 (P6126121)
登録日 平成29年4月14日(2017.4.14)
発行日 平成29年5月10日(2017.5.10)
発明の名称または考案の名称 非局所的超解像再構成の方法及び装置
国際特許分類 H04N   7/01        (2006.01)
FI H04N 7/01 G
請求項の数または発明の数 16
全頁数 19
出願番号 特願2014-546300 (P2014-546300)
出願日 平成24年12月13日(2012.12.13)
国際出願番号 PCT/CN2012/086570
国際公開番号 WO2013/087003
国際公開日 平成25年6月20日(2013.6.20)
優先権出願番号 201110418317.3
優先日 平成23年12月14日(2011.12.14)
優先権主張国 中華人民共和国(CN)
審査請求日 平成27年9月2日(2015.9.2)
特許権者または実用新案権者 【識別番号】507232478
【氏名又は名称】北京大学
【氏名又は名称】PEKING UNIVERSITY
【識別番号】507231932
【氏名又は名称】北大方正集▲団▼有限公司
【氏名又は名称】PEKING UNIVERSITY FOUNDER GROUP CO., LTD
【識別番号】507232456
【氏名又は名称】北京北大方正▲電▼子有限公司
【氏名又は名称】BEIJING FOUNDER ELECTRONICS CO., LTD.
発明者または考案者 【氏名】リウ、チアイン
【氏名】チュォ、ユェ
【氏名】レン、チエ
【氏名】クオ、ツォンミン
個別代理人の代理人 【識別番号】110000729、【氏名又は名称】特許業務法人 ユニアス国際特許事務所
審査官 【審査官】高野 美帆子
参考文献・文献 特表2005-530422(JP,A)
Yue Zhuo, et al,Nonlocal Based Super Resolution with Rotation Invariance and Search Window Relocation,http://www.icst.pku.edu.cn/course/icb/ARI_SWR.html,中国,2011年11月15日,URL,http://www.icst.pku.edu.cn/course/icb/ARI_SWR.html
調査した分野 H04N 7/01
特許請求の範囲 【請求項1】
再構成すべき各フレームの画像に対して補間処理を行い、各フレームの画像を複数の同じ大きさのマクロブロックに分割し、
各フレームの画像におけるそれぞれのマクロブロックに対して、現在のマクロブロックの他の各フレームの画像における検索ウィンドウの位置を特定する操作を行い、
各フレームの画像上のそれぞれの画素点を円心とし、設定された距離を半径とし、それぞれの画素点に対応する画素ブロックを特定し、
各フレームの画像におけるそれぞれの画素ブロックに対して、現在の画素ブロックに対応する画素点が属するマクロブロックの各フレームの画像における検索ウィンドウの位置に基づいて、現在の画素ブロックの各フレームの画像における検索ウィンドウを特定し、検索ウィンドウにおけるそれぞれの画素ブロックと現在の画素ブロックの類似度の値をそれぞれ特定する操作を行い、
それぞれの画素ブロックの類似度の値に基づいて、それぞれの画素ブロックの最適化された中心画素値をそれぞれ特定することを特徴とする非局所的超解像再構成の方法。
【請求項2】
現在のマクロブロックの他の各フレームの画像における検索ウィンドウの位置の特定において、
現在のマクロブロックから他の各フレームの画像への動きベクトルをそれぞれ特定し、
1フレームの画像に対して、特定された現在のマクロブロックから当該1フレームの画像への動きベクトルを、現在のマクロブロックの当該1フレームの画像における検索ウィンドウの動きベクトルとすると共に、検索ウィンドウの位置を再位置決めすることを特徴とする請求項1に記載の方法。
【請求項3】
下記式、即ち、
JP0006126121B2_000008t.gif (式中、現在のマクロブロックが第mフレームの画像に位置する;A1は現在のマクロブロックから第nフレームの画像への動きベクトルである;Aiは現在のマクロブロックの第i-1フレームの画像上に対応するマクロブロックから第iフレームの画像への動きベクトルである;A2は現在のマクロブロックから第xフレームの画像への動きベクトルである;Ajは現在のマクロブロックの第j+1フレームの画像上に対応するマクロブロックから第jフレームの画像への動きベクトルである)に基づいて、現在のマクロブロックから他の各フレームの画像への動きベクトルを特定することを特徴とする請求項2に記載の方法。
【請求項4】
下記のステップによりAiを特定し、即ち、
現在のマクロブロックの第i-1フレームの画像上に対応するマクロブロックの初期予測ベクトルを特定し、特定された初期予測ベクトルに基づいて適応型ルードパターンサーチによりAiを取得し、
下記のステップによりAjを特定し、即ち、
現在のマクロブロックの第j+1フレームの画像上に対応するマクロブロックの初期予測ベクトルを特定し、特定された初期予測ベクトルに基づいて適応型ルードパターンサーチによりAjを取得することを特徴とする請求項3に記載の方法。
【請求項5】
現在のマクロブロックの第i-1フレームの画像上に対応するマクロブロックの初期予測ベクトルの特定において、
第i-1フレームの画像は現在のマクロブロックが属する画像であり、かつ現在のマクロブロックが画像の最も左側に位置すれば、マクロブロックの初期予測ベクトルをゼロベクトルとし、
第i-1フレームの画像は現在のマクロブロックが属する画像であり、かつ現在のマクロブロックが画像の最も左側に位置しなければ、左側と隣り合うマクロブロックの動きベクトルをマクロブロックの初期予測ベクトルとし、
第i-1フレームの画像は現在のマクロブロックが属する画像でなければ、前フレームの画像上のマクロブロックの動きベクトルをマクロブロックの初期予測ベクトルとし、
現在のマクロブロックの第j+1フレームの画像上に対応するマクロブロックの初期予測ベクトルの特定において、
第j+1フレームの画像は現在のマクロブロックが属する画像であり、かつ現在のマクロブロックが画像の最も左側に位置すれば、マクロブロックの初期予測ベクトルをゼロベクトルとし、
第j+1フレームの画像は現在のマクロブロックが属する画像であり、かつ現在のマクロブロックが画像の最も左側に位置しなければ、左側と隣り合うマクロブロックの動きベクトルをマクロブロックの初期予測ベクトルとし、
第j+1フレームの画像は現在のマクロブロックが属する画像でなければ、後フレームの画像上のマクロブロックの動きベクトルをマクロブロックの初期予測ベクトルとすることを特徴とする請求項4に記載の方法。
【請求項6】
検索ウィンドウにおける各画素ブロックと現在の画素ブロックの類似度の値の特定において、
検索ウィンドウにおける各画素ブロックと現在の画素ブロックの局所的構造記述子及び局所的輝度記述子をそれぞれ特定し、
特定された局所的構造記述子及び局所的輝度記述子に基づいて正規化された類似度の総合数値を特定し、
特定された局所的構造記述子、局所的輝度記述子及び正規化された類似度の総合数値に基づいて、検索ウィンドウにおける各画素ブロックと現在の画素ブロックとの類似度の値をそれぞれ特定し、
前記局所的構造記述子はスケール不変特徴変換演算子により描画することができ、前記局所的輝度記述子は、下記式、即ち、
JP0006126121B2_000009t.gif (式中、Y(i,j)は(i,j)位置における画素値であり、It(k,l,r)は前記局所的輝度記述子であり、第t+1個の分量であり、この分量は、中心画素(k,l)とのマンハッタン距離がtであるあらゆる画素輝度の平均値であり、meanは平均値の求めであり、s.t.は「満足」の意味である)に基づいて特定されることを特徴とする請求項1に記載の方法。
【請求項7】
下記式、即ち、
JP0006126121B2_000010t.gif に基づいて正規化された類似度の総合数値を特定し、
JP0006126121B2_000011t.gif (式中、C(k,l)は正規化された類似度の総合数値であり、W(k,l,i,j)は画素点(k,l) に対応する画素ブロックと、画素点(i,j)に対応する画素ブロックの類似度の値であり、kは現在の画素ブロックに対応する画素点の横座標であり、lは現在の画素ブロックに対応する画素点の縦座標であり、 iは他の画素ブロックに対応する画素点の横座標であり、 jは他の画素ブロックに対応する画素点の縦座標であり、rは半径であり、P(i,j,r)は他の画素ブロックの局所的構造記述子であり、P(k,l,r)は現在の画素ブロックの局所的構造記述子であり、I(i,j,r)は他の画素ブロックの局所的な輝度記述子であり、I(k,l,r)は現在の画素ブロックの局所的輝度記述子であり、σは局所的構造記述子に対応する重み付け値であり、σは局所的輝度記述子に対応する重み付け値であり、N(k,l)は(k,l)の近傍である)に基づいて類似度の値を特定することを特徴とする請求項6に記載の方法。
【請求項8】
前記局所的構造記述子に対応する重み付け値は、下記式、
JP0006126121B2_000012t.gif (式中、σ0は初期値であり、Lは区分関数の長さである)に基づいて特定されていることを特徴とする請求項7に記載の方法。
【請求項9】
現在の画素ブロックの最適化された中心画素値の特定において、
現在の画素ブロックに対して、画素ブロックと現在の画素ブロックの類似度の値を各画素ブロックの重み付け値とし、画素ブロックの最適化される前の中心画素値を重み付けして平均値を求め、現在の画素ブロックの最適化された中心画素値を得ることを特徴とする請求項1~8の何れか1項に記載の方法。
【請求項10】
再構成すべき各フレームの画像に対して補間処理を行い、各フレームの画像を複数の同じ大きさのマクロブロックに分割する第1の処理モジュールと、
各フレームの画像におけるそれぞれのマクロブロックに対して、現在のマクロブロックの他の各フレームの画像における検索ウィンドウの位置を特定する操作を行う位置特定モジュールと、
各フレームの画像上のそれぞれの画素点を円心とし、設定された距離を半径とし、それぞれの画素点に対応する画素ブロックを特定する第2の処理モジュールと、
各フレームの画像におけるそれぞれの画素ブロックに対して、現在の画素ブロックに対応する画素点が属するマクロブロックの各フレームの画像における検索ウィンドウの位置に基づいて、現在の画素ブロックの各フレームの画像における検索ウィンドウを特定し、検索ウィンドウにおけるそれぞれの画素ブロックと現在の画素ブロックの類似度の値をそれぞれ特定する操作を行う類似度特定モジュールと、
それぞれの画素ブロックの類似度の値に基づいて、それぞれの画素ブロックの最適化された中心画素値をそれぞれ特定する画素値特定モジュールと、
を備えることを特徴とする非局所的超解像再構成の装置。
【請求項11】
前記位置特定モジュールは、具体的に、
現在のマクロブロックから他の各フレームの画像への動きベクトルを特定し、
1フレームの画像に対して、特定された現在のマクロブロックから当該1フレームの画像への動きベクトルを、現在のマクロブロックの当該1フレームの画像における検索ウィンドウの動きベクトルとすると共に、検索ウィンドウの位置を再位置決めすることを特徴とする請求項10に記載の装置。
【請求項12】
前記位置特定モジュールは、下記式、即ち、
JP0006126121B2_000013t.gif (式中、現在のマクロブロックが第mフレームの画像に位置する;A1は現在のマクロブロックから第nフレームの画像への動きベクトルである;Aiは現在のマクロブロックの第i-1フレームの画像上に対応するマクロブロックから第iフレームの画像への動きベクトルである;A2は現在のマクロブロックから第xフレームの画像への動きベクトルである;Ajは現在のマクロブロックの第j+1フレームの画像上に対応するマクロブロックから第jフレームの画像への動きベクトルである)に基づいて、現在のマクロブロックから他の各フレームの画像への動きベクトルを特定することを特徴とする請求項11に記載の装置。
【請求項13】
前記位置特定モジュールは、具体的に、
現在のマクロブロックの第i-1フレームの画像上に対応するマクロブロックの初期予測ベクトルを特定し、特定された初期予測ベクトルに基づいて適応型ルードパターンサーチによりAiを取得し、
現在のマクロブロックの第j+1フレームの画像上に対応するマクロブロックの初期予測ベクトルを特定し、特定された初期予測ベクトルに基づいて適応型ルードパターンサーチによりAjを取得することを特徴とする請求項12に記載の装置。
【請求項14】
前記位置特定モジュールは、具体的に、
第i-1フレームの画像は現在のマクロブロックが属する画像であり、かつ現在のマクロブロックが画像の最も左側に位置すれば、マクロブロックの初期予測ベクトルをゼロベクトルとし、
第i-1フレームの画像は現在のマクロブロックが属する画像であり、かつ現在のマクロブロックが画像の最も左側に位置しなければ、左側と隣り合うマクロブロックの動きベクトルをマクロブロックの初期予測ベクトルとし、
第i-1フレームの画像は現在のマクロブロックが属する画像でなければ、前フレームの画像上のマクロブロックの動きベクトルをマクロブロックの初期予測ベクトルとし、
現在のマクロブロックの第j+1フレームの画像上に対応するマクロブロックの初期予測ベクトルの特定において、
第j+1フレームの画像は現在のマクロブロックが属する画像であり、かつ現在のマクロブロックが画像の最も左側に位置すれば、マクロブロックの初期予測ベクトルをゼロベクトルとし、
第j+1フレームの画像は現在のマクロブロックが属する画像であり、かつ現在のマクロブロックが画像の最も左側に位置しなければ、左側と隣り合うマクロブロックの動きベクトルをマクロブロックの初期予測ベクトルとし、
第j+1フレームの画像は現在のマクロブロックが属する画像でなければ、後フレームの画像上のマクロブロックの動きベクトルをマクロブロックの初期予測ベクトルとすることを特徴とする請求項13に記載の装置。
【請求項15】
前記類似度特定モジュールは、具体的に、
検索ウィンドウにおける各画素ブロックと現在の画素ブロックの局所的構造記述子及び局所的輝度記述子をそれぞれ特定し、特定された局所的構造記述子及び局所的輝度記述子に基づいて正規化された類似度の総合数値を特定し、特定された局所的構造記述子、局所的輝度記述子及び正規化された類似度の総合数値に基づいて、検索ウィンドウにおける各画素ブロックと現在の画素ブロックとの類似度の値をそれぞれ特定し、
前記局所的構造記述子はスケール不変特徴変換演算子により描画することができ、前記局所的輝度記述子は、下記式、即ち、
JP0006126121B2_000014t.gif (式中、Y(i,j)は(i,j)位置における画素値であり、It(k,l,r)は前記局所的輝度記述子であり、第t+1個の分量であり、この分量は、中心画素(k,l)とのマンハッタン距離がtであるあらゆる画素輝度の平均値であり、meanは平均値の求めであり、s.t.は「満足」の意味である)に基づいて特定されることを特徴とする請求項10に記載の装置。
【請求項16】
前記画素値特定モジュールは、具体的に、
現在の画素ブロックに対して、画素ブロックと現在の画素ブロックの類似度の値を各画素ブロックの重み付け値とし、画素ブロックの最適化される前の中心画素値を重み付けして平均値を求め、現在の画素ブロックの最適化された中心画素値を得ることを特徴とする請求項10~15の何れか1項に記載の装置。
発明の詳細な説明 【技術分野】
【0001】
本発明は、デジタル画像補強の技術分野に関し、特に非局所的超解像再構成の方法及び装置に関する。
【背景技術】
【0002】
マルチフレームの超解像再構成(Super-Resolution Image Reconstruction)の目標は、一連の低解像度画像を融合して1枚の高解像度画像に生成することである。副画素のオフセットが存在しているので、低解像度画像の間に、幾つかの相補的な情報が含まれている。これら画像間のオフセットを知っておけば、これらの低解像度の画像を融合してジャギーを除去して高解像度画像を生成することが可能となる。
【0003】
従来のマルチフレーム融合算出法では、各々の低解像度画像間のオフセットを知る必要があった。従って、精確な動き推定は、従来のマルチフレームの融合では決定的な役割を果たしている。動き推定が誤ったら、ひどい歪みが生じてしまう。動き推定を回避するために、動き推定を必須としない超解像度方法が現れてきた。この算出法では、ブロックの間の類似度を計測し、重み付けにより中心画素値を算出する。しかし、当該算出法は平行移動の場合しか考慮していない。ところが、自然な動画では、常に複雑な動きが含まれており、更には、1フレーム内で、あるテクスチャーも回転するから、非局所的算出法により見つけることのできる相似ブロックの数が減ってしまう。非局所的超解像再構成又は非局所的雑音除去の算出法に基づいて、適応型パラメータ選択と変性しない類似度測度という2種類の改善案が提案されている。
【0004】
適応型パラメータ選択は、ブロックの大きさ及び検索ウィンドウの大きさと非局所的方法の性能との間の関係を検討することによって、これらのパラメータを適応的に選択する。しかし、当該算出法の移動ウィンドウポリシーは画素に基づくものであり、かつ局所的最適化に拘りやすいので、再構成された画像の解像度を低下させてしまう。
【0005】
上述のように、従来の、非局所的超解像再構成された画像の解像度が低かった。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明の実施例に提供される非局所的超解像再構成の方法及び装置は、従来技術の中に存在している、非局所的超解像再構成された画像の解像度が低かった問題を解決するためになされたものである。
【課題を解決するための手段】
【0007】
本発明の実施例に提供される非局所的超解像再構成の方法において、
再構成すべき各フレームの画像に対して補間処理を行い、各フレームの画像を複数の同じ大きさのマクロブロックに分割し、
各フレームの画像におけるそれぞれのマクロブロックに対して、現在のマクロブロックの他の各フレームの画像における検索ウィンドウの位置を特定する操作を行い、
各フレームの画像上のそれぞれの画素点を円心とし、設定された距離を半径とし、それぞれの画素点に対応する画素ブロックを特定し、
各フレームの画像におけるそれぞれの画素ブロックに対して、現在の画素ブロックに対応する画素点が属するマクロブロックの各フレームの画像における検索ウィンドウの位置に基づいて、現在の画素ブロックの各フレームの画像における検索ウィンドウを特定し、検索ウィンドウにおけるそれぞれの画素ブロックと現在の画素ブロックの類似度の値をそれぞれ特定する操作を行い、
それぞれの画素ブロックの類似度の値に基づいて、それぞれの画素ブロックの最適化された中心画素値をそれぞれ特定する。
【0008】
好ましくは、現在のマクロブロックの他の各フレームの画像における検索ウィンドウの位置の特定において、
現在のマクロブロックから他の各フレームの画像への動きベクトルをそれぞれ特定し、
1フレームの画像に対して、特定された現在のマクロブロックから当該1フレームの画像への動きベクトルを、現在のマクロブロックの当該1フレームの画像における検索ウィンドウの動きベクトルとすると共に、検索ウィンドウの位置を再位置決めする。
【0009】
好ましくは、検索ウィンドウにおける各画素ブロックと現在の画素ブロックの類似度の値の特定において、
検索ウィンドウにおける各画素ブロックと現在の画素ブロックの局所的構造記述子及び局所的輝度記述子をそれぞれ特定し、
特定された局所的構造記述子及び局所的輝度記述子に基づいて正規化された類似度の総合数値を特定し、
特定された局所的構造記述子、局所的輝度記述子及び正規化された類似度の総合数値に基づいて、検索ウィンドウにおける各画素ブロックと現在の画素ブロックとの類似度の値をそれぞれ特定する。
【0010】
好ましくは、現在の画素ブロックの最適化された中心画素値の特定において、
1つの画素ブロックに対して、それぞれの画素ブロックと現在の画素ブロックの類似度の値をそれぞれに重み付け値とし、それぞれの画素ブロックの最適化される前の中心画素値を重み付けして平均値を求め、現在の画素ブロックの最適化された中心画素値を得る。
【0011】
本発明の実施例に提供される非局所的超解像再構成の装置は、
再構成すべき各フレームの画像に対して補間処理を行い、各フレームの画像を複数の同じ大きさのマクロブロックに分割する第1の処理モジュールと、
各フレームの画像におけるそれぞれのマクロブロックに対して、現在のマクロブロックの他の各フレームの画像における検索ウィンドウの位置を特定する操作を行う位置特定モジュールと、
各フレームの画像上のそれぞれの画素点を円心とし、設定された距離を半径とし、それぞれの画素点に対応する画素ブロックを特定する第2の処理モジュールと、
各フレームの画像におけるそれぞれの画素ブロックに対して、現在の画素ブロックに対応する画素点が属するマクロブロックの各フレームの画像における検索ウィンドウの位置に基づいて、現在の画素ブロックの各フレームの画像における検索ウィンドウを特定し、検索ウィンドウにおけるそれぞれの画素ブロックと現在の画素ブロックの類似度の値をそれぞれ特定する操作を行う類似度特定モジュールと、
それぞれの画素ブロックの類似度の値に基づいて、それぞれの画素ブロックの最適化された中心画素値をそれぞれ特定する画素値特定モジュールとを備える。
【0012】
好ましくは、前記位置特定モジュールは、現在のマクロブロックから他の各フレームの画像への動きベクトルを特定し、
1フレームの画像に対して、特定された現在のマクロブロックから当該1フレームの画像への動きベクトルを、現在のマクロブロックの当該1フレームの画像における検索ウィンドウの動きベクトルとすると共に、検索ウィンドウの位置を再位置決めする。
【0013】
好ましくは、前記類似度特定モジュールは、検索ウィンドウにおける各画素ブロックと現在の画素ブロックの局所的構造記述子及び局所的輝度記述子をそれぞれ特定し、特定された局所的構造記述子及び局所的輝度記述子に基づいて正規化された類似度の総合数値を特定し、特定された局所的構造記述子、局所的輝度記述子及び正規化された類似度の総合数値に基づいて、検索ウィンドウにおける各画素ブロックと現在の画素ブロックとの類似度の値をそれぞれ特定する
【0014】
好ましくは、1つの画素ブロックに対して、前記画素値特定モジュールは、それぞれの画素ブロックと現在の画素ブロックの類似度の値をそれぞれに重み付け値とし、それぞれの画素ブロックの最適化される前の中心画素値を重み付けして平均値を求め、現在の画素ブロックの最適化された中心画素値を得る。
【0015】
現在の画素ブロックに対応する画素点が属するマクロブロックの各フレームの画像における検索ウィンドウの位置に基づいて、現在の画素ブロックの各フレームの画像における検索ウィンドウを特定し、検索ウィンドウにおける各画素ブロックと現在の画素ブロックの類似度の値をそれぞれ特定し、各画素ブロックの類似度の値に基づいて、各画素ブロックの最適化された中心画素値をそれぞれ特定することにより、非局所的超解像再構成された画像の解像度を向上させ、非局所的超解像算出法によるブロック歪みをさらに解消することが可能となる。
【図面の簡単な説明】
【0016】
【図1】本発明の実施例における非局所的超解像再構成の方法のプロセス概略図である。
【図2】本発明の実施例における非局所的超解像再構成の装置の構造概略図である。
【発明を実施するための形態】
【0017】
本発明の実施例では、現在のマクロブロックの他の各フレームの画像における検索ウィンドウの位置を特定する。各フレームの画像上のそれぞれの画素点を円心とし、設定された距離を半径とし、それぞれの画素点に対応する画素ブロックを特定する。現在の画素ブロックに対応する画素点が属するマクロブロックの各フレームの画像における検索ウィンドウの位置に基づいて、現在の画素ブロックの各フレームの画像における検索ウィンドウを特定し、検索ウィンドウにおけるそれぞれの画素ブロックと現在の画素ブロックの類似度の値をそれぞれ特定する。それぞれの画素ブロックの類似度の値に基づいて、それぞれの画素ブロックの最適化された中心画素値をそれぞれ特定する。現在の画素ブロックに対応する画素点が属するマクロブロックの各フレームの画像における検索ウィンドウの位置に基づいて、現在の画素ブロックの各フレームの画像における検索ウィンドウを特定し、検索ウィンドウにおけるそれぞれの画素ブロックと現在の画素ブロックの類似度の値をそれぞれ特定すると共に、それぞれの画素ブロックの類似度の値に基づいて、それぞれの画素ブロックの最適化された中心画素値をそれぞれ特定するため、非局所的超解像再構成された画像の解像度を向上させている。

【0018】
以下で、明細書の添付図面に基づいて本発明の実施例を更に詳しく説明する。

【0019】
図1に示すように、本発明の実施例における非局所的超解像再構成の方法は下記のステップを含み、
ステップ101:再構成すべき各フレームの画像に対して補間処理を行い、各フレームの画像を複数の同じ大きさのマクロブロックに分割する;
ステップ102:各フレームの画像におけるそれぞれのマクロブロックに対して、現在のマクロブロックの他の各フレームの画像における検索ウィンドウの位置を特定する操作を行う;
ステップ103:各フレームの画像上のそれぞれの画素点を円心とし、設定された距離を半径とし、それぞれの画素点に対応する画素ブロックを特定する;
ステップ104:各フレームの画像におけるそれぞれの画素ブロックに対して、現在の画素ブロックに対応する画素点が属するマクロブロックの各フレームの画像における検索ウィンドウの位置に基づいて、現在の画素ブロックの各フレームの画像における検索ウィンドウを特定し、検索ウィンドウにおけるそれぞれの画素ブロックと現在の画素ブロックの類似度の値をそれぞれ特定する操作を行う;
ステップ105:それぞれの画素ブロックの類似度の値に基づいて、それぞれの画素ブロックの最適化された中心画素値をそれぞれ特定する。

【0020】
好ましくは、ステップ101では、まず、空域補間法により、再構成する必要のある全ての各フレームの低解像度画像に画素数を挿入して必要な高解像度を生成する。例えば、再構成すべき低解像度画像が640×320であり、必要な高解像度が800×600である場合に、空域補間法により、640×320の画像上に画素数を挿入して800×600となる。

【0021】
各フレームの画像を複数の同じ大きさのマクロブロックに分割し、例えば16×16個のマクロブロックに分割する。具体的にどれぐらいのマクロブロックに分割するかは、必要や経験に応じて設定し得る。
その後、それぞれのマクロブロックの他の各フレームの画像における検索ウィンドウの位置を特定する必要がある。

【0022】
実施中では、それぞれのマクロブロックの処理方式が同じである。以下で、1つのマクロブロックについて例を挙げて説明する。他のマクロブロックと区別するように、現在に処理を行っているマクロブロックが現在のマクロブロックと呼ばれる。

【0023】
好ましくは、ステップ102では、マクロブロックによる検索を利用して、現在のマクロブロックの他の画像における検索ウィンドウの位置を再位置決めする。
具体的には、現在のマクロブロックから他の各フレームの画像への動きベクトルをそれぞれ特定する。
1フレームの画像に対して、特定された現在のマクロブロックから当該1フレームの画像への動きベクトルを、現在のマクロブロックの当該1フレームの画像における検索ウィンドウの動きベクトルとすると共に、検索ウィンドウの位置を再位置決めする。

【0024】
実施中では、下記式一又は式二、即ち、
JP0006126121B2_000002t.gif
JP0006126121B2_000003t.gif
(式中、現在のマクロブロックが第mフレームの画像に位置する;A1は現在のマクロブロックから第nフレームの画像への動きベクトルである;Aiは現在のマクロブロックの第i-1フレームの画像上に対応するマクロブロックから第iフレームの画像への動きベクトルである;A2は現在のマクロブロックから第xフレームの画像への動きベクトルである;Ajは、現在のマクロブロックの第j+1フレームの画像上に対応するマクロブロックから第jフレームの画像への動きベクトルである)に基づいて、現在のマクロブロックから他の各フレームの画像への動きベクトルを特定することができる。

【0025】
式一は、現在のマクロブロックから、それ自身が属するフレーム画像の後の各フレーム画像への動きベクトルを特定するものである。式二は、現在のマクロブロックから、それ自身が属するフレーム画像の前の各フレーム画像への動きベクトルを特定するものである。

【0026】
好ましくは、ステップ102では、下記のステップによりAiを特定し、即ち、
現在のマクロブロックの第i-1フレームの画像上に対応するマクロブロックの初期予測ベクトルを特定し、特定された初期予測ベクトルに基づいて適応型ルードパターンサーチによりAiを取得する。

【0027】
好ましくは、ステップ102では、第i-1フレームの画像は現在のマクロブロックが属する画像であり、かつ現在のマクロブロックが画像の最も左側に位置すれば、マクロブロックの初期予測ベクトルをゼロベクトルとし、
第i-1フレームの画像は現在のマクロブロックが属する画像であり、かつ現在のマクロブロックが画像の最も左側に位置しなければ、左側と隣り合うマクロブロックの動きベクトルをマクロブロックの初期予測ベクトルとし、
第i-1フレームの画像は現在のマクロブロックが属する画像でなければ、前フレームの画像上のマクロブロックの動きベクトルをマクロブロックの初期予測ベクトルとする。

【0028】
好ましくは、ステップ102では、下記のステップによりAjを特定し、即ち、
現在のマクロブロックの第j+1フレームの画像上に対応するマクロブロックの初期予測ベクトルを特定し、特定された初期予測ベクトルに基づいて適応型ルードパターンサーチによりAjを取得する。

【0029】
好ましくは、ステップ102では、第j+1フレームの画像は現在のマクロブロックが属する画像であり、かつ現在のマクロブロックが画像の最も左側に位置すれば、マクロブロックの初期予測ベクトルをゼロベクトルとし、
第j+1フレームの画像は現在のマクロブロックが属する画像であり、かつ現在のマクロブロックが画像の最も左側に位置しなければ、左側と隣り合うマクロブロックの動きベクトルをマクロブロックの初期予測ベクトルとし、
第j+1フレームの画像は現在のマクロブロックが属する画像でなければ、後フレームの画像上のマクロブロックの動きベクトルをマクロブロックの初期予測ベクトルとする。

【0030】
以下で、第t0フレームの現在のマクロブロック(x,y)から第tフレーム(t>t0と仮定する)への動きベクトルを算出することを例として、本発明の動きベクトルの算出方法について詳細に説明する。

【0031】
(dx,dy)を初期予測ベクトルとしたとき、 (x,y)は最も左側の1列にあるマクロブロックであれば、(dx,dy)の初期値をゼロベクトルとし、現在のマクロブロック (x,y)は最も左側の1列にあるマクロブロックでなければ、現在のマクロブロック (x,y) の左側に隣り合うマクロブロック(現在のマクロブロックと同一行にある)の動きベクトルを(dx,dy)の初期値とする。

【0032】
(dx,dy)を初期予測ベクトルとし、第t0フレームの現在のマクロブロック (x,y)に対して適応型ルードパターンサーチを行い、現在のマクロブロック(x,y)から第t0+1フレームへの動きベクトルを得る。その後、現在のマクロブロック (x,y)の第t0+1フレーム上に対応するマクロブロックA(即ち、第t0+1フレームの画像上であって、現在のマクロブロックの位置に、現在のマクロブロックから第t0+1フレームへの動きベクトルを加算した位置でのマクロブロック)を検索すると共に、現在のマクロブロックの動きベクトルを、マクロブロックAの初期予測ベクトルとして(dx,dy)に付加し、引き続き適応型ルードパターンサーチを行い、マクロブロックAから第t0+2フレームへの動きベクトルを得る。その後、マクロブロックAの第t0+1フレーム上に対応するマクロブロックB(即ち、第t0+2フレームの画像上であって、マクロブロックAの位置に、マクロブロックAから第t0+2フレームへの動きベクトルを加算した位置でのマクロブロック)を検索すると共に、マクロブロックAの動きベクトルを、マクロブロックBの初期予測ベクトルとして(dx,dy)に付加し、引き続き適応型ルードパターンサーチを行い、マクロブロックBから第t0+3フレームへの動きベクトルを得る。現在のマクロブロック(x,y)の第t-1フレーム上に対応するマクロブロックから、第tフレームへの動きベクトルを算出するまで、以上のように類推すればよい。最後に、あらゆる動きベクトルを加算して、第t0フレーム上の現在のマクロブロック(x,y)から第tフレームへの動きベクトルを最終的に得る。前記内容は式一を解釈するものである。

【0033】
本発明の実施例のt<tの場合の方式は、t> t0の場合の方式と類似するので、ここでは詳しく説明することを省く。

【0034】
好ましくは、ステップ103では、再構成すべきフレームのそれぞれの画素に対して、画素を中心として設定された距離を半径とし、複数の画素ブロックを形成し、ここで、それぞれの画素ブロックはただ1つの画素点に対応しており、それぞれの画素ブロックの円心は当該画素ブロックに対応する画素点である。

【0035】
それぞれの画素点に対応する画素ブロックを特定した後、各フレームの画像中のそれぞれの画素ブロックに対して、変性しない測度を回転することにより、各画像の検索ウィンドウにおけるそれぞれの画素ブロックと他のそれぞれの画素ブロックとの類似度を特定することができる。

【0036】
検索ウィンドウの大きさ及び半径の長さは必要や経験に応じて設定し得る。例えば、半径を6画素と設定し、検索ウィンドウを(27×27)画素と設定してもよい。

【0037】
好ましくは、本発明の実施例において、それぞれの画素ブロックに対して、局所的構造及び局所的輝度を用いて表現する。こうすると、それぞれの画素ブロックと他の画素ブロックとの類似度は、局所的構造及び局所的輝度で表示することができる。

【0038】
実施中では、それぞれのマクロブロックの処理方式が同じである。以下で、1つのマクロブロックについて例を挙げて説明する。他のマクロブロックと区別するように、現在に処理を行っているマクロブロックが現在のマクロブロックと呼ばれる。

【0039】
具体的には、ステップ104では、検索ウィンドウにおける各画素ブロックと現在の画素ブロックの局所的構造記述子及び局所的輝度記述子をそれぞれ特定し、
特定された局所的構造記述子及び局所的輝度記述子に基づいて正規化された類似度の総合数値を特定し、
特定された局所的構造記述子、局所的輝度記述子及び正規化された類似度の総合数値に基づいて、検索ウィンドウにおける各画素ブロックと現在の画素ブロックとの類似度の値をそれぞれ特定する。

【0040】
ここで、画素ブロックが属するマクロブロックから各フレームへの動きベクトルを検索ウィンドウの動きベクトルとして、検索ウィンドウの位置を再位置決めすれば、検索ウィンドウにおけるそれぞれの画素ブロックを特定することができる。

【0041】
本発明の実施例では、局所的構造はSIFT(Scale-invariant feature transform、スケール不変特徴変換)演算子により描画することができる。
局所的輝度は、下記式三、即ち、
JP0006126121B2_000004t.gif
(式中、Y(i,j)は(i,j)位置における画素値である;It(k,l,r)は局所的輝度値であり、第t+1個の分量であり、この分量は、中心画素(k,l)とのマンハッタン距離がtであるあらゆる画素輝度の平均値である;meanは平均値の求めである;s.t.は「満足」の意味である;i,j,k,lは、前記式での意味と同じである)に基づいて特定可能である。

【0042】
好ましくは、ステップ104では、現在の画素ブロックと検索ウィンドウにおけるそれぞれの画素ブロックとの類似度の値は、構造距離と輝度距離が変数であるガウス関数により表示可能である。

【0043】
これに応じて、ステップ104では、下記式四、即ち、
JP0006126121B2_000005t.gifに基づいて正規化された類似度の総合数値を特定し、

これに応じて、ステップ104では、下記式五、即ち、
JP0006126121B2_000006t.gif(式中、C(k,l)は正規化された類似度の総合数値であり、W(k,l,i,j),は画素点(k,l) に対応する画素ブロックと、画素点(i,j)に対応する画素ブロックの類似度の値であり、kは現在の画素ブロックに対応する画素点の横座標であり、lは現在の画素ブロックに対応する画素点の縦座標であり、 iは他の画素ブロックに対応する画素点の横座標であり、 jは他の画素ブロックに対応する画素点の縦座標であり、rは半径であり、P(i,j,r)は他の画素ブロックの局所的構造記述子であり、P(k,l,r)は現在の画素ブロックの局所的構造記述子であり、I(i,j,r)は他の画素ブロックの局所的な輝度記述子であり、I(k,l,r)は現在の画素ブロックの局所的輝度記述子であり、σは局所的構造記述子に対応する重み付け値であり、σは局所的輝度記述子に対応する重み付け値であり、N(k,l)は(k,l)の近傍域である。ここで、(k,l)の各フレームにおける検索ウィンドウの総称はこの近傍域である)に基づいて類似度を特定する。

【0044】
類似度の算出における局所的構造と輝度の重み付けのバランスが適応的にとれるように、好ましい処理方式は、σを固定させ、その後、現在の画素ブロックと検索ウィンドウにおけるそれぞれの画素ブロックとの最短距離に基づいてσを適応的に変化させることである。

【0045】
局所的構造記述子に対応する重み付け値は、下記式六、即ち、

JP0006126121B2_000007t.gif (式中、σ0は初期値であり、経験によって設定でき、Lは区分関数の長さである)に基づいて特定されている。

【0046】
好ましくは、ステップ105では、1つの画素ブロックに対して、それぞれの画素ブロックと現在の画素ブロックの類似度の値をそれぞれに重み付け値とし、それぞれの画素ブロックの最適化される前の中心画素値を重み付けして平均値を求め、現在の画素ブロックの最適化された中心画素値を得る。

【0047】
それぞれの画素ブロックの最適化された中心画素値を特定すれば、非局所的超解像再構成の技術案を実現することができる。

【0048】
本発明の実施例において検索ウィンドウを再位置決めするとき、動きの時間及び空間での連続性が考慮されているため、マクロブロックの検索により局所的最適化に陥るリスクが効果的に低減されている。ブロックの類似度を計測するときに、SIFT演算子により局所的構造を描くと共に、適応型パラメータ選択により局所的構造と輝度の類似度計算における重み付けを両立させることによって、類似度計算の正確性をより一層高めている。

【0049】
試験により比較した結果、本発明の実施例は、双三次補間法、非局所的超解像算出法に比べれば、より多くの細かいところまで回復されると共に、非局所的超解像算出法によるブロック歪みが解消されていることが分かった。同一の画像を同じ解像度に拡大した場合で行われたPSNRの対比において、本発明の実施例は28.61dBであり、双三次補間値は28.45dBであり、非局所的超解像算出法は27.81dBである。前記結果に基づいて明らかになるように、本発明の実施例の再構成結果が更に原図に近いものである。

【0050】
同一の発明構想に基づいて、本発明の実施例はさらに非局所的超解像再構成の装置を提供する。当該装置により問題を解決する原理は、本発明の実施例における非局所的超解像再構成の方法と類似するので、当該装置の実施について、方法の実施を参照すればよい。ここでは詳しく説明することを省く。

【0051】
図2に示すように、本発明の実施例における非局所的超解像再構成の装置は、第1の処理モジュール20と、位置特定モジュール21と、第2の処理モジュール22と、類似度特定モジュール23と画素値特定モジュール24とを備える。

【0052】
第1の処理モジュール20は、再構成すべき各フレームの画像に対して補間処理を行い、各フレームの画像を複数の同じ大きさのマクロブロックに分割し、
位置特定モジュール21は、各フレームの画像におけるそれぞれのマクロブロックに対して、現在のマクロブロックの他の各フレームの画像における検索ウィンドウの位置を特定する操作を行い、
第2の処理モジュール22は、各フレームの画像上のそれぞれの画素点を円心とし、設定された距離を半径とし、それぞれの画素点に対応する画素ブロックを特定し、
類似度特定モジュール23は、各フレームの画像におけるそれぞれの画素ブロックに対して、現在の画素ブロックに対応する画素点が属するマクロブロックの各フレームの画像における検索ウィンドウの位置に基づいて、現在の画素ブロックの各フレームの画像における検索ウィンドウを特定し、検索ウィンドウにおけるそれぞれの画素ブロックと現在の画素ブロックの類似度の値をそれぞれ特定する操作を行い、
画素値特定モジュール24は、それぞれの画素ブロックの類似度の値に基づいて、それぞれの画素ブロックの最適化された中心画素値をそれぞれ特定する。

【0053】
好ましくは、位置特定モジュール21は、現在のマクロブロックから他の各フレームの画像への動きベクトルをそれぞれ特定し、1フレームの画像に対して、特定された現在のマクロブロックから当該1フレームの画像への動きベクトルを、現在のマクロブロックの当該1フレームの画像における検索ウィンドウの動きベクトルとすると共に、検索ウィンドウの位置を再位置決めする。

【0054】
好ましくは、位置特定モジュール21は、式一又は式二に基づいて現在のマクロブロックから他の各フレームの画像への動きベクトルを特定する。

【0055】
好ましくは、位置特定モジュール21は、現在のマクロブロックの第i-1フレームの画像上に対応するマクロブロックの初期予測ベクトルを特定し、特定された初期予測ベクトルに基づいて適応型ルードパターンサーチによりAiを取得し、現在のマクロブロックの第j+1フレームの画像上に対応するマクロブロックの初期予測ベクトルを特定し、特定された初期予測ベクトルに基づいて適応型ルードパターンサーチによりAjを取得する。

【0056】
好ましくは、第i-1フレームの画像は現在のマクロブロックが属する画像であり、かつ現在のマクロブロックが画像の最も左側に位置すれば、位置特定モジュール21は、マクロブロックの初期予測ベクトルをゼロベクトルとし、
第i-1フレームの画像は現在のマクロブロックが属する画像であり、かつ現在のマクロブロックが画像の最も左側に位置しなければ、位置特定モジュール21は、左側と隣り合うマクロブロックの動きベクトルをマクロブロックの初期予測ベクトルとし、
第i-1フレームの画像は現在のマクロブロックが属する画像でなければ、位置特定モジュール21は、前フレームの画像上のマクロブロックの動きベクトルをマクロブロックの初期予測ベクトルとし、
第j+1フレームの画像は現在のマクロブロックが属する画像であり、かつ現在のマクロブロックが画像の最も左側に位置すれば、位置特定モジュール21は、マクロブロックの初期予測ベクトルをゼロベクトルとし、
第j+1フレームの画像は現在のマクロブロックが属する画像であり、かつ現在のマクロブロックが画像の最も左側に位置しなければ、位置特定モジュール21は、左側と隣り合うマクロブロックの動きベクトルをマクロブロックの初期予測ベクトルとし、
第j+1フレームの画像は現在のマクロブロックが属する画像でなければ、位置特定モジュール21は、後フレームの画像上のマクロブロックの動きベクトルをマクロブロックの初期予測ベクトルとする。

【0057】
好ましくは、類似度特定モジュール23は、検索ウィンドウにおける各画素ブロックと現在の画素ブロックの局所的構造記述子及び局所的輝度記述子をそれぞれ特定し、特定された局所的構造記述子及び局所的輝度記述子に基づいて正規化された類似度の総合数値を特定し、特定された局所的構造記述子、局所的輝度記述子及び正規化された類似度の総合数値に基づいて、検索ウィンドウにおける各画素ブロックと現在の画素ブロックとの類似度の値をそれぞれ特定する。

【0058】
好ましくは、類似度特定モジュール23は、式四に基づいて、正規化された類似度の総合数値を特定する。

【0059】
好ましくは、類似度特定モジュール23は、式五に基づいて、類似度を特定する。

【0060】
好ましくは、類似度特定モジュール23は、式六に基づいて、局所的構造記述子に対応する重み付け値を特定する。

【0061】
好ましくは、1つの画素ブロックに対して、画素値特定モジュール24は、それぞれの画素ブロックと現在の画素ブロックの類似度の値をそれぞれに重み付け値とし、それぞれの画素ブロックの最適化される前の中心画素値を重み付けして平均値を求め、現在の画素ブロックの最適化された中心画素値を得る。

【0062】
当業者であれば分かるように、本明細書の実施例を、方法、システム、またはコンピュータ・プログラム製品として具体化しても良い。したがって、本発明の実施形態は、完全なハードウェア実施形態、完全なソフトウェア実施形態、またはソフトウェアおよびハードウェア態様を組み合わせた実施形態という形を取っても良い。さらに、本発明は、コンピュータ利用可能なプログラム・コードが媒体中に具体化された任意の有形の表現媒体中に具体化されたコンピュータ・プログラム製品という形を取っても良い(磁気メモリ、CD-ROM、光学メモリなどを含むが、これらに限られるものではない)。

【0063】
本発明の実施形態を、本発明の実施形態による方法、設備(システム)およびコンピュータ・プログラム製品のデータ・フロー説明図および/またはブロック図を参照して、本明細書で説明する。データ・フロー説明図および/またはブロック図の各ブロック、ならびにフローチャート図および/またはブロック図内のブロックの組み合わせを、コンピュータ・プログラム命令によって実施することができる。これらのコンピュータ・プログラム命令を、多目的コンピュータ、専用コンピュータ、または他のプログラマブル・データ処理装置のプロセッサに送って、マシンの生成を、フローチャートおよび/またはブロック図ブロック内で特定される機能/行為を実施するための手段が命令(コンピュータまたは他のプログラマブル・データ処理装置のプロセッサを介して実行される)によって形成されるように、行なっても良い。

【0064】
またこれらのコンピュータ・プログラム命令を、コンピュータまたは他のプログラマブル・データ処理装置に特定の方法で機能するように命令を出すことができるコンピュータ読取可能媒体に記憶して、フローチャートおよび/またはブロック図ブロック内で特定される機能/行為を実施する命令手段を含む製造品がコンピュータ読取可能媒体に記憶された命令によって形成されるようにしても良い。

【0065】
またコンピュータ・プログラム命令をコンピュータまたは他のプログラマブル・データ処理装置上にロードして、一連の動作ステップをコンピュータまたは他のプログラマブル設備上で実行させてコンピュータ実施処理を形成して、フローチャートおよび/またはブロック図ブロック内で特定される機能/行為を実施するための処理がコンピュータまたは他のプログラマブル設備上で実行される命令によって実現されるようにしても良い。

【0066】
開示された実施形態及びその他の実施形態と当該明細書に描画されている機能的操作はデジタル回路または当該明細書に開示された構造及び構造同等物であるコンピュータソフトウェア、ファームウェア又はハードウェアにより実施するか、或いはこれらのうちの1つ又は複数の組み合わせにより実施することができる。データ処理装置によりその操作を実行又は制御するように、開示された実施形態及びその他の実施形態は1つ又は複数のコンピュータプログラム製品として、即ち、コンピュータ読取可能な媒体にコードされるコンピュータプログラム命令の1つ又は複数のモジュールとして実施することができる。前記コンピュータ読取可能な媒体としては、機器読取可能な記憶デバイス、機器読取可能な記憶基板、メモリデバイス、機器読取可能な伝送信号に影響し得る合成物質又はこれらのうちの1つ又は複数からなる組み合わせが挙げられる。術語「データ処理装置」は、データを処理するためのあらゆる装置、デバイス及び機器、例えばプログラム可能なプロセッサ、コンピュータ、複数のプロセッサ又はコンピュータを含む。ハードウェアを除き、前記装置は、検討されるコンピュータプログラムの実行環境を作成するコード、例えばプロセッサファームウェア、プロトコルスタック、データベース管理システム及び操作システム又はこれらのうちの1つ又は複数からなる組み合わせを構成するコードをさらに含む。伝送信号は人工に生成された信号であり、例えば機器により生成された電気、光又は電磁信号が挙げられ、情報をコードして適当な受信機装置に伝送するために生成されたものである。

【0067】
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト又はコードとも言われる)は、コンバイル言語又は解釈性言語を含め、任意の形式のプログラム言語で書き込むことができ、かつ独立プログラムとするか、或いはモジュール、コンポーネント、サブルーチン又はコンピュータ環境下での使用に適するほかの手段とする形式を含め、任意の形式で配置されている。コンピュータプログラムはファイルシステム中のファイルに対応する必要がない。プログラムは、他のプログラム又はデータ(例えば、標記言語文書に記憶されている1つ又は複数のスクリプト)を格納するファイルの一部、検討されるプログラムに用いられる単一のファイル、又は複数の協同ファイル(例えば、1つ又は複数のモジュール、サブルーチン又はコードを記憶するファイル)に記憶されている。コンピュータプログラムは1つのコンピュータ、或いは、1つの地点に位置するか又は複数の地点に分布しかつ通信ネットワークを経由して互いに接続されている複数のコンピュータにより実行可能である。

【0068】
当該明細書に描画されている処理及びロジックプロセスは、1つ又は複数のコンピュータを実行して入力データを操作すると共に出力を生成して機能を実行する1つ又は複数のプログラム可能なプロセッサにより実行される。前記処理及びロジックプロセスは、さらに、例えばFPGA(フィールド・プログラマブル・ゲート・アレイ)及びASIC(専用集成回路)のような特別な機能を有するロジック回路により実行され、かつ装置は前記特別な機能を有するロジック回路として実現することもできる。

【0069】
例示として、コンピュータプログラムの実行に適するプロセッサは、通用及び特別な用途を有するマイクロプロセッサ、及び任意の類型のデジタルコンピュータのいずれか1つ又は複数のプロセッサを含む。通常に、プロセッサは読み取り専用のメモリまたはランダムアクセスメモリ或いはこの両者から指令及びデータを受信する。コンピュータの基本的な素子は、指令を実行するプロセッサと、記憶指令及びデータを格納する1つ以上のメモリデバイスである。通常に、コンピュータはさらにデータを記憶するための1つ以上の大容量記憶デバイス、例えば磁気、磁気-光ディスク又はディスクを、前記1つ以上の大容量記憶デバイスに操作可能に結合してその中からデータを受信するか、或いはこれにデータを送信する。コンピュータプログラムの指令及びデータを記憶するコンピュータ読取可能な媒体は、あらゆる形式の不揮発性メモリ、媒体及びメモリデバイスを含み、例えば半導体メモリデバイスと、EPROM、EEPROM及びキャッシュデバイス:磁気ディスク、例えば内部ハードディスク又は移動可能なディスク:磁気-光ディスク、及びCD-ROM及びDVD-ROMディスクを含む。前記プロセッサ及びメモリは特別な用途を有するロジック回路を追加とするか、或いはその中に結合することができる。

【0070】
ユーザとのインタラクションを提供するために、開示された実施例はコンピュータ上で実施することができる。前記コンピュータは、ユーザに情報を表示するCRT(陰極線管)又はLCD(液晶表示器)モニターのような表示デバイス及びキーボードとマウス又は軌跡ボールのような指示デバイスを有する。ユーザはこれを利用してコンピュータに入力を提供することができる。他の類型のデバイスを使用してユーザとのインタラクションを提供することもできる。例えば、ユーザに提供されるフィードバックは任意の形式の感応フィードバック、例えば視覚フィードバック、聴覚フィードバック又は触覚フィードバックであってもよく、かつユーザからの入力、例えば音、音声又はタッチ入力は任意の形式で受信することができる。

【0071】
開示された実施例は、例えばデータサーバであるバックエンドコンポーネント、又はアプリケーションサーバであるミドルコンポーネント、またはクライアントコンピュータであるフロントエンドコンポーネント、又は1つ以上のこのようなバックエンド、ミドル又はフロントエンドコンポーネントの任意の組み合わせを含むコンピュータシステムで実施することができる。前記クライアントコンピュータはグラフィカル・ユーザー・インターフェース又はウェブブラウザを有し、ユーザはこれを経由してここで開示された実施形態とインタラクションを行うことができる。前記システムのコンポーネントは任意の形式、又は例えば通信ネットワークのデジタルデータ通信媒体により互いに接続することができる。通信ネットワークの例示はローカルエリアネットワーク(LAN)及びワールドエリアネットワーク(WAN)、例えばインタネットを含む。

【0072】
開示された実施例を実施するためのシステムは、クライアントコンピュータ(クライアント)とサーバコンピュータ(サーバ)を含む。クライアント及びサーバは通常に互いに離間し、かつ典型的に通信ネットワークを介してインタラクションを行う。クライアントとサーバの関係は各々のコンピュータで運行しかつ互いにクラインと、サーバ関係を有するコンピュータプログラムにより発生可能である。

【0073】
当該明細書は複数の特定の内容を含むが、これらは任意の発明又は要求される範囲の制限を構成せず、特定の実施例の特定の特徴の描画として使用される。本明細書では、単独の実施例の環境下で描画される幾つかの特徴はさらに単独の実施例で組み合わせて実施することができる。逆に、単独の実施例の環境下で描画されている様々な特徴は、分散する形で、或いは任意の適当なサブ組み合わせで複数の実施例において実施することもできる。また、以上で、特徴がある組み合わせで機能し、更には最初にこのように要求されるが、要求される組み合わせの1つ又は複数の特徴がある状況下で前記組み合わせから削除され、かつ要求される組み合わせがサブ組み合わせに指向する変化形式に描画することができる。

【0074】
これと類似するように、操作は図面で特定の順序で描画されているが、示される特定の順序又は連続の順序でこれらの操作を実行するか、またはあらゆる図示される操作を実行することにより必要な結果を実現することが要求されるものとして理解すべきではない。ある状況下で、マルチタスク及び並行処理は有利である。また、以上で描画されている実施例における様々なシステムコンポーネントの離間は、あらゆる実施例でこのような離間を行うことが要求されると理解すべきではない。かつ、描画されているプログラムコンポーネントとシステムは通常に単独のソフトウェア製品中で1つに集成するか、或いは複数のソフトウェアにパッケージすることができる。

【0075】
このように、特定の実施例が描画されている。他の実施例は添付される請求項の範囲内に該当する。

【0076】
本出願の最適な実施例が描画されているが、当業者は一旦基本的な進歩性の概念を知ったら、これらの実施例を別の変更や補正を行うことができる。そのため、添付される請求項は、最適な実施例及び本願の範囲に該当するあらゆる変更や補正を含むことが意図されている。

【0077】
本発明の精神及び範囲から逸脱しないかぎり、当業者は本発明に対して様々な変更や変形を行うことができるのが明らかである。これらの変更や変形は本発明の特許請求の範囲及び均等的な範囲に該当すれば、本発明の範囲内に含まれる。
図面
【図1】
0
【図2】
1