TOP > 国内特許検索 > フレーム画像の動きベクトル推定装置及びプログラム

フレーム画像の動きベクトル推定装置及びプログラム

国内特許コード P09P007199
掲載日 2010年2月26日
出願番号 特願2008-199031
公開番号 特開2010-041151
登録番号 特許第5334241号
出願日 平成20年7月31日(2008.7.31)
公開日 平成22年2月18日(2010.2.18)
登録日 平成25年8月9日(2013.8.9)
発明者
  • 浜本 隆之
  • 松崎 可苗
出願人
  • 学校法人東京理科大学
発明の名称 フレーム画像の動きベクトル推定装置及びプログラム
発明の概要

【課題】計算量を抑制すると共に、精度良く動きベクトルを推定することができるようにする。
【解決手段】フレーム画像取得部22によって、通常フレームレートの複数のフレーム画像を取得し、サブフレーム画像取得部24によって、高速フレームレートの複数のサブフレーム画像を取得する。動領域抽出部26によって、基準サブフレーム画像の動領域を抽出する。動きベクトル推定部28によって、基準サブフレーム画像の各ブロック内に存在する動領域に対応する領域を、基準サブフレーム画像に隣接するサブフレーム画像から探索すると共に、各ブロック内に存在する動領域に対応する領域を、基準フレーム画像の時間重心に対応するサブフレーム画像までに含まれる複数の参照サブフレーム画像の各々について、直前探索された領域の近傍の探索範囲から順に探索することにより、参照フレーム画像から基準フレーム画像までの間の各ブロックの動きベクトルを推定する。
【選択図】図1

従来技術、競合技術の概要


近年、コンピュータビジョンの分野では、ITSやロボットビジョンにおける3次元形状の復元などの研究が盛んに行われている。また、動画像符号化の分野では、動画像の高画質化による情報量の増大に伴い、符号化効率の向上の必要性が増している。これらに共通する重要な技術として、動き推定が知られている(非特許文献1、2)。



また、ブロックマッチングを用いた動き推定が知られている(非特許文献3)。ブロックマッチングでは、推定対象となる画像をブロックに分割し、比較される画像においてそのブロックと最も類似度が高い領域を探索している。

【非特許文献1】富永英義、小松尚久、宮下壮史、花村剛、“階層画素情報を用いた動画像における動き量検出方式”、電子情報通信学会論文誌、1989年、Vol. J72-D2、No. 3、pp.395-403

【非特許文献2】田中豊、鄭文涛、金子豊、“階層化手法による固有値勾配法の動き推定精度の検討”、電子情報通信学会ソサイエティ大会講演論文集、1996年、情報・システム、p.185

【非特許文献3】吉田俊之、宮本敦司、酒井善則、“動画像の動きベクトルに対する信頼度関数とその応用”、電子情報通信学会論文誌、1997年、Vol.J80-D2、No. 5、pp.1192-1201

産業上の利用分野


本発明は、フレーム画像の動きベクトル推定装置及びプログラムに係り、特に、2つのフレーム画像間の動きベクトルを推定するフレーム画像の動きベクトル推定装置及びプログラムに関する。

特許請求の範囲 【請求項1】
撮影によって得られた第1のフレームレートの複数のフレーム画像、及び前記第1のフレーム画像より高速な第2のフレームレートの複数のサブフレーム画像を取得する取得手段と、
推定対象となる連続した2つのフレーム画像の一方に対応するサブフレーム画像を基準サブフレーム画像として、前記基準サブフレーム画像の動領域を抽出する抽出手段と、
前記基準サブフレーム画像を複数のブロックに分割し、分割された各ブロック内に存在する動領域に対応する領域を前記基準サブフレーム画像に隣接するサブフレーム画像から探索すると共に、前記分割された各ブロック内に存在する動領域に対応する領域を、前記隣接するサブフレーム画像に隣接するサブフレーム画像から前記2つのフレーム画像の他方に対応するサブフレーム画像までに含まれる複数のサブフレーム画像の各々について、前回探索された領域に近い領域から順に探索することにより、前記基準サブフレーム画像の前記ブロックの各々に対応する前記2つのフレーム画像の間の動きベクトルを推定する推定手段と、
前記推定手段によって推定された前記ブロックの各々の動きベクトルを反転させる反転手段と、
前記推定対象の2つのフレーム画像の一方と、前記反転手段によって反転された前記ブロックの各々の動きベクトルとを用いて、前記推定対象の2つのフレーム画像の他方の動き補償を行う動き補償手段と、
前記推定対象の2つのフレーム画像の他方から、前記反転手段によって反転された前記動きベクトルの前記ブロックの各々に対応する領域以外の未推定領域を抽出する未推定領域抽出手段と、
前記推定対象の2つのフレーム画像間で画素値の差の絶対値が所定値以上となる領域のうち、前記基準サブフレーム画像の動領域に対応する領域以外の領域を、補正対象領域として特定する補正対象領域特定手段と、
前記未推定領域抽出手段によって抽出された前記未推定領域、及び前記補正対象領域特定手段によって特定された前記補正対象領域の各々について、前記推定対象の2つのフレーム画像の一方から、対応する領域を探索することにより、前記2つのフレーム画像の他方から一方までの間における、前記未推定領域及び前記補正対象領域の各々の動きベクトルを推定する第2推定手段と
を含み、
前記動き補償手段が、前記未推定領域及び前記補正対象領域の各々については、前記第2推定手段によって推定された動きベクトルを用いて、前記2つのフレーム画像の他方の動き補償を行うフレーム画像の動きベクトル推定装置。

【請求項2】
撮影によって得られた第1のフレームレートの複数のフレーム画像、及び前記第1のフレーム画像より高速な第2のフレームレートの複数のサブフレーム画像を取得する取得手段と、
推定対象となる連続した2つのフレーム画像の一方に対応するサブフレーム画像を基準サブフレーム画像として、前記基準サブフレーム画像の動領域を抽出する抽出手段と、
前記基準サブフレーム画像を複数のブロックに分割し、分割された各ブロック内に存在する動領域に対応する領域を前記基準サブフレーム画像に隣接するサブフレーム画像から探索すると共に、前記分割された各ブロック内に存在する動領域に対応する領域を、前記隣接するサブフレーム画像に隣接するサブフレーム画像から前記2つのフレーム画像の他方に対応するサブフレーム画像までに含まれる複数のサブフレーム画像の各々について、前回探索された領域に近い領域から順に探索することにより、前記基準サブフレーム画像の前記ブロックの各々に対応する前記2つのフレーム画像の間の動きベクトルを推定する推定手段と、
前記推定手段によって推定された前記ブロックの各々の動きベクトルを反転させる反転手段と、
前記推定対象の2つのフレーム画像の一方と、前記反転手段によって反転された前記ブロックの各々の動きベクトルとを用いて、前記推定対象の2つのフレーム画像の他方の動き補償を行う動き補償手段と、
前記推定対象の2つのフレーム画像の他方から、前記反転手段によって反転された前記動きベクトルの前記ブロックの各々に対応する領域以外の未推定領域を抽出する未推定領域抽出手段と、
前記推定対象の2つのフレーム画像間で画素値の差の絶対値が所定値以上となる領域のうち、前記基準サブフレーム画像の動領域に対応する領域以外の領域を、補正対象領域として特定する補正対象領域特定手段と、
前記未推定領域抽出手段によって抽出された前記未推定領域、及び前記補正対象領域特定手段によって特定された前記補正対象領域のうち、前記推定対象の2つのフレーム画像の一方に存在する動きぼけ領域に対応する第1補正対象領域の各々について、前記推定対象の2つのフレーム画像の一方から、対応する領域を探索することにより、前記2つのフレーム画像の他方から一方までの間における、前記未推定領域及び前記第1補正対象領域の各々の動きベクトルを推定する第2推定手段と、
前記補正対象領域特定手段によって特定された補正対象領域のうち、前記推定対象の2つのフレーム画像の他方に存在する動きぼけ領域に対応する第2補正対象領域が、前記動領域に対応する領域となるサブフレーム画像であって、かつ、前記2つのフレーム画像の他方に対応するサブフレーム画像より前に又は後に撮影されたサブフレーム画像を取得する前後サブフレーム画像取得手段と、
前記推定対象の2つのフレーム画像の他方に対応するサブフレーム画像から、前記前後サブフレーム画像取得手段によって取得されたサブフレーム画像の前記第2補正対象領域に対応する領域を探索する第3の探索手段と、
前記第3の探索手段によって探索された前記領域に対応する前記ブロックを特定するブロック特定手段と、
前記ブロック特定手段によって特定された前記ブロックに対応して前記推定手段によって推定された動きベクトルを反転して、前記2つのフレーム画像の他方から一方までの間における前記第2補正対象領域の動きベクトルを推定する第3推定手段と、
を含み、
前記動き補償手段が、前記未推定領域及び前記第1補正対象領域の各々については、前記第2推定手段によって推定された動きベクトルを用い、前記第2補正対象領域については、前記第3推定手段によって推定された動きベクトルを用いて、前記2つのフレーム画像の他方の動き補償を行うフレーム画像の動きベクトル推定装置。

【請求項3】
撮影によって得られた第1のフレームレートの複数のフレーム画像、及び前記第1のフレーム画像より高速な第2のフレームレートの複数のサブフレーム画像を取得する取得手段と、
推定対象となる連続した2つのフレーム画像の一方に対応するサブフレーム画像を基準サブフレーム画像として、前記基準サブフレーム画像の動領域を抽出する抽出手段と、
前記基準サブフレーム画像を複数のブロックに分割し、分割された各ブロック内に存在する動領域に対応する領域を前記基準サブフレーム画像に隣接するサブフレーム画像から探索すると共に、前記分割された各ブロック内に存在する動領域に対応する領域を、前記隣接するサブフレーム画像に隣接するサブフレーム画像から前記2つのフレーム画像の他方に対応するサブフレーム画像までに含まれる複数のサブフレーム画像の各々について、前回探索された領域に近い領域から順に探索することにより、前記基準サブフレーム画像の前記ブロックの各々に対応する前記2つのフレーム画像の間の動きベクトルを推定する推定手段と、
前記推定対象の2つのフレーム画像の他方と、前記推定手段によって推定された前記ブロックの各々の動きベクトルとを用いて、前記推定対象の2つのフレーム画像の一方の動き補償を行う動き補償手段と、
前記推定対象の2つのフレーム画像間で画素値の差の絶対値が所定値以上となる領域のうち、前記基準サブフレーム画像の動領域に対応する領域以外の領域を、補正対象領域として特定する補正対象領域特定手段と、
前記補正対象領域特定手段によって特定された前記補正対象領域について、前記推定対象の2つのフレーム画像の他方から、対応する領域を探索することにより、前記2つのフレーム画像の一方から他方までの間における、前記補正対象領域の各々の動きベクトルを推定する第2推定手段と、
を含み、
前記動き補償手段が、前記補正対象領域については、前記第2推定手段によって推定された動きベクトルを用いて、前記2つのフレーム画像の一方の動き補償を行うフレーム画像の動きベクトル推定装置。

【請求項4】
撮影によって得られた第1のフレームレートの複数のフレーム画像、及び前記第1のフレーム画像より高速な第2のフレームレートの複数のサブフレーム画像を取得する取得手段と、
推定対象となる連続した2つのフレーム画像の一方に対応するサブフレーム画像を基準サブフレーム画像として、前記基準サブフレーム画像の動領域を抽出する抽出手段と、
前記基準サブフレーム画像を複数のブロックに分割し、分割された各ブロック内に存在する動領域に対応する領域を前記基準サブフレーム画像に隣接するサブフレーム画像から探索すると共に、前記分割された各ブロック内に存在する動領域に対応する領域を、前記隣接するサブフレーム画像に隣接するサブフレーム画像から前記2つのフレーム画像の他方に対応するサブフレーム画像までに含まれる複数のサブフレーム画像の各々について、前回探索された領域に近い領域から順に探索することにより、前記基準サブフレーム画像の前記ブロックの各々に対応する前記2つのフレーム画像の間の動きベクトルを推定する推定手段と、
前記推定対象の2つのフレーム画像の他方と、前記推定手段によって推定された前記ブロックの各々の動きベクトルとを用いて、前記推定対象の2つのフレーム画像の一方の動き補償を行う動き補償手段と、
前記推定対象の2つのフレーム画像間で画素値の差の絶対値が所定値以上となる領域のうち、前記基準サブフレーム画像の動領域に対応する領域以外の領域を、補正対象領域として特定する補正対象領域特定手段と、
前記補正対象領域特定手段によって特定された前記補正対象領域のうち、前記推定対象の2つのフレーム画像の一方に存在する動きぼけ領域に対応する第1補正対象領域の各々について、前記推定対象の2つのフレーム画像の他方から、対応する領域を探索することにより、前記2つのフレーム画像の一方から他方までの間における、前記第1補正対象領域の各々の動きベクトルを推定する第2推定手段と、
前記補正対象領域特定手段によって特定された補正対象領域のうち、前記推定対象の2つのフレーム画像の他方に存在する動きぼけ領域に対応する第2補正対象領域が、前記動領域に対応する領域となるサブフレーム画像であって、かつ、前記2つのフレーム画像の他方に対応するサブフレーム画像より前に又は後に撮影されたサブフレーム画像を取得する前後サブフレーム画像取得手段と、
前記推定対象の2つのフレーム画像の他方に対応するサブフレーム画像から、前記前後サブフレーム画像取得手段によって取得されたサブフレーム画像の前記第2補正対象領域に対応する領域を探索する第3の探索手段と、
前記第3の探索手段によって探索された前記領域に対応する前記ブロックを特定するブロック特定手段と、
前記ブロック特定手段によって特定された前記ブロックに対応して前記推定手段によって推定された動きベクトルを、前記2つのフレーム画像の一方から他方までの間における前記第2補正対象領域の動きベクトルとして推定する第3推定手段と、
を含み、
前記動き補償手段が、前記第1補正対象領域については、前記第2推定手段によって推定された動きベクトルを用い、前記第2補正対象領域については、前記第3推定手段によって推定された動きベクトルを用いて、前記2つのフレーム画像の一方の動き補償を行うフレーム画像の動きベクトル推定装置。

【請求項5】
前記抽出手段は、前記基準サブフレーム画像の画素値と、前記基準サブフレーム画像に隣接するサブフレーム画像から前記2つのフレーム画像の他方に対応するサブフレーム画像までに含まれる複数のサブフレーム画像の少なくとも1つのサブフレーム画像の画素値との差の絶対値が所定値以上となる画素からなる領域を、前記動領域として抽出する請求項1~4の何れか1項記載のフレーム画像の動きベクトル推定装置。

【請求項6】
前記抽出手段は、前記推定手段における領域の探索に応じて、前記基準サブフレーム画像の画素値と、前記推定手段における領域の探索対象となるサブフレーム画像の画素値との差の絶対値が所定値以上となる画素からなる領域を、前記動領域として抽出する請求項1~4の何れか1項記載のフレーム画像の動きベクトル推定装置。

【請求項7】
前記推定手段は、前記複数のサブフレーム画像の各々について、前記分割された各ブロック内に存在する動領域に対応する領域を、前回探索された領域を含む所定の探索範囲内から順に探索する請求項1~請求項6の何れか1項記載のフレーム画像の動きベクトル推定装置。

【請求項8】
前記2つのフレーム画像の一方を、前記2つのフレーム画像のうち先に撮影されたフレーム画像とし、前記2つのフレーム画像の他方を、前記2つのフレーム画像のうち後に撮影されたフレーム画像とした請求項1~請求項7の何れか1項記載のフレーム画像の動きベクトル推定装置。

【請求項9】
コンピュータを、
請求項1~8の何れか1項記載のフレーム画像の動きベクトル推定装置の各手段として機能させるためのプログラム。
産業区分
  • テレビ
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

JP2008199031thum.jpg
出願権利状態 権利存続中
上記の特許・技術に関心のある方は、下記問合せ先にご相談下さい。


PAGE TOP

close
close
close
close
close
close
close