TOP > 国内特許検索 > 映像動き評価方法および映像動き評価装置 > 明細書

明細書 :映像動き評価方法および映像動き評価装置

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第6208936号 (P6208936)
公開番号 特開2014-099028 (P2014-099028A)
登録日 平成29年9月15日(2017.9.15)
発行日 平成29年10月4日(2017.10.4)
公開日 平成26年5月29日(2014.5.29)
発明の名称または考案の名称 映像動き評価方法および映像動き評価装置
国際特許分類 G06T   7/223       (2017.01)
H04N  19/139       (2014.01)
FI G06T 7/223
H04N 19/139
請求項の数または発明の数 7
全頁数 12
出願番号 特願2012-250154 (P2012-250154)
出願日 平成24年11月14日(2012.11.14)
審査請求日 平成27年8月4日(2015.8.4)
特許権者または実用新案権者 【識別番号】504136568
【氏名又は名称】国立大学法人広島大学
発明者または考案者 【氏名】児玉 明
個別代理人の代理人 【識別番号】110001427、【氏名又は名称】特許業務法人前田特許事務所
審査官 【審査官】佐藤 卓馬
参考文献・文献 特開2010-258710(JP,A)
特開2009-230537(JP,A)
特開2009-272870(JP,A)
特開2008-299241(JP,A)
特開2010-154391(JP,A)
調査した分野 G06T 7/223
H04N 19/139
特許請求の範囲 【請求項1】
動き補償フレーム間予測符号化されたフレームを含む動画像符号化データから、前記フレームの各画素ブロックの動きベクトルを取得するステップと、
前記取得した動きベクトルの一つ一つを粒度の粗い代表動きベクトルに置き換えて、各代表動きベクトルの度数を計数するステップと、
前記代表動きベクトルの中から前記度数が大きい代表動きベクトルを、映像の動きを特徴付ける特徴動きベクトルとして抽出するステップと、
前記動画像符号化データから、前記特徴動きベクトルに対応する画素ブロックについて前記フレームにおける位置情報を取得するステップと、
前記特徴動きベクトルおよび前記特徴動きベクトルに対応する画素ブロックの位置情報に基づいて映像の動きを評価するステップとを備えている
ことを特徴とする映像動き評価方法。
【請求項2】
請求項1に記載の映像動き評価方法において、
前記評価するステップでは、前記特徴動きベクトルに対応する画素ブロックの位置が前記フレームの周縁に該当する場合、前記特徴動きベクトルから各種カメラパラメータが算出され、当該カメラパラメータの値および時間変動に基づいて映像の動きが評価される
ことを特徴とする映像動き評価方法。
【請求項3】
請求項1および2のいずれか一つに記載の映像動き評価方法において、
前記評価するステップでは、前記特徴動きベクトルに対応する画素ブロックの位置が前記フレームの内側に該当する場合、前記特徴動きベクトルから映像内の各オブジェクトの移動方向および移動速度が算出され、当該各オブジェクトの移動方向および移動速度の時間変動に基づいて映像の動きが評価される
ことを特徴とする映像動き評価方法。
【請求項4】
動き補償フレーム間予測符号化されたフレームを含む動画像符号化データから、前記フレームの各画素ブロックの動きベクトルを取得する動きベクトル取得部と、
前記取得された動きベクトルの一つ一つを粒度の粗い代表動きベクトルに置き換えて、各代表動きベクトルの度数を計数し、前記代表動きベクトルの中から前記度数が大きい代表動きベクトルを、映像の動きを特徴付ける特徴動きベクトルとして抽出するヒストグラム解析部と、
前記動画像符号化データから、前記特徴動きベクトルに対応する画素ブロックについて前記フレームにおける位置情報を取得する画素ブロック位置取得部と、
前記特徴動きベクトルおよび前記特徴動きベクトルに対応する画素ブロックの位置情報に基づいて映像の動きを評価する映像動き評価部とを備えている
ことを特徴とする映像動き評価装置。
【請求項5】
請求項4に記載の映像動き評価装置において、
前記映像動き評価部は、前記特徴動きベクトルに対応する画素ブロックの位置が前記フレームの周縁に該当する場合、前記特徴動きベクトルから各種カメラパラメータを算出し、当該カメラパラメータの値および時間変動に基づいて映像の動きを評価する
ことを特徴とする映像動き評価装置。
【請求項6】
請求項4および5のいずれか一つに記載の映像動き評価装置において、
前記映像動き評価部は、前記特徴動きベクトルに対応する画素ブロックの位置が前記フレームの内側に該当する場合、前記特徴動きベクトルから映像内の各オブジェクトの移動方向および移動速度を算出し、当該各オブジェクトの移動方向および移動速度の時間変動に基づいて映像の動きを評価する
ことを特徴とする映像動き評価装置。
【請求項7】
請求項4から6のいずれか一つに記載の映像動き評価装置において、
前記映像動き評価部は、映像の動きが大きいと判断した場合、映像酔いの警告を行う
ことを特徴とする映像動き評価装置。
発明の詳細な説明 【技術分野】
【0001】
本発明は、映像の動きを評価する技術に関する。
【背景技術】
【0002】
近年、テレビジョン装置やプロジェクター装置などの大画面化が進み、誰でも気軽に大画面で迫力ある映像を鑑賞できるようになった。他方で、大画面に表示された映像を視聴することで、めまい、倦怠感、顔面蒼白などの体調不良を引き起こす「映像酔い」が問題化しつつある。映像酔いは、映像全体および/または映像内のオブジェクトが不規則に揺らいだり、過度な動きをしたりするなど、視覚的な運動が多く含まれている映像を視聴した場合に生じやすいと考えられている。また、そのような映像を長時間視聴すると、ひどい場合には、胃部の不快感、吐き気、嘔吐などを引き起こすことが知られている。したがって、映像の動きを評価して、その映像が映像酔いを引き起こす可能性があるかどうかを判定することは非常に有用なことである。
【0003】
従来の映像の動き評価は、グローバル動き補償を利用してカメラパラメータなどを算出することで行っている。例えば、入力された映像から画像オブジェクトを抽出し、当該画像オブジェクトが画面に対して占める割合と当該画像オブジェクトの揺れ周波数を検出して映像の動きを評価している(例えば、特許文献1参照)。
【先行技術文献】
【0004】

【特許文献1】特開2012-165338号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
映像酔いを未然に防ぐには、視聴者が視聴中の映像が映像酔いを引き起こす可能性がある場合に視聴者に警告を発することが有効である。それには映像の動きがリアルタイムで評価できなければならない。この点に関して、従来の映像の動き評価では、動画像符号化データを復号して映像フレームを生成し、当該映像フレームを用いてグローバル動き補償を行っているため、動画像符号化データの復号およびグローバル動き補償に要する演算量が比較的多く、リアルタイムでの映像の動き評価が困難である。さらに、映像内のオブジェクトの動きを検出する場合には、映像フレームからオブジェクトの形状抽出を行うため、さらに膨大な演算が必要となり、リアルタイムでの映像の動き評価は事実上不可能である。映像フレームの画素精度を落とすことで演算量を多少削減することができるが、そうすると評価精度が低下するおそれがある。
【0006】
上記問題に鑑み、本発明は、映像の動きを精度よく、かつ、リアルタイムで評価できるようにすることを課題とする。
【課題を解決するための手段】
【0007】
本発明の一局面に従った映像動き評価方法は、動き補償フレーム間予測符号化されたフレームを含む動画像符号化データから、前記フレームの各画素ブロックの動きベクトルを取得するステップと、前記取得した動きベクトルの一つ一つを粒度の粗い代表動きベクトルに置き換えて、各代表動きベクトルの度数を計数するステップと、前記代表動きベクトルの中から前記度数が大きい代表動きベクトルを、映像の動きを特徴付ける特徴動きベクトルとして抽出するステップと、前記動画像符号化データから、前記特徴動きベクトルに対応する画素ブロックの前記フレームにおける位置情報を取得するステップと、前記特徴動きベクトルおよび前記特徴動きベクトルに対応する画素ブロックの位置情報に基づいて映像の動きを評価するステップとを備えている。
【0008】
また、本発明の一局面に従った映像動き評価装置は、動き補償フレーム間予測符号化されたフレームを含む動画像符号化データから、前記フレームの各画素ブロックの動きベクトルを取得する動きベクトル取得部と、前記取得された動きベクトルの一つ一つを粒度の粗い代表動きベクトルに置き換えて、各代表動きベクトルの度数を計数し、前記代表動きベクトルの中から前記度数が大きい代表動きベクトルを、映像の動きを特徴付ける特徴動きベクトルとして抽出するヒストグラム解析部と、前記動画像符号化データから、前記特徴動きベクトルに対応する画素ブロックの前記フレームにおける位置情報を取得する画素ブロック位置取得部と、前記特徴動きベクトルおよび前記特徴動きベクトルに対応する画素ブロックの位置情報に基づいて映像の動きを評価する映像動き評価部とを備えている。
【0009】
当該方法および装置によると、動画像符号化データに含まれる動きベクトルについてヒストグラム解析が行われて映像の動きを特徴付ける特徴動きベクトルが抽出され、当該特徴動きベクトルおよび当該特徴動きベクトルに対応する画素ブロックの位置情報に基づいて映像の動きが評価される。したがって、動画像符号化データを復号することなく、また、画素精度も落とすことなく映像の動きを評価することができるため、映像の動き評価に係る演算量が従来よりも大幅に削減され、リアルタイムかつ高精度に映像の動きを評価することができる。
【0010】
前記評価するステップでは、前記特徴動きベクトルに対応する画素ブロックの位置が前記フレームの周縁に該当する場合、前記特徴動きベクトルから各種カメラパラメータが算出され、当該カメラパラメータの値および時間変動に基づいて映像の動きが評価されてもよい。同様に、前記映像動き評価部は、前記特徴動きベクトルに対応する画素ブロックの位置が前記フレームの周縁に該当する場合、前記特徴動きベクトルから各種カメラパラメータを算出し、当該カメラパラメータの値および時間変動に基づいて映像の動きを評価してもよい。
【0011】
これによると、映像のグローバル動きをリアルタイムで評価することができる。
【0012】
また、前記評価するステップでは、前記特徴動きベクトルに対応する画素ブロックの位置が前記フレームの内側に該当する場合、前記特徴動きベクトルから映像内の各オブジェクトの移動方向および移動速度が算出され、当該各オブジェクトの移動方向および移動速度の時間変動に基づいて映像の動きが評価されてもよい。同様に、前記映像動き評価部は、前記特徴動きベクトルに対応する画素ブロックの位置が前記フレームの内側に該当する場合、前記特徴動きベクトルから映像内の各オブジェクトの移動方向および移動速度を算出し、当該各オブジェクトの移動方向および移動速度の時間変動に基づいて映像の動きを評価してもよい。
【0013】
これによると、映像内のオブジェクトの動き、すなわち映像のローカル動きをリアルタイムで評価することができる。
【0014】
さらに、前記映像動き評価部は、映像の動きが大きいと判断した場合、映像酔いの警告を行ってもよい。これにより、映像酔いを効果的に予防することができる。
【発明の効果】
【0015】
本発明によると、映像の動きを精度よく、かつ、リアルタイムで評価することができる。これにより、視聴者が視聴中の映像が映像酔いを引き起こす可能性がある場合に視聴者に警告を発して、映像酔いを未然に防ぐことができる。
【図面の簡単な説明】
【0016】
【図1】本発明の一実施形態に係る映像動き評価装置の主要部分の機能ブロック図
【図2】動画像符号化データに含まれる動きベクトルを視覚的に表した図
【図3】動きベクトルの量子化の例を示す図
【図4】代表動きベクトルの度数分布の例を示す図
【図5】特徴動きベクトルの抽出の概要を説明するための図
【図6】特徴動きベクトルとそれに対応する画像領域との関係を示す図
【発明を実施するための形態】
【0017】
以下、図面を参照しながら本発明を実施するための形態について説明する。なお、本発明は、以下の実施形態に限定されるものではない。

【0018】
図1は、本発明の一実施形態に係る映像動き評価装置10の主要部分の機能ブロック図である。本実施形態に係る映像動き評価装置10は、動画像符号化データの再生映像の動きを評価するものであり、動きベクトル取得部12、ヒストグラム解析部14、画素ブロック位置取得部16、および映像動き評価部18を備えている。これら構成要素は電子回路などのハードウェアで実現することもできるし、コンピュータで実行されるコンピュータプログラムまたはソフトウェアとして実現することもできる。また、ハードウェアとソフトウェアを混合した形態で実現することもできる。

【0019】
動画像符号化データは、動き補償フレーム間予測符号化されたフレームを含む動画像符号化データであり、例えば、MPEG(Moving Picture Experts Group)-2、MPEG-4、H.264/AVCなどに準拠した動画像符号化データである。動画像符号化データは、デジタルテレビジョン放送や通信回線を通じて受信したり、各種記録媒体から読み出したりするなどして映像動き評価装置10に提供される。なお、説明の便宜のため、動画像符号化データはMPEG-2に準拠した動画像符号化データであり、1GOP(Group Of Picture)にはIピクチャが1フレーム、Pピクチャが4フレーム、Bピクチャが10フレーム含まれるものとする。MPEG-2では、Pピクチャがフレーム間の順方向予測符号化によって得られるピクチャ、Bピクチャがフレーム間の双方向予測符号化によって得られるピクチャである。

【0020】
動画像符号化データにはフレーム間で動き補償を行うための動きベクトルが含まれている。動きベクトルはブロックマッチング法によって算出される。ブロックマッチング法とは、フレームを所定の大きさの領域(例えば、16×16画素の画素ブロック)に分割し、フレーム間で各画素ブロックが所定の探索範囲内(例えば、32×32画素)のどの位置に移動したかを評価することで各画素ブロックの動きベクトルを算出するものである。フレーム間の画素ブロックのマッチング評価には画素値の差の絶対値和(SAD:Sum of Absolute Difference)などが用いられ、SADが最小となるような動きベクトルが選択される。

【0021】
図2は、動画像符号化データに含まれる動きベクトルを視覚的に表した図である。図中の格子で囲まれた四角が各画素ブロックであり、動きベクトルは白抜き矢印で表示している。図2(a)は、乗り物の映像におけるあるフレームの各画素ブロックの動きベクトルを表す。なお、同図は、一般財団法人映像情報メディア学会および一般財団法人電波産業会が制作の「ハイビジョン・システム評価用標準動画像 第2版」に収録されているシーケンス名称「トロッコ列車」の1シーンである。原映像は1920×1080画素の映像であるが、これを704×480画素の映像にフォーマット変換して使用した。

【0022】
乗り物(トロッコ列車)は画面右から左方向へ向けて移動しているため、乗り物部分の画素ブロックの動きベクトルは概ね左向きの動きベクトルとなっている。また、当該映像はカメラ視点を画面右から左方向に移動(パン)して撮影しているため、背景は画面左から右方向に流れる。したがって、背景部分の画素ブロックの動きベクトルは概ね右向きの動きベクトルとなっている。

【0023】
図2(b)は、マラソン競技の映像におけるあるフレームの各画素ブロックの動きベクトルを表す。なお、同図は、上記「ハイビジョン・システム評価用標準動画像 第2版」に収録されているシーケンス名称「マラソン(フィックス)」の1シーンである。上記と同様のフォーマット変換をして使用した。

【0024】
ランナーは画面右上から左下方向へ向けて移動しているため、ランナー部分の画素ブロックの動きベクトルは概ね左下向きの動きベクトルとなっている。また、当該映像はカメラ視点を固定して撮影しているため、画面左上の背景(観客部分)にはほとんど動きがなく、背景部分の画素ブロックの動きベクトルはほぼゼロである。

【0025】
図1に戻り、動きベクトル取得部12は、動画像符号化データから、Pピクチャおよび/またはBピクチャにおける各画素ブロックの動きベクトルを取得する。ただし、Bピクチャは順方向および逆方向予測に係る動きベクトルを有するため、Bピクチャの動きベクトルを取得する場合、順方向の動きベクトルのみを取得するか、あるいは逆方向の動きベクトルについては向きを反転して、すなわち、順方向の動きベクトルに置き換えて取得する。これは、映像動き評価装置10は動画像符号化データに含まれる動きベクトルに基づいて映像の動きを評価するため、当該評価で使用する動きベクトルはすべて順方向予測に係る動きベクトルに統一する必要があるからである。

【0026】
上述したようにブロックマッチング法ではSADが最小になるように動きベクトルを求めているため、関係のない画素ブロック間でSADが最小であれば誤った動きベクトルが生成されてしまうことがある。例えば、図2(a)において、乗り物の前方の道路の部分において、背景部分の大部分を占める右向きの動きベクトルとは異なる下向きや右下向きの動きベクトル、すなわち誤った動きベクトルが存在する。また、カメラ視点が画面右から左方向に移動しているため、フレームの左端においても誤った動きベクトルが生成されている。

【0027】
誤った動きベクトルの発生は動画像符号化データを生成するエンコーダの性能により異なる。エンコーダの性能が低ければ誤った動きベクトルが多く発生すると予想される。誤った動きベクトルは映像の動き評価の精度を低下させるおそれがあるため、動きベクトル取得部12は、動画像符号化データに含まれる動きベクトルをスクリーニングして誤った動きベクトルを取得せずに正しい動きベクトルのみを取得してもよい。例えば、各画素ブロックの動きベクトルをその周りの画素ブロックの動きベクトルと比較することで、周りと比べて特異な動きベクトルを誤った動きベクトルとして検出することができる。したがって、動きベクトル取得部12は、特異な動きベクトルは除外してそれ以外の動きベクトルを取得するようにしてもよい。

【0028】
ヒストグラム解析部14は、動きベクトル取得部12が取得した動きベクトルを代表動きベクトルに量子化し、当該代表動きベクトルに関してヒストグラム解析を行う。ここで言うヒストグラム解析とは、1フレーム分の各代表動きベクトルの出現頻度、すなわち度数を計数して、代表動きベクトルの中から度数が大きい代表動きベクトルを、映像の動きを特徴付ける特徴動きベクトルとして抽出することである。

【0029】
MPEG-2では動きベクトルは1/2画素の精度を有するが、動きベクトルの精度が高いと映像の動き評価における計算量が非常に多くなる。また、映像の動き評価に高精度の動きベクトルは必要でなく、各画素ブロックのおおよその動きがわかればよい。そこで、動きベクトルを代表動きベクトルに量子化して、映像の動き評価に用いる動きベクトルの精度を落として計算量を抑制する。

【0030】
図3は、動きベクトルの量子化の例を示す。図3(a)は、動きベクトルの精度を1画素にしたときの量子化の例である。例えば、動きベクトルbおよびbは、それぞれ、1画素精度の代表動きベクトルa53およびa-32に置き換えられる。なお、代表動きベクトルの添字はXY座標軸におけるX軸成分およびY軸成分を表す。一方、図3(b)は、動きベクトルの精度を2画素にしたときの量子化の例を示す。例えば、上記と同じ動きベクトルbおよびbは、それぞれ、2画素精度の代表動きベクトルa31およびa-21に置き換えられる。このように、量子化によって動きベクトルは最も近い代表動きベクトルに置き換えられる。

【0031】
ヒストグラム解析部14は、1フレーム分の動きベクトルを量子化して、各代表動きベクトルの度数を計数する。すなわち、1フレーム分の代表動きベクトルの度数分布が生成される。図4は、図2(a)に示した映像に係る代表動きベクトルの度数分布を示す。図4(a)は1画素精度の代表動きベクトルの度数分布であり、図4(b)は2画素精度の代表動きベクトルの度数分布であり、図4(c)は4画素精度の代表動きベクトルの度数分布である。このように画素精度を落とす、すなわち、動きベクトルの量子化を粗くするにつれ、代表動きベクトルの数が減り、代表動きベクトル一つ当たりの出現頻度が増大する。しかし、代表動きベクトルの画素精度を落としても、図4に示したどの度数分布も図2(a)の映像例の特徴をよく表している。すなわち、図2(a)の映像例では、画面中で比較的大きな画像領域を占める乗り物部分の画素ブロックはおおよそ左方向に動き、また、画面中の残りの大きな画像領域を占める背景部分の画素ブロックはおおよそ右方向に動いているため、図4に示したどの度数分布においても、Y軸成分がほぼゼロでX軸成分が負の特定値であるような代表動きベクトル、およびY軸成分がほぼゼロでX軸成分が正の特定値であるような代表動きベクトルの度数が突出している。

【0032】
さらに、ヒストグラム解析部14は、代表動きベクトルの中から度数が大きい代表動きベクトルを、映像の動きを特徴付ける特徴動きベクトルとして抽出する。ヒストグラム解析部14による特徴動きベクトルの抽出について図5を参照しながら説明する。なお、説明の便宜のため、図5では代表動きベクトルのY軸成分を無視してX軸成分のみを考慮している。

【0033】
例えば、代表動きベクトルの度数が図5に示したように分布になったとする。すなわち、代表動きベクトルのX軸成分がp1およびp2であるところに分布の山ができているとする。X=p1のときの度数はf1であり、X=p2のときの度数はf2である。視聴者は映像内で比較的大きな面積を占める画像領域の動きを注視すると考えられ、そのような画像領域の動きは代表動きベクトルの度数分布において山となって現れる。そこで、ヒストグラム解析部14は、代表動きベクトルの度数分布における山を適当な幅で切り出し、当該切り出した部分に含まれる代表動きベクトルを、映像の動きを特徴付ける特徴動きベクトルとして抽出する。

【0034】
例えば、ヒストグラム解析部14は、X=p1を中心として±H1の範囲に含まれる代表動きベクトルを画像領域O1の特徴動きベクトルとして抽出し、X=p2を中心として±H2の範囲に含まれる代表動きベクトルを画像領域O2の特徴動きベクトルとして抽出する。このように、代表動きベクトルの度数分布の各山のピーク値からの距離を閾値として各山を切り出すことができる。あるいは、ヒストグラム解析部14は、度数が閾値よりも大きい代表動きベクトルを特徴動きベクトルとして抽出するようにしてもよい。

【0035】
なお、ヒストグラム解析部14は、1フレーム分の動きベクトルを量子化する以外に、動きベクトルの大きさおよび方向のいずれか一方のみに着目してヒストグラム解析を行ってもよい。すなわち、ヒストグラム解析部14は、動きベクトルのノルムに関してヒストグラム解析を行ってもよいし、あるいは、動きベクトルの方向に関してヒストグラム解析を行ってもよい。このようにヒストグラム解析の対象を動きベクトルの大きさおよび方向のいずれか一方に絞ることで計算量が減り、ヒストグラム解析部14は、より高速にヒストグラム解析を行うことができる。

【0036】
図1に戻り、画素ブロック位置取得部16は、動画像符号化データから、ヒストグラム解析部14によって抽出された特徴動きベクトルに対応する画素ブロックのフレームにおける位置情報を取得する。具体的には、画素ブロック位置取得部16は、各特徴動きベクトルの量子化前の動きベクトルを特定し、動画像符号化データから当該動きベクトルを有する画素ブロックの位置情報を取得する。

【0037】
特徴動きベクトルに対応する画素ブロックの位置情報を取得することにより、映像内で動きのある部分がオブジェクトなのか背景なのかその両方なのかが判明する。図6は、図5の例で抽出された特徴動きベクトルとそれに対応する画像領域との関係を示す。例えば、図5の例で抽出された画像領域O1およびO2の特徴動きベクトルに対応する画素ブロックの位置がいずれもフレームの内側に該当する場合、図6(a)に示したように、これら画像領域O1およびO2はいずれも映像内で動きのあるオブジェクトであると推定される。一方、図5の例で抽出された画像領域O1の特徴動きベクトルに対応する画素ブロックの位置がフレームの周縁に該当し、画像領域O2の特徴動きベクトルに対応する画素ブロックの位置がフレームの内側に該当する場合、図6(b)に示したように、画像領域O1は背景であり、画像領域O2は映像内で動きのあるオブジェクトであると推定される。

【0038】
図1に戻り、映像動き評価部18は、ヒストグラム解析部14によって抽出された特徴動きベクトル、および画素ブロック位置取得部16によって取得された、特徴動きベクトルに対応する画素ブロックの位置情報に基づいて映像の動きを評価する。

【0039】
映像の動き評価は、主にカメラワークに起因するグローバル動きの評価、および主に映像内のオブジェクトの動きに起因するローカル動きの評価に分けることができる。映像動き評価部18は、上述したように特徴動きベクトルおよびそれに対応する画素ブロックの位置情報に基づいて映像中で動きのある部分を特定することで、グローバル動きおよびローカル動きをそれぞれ検出する。

【0040】
具体的には、映像動き評価部18は、特徴動きベクトルに対応する画素ブロックの位置がフレームの周縁に該当する場合、グローバル動きと判断して、当該特徴動きベクトルから各種カメラパラメータを算出する。例えば、当該特徴動きベクトルのX軸成分がゼロ以外の有意な値であればカメラ視点が左または右に動いている、すなわち、カメラがパンしていると考えられるため、映像動き評価部18は、当該特徴動きベクトルのX軸成分からパン速度を算出する。また、当該特徴動きベクトルのY軸成分がゼロ以外の有意な値であればカメラ視点が上または下に動いている、すなわち、カメラがチルトしていると考えられるため、映像動き評価部18は、当該特徴動きベクトルのY軸成分からチルト速度を算出する。また、フレームの左右または上下で当該特徴動きベクトルの向きが互いに逆であればカメラ視点が回転している、すなわち、カメラがロールしていると考えられるため、映像動き評価部18は、当該特徴動きベクトルのX軸成分またはY軸成分からロール速度を算出する。また、フレームの四隅領域における各特徴動きベクトルの向きが放射方向または中心方向であればカメラがズームインまたはズームアウトしていると考えられるため、映像動き評価部18は、当該特徴動きベクトルからズーム速度を算出する。

【0041】
なお、パン、チルト、ロール、ズームなどの各種カメラワークにおいて典型的に出現する特徴動きベクトルの量(大きさ)および/または向きをパターン化しておいてもよい。これにより、映像動き評価部18は、パターン化された特徴動きベクトルとヒストグラム解析部14によって抽出された特徴動きベクトルとのパターンマッチングを行うことで各種カメラパラメータを容易に算出することができる。

【0042】
また、映像動き評価部18は、フレームの四隅領域における各特徴動きベクトルについてパターンマッチング処理を行ってもよい。これにより、動画像符号化データに含まれる動きベクトルについてのヒストグラム解析に依らずに各種カメラパラメータを算出することができる。

【0043】
映像動き評価部18は、算出した各種カメラパラメータの値と閾値とを比較し、カメラパラメータの値が閾値を越えていれば、映像酔いの警告を行ってもよい。カメラパラメータの値が大きいということは、それだけ映像の背景が大きく動いているということであり、映像酔いを引き起こす可能性があるからである。なお、当該警告は、例えば、警告音を発したり、映像に警告字幕をスーパーインポーズしたりすることで行うことができる。

【0044】
さらに、映像動き評価部18は、算出した各種カメラパラメータの時間変動を算出してもよい。当該時間変動は、FFT(Fast Fourier Transform)解析やウェーブレット変換などの時間周波数解析によって算出することができる。例えば、フレームレートが30fps(frames per second)の動画像符号化データに含まれるPピクチャの動きベクトルを用いて映像の動き評価をする場合、各種カメラパラメータは1秒当たり8回算出される。したがって、上記の時間周波数解析を数秒から数十秒間行うことで、各種カメラパラメータの時間変動を算出することができる。映像の動き評価のリアルタイム性を重視するのであれば、上記の時間周波数解析の期間を例えば1秒程度にしてもよい。映像の背景が目まぐるしく動いたり、不規則に揺らいだりするようであれば、各種カメラパラメータの時間周波数解析結果から高周波成分が検出されるはずである。そこで、映像動き評価部18は、各種カメラパラメータの時間周波数解析結果から高周波成分を検出した場合もまた上述のような映像酔いの警告を行ってもよい。

【0045】
また、具体的には、映像動き評価部18は、特徴動きベクトルに対応する画素ブロックの位置がフレームの内側に該当する場合、ローカル動きと判断して、当該特徴動きベクトルから映像内のオブジェクトの移動方向および移動速度を算出する。例えば、当該特徴動きベクトルの大きさから映像内の各オブジェクトの移動速度を算出することができる。映像動き評価部18は、算出した各オブジェクトの移動速度と閾値とを比較し、各オブジェクトの移動速度が閾値を越えていれば、上述のような映像酔いの警告を行ってもよい。オブジェクトの移動速度が大きい場合、映像酔いを引き起こす可能性があるからである。

【0046】
さらに、映像動き評価部18は、算出した各オブジェクトの移動方向および移動速度の時間変動を算出してもよい。当該時間変動は、FFT解析やウェーブレット変換などの時間周波数解析によって算出することができる。上述したように、上記の時間周波数解析を数十秒間行うことで、各オブジェクトの移動方向および移動速度の時間変動を算出することができる。映像内で比較的大きな画像領域を占めるオブジェクトが目まぐるしく動いたり、不規則に揺らいだりするようであれば、各オブジェクトの移動方向および移動速度の時間周波数解析結果から高周波成分が検出されるはずである。そこで、映像動き評価部18は、各オブジェクトの移動方向および移動速度の時間周波数解析結果から高周波成分を検出した場合もまた上述のような映像酔いの警告を行ってもよい。

【0047】
以上のように、本実施形態に係る映像動き評価装置によると、動画像符号化データに含まれる動きベクトルについてヒストグラム解析を行うことで映像の動きを特徴付ける特徴動きベクトルを得て、当該特徴動きベクトルおよび当該特徴動きベクトルに対応する画素ブロックの位置情報に基づいて映像の動きを評価することができる。したがって、動画像符号化データを復号することなく、また、画素精度を落とすことなく、映像の動きを評価することができるため、映像の動き評価に係る演算量が従来よりも大幅に削減され、リアルタイムかつ高精度に映像の動きを評価することができる。

【0048】
また、映像のグローバル動きおよびローカル動きを独立に検出して、これらの動きを個別に評価することができる。

【0049】
さらに、映像動き評価部18が、映像の動きが大きいと判断した場合、映像酔いの警告を行うため、映像酔いを未然に防ぐことができる。
【産業上の利用可能性】
【0050】
本発明に係る映像動き評価方法および映像動き評価装置は、映像の動きを精度よく、かつ、リアルタイムで評価することができるため、テレビジョン装置やプロジェクター装置などの映像再生機器や、ビデオカメラなどの映像撮影機器に有用である。
【符号の説明】
【0051】
10 映像動き評価装置
12 動きベクトル取得部
14 ヒストグラム解析部
16 画素ブロック位置取得部
18 映像動き評価部
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5