TOP > 国内特許検索 > カット部検出システム及びショット検出システム並びにシーン検出システム、カット部検出方法

カット部検出システム及びショット検出システム並びにシーン検出システム、カット部検出方法 UPDATE 新技術説明会 外国出願あり

国内特許コード P09A014496
掲載日 2009年5月22日
出願番号 特願2007-206777
公開番号 特開2009-044422
登録番号 特許第5181325号
出願日 平成19年8月8日(2007.8.8)
公開日 平成21年2月26日(2009.2.26)
登録日 平成25年1月25日(2013.1.25)
発明者
  • 森田 啓義
  • 坂井 敦典
  • 政木 康生
  • 坪田 浩乃
出願人
  • 国立大学法人電気通信大学
発明の名称 カット部検出システム及びショット検出システム並びにシーン検出システム、カット部検出方法 UPDATE 新技術説明会 外国出願あり
発明の概要 【課題】 リプレイショットの先頭部分又は最後部分であるリプレイカット部の検出し、リプレイショットおよびその他の特定のショットを精度良く判別でき、更にはシーンを検出する可能なシステムを提供する。
【解決手段】 マクロブロックタイプ情報を含む動画圧縮データから、少なくともBフレーム毎にマクロブロックタイプ情報を抽出する手段と、この抽出されたマクロブロックタイプ情報からフレーム毎のイントラ符号化マクロブロックの数を求める手段と、Bフレームに含まれるイントラ符号化マクロブロックの頻度的特徴を判別条件にして、このBフレーム又はこのBフレームを含むグループオブピクチャを、リプレイショットの先頭部分又は最後部分であるリプレイカット部と判別するリプレイカット部判別手段とを含む。
【選択図】 図13
従来技術、競合技術の概要


近年、インターネットのブロードバンド化に伴い映像配信が行われ、衛星放送やケーブルテレビによるチャンネル数の増加により、ユーザが見ることのできる映像が増加している。また、ストレージ技術の急速な発展にともない、テラバイトを超える大容量のハードディスクを搭載したHDDレコーダも登場してきており、膨大な番組(コンテンツ)をPCやレコーダのハードディスクに保存することが一般的になってきており、個人で映像データを利用することが頻繁に行われている。
そして、前記のように映像データが多くなるほど、映像データ内の見たい場面を素早く探し出すことが困難となる。このようなことから、膨大なビデオデータから、必要なシーンを効率良く、素早くアクセスする技術が重要となってきている。



そこで、例えば、特許文献1に記載された発明では、画面内に占める芝の割合や、動きベクトル、歓声の特徴等から、特定のショットまたはシーンの一部を判定するようにしている。
また、特許文献2に記載された発明では、双方向予測符号化フレームの順方向予測符号化ブロック数、逆方向予測符号化ブロック数の大小関係を調べることにより、複数のショットの分割位置であるカット位置を検出するようにしている。



しかしながら、先の映像の繰り返しを映しているリプレイショットについては、その分割位置(カット部)やその範囲を検出するのが困難であった。
また、リプレイショット以外のショットに関しても、そのショットの種類を明確に分類したり、複数の連続ショットからなるシーンを、ストーリー上意味のある連続した場面として抽出するのは困難であった。
【特許文献1】
特開2005-252860号公報
【特許文献2】
特開平07-284071号公報

産業上の利用分野


本発明は、動画像データから、ショットの分割位置であるカット部や、ショットの種類、複数の連続ショットからなるシーン等を検出するカット部検出システム及びショット検出システム並びにシーン検出システム、カット部検出方法に関するものである。

特許請求の範囲 【請求項1】
マクロブロックタイプ情報を含む動画圧縮データから、少なくともBフレーム毎にマクロブロックタイプ情報を抽出する手段と、
この抽出されたマクロブロックタイプ情報からフレーム毎のイントラ符号化マクロブロックの数を求める手段と、
Bフレームに含まれるイントラ符号化マクロブロックの頻度的特徴を判別条件にして、このBフレーム又はこのBフレームを含むグループオブピクチャを、リプレイショットの先頭部分又は最後部分であって、且つ動画内容以外の映像を重ね合わせてなるオーバレイ画像であるリプレイカット部と判別する手段と、を含むことを特徴とするカット部検出システム。

【請求項2】
マクロブロックタイプ情報を含む動画圧縮データから、少なくともBフレーム毎にマクロブロックタイプ情報を抽出する手段と、
この抽出されたマクロブロックタイプ情報からフレーム毎のイントラ符号化マクロブロックの数を求める手段と、
Bフレームに含まれるイントラ符号化マクロブロックの頻度的特徴を判別条件にして、このBフレーム又はこのBフレームを含むグループオブピクチャを、リプレイショットの先頭部分又は最後部分であるリプレイカット部と判別する手段と、を含み、
前記判別条件には、連続する二つのBフレームの内の少なくとも一方におけるイントラ符号化マクロブロックの数が所定数以上であるという条件が含まれていることを特徴とするカット部検出システム。

【請求項3】
マクロブロックタイプ情報を含む動画圧縮データから、少なくともBフレーム毎にマクロブロックタイプ情報を抽出する手段と、
この抽出されたマクロブロックタイプ情報からフレーム毎のイントラ符号化マクロブロックの数を求める手段と、
Bフレームに含まれるイントラ符号化マクロブロックの頻度的特徴を判別条件にして、このBフレーム又はこのBフレームを含むグループオブピクチャを、リプレイショットの先頭部分又は最後部分であるリプレイカット部と判別する手段と、を含み、
前記判別条件には、連続する二つのBフレームの内の少なくとも一方におけるイントラ符号化マクロブロックの数が所定範囲内であって、このパターンとなる前記二つのBフレームが、複数のグループオブピクチャ中で所定数以上あるという条件が含まれていることを特徴とするカット部検出システム。

【請求項4】
マクロブロックタイプ情報を含む動画圧縮データから、少なくともBフレーム毎にマクロブロックタイプ情報を抽出する手段と、
この抽出されたマクロブロックタイプ情報からフレーム毎のイントラ符号化マクロブロックの数を求める手段と、
Bフレームに含まれるイントラ符号化マクロブロックの頻度的特徴を判別条件にして、このBフレーム又はこのBフレームを含むグループオブピクチャを、リプレイショットの先頭部分又は最後部分であるリプレイカット部と判別する手段と、を含み、
前記マクロブロックタイプ情報からフレーム毎の順方向予測符号化マクロブロックの数およびフレーム毎の逆方向予測符号化マクロブロックの数を求める手段を備え、
前記判別条件に加える条件として、
順方向予測符号化マクロブロックの数が最頻度で、且つ逆方向予測符号化マクロブロックの数と双方向予測符号化マクロブロックの数との合計が所定数以上であるという条件と、
逆方向予測符号化マクロブロックの数が最頻度で、且つ順方向予測符号化マクロブロックの数と双方向予測符号化マクロブロックの数との合計が所定数以上であるという条件と、
双方向予測符号化マクロブロックの数が最頻度であるという条件と、
の三つ条件の内の何れかを含むことを特徴とするカット部検出システム。

【請求項5】
前記カット部検出システムより検出される複数のリプレイカット部の内、連続する二つのリプレイカット部の間を、先の映像の繰り返しを映しているリプレイショットと判別することを特徴とする請求項1乃至4何れか1項記載のカット部検出システムを用いたショット検出システム。

【請求項6】
前記カット部検出システムより検出される複数のリプレイカット部の内、連続する二つのリプレイカット部が、連続する二つの瞬時カット点の間に位置する場合に、これら連続する二つのリプレイカット部の間を、先の映像の繰り返しを映しているリプレイショットと判別することを特徴とする請求項1乃至4何れか1項記載のカット部検出システムを用いたショット検出システム。

【請求項7】
前記連続する二つのリプレイカット部の内の一方と、この一方のリプレイカット部に連続する瞬時カット点との間に、所定数以上のグループオブピクチャを有するという条件を、前記リプレイショットの判別条件に加えたことを特徴とする請求項5又は6記載のショット検出システム。

【請求項8】
前記連続する二つのリプレイカット部の間に所定数以上のグループオブピクチャを有するという条件を、前記リプレイショットの判別条件に加えたことを特徴とする請求項5乃至7何れか1項記載のショット検出システム。

【請求項9】
動画圧縮データから抽出されたショットに対し、フレーム毎に動きベクトル情報を抽出する手段と、
この動きベクトル情報からフレーム毎の動きベクトル量を求める手段と、
前記抽出されたショットについて、その1ショット分の前記動きベクトル量をグループオブピクチャ数で割った平均の動きベクトル量を求める手段とを備え、
前記平均の動きベクトル量が所定範囲内であることを判別条件にして、前記抽出されたショットを特定のショットとして判別することを特徴とする請求項乃至8何れか1項記載のショット検出システム。

【請求項10】
動画圧縮データから抽出されたショットに対し、フレーム毎に動きベクトル情報を抽出する手段と、
各フレームのマクロブロック毎に動きベクトルの方向を所定数の方向に量子化する手段と、
前記量子化により分類された動きベクトルの方向について、その分散度をフレーム毎に求める手段と、
前記抽出されたショットについて、その1ショット分の前記分散度をグループオブピクチャ数で割った平均の分散度を求める手段とを備え、
前記分散度が所定範囲内であることを判別条件にして、前記抽出されたショットを特定のショットとして判別することを特徴とする請求項乃至9何れか1項記載のショット検出システム。

【請求項11】
動画圧縮データから、Iフレーム毎に輝度成分Y、色差成分Cb、色差成分Crを抽出する手段と、
各Iフレームを平行な複数のラインに分割し、そのライン毎に、輝度成分Y、色差成分Cb、色差成分Cr、色差成分の比r=Cb/Crが、それぞれ所定範囲内であるという色条件を満たすマクロブロックの数を求める手段と、
Iフレーム毎に、前記色条件を満たすマクロブロック数が所定範囲以内であるラインの数の平均値を求める手段とを備え、
前記平均値が所定範囲内であるIフレームを含むショットを、特定のショットとして判別することを特徴とする請求項乃至10何れか1項記載のショット検出システム。

【請求項12】
Iフレーム毎に、前記ラインの変化に対する前記マクロブロック数の変化の度合を求め、その度合の最大値が所定範囲内であるIフレームを含むショットを、特定のショットとして判別することを特徴とする請求項11記載のショット検出システム。

【請求項13】
前記ショット検出システムにより検出された各ショットに対し、その種類に応じたショット記号を付与することでショット記号列を作成する手段と、
検出対象のシーンに対応するように複数の前記ショット記号を配列してなるモデルパターン記号列を記憶する手段と、
前記ショット記号列中から、前記モデルパターン記憶手段のモデルパターン記号列に対応する記号列を検出する検出手段とを備え、
前記検出手段により検出された記号列に対応する前記動画像データの連続ショットを、特定のシーンとして認識するようにしたことを特徴とする請求項5乃至12何れか1項記載のショット検出システムを用いたシーン検出システム。

【請求項14】
前記検出手段は、前記ショット記号列に対し前記モデルパターン記号列を照合させて、前記ショット記号列中から前記モデルパターン記号列に略合致する記号列を検出するパターンマッチング処理を行うことを特徴とする請求項13記載のシーン検出システム。

【請求項15】
コンピュータが、マクロブロックタイプ情報を含む動画圧縮データから、少なくともBフレーム毎にマクロブロックタイプ情報を抽出するステップと、
コンピュータが、この抽出されたマクロブロックタイプ情報からフレーム毎のイントラ符号化マクロブロックの数を求めるステップと、
コンピュータが、Bフレームに含まれるイントラ符号化マクロブロックの頻度的特徴を判別条件にして、このBフレーム又はこのBフレームを含むグループオブピクチャを、リプレイショットの先頭部分又は最後部分であって、且つ動画内容以外の映像を重ね合わせてなるオーバレイ画像であるリプレイカット部と判別するステップと、
を含むことを特徴とするカット部検出方法。
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

JP2007206777thum.jpg
出願権利状態 登録
ライセンスをご希望の方、特許の内容に興味を持たれた方は、下記までご連絡ください


PAGE TOP

close
close
close
close
close
close
close