TOP > 国内特許検索 > 映像分類装置、映像分類方法、映像分類プログラムおよびコンピュータ読取可能な記録媒体

映像分類装置、映像分類方法、映像分類プログラムおよびコンピュータ読取可能な記録媒体

国内特許コード P09A015070
整理番号 P2005-237-JP01
掲載日 2010年2月19日
出願番号 特願2006-171830
公開番号 特開2008-005167
登録番号 特許第4759745号
出願日 平成18年6月21日(2006.6.21)
公開日 平成20年1月10日(2008.1.10)
登録日 平成23年6月17日(2011.6.17)
発明者
  • 長谷山 美紀
  • 二反田 直己
出願人
  • 国立大学法人北海道大学
発明の名称 映像分類装置、映像分類方法、映像分類プログラムおよびコンピュータ読取可能な記録媒体
発明の概要

【課題】効果的なシーン間の境界を検出することのできる映像分類装置を実現する。
【解決手段】映像分類装置1は、映像信号に含まれるビデオ信号に基づきショット間の境界を検出して映像を各ショットに分割するショット分割部2と、分割されたショット毎に、ショット内のオーディオ信号について、音の種類で分類された各クラスにどの程度属しているかを示す帰属確率を算出し、この帰属確率を用いて隣接するショット間の類似度を判定するショット間類似度判定部3と、判定されたショット間類似度が所定値より高いショット同士は統合させ上記映像を各シーンに分割するシーン分割部4と、を備えている。よって、オーディオ信号の帰属確率からショット間の類似の度合を算出するので、類似したショットをシーンとしてまとめることができ、その結果、効果的なシーン間の境界を検出することができる。
【選択図】図1

従来技術、競合技術の概要


近年、地上波デジタル放送や光ファイバーによる高速通信網を介した映像配信が開始され、また、Blu-ray DiskやHD DVD(High Definition Digital Versatile Disk)等の大容量の記録媒体が出現している。これらのことからも、ユーザが保持する映像コンテンツは急速に増加することが容易に予測される。このような状況において、蓄積された映像コンテンツの中から所望の映像を得るためのツールとして、映像信号の検索システムが必要となる。このような映像信号の検索システムを構築する場合、前処理として映像信号を分割し、内容を表すインデックスを付加する必要がある。



ここで、図13に示すように映像信号は一般に1台のカメラで連続的に撮影された区間であるショット、及び内容に関連のあるショットを統合したシーンにより構成される(例えば、非特許文献1参照)。そのため映像信号は、ショットあるいはシーンが切り換わる時刻を境界として分割することが望ましい。



以上のような背景のもと、映像信号より得られるビデオ信号を用いて隣接するショッ
ト間の境界(以降、ショットカットと呼ぶ)を検出する手法が提案されている(例えば、非特許文献2~5参照)。これらの手法では、ショットカットの前後で画像の輝度値や動きベクトルが急激に変化するという特徴に基づき、ショットカットを検出する。



他方、隣接するシーン間の境界(以降、シーンカットと呼ぶ)は、ショットカットの一部として検出される。しかしながらショットカットとシーンカットとの両者において、輝度値や動きベクトルの変化の様子に明確な差異は存在せず、ビデオ信号を処理しただけではショットカットの中からシーンカットを検出することは困難となる。そこでシーンカットでは、ビデオ信号だけでなくオーディオ信号も同時に切り換わることに着眼し、ビデオ信号とオーディオ信号とを併せて使用することで、シーンカットを検出する手法が提案されている(例えば、非特許文献6~10参照)。これらの手法では,オーディオ信号を音声や音楽等のクラスに分類し、分類されたクラスが切り換わる時刻とショットカットが一致した場合、その時刻をシーンカットであると判断する。

【非特許文献1】長谷山美紀,「ユーザが望む映像を提供するために-画像認識とクラスタリングそして意味理解への発展-」,映像情報メディア学会技術報告,vol.29, no.47, pp.49-52, 2005.

【非特許文献2】S.J.F. Guimaraes et al., Video segmentation based on 2D image analysis, Pattern Recognition Letters, vol.24, no.7, pp.947-957, 2003.

【非特許文献3】鈴木賢一郎,中嶋正臣,坂野鋭,三部靖夫,大塚作一,「動き方向ヒストグラム特徴を用いた映像データからのカット点検出法」,情報通信学会論文誌(D-II),vol.J-86-D-II, no.4, pp.468-478, 2003.

【非特許文献4】中島康之,氏原清乃,米山暁夫,「部分復号を用いた MPEG データからのカット点検出」,情報通信学会論文誌(D-II),vol.J81-D-II, no.7, pp.1564-1575, 1998.

【非特許文献5】長坂晃朗,田中譲,「カラービデオ映像における自動索引付け法と物体探索法」,情報処理学会論文誌,vol.33, no.4, pp.543-550, 1992.

【非特許文献6】T. Zhang and C.-C. J. Kuo, Audio content analysis for online audiovisual data segmentation and classification, IEEE Transactions on Speech and Audio Processing, vol.9, no.4, pp.441-457, 2001.

【非特許文献7】R. Wang, Z. Liu, and J. Huang, Multimedia content analysis using both audio and visual clues, IEEE Signal Process Mag., vol.17, no.6, pp.12-36, 2000.

【非特許文献8】Z. Liu and Y. Wang, Audio feature extraction and analysis for scene segmentation and classification, J. VLSI Signal Process., vol.20, pp.61-79, 1998.

【非特許文献9】C. Saraceno and R. Leonardi, Audio as a support to scene change detection and characterization of video sequences, Proc. Int. Conf. Acoustics, Speech, and Signal Processing, vol.4, pp. 2597--2600, 1997.

【非特許文献10】中島康之,陸洋,菅野勝,柳原広昌,米山暁夫,「MPEG 符号化データからのオーディオインデキシング」,情報通信学会論文誌(D-II),vol.J83-D-II, no.5, pp.1361-1371, 2000.

【非特許文献11】G.F. Hughes, On the mean accuracy of statistical pattern recognizers, IEEE Trans. Information Theory, vol.IT-14, no.1, pp.55--63, 1968.

産業上の利用分野


本発明は、映像信号をシーン毎に分類する映像分類装置、映像分類方法、映像分類プログラムおよびコンピュータ読取可能な記録媒体に関するものである。

特許請求の範囲 【請求項1】
映像信号に含まれるビデオ信号に基づきショット間の境界を検出して映像を各ショットに分割するショット分割手段と、
分割されたショット毎に、ショット内のオーディオ信号について、音の種類で分類された各クラスにどの程度属しているかを示す帰属確率を算出し、この帰属確率を用いて隣接するショット間の類似度を判定するショット間類似度判定手段と、
判定されたショット間類似度が所定値より高いショット同士は統合させ、上記映像を各シーンに分割するシーン分割手段と、
を備え
上記ショット間類似度判定手段は、ショット内のオーディオ信号を分割した各クリップについて上記帰属確率を算出し、ショット内の各クリップの上記帰属確率の累積ヒストグラムを基に、隣接するショット間の類似度を判定するものであり、
さらに、ショット内の各クリップの上記帰属確率の累積ヒストグラムのうち、最大の値を取るビンが属する上記クラスを示す識別情報を、処理対象のショットに付与するクラス識別情報付与手段を備えたことを特徴とする映像分類装置。

【請求項2】
上記音の種類とは、無音、音声、音楽、音楽付き音声、雑音付き音声の5つの種類であることを特徴とする請求項1に記載の映像分類装置。

【請求項3】
上記分割された各シーンに含まれるショットに付与された上記識別情報に基づき、各シーンを分類する音響ベース分類手段を備えたことを特徴とする請求項1または2に記載の映像分類装置。

【請求項4】
上記分割された各シーンを当該シーンに含まれる画像の特徴に基づき、各シーンを分類する画像ベース分類手段を備えたことを特徴とする請求項1~の何れか1項に記載の映像分類装置。

【請求項5】
同一の映像信号源から得られる各シーンに、同一の識別情報を付与する映像源識別情報付与手段を備えたことを特徴とする請求項またはに記載の映像分類装置。

【請求項6】
分類されたシーン毎にまとめて表示を行う表示手段を備えたことを特徴とする請求項の何れか1項に記載の映像分類装置。

【請求項7】
上記表示手段は、分類されたシーンを類似したもの同士をかためて近距離に配置する表示と、類似したもの同士を列毎に配置する表示とで、切り替え可能に表示することを特徴とする請求項に記載の映像分類装置。

【請求項8】
映像間の類似度を判定する映像間類似度判定手段を備えたことを特徴とする請求項に記載の映像分類装置。

【請求項9】
映像信号に含まれるビデオ信号に基づきショット間の境界を検出して映像を各ショットに分割するショット分割ステップと、
分割されたショット毎に、ショット内のオーディオ信号について、音の種類で分類された各クラスにどの程度属しているかを示す帰属確率を算出し、この帰属確率を用いて隣接するショット間の類似度を判定するショット間類似度判定ステップと、
判定されたショット間類似度が所定値より高いショット同士は統合させ、上記映像を各
シーンに分割するシーン分割ステップと、
を含み、
上記ショット間類似度判定ステップでは、ショット内のオーディオ信号を分割した各クリップについて上記帰属確率を算出し、ショット内の各クリップの上記帰属確率の累積ヒストグラムを基に、隣接するショット間の類似度を判定し、
さらに、上記帰属確率の累積ヒストグラムのうち、最大の値を取るビンが属する上記クラスを示す識別情報を、処理対象のショットに付与するクラス識別情報付与ステップを含むことを特徴とする映像分類方法。

【請求項10】
請求項1~の何れか1項に記載の映像分類装置を動作させるための制御プログラムであって、コンピュータを上記映像分類装置における各手段として機能させるための映像分類プログラム。

【請求項11】
請求項1に記載の映像分類プログラムが記録されているコンピュータ読み取り可能な記録媒体。
産業区分
  • 電子応用機器
  • テレビ
  • 計算機応用
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

JP2006171830thum.jpg
出願権利状態 権利存続中
ライセンスをご希望の方、特許の内容に興味を持たれた方は、下記までご連絡ください


PAGE TOP

close
close
close
close
close
close
close