Top > Search of Japanese Patents > DEVICE, METHOD AND PROGRAM FOR CLASSIFYING VIDEO IMAGE, AND COMPUTER-READABLE RECORDING MEDIUM

DEVICE, METHOD AND PROGRAM FOR CLASSIFYING VIDEO IMAGE, AND COMPUTER-READABLE RECORDING MEDIUM

Patent code P09A015070
File No. P2005-237-JP01
Posted date Feb 19, 2010
Application number P2006-171830
Publication number P2008-005167A
Patent number P4759745
Date of filing Jun 21, 2006
Date of publication of application Jan 10, 2008
Date of registration Jun 17, 2011
Inventor
  • (In Japanese)長谷山 美紀
  • (In Japanese)二反田 直己
Applicant
  • (In Japanese)国立大学法人北海道大学
Title DEVICE, METHOD AND PROGRAM FOR CLASSIFYING VIDEO IMAGE, AND COMPUTER-READABLE RECORDING MEDIUM
Abstract PROBLEM TO BE SOLVED: To obtain a video image classifying device for detecting a boundary between effective scenes.
SOLUTION: The video image classifying device 1 is equipped with a shot dividing unit 2 which divides video images into shots by detecting a boundary between the shots on the basis of video signals contained in video image signals, a shot similarity determination unit 3 which calculates an attribution probability to show how much audio signals contained in each of the divided shots belong to each of classes classified according to the type of sounds, and a scene dividing unit 4 that unites the shots determined to have shot similarity higher than a prescribed value and divides the above video images into scenes. Therefore, a similarity between the shots is calculated on the basis of the attribution probability of audio signals, so that the similar shots can be put together as scenes, and resultantly a boundary can be detected between the effective scenes.
Outline of related art and contending technology (In Japanese)

近年、地上波デジタル放送や光ファイバーによる高速通信網を介した映像配信が開始され、また、Blu-ray DiskやHD DVD(High Definition Digital Versatile Disk)等の大容量の記録媒体が出現している。これらのことからも、ユーザが保持する映像コンテンツは急速に増加することが容易に予測される。このような状況において、蓄積された映像コンテンツの中から所望の映像を得るためのツールとして、映像信号の検索システムが必要となる。このような映像信号の検索システムを構築する場合、前処理として映像信号を分割し、内容を表すインデックスを付加する必要がある。

ここで、図13に示すように映像信号は一般に1台のカメラで連続的に撮影された区間であるショット、及び内容に関連のあるショットを統合したシーンにより構成される(例えば、非特許文献1参照)。そのため映像信号は、ショットあるいはシーンが切り換わる時刻を境界として分割することが望ましい。

以上のような背景のもと、映像信号より得られるビデオ信号を用いて隣接するショッ
ト間の境界(以降、ショットカットと呼ぶ)を検出する手法が提案されている(例えば、非特許文献2~5参照)。これらの手法では、ショットカットの前後で画像の輝度値や動きベクトルが急激に変化するという特徴に基づき、ショットカットを検出する。

他方、隣接するシーン間の境界(以降、シーンカットと呼ぶ)は、ショットカットの一部として検出される。しかしながらショットカットとシーンカットとの両者において、輝度値や動きベクトルの変化の様子に明確な差異は存在せず、ビデオ信号を処理しただけではショットカットの中からシーンカットを検出することは困難となる。そこでシーンカットでは、ビデオ信号だけでなくオーディオ信号も同時に切り換わることに着眼し、ビデオ信号とオーディオ信号とを併せて使用することで、シーンカットを検出する手法が提案されている(例えば、非特許文献6~10参照)。これらの手法では,オーディオ信号を音声や音楽等のクラスに分類し、分類されたクラスが切り換わる時刻とショットカットが一致した場合、その時刻をシーンカットであると判断する。
【非特許文献1】
長谷山美紀,「ユーザが望む映像を提供するために-画像認識とクラスタリングそして意味理解への発展-」,映像情報メディア学会技術報告,vol.29, no.47, pp.49-52, 2005.
【非特許文献2】
S.J.F. Guimaraes et al., Video segmentation based on 2D image analysis, Pattern Recognition Letters, vol.24, no.7, pp.947-957, 2003.
【非特許文献3】
鈴木賢一郎,中嶋正臣,坂野鋭,三部靖夫,大塚作一,「動き方向ヒストグラム特徴を用いた映像データからのカット点検出法」,情報通信学会論文誌(D-II),vol.J-86-D-II, no.4, pp.468-478, 2003.
【非特許文献4】
中島康之,氏原清乃,米山暁夫,「部分復号を用いた MPEG データからのカット点検出」,情報通信学会論文誌(D-II),vol.J81-D-II, no.7, pp.1564-1575, 1998.
【非特許文献5】
長坂晃朗,田中譲,「カラービデオ映像における自動索引付け法と物体探索法」,情報処理学会論文誌,vol.33, no.4, pp.543-550, 1992.
【非特許文献6】
T. Zhang and C.-C. J. Kuo, Audio content analysis for online audiovisual data segmentation and classification, IEEE Transactions on Speech and Audio Processing, vol.9, no.4, pp.441-457, 2001.
【非特許文献7】
R. Wang, Z. Liu, and J. Huang, Multimedia content analysis using both audio and visual clues, IEEE Signal Process Mag., vol.17, no.6, pp.12-36, 2000.
【非特許文献8】
Z. Liu and Y. Wang, Audio feature extraction and analysis for scene segmentation and classification, J. VLSI Signal Process., vol.20, pp.61-79, 1998.
【非特許文献9】
C. Saraceno and R. Leonardi, Audio as a support to scene change detection and characterization of video sequences, Proc. Int. Conf. Acoustics, Speech, and Signal Processing, vol.4, pp. 2597--2600, 1997.
【非特許文献10】
中島康之,陸洋,菅野勝,柳原広昌,米山暁夫,「MPEG 符号化データからのオーディオインデキシング」,情報通信学会論文誌(D-II),vol.J83-D-II, no.5, pp.1361-1371, 2000.
【非特許文献11】
G.F. Hughes, On the mean accuracy of statistical pattern recognizers, IEEE Trans. Information Theory, vol.IT-14, no.1, pp.55--63, 1968.

Field of industrial application (In Japanese)

本発明は、映像信号をシーン毎に分類する映像分類装置、映像分類方法、映像分類プログラムおよびコンピュータ読取可能な記録媒体に関するものである。

Scope of claims (In Japanese)
【請求項1】
 
映像信号に含まれるビデオ信号に基づきショット間の境界を検出して映像を各ショットに分割するショット分割手段と、
分割されたショット毎に、ショット内のオーディオ信号について、音の種類で分類された各クラスにどの程度属しているかを示す帰属確率を算出し、この帰属確率を用いて隣接するショット間の類似度を判定するショット間類似度判定手段と、
判定されたショット間類似度が所定値より高いショット同士は統合させ、上記映像を各シーンに分割するシーン分割手段と、
を備え
上記ショット間類似度判定手段は、ショット内のオーディオ信号を分割した各クリップについて上記帰属確率を算出し、ショット内の各クリップの上記帰属確率の累積ヒストグラムを基に、隣接するショット間の類似度を判定するものであり、
さらに、ショット内の各クリップの上記帰属確率の累積ヒストグラムのうち、最大の値を取るビンが属する上記クラスを示す識別情報を、処理対象のショットに付与するクラス識別情報付与手段を備えたことを特徴とする映像分類装置。

【請求項2】
 
上記音の種類とは、無音、音声、音楽、音楽付き音声、雑音付き音声の5つの種類であることを特徴とする請求項1に記載の映像分類装置。

【請求項3】
 
上記分割された各シーンに含まれるショットに付与された上記識別情報に基づき、各シーンを分類する音響ベース分類手段を備えたことを特徴とする請求項1または2に記載の映像分類装置。

【請求項4】
 
上記分割された各シーンを当該シーンに含まれる画像の特徴に基づき、各シーンを分類する画像ベース分類手段を備えたことを特徴とする請求項1~3の何れか1項に記載の映像分類装置。

【請求項5】
 
同一の映像信号源から得られる各シーンに、同一の識別情報を付与する映像源識別情報付与手段を備えたことを特徴とする請求項3または4に記載の映像分類装置。

【請求項6】
 
分類されたシーン毎にまとめて表示を行う表示手段を備えたことを特徴とする請求項35の何れか1項に記載の映像分類装置。

【請求項7】
 
上記表示手段は、分類されたシーンを類似したもの同士をかためて近距離に配置する表示と、類似したもの同士を列毎に配置する表示とで、切り替え可能に表示することを特徴とする請求項6に記載の映像分類装置。

【請求項8】
 
映像間の類似度を判定する映像間類似度判定手段を備えたことを特徴とする請求項5に記載の映像分類装置。

【請求項9】
 
映像信号に含まれるビデオ信号に基づきショット間の境界を検出して映像を各ショットに分割するショット分割ステップと、
分割されたショット毎に、ショット内のオーディオ信号について、音の種類で分類された各クラスにどの程度属しているかを示す帰属確率を算出し、この帰属確率を用いて隣接するショット間の類似度を判定するショット間類似度判定ステップと、
判定されたショット間類似度が所定値より高いショット同士は統合させ、上記映像を各
シーンに分割するシーン分割ステップと、
を含み、
上記ショット間類似度判定ステップでは、ショット内のオーディオ信号を分割した各クリップについて上記帰属確率を算出し、ショット内の各クリップの上記帰属確率の累積ヒストグラムを基に、隣接するショット間の類似度を判定し、
さらに、上記帰属確率の累積ヒストグラムのうち、最大の値を取るビンが属する上記クラスを示す識別情報を、処理対象のショットに付与するクラス識別情報付与ステップを含むことを特徴とする映像分類方法。

【請求項10】
 
請求項1~8の何れか1項に記載の映像分類装置を動作させるための制御プログラムであって、コンピュータを上記映像分類装置における各手段として機能させるための映像分類プログラム。

【請求項11】
 
請求項10に記載の映像分類プログラムが記録されているコンピュータ読み取り可能な記録媒体。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2006171830thum.jpg
State of application right Registered
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close