DEVICE, METHOD AND PROGRAM FOR CLASSIFYING VIDEO IMAGE, AND COMPUTER-READABLE RECORDING MEDIUM
| Patent code | P09A015070 |
|---|---|
| File No. | P2005-237-JP01 |
| Posted date | Feb 19, 2010 |
| Application number | P2006-171830 |
| Publication number | P2008-005167A |
| Patent number | P4759745 |
| Date of filing | Jun 21, 2006 |
| Date of publication of application | Jan 10, 2008 |
| Date of registration | Jun 17, 2011 |
| Inventor |
|
| Applicant |
|
| Title | DEVICE, METHOD AND PROGRAM FOR CLASSIFYING VIDEO IMAGE, AND COMPUTER-READABLE RECORDING MEDIUM |
| Abstract |
PROBLEM TO BE SOLVED: To obtain a video image classifying device for detecting a boundary between effective scenes. SOLUTION: The video image classifying device 1 is equipped with a shot dividing unit 2 which divides video images into shots by detecting a boundary between the shots on the basis of video signals contained in video image signals, a shot similarity determination unit 3 which calculates an attribution probability to show how much audio signals contained in each of the divided shots belong to each of classes classified according to the type of sounds, and a scene dividing unit 4 that unites the shots determined to have shot similarity higher than a prescribed value and divides the above video images into scenes. Therefore, a similarity between the shots is calculated on the basis of the attribution probability of audio signals, so that the similar shots can be put together as scenes, and resultantly a boundary can be detected between the effective scenes. |
| Outline of related art and contending technology |
(In Japanese) 近年、地上波デジタル放送や光ファイバーによる高速通信網を介した映像配信が開始され、また、Blu-ray DiskやHD DVD（High Definition Digital Versatile Disk）等の大容量の記録媒体が出現している。これらのことからも、ユーザが保持する映像コンテンツは急速に増加することが容易に予測される。このような状況において、蓄積された映像コンテンツの中から所望の映像を得るためのツールとして、映像信号の検索システムが必要となる。このような映像信号の検索システムを構築する場合、前処理として映像信号を分割し、内容を表すインデックスを付加する必要がある。 ここで、図13に示すように映像信号は一般に1台のカメラで連続的に撮影された区間であるショット、及び内容に関連のあるショットを統合したシーンにより構成される（例えば、非特許文献1参照）。そのため映像信号は、ショットあるいはシーンが切り換わる時刻を境界として分割することが望ましい。 以上のような背景のもと、映像信号より得られるビデオ信号を用いて隣接するショッ 他方、隣接するシーン間の境界（以降、シーンカットと呼ぶ）は、ショットカットの一部として検出される。しかしながらショットカットとシーンカットとの両者において、輝度値や動きベクトルの変化の様子に明確な差異は存在せず、ビデオ信号を処理しただけではショットカットの中からシーンカットを検出することは困難となる。そこでシーンカットでは、ビデオ信号だけでなくオーディオ信号も同時に切り換わることに着眼し、ビデオ信号とオーディオ信号とを併せて使用することで、シーンカットを検出する手法が提案されている（例えば、非特許文献6～10参照）。これらの手法では，オーディオ信号を音声や音楽等のクラスに分類し、分類されたクラスが切り換わる時刻とショットカットが一致した場合、その時刻をシーンカットであると判断する。 |
| Field of industrial application |
(In Japanese) 本発明は、映像信号をシーン毎に分類する映像分類装置、映像分類方法、映像分類プログラムおよびコンピュータ読取可能な記録媒体に関するものである。 |
| Scope of claims |
(In Japanese) 【請求項1】 映像信号に含まれるビデオ信号に基づきショット間の境界を検出して映像を各ショットに分割するショット分割手段と、 分割されたショット毎に、ショット内のオーディオ信号について、音の種類で分類された各クラスにどの程度属しているかを示す帰属確率を算出し、この帰属確率を用いて隣接するショット間の類似度を判定するショット間類似度判定手段と、 判定されたショット間類似度が所定値より高いショット同士は統合させ、上記映像を各シーンに分割するシーン分割手段と、 を備え、 上記ショット間類似度判定手段は、ショット内のオーディオ信号を分割した各クリップについて上記帰属確率を算出し、ショット内の各クリップの上記帰属確率の累積ヒストグラムを基に、隣接するショット間の類似度を判定するものであり、 さらに、ショット内の各クリップの上記帰属確率の累積ヒストグラムのうち、最大の値を取るビンが属する上記クラスを示す識別情報を、処理対象のショットに付与するクラス識別情報付与手段を備えたことを特徴とする映像分類装置。 【請求項2】 上記音の種類とは、無音、音声、音楽、音楽付き音声、雑音付き音声の5つの種類であることを特徴とする請求項1に記載の映像分類装置。 【請求項3】 上記分割された各シーンに含まれるショットに付与された上記識別情報に基づき、各シーンを分類する音響ベース分類手段を備えたことを特徴とする請求項1または2に記載の映像分類装置。 【請求項4】 上記分割された各シーンを当該シーンに含まれる画像の特徴に基づき、各シーンを分類する画像ベース分類手段を備えたことを特徴とする請求項1～3の何れか1項に記載の映像分類装置。 【請求項5】 同一の映像信号源から得られる各シーンに、同一の識別情報を付与する映像源識別情報付与手段を備えたことを特徴とする請求項3または4に記載の映像分類装置。 【請求項6】 分類されたシーン毎にまとめて表示を行う表示手段を備えたことを特徴とする請求項3～5の何れか1項に記載の映像分類装置。 【請求項7】 上記表示手段は、分類されたシーンを類似したもの同士をかためて近距離に配置する表示と、類似したもの同士を列毎に配置する表示とで、切り替え可能に表示することを特徴とする請求項6に記載の映像分類装置。 【請求項8】 映像間の類似度を判定する映像間類似度判定手段を備えたことを特徴とする請求項5に記載の映像分類装置。 【請求項9】 映像信号に含まれるビデオ信号に基づきショット間の境界を検出して映像を各ショットに分割するショット分割ステップと、 分割されたショット毎に、ショット内のオーディオ信号について、音の種類で分類された各クラスにどの程度属しているかを示す帰属確率を算出し、この帰属確率を用いて隣接するショット間の類似度を判定するショット間類似度判定ステップと、 判定されたショット間類似度が所定値より高いショット同士は統合させ、上記映像を各 シーンに分割するシーン分割ステップと、 を含み、 上記ショット間類似度判定ステップでは、ショット内のオーディオ信号を分割した各クリップについて上記帰属確率を算出し、ショット内の各クリップの上記帰属確率の累積ヒストグラムを基に、隣接するショット間の類似度を判定し、 さらに、上記帰属確率の累積ヒストグラムのうち、最大の値を取るビンが属する上記クラスを示す識別情報を、処理対象のショットに付与するクラス識別情報付与ステップを含むことを特徴とする映像分類方法。 【請求項10】 請求項1～8の何れか1項に記載の映像分類装置を動作させるための制御プログラムであって、コンピュータを上記映像分類装置における各手段として機能させるための映像分類プログラム。 【請求項11】 請求項10に記載の映像分類プログラムが記録されているコンピュータ読み取り可能な記録媒体。 |
| IPC(International Patent Classification) |
|
| F-term |
|
|
Drawing
※Click image to enlarge. |
|
| State of application right | Registered |
Contact Information for " DEVICE, METHOD AND PROGRAM FOR CLASSIFYING VIDEO IMAGE, AND COMPUTER-READABLE RECORDING MEDIUM"
- National University Corporation Hokkaido University Institute for the Promotion of Business-Regional Collaboration
- URL: http://www.mcip.hokudai.ac.jp/cms/cgi-bin/index.pl?view_category_lang=2
-
E-mail:
- Address: Kita 21-jyo Nishi 11-chome, Kita-ku, Sapporo-shi,Hokkaido, Japan , 001-0021
- Fax: 81-11-706-9550
※ It is possible to retrieve in J-STORE by the same key word. → Retrieval result of J-STORE
