Top > Search of Japanese Patents > VIDEO EDITING APPARATUS, VIDEO EDITING PROGRAM, RECORDING MEDIUM, AND VIDEO EDITING METHOD

VIDEO EDITING APPARATUS, VIDEO EDITING PROGRAM, RECORDING MEDIUM, AND VIDEO EDITING METHOD meetings

Patent code P05P003813
Posted date Feb 24, 2006
Application number P2004-190280
Publication number P2006-014084A
Patent number P4032122
Date of filing Jun 28, 2004
Date of publication of application Jan 12, 2006
Date of registration Nov 2, 2007
Inventor
  • (In Japanese)吉▲高▼ 淳夫
  • (In Japanese)出口 嘉紀
Applicant
  • (In Japanese)国立大学法人広島大学
Title VIDEO EDITING APPARATUS, VIDEO EDITING PROGRAM, RECORDING MEDIUM, AND VIDEO EDITING METHOD meetings
Abstract PROBLEM TO BE SOLVED: To realize a summary video creating apparatus for creating a summary video image with which a viewer can accurately and easily grasp contents of entire video.
SOLUTION: A summary video creation apparatus 1 comprises: a shot analysis section 12 for recognizing features corresponding to a length of a duration time of a shot for each part of video based on video data 51; a video analysis section 13 for recognizing features corresponding to violence of a motion of the video for each part of the video based on the video data 51; a block extraction section 17 for specifying a block corresponding to intensified blocks (action block, tense block, relaxed block) in the video data 51 based on results of the recognitions; a subordination degree detection section 18 for detecting a subordination degree 63 among the intensified blocks based on the results of the recognitions; and a summary video generating section 19 for determining a portion to be adopted for a summary video image from the intensified blocks based on the results of the recognitions and a result of the detection.
Outline of related art and contending technology (In Japanese)


インターネット上での通信速度の増大により、映像配信やディジタル放送の利用が一般的になりつつあり、また、HDD内蔵のビデオレコーダなどが普及してきていることから、ユーザは多くの映像をインターネットを通じて取得し、それらを蓄積し、視聴することが可能となってきている。そのためユーザは、多くの映像の中から観たい映像を選択する必要がある。短時間で映像の内容や雰囲気を理解することを目的とした手法の一つとして、映像を要約する手法が挙げられる。



映像にはドラマ、映画、スポーツ、ニュース、音楽番組など様々なものが存在するが、特に映画やドラマは時間が長いため、短時間で内容が理解しやすい要約映像を作成することができれば、ユーザにとっては有用なものとなる。例えば、蓄積した映画をブラウジングする場合、映画評論家が過去に観た映画の紹介や批評を書く際にその映画の内容を思い出したい場合などでは、特に要約映像の有用性が高い。映画を対象とした映像要約に関する技術としては次のようなものが知られている。



非特許文献1では、主要人物のクロースアップ、銃声や爆発、タイトルやテロップなどの特別なイベントを検出し、これらをつなぎ合わせることで映画の予告編を目的とした要約映像を作成している。また、非特許文献2では、ドラマの心理的印象の高い区間に注目し、音楽の開始や終了、カットが頻出する箇所など心理的に重要な箇所を切り出した要約映像を作成している。また、非特許文献3では、視聴者が視覚、聴覚に注意を向ける要素を元にして作成したUser Attention Modelに基づき、視聴者が注意を向けたと考えられる区間を要約映像に採用している。



一方、非特許文献4では、ショットを視覚的な類似度に基づきクラスタリングし、各クラスタから一番長いショットを要約映像として採用している。



また、非特許文献5では、画像、音の特徴から映画をショット、ストーリ・ユニット、シーンに構造化し、それぞれの単位における従属性を検出することによって、映画の文脈を考慮に入れた要約映像を作成している。



また、特許文献1では、各ショットまたはシーンに対応して付与された情報に基づいて作成された当該ショットまたはシーンの評価値を用いることにより映像を抽出する技術が開示されている。
【特許文献1】
WO00/40011(国際公開日2000年7月6日)
【非特許文献1】
R. Lienhart, S. Pfeiffer, W. Effelsberg, “Video Abstracting”, Communications of the ACM, Vol. 40, No. 12, pp. 55-62, Dec. 1997.
【非特許文献2】
森山剛, 坂内正夫, “ドラマ映像の心理的内容に基づいた要約映像の生成”, 電子情報通信学会論文誌, Vol. J84-D-II, No. 6, pp. 1122-1131, Jun. 2001.
【非特許文献3】
Yu-Fei Ma, Lie Lu, Hong-Jiang Zhang, Mingjing Li, “A User Attention Model for Video Summarization”, Proc. of ACM Multimedia, pp. 533-542, Dec. 2002.
【非特許文献4】
Yihong Gong, Xin Liu, “Summarizing Video by Minimizing Visual Content Redundancies”, IEEE International Conference on Multimedia and Exposition, pp. 788-791, 2001.
【非特許文献5】
加藤和也, 吉高淳夫, 平川正人, “文脈を考慮に入れた映画の要約作成”, 情報処理学会研究報告, Vol. 2002, No. 25, pp. 25-30, Mar. 2002.
【非特許文献6】
ダニエル・アリホン著, 岩本憲児, 出口丈人訳, “映画の文法”, 紀伊國屋書店, 1980.
【非特許文献7】
阿久津明人, 外村佳伸, “投影法を用いた映像の解析手法と映像ハンドリングへの応用”, 電子情報通信学会論文誌, Vol. J79-D-II, No. 5, pp. 675-686, May 1996.
【非特許文献8】
川崎智広, 吉高淳夫, 平川正人, 市川忠男, “映画における音楽、効果音の抽出及び印象評価手法の提案”, 信学技報, MVE97-96, pp. 23-29, 1998.

Field of industrial application (In Japanese)


本発明は、映画やテレビドラマなどストーリーを有する映像から要約映像を作成するための映像編集装置、映像編集プログラム、映像編集プログラムを記録したコンピュータ読み取り可能な記録媒体、および映像編集方法に関するものである。

Scope of claims (In Japanese)
【請求項1】
 
ショットの連続によって構成される映像から要約映像を作成する映像編集装置において、
各ショットの長さと映像における動きの激しさとに基づいて予め定めた演算により各ショットにおけるアクション性度合、緊迫性度合、及び落ち着き性度合を生成する指標生成部と、
ショットの長さが徐々に短くなる区間を緊迫した区間とし、アクション性度合が予め定めた閾値以上かつ落ち着き性度合よりも大きいショット以降、アクション性度合が落ち着き性度合よりも大きいショットの連続した区間をアクション区間とし、落ち着き性度合が予め定めた閾値以上かつアクション性度合よりも大きいショット以降、落ち着き性度合がアクション性度合よりも大きいショットの連続した区間を落ち着いた区間とする区間抽出部と、
緊迫した区間の後にアクション区間又は落ち着いた区間が続く場合にはこれら連続する2つの区間に含まれるショットの緊迫性度合の平均値の差をこれら連続する2つの区間の従属度とし、アクション区間又は落ち着いた区間の後に緊迫した区間が続く場合にはこれら連続する2つの区間に含まれるショットのそれぞれアクション性度合又は落ち着き性度合の平均値の差をこれら連続する2つの区間の従属度する従属度検出部と、
緊迫した区間において要約映像として未採用のショットの中で緊迫性度合の最も高いショットを要約映像として採用するとともに、採用したショットを含む区間に隣接する区間の中から従属度の高い区間を選択し、選択した区間における未採用のショットの中で上記採用したショットを含む区間と時間的に最も近いショットを要約映像として採用する要約映像生成部とを備えることを特徴とする映像編集装置。

【請求項2】
 
前記従属度検出部は、さらに、アクション区間の後に緊迫した区間又は落ち着いた区間が続く場合にはこれら連続する2つの区間に含まれるショットのアクション性度合の平均値の差をこれら連続する2つの区間の従属度とし、落ち着いた区間の後にアクション区間が続く場合にはこれら連続する2つの区間に含まれるショットの落ち着き性度合の平均値の差をこれら連続する2つの区間の従属度とし、
要約映像生成部は、さらに、アクション区間において要約映像として未採用のショットの中でアクション性度合の最も高いショットを要約映像として採用するとともに、採用したショットを含む区間に隣接する区間の中から従属度の高い区間を選択し、選択した区間における未採用のショットの中で上記採用したショットを含む区間と時間的に最も近いショットを要約映像として採用することを特徴とする請求項1に記載の映像編集装置。

【請求項3】
 
前記従属度検出部は、さらに、落ち着いた区間の後に緊迫した区間又はアクション区間が続く場合にはこれら連続する2つの区間に含まれるショットの落ち着き性度合の平均値の差をこれら連続する2つの区間の従属度とし、アクション区間の後に落ち着いた区間が続く場合にはこれら連続する2つの区間に含まれるショットのアクション性度合の平均値の差をこれら連続する2つの区間の従属度とし、
要約映像生成部は、さらに、落ち着いた区間において要約映像として未採用のショットの中で落ち着き性度合の最も高いショットを要約映像として採用するとともに、採用したショットを含む区間に隣接する区間の中から従属度の高い区間を選択し、選択した区間における未採用のショットの中で上記採用したショットを含む区間と時間的に最も近いショットを要約映像として採用することを特徴とする請求項1に記載の映像編集装置。

【請求項4】
 
各ショットの緊迫性度合は、当該ショットと当該ショットの前後の予め定めたショットに関するショットの長さの平均値が短いほど高くなる値であり、
各ショットのアクション性度合は、当該ショットの長さが所定の閾値より短くなると高くなり、かつ、当該ショットにおける映像の動きが激しいほど高くなる値であり、
各ショットの落ち着き性度合は、当該ショットの長さが所定の閾値より長くなると高くなり、かつ、当該ショットにおける映像の動きが小さいほど高くなる値であることを特徴とする請求項1から3の何れか1項に記載の映像編集装置。

【請求項5】
 
各ショットのアクション性度合は、さらに、当該ショットと当該ショットの前後の予め定めたショットにおける楽器音成分の長さが所定の閾値より短くなると高くなる値であり、
各ショットの落ち着き性度合は、さらに、当該ショットと当該ショットの前後の予め定めたショットにおける楽器音成分の長さが所定の閾値より長くなると高くなる値であることを特徴とする請求項4に記載の映像編集装置。

【請求項6】
 
請求項1から5の何れか1項に記載の映像編集装置を動作させる映像編集プログラムであって、コンピュータを前記各部として機能させるための映像編集プログラム。

【請求項7】
 
請求項6に記載の映像編集プログラムを記録したコンピュータ読み取り可能な記録媒体。

【請求項8】
 
ショットの連続によって構成される映像から要約映像を作成する映像編集方法において、
各ショットの長さと映像における動きの激しさとに基づいて予め定めた演算により各ショットにおけるアクション性度合、緊迫性度合、及び落ち着き性度合を生成する指標生成処理と、
ショットの長さが徐々に短くなる区間を緊迫した区間とし、アクション性度合が予め定めた閾値以上かつ落ち着き性度合よりも大きいショット以降、アクション性度合が落ち着き性度合よりも大きいショットの連続した区間をアクション区間とし、落ち着き性度合が予め定めた閾値以上かつアクション性度合よりも大きいショット以降、落ち着き性度合がアクション性度合よりも大きいショットの連続した区間を落ち着いた区間とする区間抽出処理と、
緊迫した区間の後にアクション区間又は落ち着いた区間が続く場合にはこれら連続する2つの区間に含まれるショットの緊迫性度合の平均値の差をこれら連続する2つの区間の従属度とし、アクション区間又は落ち着いた区間の後に緊迫した区間が続く場合にはこれら連続する2つの区間に含まれるショットのそれぞれアクション性度合又は落ち着き性度合の平均値の差をこれら連続する2つの区間の従属度する従属度検出処理と、
緊迫した区間において要約映像として未採用のショットの中で緊迫性度合の最も高いショットを要約映像として採用するとともに、採用したショットを含む区間に隣接する区間の中から従属度の高い区間を選択し、選択した区間における未採用のショットの中で上記採用したショットを含む区間と時間的に最も近いショットを要約映像として採用する要約映像生成処理とを備えることを特徴とする映像編集方法。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2004190280thum.jpg
State of application right Registered


PAGE TOP

close
close
close
close
close
close
close