TOP > 国内特許検索 > 映像編集装置、映像編集プログラム、記録媒体、および映像編集方法

映像編集装置、映像編集プログラム、記録媒体、および映像編集方法 新技術説明会

国内特許コード P05P003813
掲載日 2006年2月24日
出願番号 特願2004-190280
公開番号 特開2006-014084
登録番号 特許第4032122号
出願日 平成16年6月28日(2004.6.28)
公開日 平成18年1月12日(2006.1.12)
登録日 平成19年11月2日(2007.11.2)
発明者
  • 吉▲高▼ 淳夫
  • 出口 嘉紀
出願人
  • 学校法人広島大学
発明の名称 映像編集装置、映像編集プログラム、記録媒体、および映像編集方法 新技術説明会
発明の概要

【課題】 映像全体の内容を視聴者が的確に把握しやすい要約映像を作成する要約映像作成装置を実現する。
【解決手段】 映像データ51に基づき、映像の各部についてショットの継続時間の長さに応じた特徴を認識するショット分析部12と、映像データ51に基づき、映像の各部について映像の動きの激しさに応じた特徴を認識する映像分析部13と、上記認識結果に基づき、映像データ51のうち強調区間(アクション区間、緊迫した区間、落ち着いた区間)に該当する区間を特定する区間抽出部17と、上記認識結果に基づき、各強調区間の間の従属度63を検出する従属度検出部18と、上記認識結果と、上記検出結果とに基づき、強調区間から要約映像に採用すべき部分を決定する要約映像生成部19とを要約映像作成装置1に備える。
【選択図】 図5

従来技術、競合技術の概要


インターネット上での通信速度の増大により、映像配信やディジタル放送の利用が一般的になりつつあり、また、HDD内蔵のビデオレコーダなどが普及してきていることから、ユーザは多くの映像をインターネットを通じて取得し、それらを蓄積し、視聴することが可能となってきている。そのためユーザは、多くの映像の中から観たい映像を選択する必要がある。短時間で映像の内容や雰囲気を理解することを目的とした手法の一つとして、映像を要約する手法が挙げられる。



映像にはドラマ、映画、スポーツ、ニュース、音楽番組など様々なものが存在するが、特に映画やドラマは時間が長いため、短時間で内容が理解しやすい要約映像を作成することができれば、ユーザにとっては有用なものとなる。例えば、蓄積した映画をブラウジングする場合、映画評論家が過去に観た映画の紹介や批評を書く際にその映画の内容を思い出したい場合などでは、特に要約映像の有用性が高い。映画を対象とした映像要約に関する技術としては次のようなものが知られている。



非特許文献1では、主要人物のクロースアップ、銃声や爆発、タイトルやテロップなどの特別なイベントを検出し、これらをつなぎ合わせることで映画の予告編を目的とした要約映像を作成している。また、非特許文献2では、ドラマの心理的印象の高い区間に注目し、音楽の開始や終了、カットが頻出する箇所など心理的に重要な箇所を切り出した要約映像を作成している。また、非特許文献3では、視聴者が視覚、聴覚に注意を向ける要素を元にして作成したUser Attention Modelに基づき、視聴者が注意を向けたと考えられる区間を要約映像に採用している。



一方、非特許文献4では、ショットを視覚的な類似度に基づきクラスタリングし、各クラスタから一番長いショットを要約映像として採用している。



また、非特許文献5では、画像、音の特徴から映画をショット、ストーリ・ユニット、シーンに構造化し、それぞれの単位における従属性を検出することによって、映画の文脈を考慮に入れた要約映像を作成している。



また、特許文献1では、各ショットまたはシーンに対応して付与された情報に基づいて作成された当該ショットまたはシーンの評価値を用いることにより映像を抽出する技術が開示されている。

【特許文献1】WO00/40011(国際公開日2000年7月6日)

【非特許文献1】R. Lienhart, S. Pfeiffer, W. Effelsberg, “Video Abstracting”, Communications of the ACM, Vol. 40, No. 12, pp. 55-62, Dec. 1997.

【非特許文献2】森山剛, 坂内正夫, “ドラマ映像の心理的内容に基づいた要約映像の生成”, 電子情報通信学会論文誌, Vol. J84-D-II, No. 6, pp. 1122-1131, Jun. 2001.

【非特許文献3】Yu-Fei Ma, Lie Lu, Hong-Jiang Zhang, Mingjing Li, “A User Attention Model for Video Summarization”, Proc. of ACM Multimedia, pp. 533-542, Dec. 2002.

【非特許文献4】Yihong Gong, Xin Liu, “Summarizing Video by Minimizing Visual Content Redundancies”, IEEE International Conference on Multimedia and Exposition, pp. 788-791, 2001.

【非特許文献5】加藤和也, 吉高淳夫, 平川正人, “文脈を考慮に入れた映画の要約作成”, 情報処理学会研究報告, Vol. 2002, No. 25, pp. 25-30, Mar. 2002.

【非特許文献6】ダニエル・アリホン著, 岩本憲児, 出口丈人訳, “映画の文法”, 紀伊國屋書店, 1980.

【非特許文献7】阿久津明人, 外村佳伸, “投影法を用いた映像の解析手法と映像ハンドリングへの応用”, 電子情報通信学会論文誌, Vol. J79-D-II, No. 5, pp. 675-686, May 1996.

【非特許文献8】川崎智広, 吉高淳夫, 平川正人, 市川忠男, “映画における音楽、効果音の抽出及び印象評価手法の提案”, 信学技報, MVE97-96, pp. 23-29, 1998.

産業上の利用分野


本発明は、映画やテレビドラマなどストーリーを有する映像から要約映像を作成するための映像編集装置、映像編集プログラム、映像編集プログラムを記録したコンピュータ読み取り可能な記録媒体、および映像編集方法に関するものである。

特許請求の範囲 【請求項1】
ショットの連続によって構成される映像から要約映像を作成する映像編集装置において、
各ショットの長さと映像における動きの激しさとに基づいて予め定めた演算により各ショットにおけるアクション性度合、緊迫性度合、及び落ち着き性度合を生成する指標生成部と、
ショットの長さが徐々に短くなる区間を緊迫した区間とし、アクション性度合が予め定めた閾値以上かつ落ち着き性度合よりも大きいショット以降、アクション性度合が落ち着き性度合よりも大きいショットの連続した区間をアクション区間とし、落ち着き性度合が予め定めた閾値以上かつアクション性度合よりも大きいショット以降、落ち着き性度合がアクション性度合よりも大きいショットの連続した区間を落ち着いた区間とする区間抽出部と、
緊迫した区間の後にアクション区間又は落ち着いた区間が続く場合にはこれら連続する2つの区間に含まれるショットの緊迫性度合の平均値の差をこれら連続する2つの区間の従属度とし、アクション区間又は落ち着いた区間の後に緊迫した区間が続く場合にはこれら連続する2つの区間に含まれるショットのそれぞれアクション性度合又は落ち着き性度合の平均値の差をこれら連続する2つの区間の従属度する従属度検出部と、
緊迫した区間において要約映像として未採用のショットの中で緊迫性度合の最も高いショットを要約映像として採用するとともに、採用したショットを含む区間に隣接する区間の中から従属度の高い区間を選択し、選択した区間における未採用のショットの中で上記採用したショットを含む区間と時間的に最も近いショットを要約映像として採用する要約映像生成部とを備えることを特徴とする映像編集装置。

【請求項2】
前記従属度検出部は、さらに、アクション区間の後に緊迫した区間又は落ち着いた区間が続く場合にはこれら連続する2つの区間に含まれるショットのアクション性度合の平均値の差をこれら連続する2つの区間の従属度とし、落ち着いた区間の後にアクション区間が続く場合にはこれら連続する2つの区間に含まれるショットの落ち着き性度合の平均値の差をこれら連続する2つの区間の従属度とし、
要約映像生成部は、さらに、アクション区間において要約映像として未採用のショットの中でアクション性度合の最も高いショットを要約映像として採用するとともに、採用したショットを含む区間に隣接する区間の中から従属度の高い区間を選択し、選択した区間における未採用のショットの中で上記採用したショットを含む区間と時間的に最も近いショットを要約映像として採用することを特徴とする請求項1に記載の映像編集装置。

【請求項3】
前記従属度検出部は、さらに、落ち着いた区間の後に緊迫した区間又はアクション区間が続く場合にはこれら連続する2つの区間に含まれるショットの落ち着き性度合の平均値の差をこれら連続する2つの区間の従属度とし、アクション区間の後に落ち着いた区間が続く場合にはこれら連続する2つの区間に含まれるショットのアクション性度合の平均値の差をこれら連続する2つの区間の従属度とし、
要約映像生成部は、さらに、落ち着いた区間において要約映像として未採用のショットの中で落ち着き性度合の最も高いショットを要約映像として採用するとともに、採用したショットを含む区間に隣接する区間の中から従属度の高い区間を選択し、選択した区間における未採用のショットの中で上記採用したショットを含む区間と時間的に最も近いショットを要約映像として採用することを特徴とする請求項1に記載の映像編集装置。

【請求項4】
各ショットの緊迫性度合は、当該ショットと当該ショットの前後の予め定めたショットに関するショットの長さの平均値が短いほど高くなる値であり、
各ショットのアクション性度合は、当該ショットの長さが所定の閾値より短くなると高くなり、かつ、当該ショットにおける映像の動きが激しいほど高くなる値であり、
各ショットの落ち着き性度合は、当該ショットの長さが所定の閾値より長くなると高くなり、かつ、当該ショットにおける映像の動きが小さいほど高くなる値であることを特徴とする請求項1から3の何れか1項に記載の映像編集装置。

【請求項5】
各ショットのアクション性度合は、さらに、当該ショットと当該ショットの前後の予め定めたショットにおける楽器音成分の長さが所定の閾値より短くなると高くなる値であり、
各ショットの落ち着き性度合は、さらに、当該ショットと当該ショットの前後の予め定めたショットにおける楽器音成分の長さが所定の閾値より長くなると高くなる値であることを特徴とする請求項4に記載の映像編集装置。

【請求項6】
請求項1から5の何れか1項に記載の映像編集装置を動作させる映像編集プログラムであって、コンピュータを前記各部として機能させるための映像編集プログラム。

【請求項7】
請求項6に記載の映像編集プログラムを記録したコンピュータ読み取り可能な記録媒体。

【請求項8】
ショットの連続によって構成される映像から要約映像を作成する映像編集方法において、
各ショットの長さと映像における動きの激しさとに基づいて予め定めた演算により各ショットにおけるアクション性度合、緊迫性度合、及び落ち着き性度合を生成する指標生成処理と、
ショットの長さが徐々に短くなる区間を緊迫した区間とし、アクション性度合が予め定めた閾値以上かつ落ち着き性度合よりも大きいショット以降、アクション性度合が落ち着き性度合よりも大きいショットの連続した区間をアクション区間とし、落ち着き性度合が予め定めた閾値以上かつアクション性度合よりも大きいショット以降、落ち着き性度合がアクション性度合よりも大きいショットの連続した区間を落ち着いた区間とする区間抽出処理と、
緊迫した区間の後にアクション区間又は落ち着いた区間が続く場合にはこれら連続する2つの区間に含まれるショットの緊迫性度合の平均値の差をこれら連続する2つの区間の従属度とし、アクション区間又は落ち着いた区間の後に緊迫した区間が続く場合にはこれら連続する2つの区間に含まれるショットのそれぞれアクション性度合又は落ち着き性度合の平均値の差をこれら連続する2つの区間の従属度する従属度検出処理と、
緊迫した区間において要約映像として未採用のショットの中で緊迫性度合の最も高いショットを要約映像として採用するとともに、採用したショットを含む区間に隣接する区間の中から従属度の高い区間を選択し、選択した区間における未採用のショットの中で上記採用したショットを含む区間と時間的に最も近いショットを要約映像として採用する要約映像生成処理とを備えることを特徴とする映像編集方法。
産業区分
  • テレビ
  • 電子応用機器
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

JP2004190280thum.jpg
出願権利状態 権利存続中


PAGE TOP

close
close
close
close
close
close
close