TOP > 国内特許検索 > 要約映像データ作成システム及び方法並びにコンピュータプログラム > 明細書

明細書 :要約映像データ作成システム及び方法並びにコンピュータプログラム

発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2015-171073 (P2015-171073A)
公開日 平成27年9月28日(2015.9.28)
発明の名称または考案の名称 要約映像データ作成システム及び方法並びにコンピュータプログラム
国際特許分類 H04N   5/93        (2006.01)
FI H04N 5/93 Z
請求項の数または発明の数 10
出願形態 OL
全頁数 16
出願番号 特願2014-046257 (P2014-046257)
出願日 平成26年3月10日(2014.3.10)
発明者または考案者 【氏名】浜中 雅俊
【氏名】竹内 星子
出願人 【識別番号】504171134
【氏名又は名称】国立大学法人 筑波大学
個別代理人の代理人 【識別番号】100091443、【弁理士】、【氏名又は名称】西浦 ▲嗣▼晴
審査請求 未請求
テーマコード 5C053
Fターム 5C053GB06
5C053HA30
5C053JA12
要約 【課題】映像を構造化し、要約映像を生成するための要約映像データを作成する要約映像データ作成システムを提供する。
【解決手段】シーン区間特定部2によって特定された1以上のシーン区間に含まれるショット階層構造中の部分木構造に対して、ショット階層レベル設定部6により個別にショット階層レベルを設定する。ショット区間特定部5により、部分木構造から、部分木構造ごとに個別に設定したショット階層レベル以上にある幹または枝につながる1以上のショット区間を特定する。要約映像データ作成部7は、ショット区間特定部5により特定された1以上のショット区間に含まれる映像データに基づいて要約映像データを作成する。
【選択図】図1
特許請求の範囲 【請求項1】
映像を要約した要約映像を生成するための要約映像データを作成する要約映像データ作成システムであって、
関連する内容を持つ、連続して撮影された複数のショット区間から構成される複数のシーン区間を予め定めた分析構造化ルールに従って分析した結果を、幹と枝とからなる木構造のシーン階層構造として保存するシーン階層構造記憶部と、
連続して撮影された前記複数のショット区間を予め定めた分析構造化ルールに従って分析した結果を、幹と枝とからなる木構造のショット階層構造として保存するショット階層構造記憶部と、
前記シーン階層構造に対してシーン階層レベルを設定するシーン階層レベル設定部と、
前記シーン階層構造から、前記シーン階層レベル設定部で設定した前記シーン階層レベル以上にある前記幹または前記枝につながる1以上のシーン区間を特定するシーン区間特定部と、
前記シーン区間特定部によって特定された1以上のシーン区間に含まれる前記ショット階層構造中の1以上の部分木構造に対して個別にショット階層レベルを設定するショット階層レベル設定部と、
前記1以上の部分木構造から、前記ショット階層レベル設定部で前記部分木構造ごとに個別に設定した前記ショット階層レベル以上にある前記幹または前記枝につながる1以上のショット区間を特定するショット区間特定部と、
前記ショット区間特定部により特定された1以上前記ショット区間に含まれる映像データに基づいて前記要約映像データを作成する要約映像データ作成部とからなる要約映像データ作成システム。
【請求項2】
前記シーン階層レベル設定部と前記ショット階層レベル設定部とは、任意に前記シーン階層レベルと前記ショット階層レベルとを設定変更可能に構成されている請求項1に記載の要約映像データ作成システム。
【請求項3】
映像を要約した要約映像を生成するための要約映像データを作成する要約映像データ作成システムであって、
関連する内容を持つ、連続して撮影された複数のショットから構成される複数のシーン区間を予め定めた分析構造化ルールに従って分析した結果を、幹と枝とからなる木構造のシーン階層構造として保存するシーン階層構造記憶部と、
連続して撮影された前記複数のショット区間を予め定めた分析構造化ルールに従って分析した結果を、幹と枝とからなる木構造のショット階層構造として保存するショット階層構造記憶部と、
前記シーン階層構造に対してシーン階層レベルを設定するシーン階層レベル設定部と、
前記シーン階層構造から、前記シーン階層レベル設定部で設定した前記シーン階層レベル以上にある前記幹または前記枝につながる1以上のシーン区間を特定するシーン区間特定部と、
前記シーン区間特定部によって特定された1以上のシーン区間に含まれる前記ショット階層構造に対してショット階層レベルを設定するショット階層レベル設定部と、
前記ショット階層構造から、前記ショット階層レベル設定部で設定した前記ショット階層レベル以上にある前記幹または前記枝につながる1以上のショット区間を特定するショット区間特定部と、
前記ショット区間特定部により特定された1以上前記ショット区間に含まれる映像データに基づいて前記要約映像データを生成する要約映像データ作成部とからなる要約映像データ作成システム。
【請求項4】
前記シーン階層レベル設定部と前記ショット階層レベル設定部とは、任意に前記シーン階層レベルと前記ショット階層レベルとを設定変更可能に構成されている請求項3に記載の要約映像データ作成システム。
【請求項5】
前記予め定めた分析構造化ルールに従って作業者が分析作業を行って得た結果に基づいて、前記シーン階層構造が生成されている請求項1または3に記載の要約映像データ作成システム。
【請求項6】
前記予め定めた分析構造化ルールに従って作業者が分析作業を行って得た結果に基づいて、前記ショット階層構造が生成されている請求項1または3に記載の要約映像データ作成システム。
【請求項7】
コンピュータを用いて映像を要約した要約映像を生成するための要約映像データを作成する要約映像データ作成方法であって、
関連する内容を持つ、連続して撮影された複数のショットから構成される複数のシーン区間を予め定めた分析構造化ルールに従って分析した結果を、幹と枝とからなる木構造のシーン階層構造としてシーン階層構造記憶部に保存するシーン階層構造保存ステップと、
連続して撮影された前記複数のショット区間を予め定めた分析構造化ルールに従って分析した結果を、幹と枝とからなる木構造のショット階層構造としてショット階層構造記憶部に保存するショット階層構造保存ステップと、
前記シーン階層構造に対してシーン階層レベルを設定するシーン階層レベル設定ステップと、
前記シーン階層構造から、前記シーン階層レベル以上にある前記幹または前記枝につながる1以上のシーン区間を特定するシーン区間特定ステップと、
前記シーン区間特定ステップによって特定された1以上のシーン区間に含まれる前記ショット階層構造中の1以上の部分木構造に個別にショット階層レベルを設定するショット階層レベル設定ステップと、
前記1以上の部分木構造から、前記部分木構造ごとに個別に設定した前記ショット階層レベル以上にある前記幹または前記枝につながる1以上のショット区間を特定するショット区間特定ステップと、
前記ショット区間特定ステップにより特定された1以上の前記ショット区間に含まれる映像データに基づいて前記要約映像データを作成する要約映像データ作成ステップとを実施することを特徴とする要約映像データ作成方法。
【請求項8】
請求項7に記載の要約映像データ作成方法を実施するための各ステップをコンピュータで実現するためのコンピュータプログラム。
【請求項9】
コンピュータを用いて映像を要約した要約映像を生成するための要約映像データを作成する要約映像データ作成方法であって、
関連する内容を持つ、連続して撮影された複数のショットから構成される複数のシーン区間を予め定めた分析構造化ルールに従って分析した結果を、幹と枝とからなる木構造のシーン階層構造としてシーン階層構造記憶部に保存するシーン階層構造保存ステップと、
連続して撮影された前記複数のショット区間を予め定めた分析構造化ルールに従って分析した結果を、幹と枝とからなる木構造のショット階層構造としてショット階層構造記憶部に保存するショット階層構造保存ステップと、
前記シーン階層構造に対してシーン階層レベルを設定するシーン階層レベル設定ステップと、
前記シーン階層構造から、前記シーン階層レベル設定ステップで設定した前記シーン階層レベル以上にある前記幹または前記枝につながる1以上のシーン区間を特定するシーン区間特定ステップと、
前記シーン区間特定ステップによって特定された1以上のシーン区間に含まれる前記ショット階層構造にショット階層レベルを設定するショット階層レベル設定ステップと、
前記ショット階層構造から、前記ショット階層レベル設定ステップで設定した前記ショット階層レベル以上にある前記幹または前記枝につながる1以上のショット区間を特定するショット区間特定ステップと、
前記ショット区間特定ステップにより特定された1以上前記ショット区間に含まれる映像データに基づいて前記要約映像データを作成する要約映像データ作成ステップとを実施することを特徴とする要約映像データ作成方法。
【請求項10】
請求項9に記載の要約映像データ作成方法を実施するための各ステップをコンピュータで実現するためのコンピュータプログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、映像を要約して要約映像を生成するための要約映像データを作成する要約映像データ作成システム及び方法並びにコンピュータプログラムに関するものである。
【背景技術】
【0002】
従来、映画の要約技術では、内容の充実度と制約時間のトレードオフと、個人によって生じる要約の目的の違いに着目し、以下の三つの要件のいずれかまたは全てに焦点を当てているものが多かった(非特許文献1乃至4)。
【0003】
1)映画の内容が理解できる
2)要約映像をユーザの求める時間長に収める
3)ユーザの関心の強い場面をまとめる
【先行技術文献】
【0004】

【非特許文献1】オン・コックメン,大野雄也,亀山渉,“瞳孔径・視線と心拍情報を用いた映像要約方法とその評価” 電子情報通信学会論文誌A, vol.J93-A, NO.11, pp.697-707, 2010.
【非特許文献2】出口嘉紀,吉高淳夫,“映画の文法に基づく要約映像の生成” データベース・システム研究報告DBS-132,pp33-40, 2004.
【非特許文献3】堀内直明,上原邦明,“ストーリの内容記述に基づく映像の検索と要約” 電子情報通信学会技術研究報告 DE,データ工学97(161),pp73-78,1997.
【非特許文献4】栗原一貴,佐々木洋子,緒方淳,後藤真孝,“音声区間自動検出技術を用いた変則再生方式による映像の高速鑑賞システムの検討” 情報処理学会研究報告Vol.2012-HCI- 149, No.13,2012.
【発明の概要】
【発明が解決しようとする課題】
【0005】
非特許文献1及び2に記載の技術は、上記の要件の1と2を満たすことを目的としていた。しかしながらこれらの技術では、重要な場面をつなぎ合わせるだけで、各場面同士に因果関係がなく、要件1を十分に満たしてはいなかった。一方、非特許文献3に記載の技術は、上記要件1に焦点を当てた技術であり、ユーザが各場面の内容と連続する場面同士の因果関係を記述する方法を提案している。非特許文献4に記載の技術は、音声箇所と非音声箇所の再生速度を変え、視聴時間を短縮する方法を提案している。しかし、非特許文献3及び4の方法では、映画の内容を正確に把握したり、高速な映像を視聴したりするためのユーザの負担が大きかった。
【0006】
本発明の目的は、音楽理論Generative Theory of Tonal Music(GTTM)を基礎として、映像を構造化し、要約映像を生成するための要約映像データを作成する要約映像データ作成システム及び方法並びにコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【0007】
発明者は、GTTMによる楽曲の簡約を応用し、同じように時系列メディアである映画を含む映像を要約することを考えた。楽曲の簡約では、重要な音と装飾的な音の従属関係を表すタイムスパン木(木構造)を用いるが、本発明では、映画を含む映像の大局的構造(シナリオ階層構造)と局所的構造(ショット階層構造)のそれぞれの木構造を用いて、少なくとも上記要件1及び2を満たす要約映像データを作成する。本発明の、映像を要約して要約映像を生成するための要約映像データを作成する要約映像データ作成システムは、シーン階層構造記憶部と、ショット階層構造記憶部と、シーン階層レベル設定部と、シーン区間特定部と、ショット階層レベル設定部と、ショット区間特定部と、要約映像データ作成部とを備えている。シーン階層構造記憶部は、関連する内容を持つ、連続して撮影された複数のショットから構成される複数のシーン区間を予め定めた分析構造化ルールに従って分析した結果を、幹と枝とからなる木構造のシーン階層構造として保存する。ショット階層構造記憶部は、連続して撮影された複数のショット区間を予め定めた分析構造化ルールに従って分析した結果を、幹と枝とからなる木構造のショット階層構造として保存する。シーン階層レベル設定部は、シーン階層構造に対してシーン階層レベルを設定する。そしてシーン区間特定部は、シーン階層構造から、シーン階層レベル設定部で設定したシーン階層レベル以上にある幹または枝につながる1以上のシーン区間を特定する。またショット階層レベル設定部は、シーン区間特定部によって特定された1以上のシーン区間に含まれるショット階層構造中の1以上の部分木構造に対して個別にショット階層レベルを設定する。そしてショット区間特定部は、1以上の部分木構造ごとに個別に設定したショット階層レベル以上にある幹または枝につながる1以上のショット区間を特定する。要約映像データ作成部は、ショット区間特定部により特定された1以上のショット区間に含まれる映像データに基づいて要約映像データを作成する。
【0008】
本発明では、映画等の映像において映像の最小単位の映像とされているショットに着目して、局所的構造を表す木構造のショット階層構造を生成して、これをショット階層構造記憶部に記憶する。そして関連する連続したショットであるシーンに着目して、大局的構造を表す木構造のシーン階層構造を生成して、シーン階層構造記憶部に記憶する。ショット階層構造及びショット階層構造の生成は、予め定めた分析構造化ルールに従って作業者が分析作業を行って得ることができる。なおこの分析は、コンピュータを用いて実現することも可能である。
【0009】
そしてシーン階層構造から、シーン階層レベル設定部で設定したシーン階層レベル以上にある幹または枝につながる1以上のシーン区間を特定することにより、要約に使用するシーン区間が決定されることになる。すなわちシーン階層レベルを最も下げると、シーン階層構造中の全ての幹及び枝は、シーン階層レベルよりも上にあることになるため、全てのシーン区間が要約のためのシーン区間として決定される。そこからシーン階層レベルを上げていくと、シーン階層レベル以上にある幹または枝につながるシーン区間が要約のためのシーン区間として決定される。その結果、シーン階層レベルの調整により、映画のストーリの流れに沿って、要約に使用するシーン区間を決定できる。この決定だけでは、特に意味を持たないが、シーン区間に含まれるショット階層構造中の1以上の部分木構造に対して個別にショット階層レベルを設定して、選択されたシーン区間内にある1以上の部分木構造から、ショット階層レベル以上にある幹または枝につながる1以上のショット区間を特定することにより、要約に使用するショット区間を決定する。ショット階層レベルを最も下げれば、対応するシーン区間内の全てショット区間が要約のために使用されることになる。そしてそこからショット階層レベルを上げると、対応するシーン区間内で要約のために使用するショット区間の数は減ることになる。このようにして決定したシーン区間ごとに、意味のあるショット区間を決定することができる。このようにして決定したショット区間から要約に使用する映像を得れば、映像の内容が理解できる要約映像を簡単に作成することができ且つ要約映像をユーザの求める時間長に収めることが可能になる。
【0010】
特に、シーン階層レベル設定部及びショット階層レベル設定部を、任意にシーン階層レベルとショット階層レベルとを設定変更可能に構成すれば、各シーン区間に対応したショット階層レベルの調整を適宜に行うことにより、ユーザの関心の強い場面(シーン)の映像を多くし、関心の低い場面(シーン)の映像を少なくした要約を作成することができる。
【0011】
なお要約作業をより簡易的なものとするために、ショット階層構造に対して1つのショット階層レベルを設定するようにしてもよいのは勿論である。このようにするとショット区間の決定が容易になる。
【0012】
本発明は、要約映像データ作成方法としても特定することができる。本発明の要約映像データ作成方法は、コンピュータを用いて映像を要約した要約映像を生成するための要約映像データを作成するために、シーン階層構造保存ステップと、ショット階層構造保存ステップと、シーン階層レベル設定ステップと、シーン区間特定ステップと、ショット階層レベル設定ステップと、ショット区間特定ステップと、要約映像データ作成ステップとを実施する。
【0013】
シーン階層構造保存ステップでは、関連する内容を持つ、連続して撮影された複数のショットから構成される複数のシーン区間を予め定めた分析構造化ルールに従って分析した結果を、幹と枝とからなる木構造のシーン階層構造としてシーン階層構造記憶部に保存する。ショット階層構造保存ステップでは、連続して撮影された前記複数のショット区間を予め定めた分析構造化ルールに従って分析した結果を、幹と枝とからなる木構造のショット階層構造としてショット階層構造記憶部に保存する。シーン階層レベル設定ステップでは、シーン階層構造に対してシーン階層レベルを設定する。シーン区間特定ステップは、シーン階層構造から、シーン階層レベル以上にある幹または枝につながる1以上のシーン区間を特定する。ショット階層レベル設定ステップでは、シーン区間特定ステップによって特定された1以上のシーン区間に含まれるショット階層構造中の1以上の部分木構造に対して個別にショット階層レベルを設定する。ショット区間特定ステップでは、1以上の部分木構造から、対応する部分木構造に対してショット階層レベル設定ステップで設定したショット階層レベル以上にある幹または枝がつながる1以上のショット区間を特定する。要約映像データ作成ステップでは、ショット区間特定ステップにより特定された1以上のショット区間に含まれる映像データに基づいて要約映像データを作成する。
【0014】
なおショット階層レベル設定ステップにおいて、シーン区間特定ステップによって特定された1以上のシーン区間に含まれるショット階層構造に1つのショット階層レベルを設定するようにしてもよい。
【0015】
また本発明は、要約映像データ作成方法を実施するための各ステップをコンピュータで実現するためのコンピュータプログラムとしても特定することができる。
【図面の簡単な説明】
【0016】
【図1】本発明の要約映像データ作成システムの実施の形態の一例の構成を示すブロック図である。
【図2】ショットとシーンの概念を基に、映画と楽曲の構成要素の関係を示す図である。
【図3】シーン階層構造とショット階層構造を説明するために用いる図である。
【図4】(A)は要約に必要なシーン区間を特定することを説明するために用いる図であり、(B)は要約に必要なショット区間を特定することを説明するために用いる図である。
【図5】(A)及び(B)は、本発明の理解を容易にするために、ショットの代表画像を用いて、図4(A)及び図4(B)に示した木構造とシーン区間及びショット区間との関係と同様の関係を示す図である。
【図6】本発明の要約映像データ作成システムをユーザに負担がかからないようなものとする場合の概念を示す図である。
【図7】本発明の方法をコンピュータで実施する場合にコンピュータにインストールされるコンピュータプログラムのアルゴリズムの一例を示すフローチャートである。
【発明を実施するための形態】
【0017】
以下図面を参照して、本発明の要約映像データ作成システムの実施の形態を詳細に説明する。図1は、本発明の要約映像データ作成システムの実施の形態の一例の構成を示すブロック図である。本実施の形態の構成を説明する前に、本発明の実施の形態の前提について説明する。

【0018】
本実施の形態では、映像の要約の要件を
(ア)ストーリ理解における重要部分の明確化
(イ)部分同士のひも付け
(ウ)内容の充実度と要約の度合いの調節
(エ)ユーザの負担解消
と定義する。ここで本実施の形態では、「(ア)ストーリ理解における重要部分の明確化」と「(イ)部分同士のひも付け」を、映像全体の構造化によって解決し、「(ウ)内容の充実度と要約の度合いの調節」と「(エ)ユーザの負担解消」を、大局的な構造(シーン階層構造)と局所的な構造(ショット階層構造)を表す木構造を操作することで解決する。本実施の形態の特徴は、映像全体を木構造で表現する点である。幹と枝とからなる木構造に関しては、音楽理論Generative Theory of Tonal Music(GTTM)(Lerdah,F.and Jackendoff,R: “ A Generative Theory of Tonal Music“, the MIT Press, Cambredge,1983.)に詳しく開示されている。本実施の形態では、この公知文献に記載された楽曲の構造化を参考にしている。GTTMは、楽曲中の音楽的な構造や関係を専門的に分析し、得られた知識や手順をルールとして記述している。このルールを用いて楽曲の分析を行うことで、幹と枝とから構造木(タイムスパン木)を得ることができ、タイムスパン木によって楽曲を簡約したり、編集したりすることを可能にした。

【0019】
発明者は、映画を含む映像と音楽の構成要素は類似しており、それぞれの構造化に共通する部分があると考えた。そこで、本発明では、GTTMによる楽曲の構造化を、映像の構造化に応用し、映像のタイムスパン木(木構造からなる階層構造)を要約映像データ作成に用いる。

【0020】
GTTMの考え方を映像(映画を含む)の要約に応用するためには、映画と楽曲の構成要素が似ている必要がある。楽曲の構造化では最少単位を音符と考え、GTTMのサブ理論によって意味のあるフレーズにグルーピングされる。映像の代表例である映画にも文法的に扱われる単位があり、映画言語(マルセル・マルタン,金子敏男訳 “映画言語”みすず書房 1957.)によって定義されている。映画言語によると映画の最少単位は、切れ目なしに連続して撮影されたショットとなる。ショットは通常1秒以下から数十秒の映像で構成されるため、それだけでは意味を成さないものが多い。そこで、関連する内容を持つ連続したショットをシーンとしてまとめる考え方がある。ショットとシーンの概念を基に、映画と楽曲の構成要素をまとめたものが図2となる。

【0021】
図1の実施の形態の要約映像データ作成システムは、シーン階層構造記憶部1と、シーン区間特定部2と、シーン階層レベル設定部3と、ショット階層構造記憶部4と、ショット区間特定部5と、ショット階層レベル設定部6と、要約映像データ作成部7とを備えている。

【0022】
シーン階層構造記憶部1は、関連する内容を持つ、連続して撮影された複数のショットから構成される複数のシーン区間を予め定めた分析構造化ルールに従って分析した結果を、幹と枝とからなる木構造のシーン階層構造として保存する。分析構造化ルールの基本は、重要度が高いものが幹となり、その幹に関連して重要度の低いものが枝となるように、2分木である木構造を作成することである。後に詳しく説明するが、分析構造化ルールとしては、例えば、ストーリが進行する場面、あらすじを説明する情報量の多い場面などを重要とし幹を生成、前のシーンの補足のみ、内容が重複する、かつ情報量が少ない場面などを重要でない場面とし、幹に従属する枝を形成するといったルールを採用することができる。

【0023】
構造化について具体的に説明すると、例えば2時間の映画を構造化することを考えてみる。2時間の映画には、平均して数秒から十数秒のショットが千から数千ほど存在する。各ショットは独立して映画のストーリに影響を与えることは考えにくく、通常は複数のショットを連結することで意味を成す。また数千のショットを一つずつ分析することは映像制作、編集の知識のないユーザにとっては負担な作業となる。そこで図3のStep1に示すように複数のショット区間Stをグルーピングする。そして図3のStep2に示すように、グルーピングにより複数のシーン区間Snを特定し、シーンの重要度から木構造からなるシーン階層構造SC1を作成する。本実施の形態では、GTTMのグルーピング構造分析という理論を参考にして、連像した複数のショット区間を、例えば関連度を基にしたルールに従って複数のシーン区間Snにグルーピングする。このようにして作成されたシーン階層構造SC1がデータとして、シーン階層構造記憶部1に保存される。木構造のシーン階層構造SC1を作成する際には、GTTMのタイムスパン簡約を参考にする。

【0024】
ショット階層構造記憶部4は、連続して撮影された複数のショット区間Stを予め定めた分析構造化ルールに従って分析した結果を、幹と枝とからなる木構造のショット階層構造SC2として保存する。ショット階層構造SC2は、図3のStep3に示すような、ショットの重要度から作成したショットの木構造である。木構造のショット階層構造SC2を作成する際にも、分析構造化ル-ルに従う。

【0025】
ショットの分析構造化ルールとしては、場所の変化、人物が入退場する場面などを重要として幹を形成し、反応のみの場面などを重要でない場面とし幹に従属する枝を形成するルールを採用することができる。どのような場面を重要とするかによって木構造の形は変化する。たとえば、特定の人物に重点を置きたい場合には、その人物が出てくる木が優先的に幹に選択されるようにする。ルールの定め方によって、ユーザの関心の強い場面をまとめるといった上記要約の要件3を満たすことができる。

【0026】
ここで分析構造化ルールの実際の例について説明する。なお分析は、最も簡単には作業者が行うことになるが、自動化をすることも可能である。

【0027】
(グルーピング構成ルール:グループが成立するのに必要な条件)
・連続するショットの集まりをシーンとする。

【0028】
・連続するシーンの集まりをシークエンスとする。

【0029】
・シーンはショットを1つ以上含むこととする。

【0030】
・シークエンスはシーンを2つ以上含むこととする。

【0031】
・構成要素が連続している場合のみグループを形成できる。

【0032】
・1つの作品は1つのシークエンスである。

【0033】
・シークエンスはシーンの一部だけを含むことはできない
・シークエンスは序破急の3部構成または起承転結の4部構成になることが望ましい。

【0034】
(グルーピング選好ルール:どのグルーピング構造が好ましいかを示すルール)
・BGMが継続している。

【0035】
・台詞が継続している。

【0036】
・人物が継続して登場している。

【0037】
・場所の移動がない。

【0038】
・大幅な時間経過がない。

【0039】
・短いショットが連続する。

【0040】
・非常に小さいグループへの解析は避ける、特に単一ショットをグループにすることは避ける。

【0041】
・Q&Aで一つのグループが作成できる。

【0042】
・以下の撮影技法が観られる場合、境界がある場合が高い。

【0043】
・インサート、空抜け
・フェード・イン(始)、フェード・アウト(終)、ワイプ、トラジション効果
・オーバーラップ(ディゾルブ)
・黒コマ、白コマのインサート
(木構造の構成ルール:木構造が成立するのに必要な条件)
・幹及び枝はそれぞれ内部に最も重要な場面を持つ。

【0044】
・幹は枝よりも構造的である。

【0045】
・シーンとショットの2段階に分けられる。

【0046】
・枝が深いほど重要でなくなる。

【0047】
(幹の選好ルール:重要か否かを判断するルール)
・より重要度の高い場面が優先的に幹となる。

【0048】
・シーンが幹となる。

【0049】
・導入場面は重要である可能性が高い。

【0050】
・ショット長が長いほうが重要である可能性が高い。

【0051】
・以下の撮影技法が観られる場合、強調された場面であり、重要である可能性が高い。

【0052】
・登場時間の長い人物の場面は重要である可能性が高い。

【0053】
・シーンの開始部分は重要である可能性が高い。

【0054】
・シーンの開始部より終止部の方が重要である可能性が高い。

【0055】
・並行的な部分は並行したヘッドとなる。

【0056】
・特定の人物の台詞が長い場面は重要である可能性が高い。

【0057】
・情報量が多い場面は重要である可能性が高い。

【0058】
図1に戻って、シーン階層レベル設定部3は、シーン階層構造SC1に対するシーン階層レベルLを設定する。シーン階層レベルLは、図4(A)に示すように、要約に使用するシーン区間Snを決定するために、シーン階層構造SC1に対して設定されるものである。本実施の形態では、シーン階層構造SC1に対するシーン階層レベルLの設定位置を任意に設定できるように、シーン階層レベル設定部3が構成されている。シーン区間特定部2は、シーン階層構造SC1から、シーン階層レベル設定部3で設定したシーン階層レベルL以上にある幹Tまたは枝Bにつながる1以上のシーン区間Snを特定する。図4(A)の例では、2本の幹Tにつながる両端の2つのシーン区間Snが、要約に使用されるシーン区間として特定される。

【0059】
また図1のショット階層レベル設定部6は、シーン区間特定部2によって特定された1以上のシーン区間Snに含まれるショット階層構造SC2中の1以上の部分木構造[図4(B)のPSC1 ~PSC4 ]に個別にショット階層レベル[図4(B)のLa~Ld]を設定する。図4(B)に示す例では、シーン階層レベル設定部3で設定したシーン階層レベルL以上にある幹T及び枝Bにつながる3つのシーン区間Snが要約に使用されるシーン区間として特定される。すなわち2本の幹Tにつながる両端の2つのシーン区間Snと、1つの枝Bにつながる1つのシーン区間が、要約に使用されるシーン区間として特定される。

【0060】
ショット区間特定部5は、1以上の部分木構造から、対応するショット階層レベル設定部6で設定したショット階層レベル以上にある幹または枝につながる1以上のショット区間を特定する。具体的には、ショット区間特定部5は、図4(B)に示すように、2本の幹Tにつながる両端の2つのシーン区間Snと、1つの枝Bにつながる1つのシーン区間Snに対応する3つの部分木構造PSC1 ,PSC2及びPSC4から、ショット階層レベル設定部6で設定したショット階層レベル以上にある幹または枝につながる1以上のショット区間Stを特定する。例えば、部分木構造PSC1に対して設定されたショット階層レベルLa以上には1本の幹と1本の枝があり、これらにつながる2つのショット区間Stが要約に使用されるショット区間として特定される。また部分木構造PSC2に対して設定されたショット階層レベルLb以上には1本の幹があり、これにつながる1つのショット区間Stが要約に使用されるショット区間として特定される。さらに部分木構造PSC3に対して設定されたショット階層レベルLc以上には1本の幹と1本の枝があり、これらにつながる2つのショット区間Stが要約に使用されるショット区間として特定される。

【0061】
要約映像データ作成部7は、ショット区間特定部5により特定された1以上のショット区間Stに含まれる映像に基づいて要約映像データを作成する。具体的には、要約映像データ作成部7は、全てのショット区間に対応した映像データ8の中からショット区間特定部5により特定されたショット区間Stに含まれる部分映像データを抽出して、抽出した複数の部分映像データを合成することにより要約映像データを作成する。そしてこの要約映像データは、映像再生部9によって再生される。

【0062】
図5(A)及び図5(B)は、本発明の理解を容易にするために、ショットの代表画像を用いて、図4(A)及び図4(B)に示した木構造とシーン区間及びショット区間との関係と同様の関係を示す図である。なお図5(A)及び図5(B)には、図4(A)及び図4(B)示した部分と同様の部分に、図4(A)及び図4(B)中に付した符号と同じ符号を付して説明を省略する。

【0063】
本実施の形態において、ショット階層レベルを最も下げれば、対応するシーン区間内の全てショット区間が要約のために使用されることになり、ショット階層レベルを上げると、対応するシーン区間内で要約のために使用するショット区間の数が減ることになる。このようにして決定したショット区間から要約に使用する映像を得れば、映像の内容が理解でき且つ要約映像をユーザの求める時間長に収めることが可能になる。そして本実施の形態では、シーン階層レベル設定部3と1以上のショット階層レベル設定部6とを、シーン階層レベルとショット階層レベルとを設定変更可能に構成したので、各シーン区間に対応したショット階層レベルの調整を適宜に行うことにより、ユーザの関心の強い場面(シーン)の映像を多くし、関心の低い場面(シーン)の映像を少なくした要約を作成することができる。

【0064】
[変形例]
上記実施の形態では、シーン区間特定部によって特定された1以上のシーン区間に含まれるショット階層構造SC2中の複数の部分木構造に対して個別にショット階層レベルを設定するようにショット階層レベル設定部6を構成した。しかしながら図4(B)に示すように、シーン区間特定部2によって特定された1以上のシーン区間に含まれるショット階層構造SC2に対して(複数の部分木構造PSC1 ~PSC4 )に対して1つのショット階層レベルLoだけを設定するように、ショット階層レベル設定部6を構成してもよい。このようにすると1つのショット階層レベルLoだけを調整すればよいので、要約作業をより簡易的なものとすることができる。

【0065】
また上記実施の形態では、シーン階層構造とショット階層構造とがそれぞれシーン階層構造記憶部1とショット階層構造記憶部4とに別に保存されている。しかしながら本発明では、シーン階層構造とショット階層構造とが連続して構成される連続階層構造を用いることができる。この場合には、連続階層構造を保存する連続階層構造記憶部からシーン階層構造のデータ部分とショット階層構造のデータ部分とを分割して取り出して、シーン区間特定部2及びショット区間特定部5に与えればよい。なおこのようにした場合には、図1に符号10で示すように、連続階層構造を保存する連続階層構造記憶部10の中にシーン階層構造記憶部1及びショット階層構造記憶部4がそれぞれ構成される。

【0066】
図6は、本発明の要約映像データ作成システムをユーザに負担がかからないようなものとする場合の概念を示す図である。システムへの入力は、ショットに分割された動画ファイルと、ショットの情報が記述されたXMLファイルとすればよい。また出力は選択されたショットをつなぎ合わせた動画データファイルとする。このようにすると例えば、コンピュータ内に本発明の要約映像データ作成システムを実現することができる。図7は、本発明の方法をコンピュータで実施する場合にコンピュータにインストールされるコンピュータプログラムのアルゴリズムを示すフローチャートである。このアルゴリズムでは、コンピュータを用いて映像を要約した要約映像を生成するための要約映像データを作成するために、シーン階層構造保存ステップST1と、ショット階層構造保存ステップST2と、シーン階層レベル設定ステップST3と、シーン区間特定ステップST4と、ショット階層レベル設定ステップST5と、ショット区間特定ステップST6と、要約映像データ作成ステップST7とを実施する。シーン階層構造保存ステップST1では、関連する内容を持つ、連続して撮影された複数のショットから構成される複数のシーン区間を予め定めた分析構造化ルールに従って分析した結果を、幹と枝とからなる木構造のシーン階層構造としてシーン階層構造記憶部に保存する。ショット階層構造保存ステップST2では、連続して撮影された前記複数のショット区間を予め定めた分析構造化ルールに従って分析した結果を、幹と枝とからなる木構造のショット階層構造としてショット階層構造記憶部に保存する。シーン階層レベル設定ステップST3では、シーン階層構造に対してシーン階層レベルを設定する。シーン区間特定ステップST4は、シーン階層構造から、シーン階層レベル以上にある幹または枝につながる1以上のシーン区間を特定する。ショット階層レベル設定ステップST5では、シーン区間特定ステップによって特定された1以上のシーン区間に含まれるショット階層構造中の1以上の部分木構造に対して個別にショット階層レベルを設定する。ショット区間特定ステップST6では、1以上の部分木構造から、対応する部分木構造に対してショット階層レベル設定ステップで設定したショット階層レベル以上にある幹または枝がつながる1以上のショット区間を特定する。要約映像データ作成ステップST7では、ショット区間特定ステップにより特定された1以上のショット区間に含まれる映像データに基づいて要約映像データを作成する。なおショット階層レベル設定ステップST5において、シーン区間特定ステップによって特定された1以上のシーン区間に含まれるショット階層構造に1つのショット階層レベルを設定するようにしてもよいのは勿論である。
【産業上の利用可能性】
【0067】
本発明によれば、シーン階層構造からシーン階層レベル以上にある幹または枝につながる1以上のシーン区間を特定することにより、要約に使用するシーン区間が決定される。そしてシーン区間に含まれるショット階層構造中の1以上の部分木構造に対して個別にショット階層レベルを設定して、選択されたシーン区間内にある1以上の部分木構造から、ショット階層レベル以上にある幹または枝につながる1以上のショット区間を特定することにより、要約に使用するショット区間を決定する。その結果、決定したシーン区間ごとに、意味のあるショット区間を決定することができる。よって本発明によれば、映像の内容が理解できる要約映像をユーザの求める時間長に収めることが可能になる。
【符号の説明】
【0068】
1 シーン階層構造記憶部
2 シーン区間特定部
3 シーン階層レベル設定部
4 ショット階層構造記憶部
5 ショット区間特定部
6 ショット階層レベル設定部
7 要約映像データ作成部
8 映像データ
9 映像再生部
図面
【図1】
0
【図2】
1
【図3】
2
【図7】
3
【図4】
4
【図5】
5
【図6】
6