Top > Search of Japanese Patents > FRAME DIVISION IMAGE GENERATING APPARATUS AND PROGRAM

FRAME DIVISION IMAGE GENERATING APPARATUS AND PROGRAM

Patent code P100001290
File No. 2009-02
Posted date Dec 6, 2010
Application number P2009-213682
Publication number P2011-066546A
Patent number P5540376
Date of filing Sep 15, 2009
Date of publication of application Mar 31, 2011
Date of registration May 16, 2014
Inventor
  • (In Japanese)森山 剛
Applicant
  • (In Japanese)学校法人東京工芸大学
Title FRAME DIVISION IMAGE GENERATING APPARATUS AND PROGRAM
Abstract PROBLEM TO BE SOLVED: To generate a frame division image indicating how contents indicated by video signals are projected and what kind of performance impressions is to be given to audience.
SOLUTION: By a performance detection part 16, a video part having a specified performance impression is detected on the basis of the video signals or sound signals of input movie data. By a frame division obtaining part 20, frame division data corresponding to the detected specified performance impression are obtained from a frame division storage part 18. By a key frame selection part 22, a plurality of key frames corresponding to the video part detected by the performance detection part 16 are selected from the video frames of the video signals. By a frame division image generation part 24, the frame division images for which the selected key frames are allocated to the respective frames of the obtained frame division corresponding to the specified performance impression are generated.
Outline of related art and contending technology (In Japanese)



従来、映像の要約に関しては多くの研究がある。それらの多くは、カット(カメラの切り替わる点)や大音量の箇所、あるいは画像中の特定の物体(例えば、主人公の顔)が出現する箇所を重要箇所(キーフレーム)として検出する手法である。すなわち、従来の手法は、映像中に映っている内容を基準に映像を要約しようとするものであった。





例えば、テレビ番組等の映像信号及び音声信号から、人物領域を検出すると共に台詞を認識し、吹き出し及び効果線を付与して、自動的に漫画画像を生成する漫画生成装置が知られている(特許文献1)。





ところで、笑顔の人物が映った画像は、どのように映っているかによって、様々な解釈が可能である。例えば、女性が食事に誘う映像を撮影する場合を考えると、ハイアングル(人物の斜め上から撮影)では、女性が愛らしく見えるのに対して、ローアングル(人物の斜め下から撮影)では、女性が高圧的に見える。このように、映像中に映っている内容がどういう意味を持つかを解釈するためには、それがどのように映っているかという情報が不可欠である。





そして、被写体をどのように映すと、観客がどのように受け取るかは、映画の文法と呼ばれ、20世紀前半に集大成されて今日に至っている。従って、カメラワーク(レンズワーク、アングル、ショットサイズ、照明、被写体とカメラの動き)や音響(効果音、せりふの音声、音楽)といった物理的な構造から、そのシーンが観客にどのような心理的印象を与えるか(以下、演出印象)を予測することができると考えられる。

Field of industrial application (In Japanese)



本発明は、コマ割り画像生成装置及びプログラムに係り、特に、映像の内容及び演出印象を表わすコマ割り画像を生成するコマ割り画像生成装置及びプログラムに関する。

Scope of claims (In Japanese)
【請求項1】
 
入力された映像信号又は前記映像信号に対応する音声信号に基づいて、複数種類の特定の演出印象の各々について、前記特定の演出印象を有する映像部分を検出する演出検出手段と、
前記複数種類の特定の演出印象の各々について、前記映像信号の映像フレームから、前記演出検出手段によって検出された映像部分に対応する複数の映像フレームを選択するフレーム選択手段と、
前記複数種類の特定の演出印象の各々について、前記特定の演出印象に対応し、かつ、複数のコマに分割されたコマ割りの各コマに、前記フレーム選択手段によって前記特定の演出印象として選択された前記映像フレームを各々割り当てたコマ割り画像を各々生成する生成手段と、
を含むコマ割り画像生成装置であって、
前記コマ割りの各コマの境界の形状を、前記特定の演出印象の種類に応じた形状としたコマ割り画像生成装置。

【請求項2】
 
前記特定の演出印象は、映像中で短時間の間にカットが頻出している緊迫したシーンを含み、
前記緊迫したシーンに対応するコマ割りを、斜めの線を含む境界によって複数のコマに分割したものとし
前記演出検出手段は、前記映像信号の連続した映像フレーム間の色情報の差分に基づいて、連続撮影の境界であるカットを検出し、カットの検出回数が閾値以上となる所定範囲を、前記緊迫したシーンとなる映像部分として検出する請求項1記載のコマ割り画像生成装置。

【請求項3】
 
前記特定の演出印象は、衝撃的なシーンを含み、
前記衝撃的なシーンに対応するコマ割りを、斜めの線を含む境界によって複数のコマに分割すると共に、他のコマよりも大きさが大きいコマを有するものとし
前記演出検出手段は、前記映像信号に対応する音声信号に基づいて、分析窓内の映像信号に対応する音声信号の短時間平均パワーを算出し、算出された短時間平均パワーが閾値より多い前記分析窓の映像信号を、前記衝撃的なシーンとなる映像部分として検出する請求項1又は2記載のコマ割り画像生成装置。

【請求項4】
 
前記特定の演出印象は、会話シーン又はゆっくりしたシーンを含み、
前記会話シーン又はゆっくりしたシーンに対応するコマ割りを、規則的に配置され、かつ、各々の大きさが対応している複数のコマに分割したものとした請求項1~請求項3の何れか1項記載のコマ割り画像生成装置。

【請求項5】
 
前記演出検出手段は、前記映像信号に対応する音声信号に基づいて、前記会話シーン又はゆっくりしたシーンとなる映像部分を検出する請求項4記載のコマ割り画像生成装置。

【請求項6】
 
コンピュータを、
入力された映像信号又は前記映像信号に対応する音声信号に基づいて、複数種類の特定の演出印象の各々について、前記特定の演出印象を有する映像部分を検出する演出検出手段、
前記複数種類の特定の演出印象の各々について、前記映像信号の映像フレームから、前記演出検出手段によって検出された映像部分に対応する複数の映像フレームを選択するフレーム選択手段、及び
前記複数種類の特定の演出印象の各々について、前記特定の演出印象に対応し、かつ、複数のコマに分割されたコマ割りの各コマに、前記フレーム選択手段によって前記特定の演出印象として選択された前記映像フレームを各々割り当てたコマ割り画像を各々生成する生成手段
として機能させるためのプログラムであって、
前記コマ割りの各コマの境界の形状を、前記特定の演出印象の種類に応じた形状としたプログラム。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2009213682thum.jpg
State of application right Registered


PAGE TOP

close
close
close
close
close
close
close