TOP > 国内特許検索 > 画像表示方法 > 明細書

明細書 :画像表示方法

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4238371号 (P4238371)
公開番号 特開2006-293999 (P2006-293999A)
登録日 平成21年1月9日(2009.1.9)
発行日 平成21年3月18日(2009.3.18)
公開日 平成18年10月26日(2006.10.26)
発明の名称または考案の名称 画像表示方法
国際特許分類 G06F   3/01        (2006.01)
G06F   3/038       (2006.01)
G06F   3/048       (2006.01)
G06T  11/80        (2006.01)
G09F  19/00        (2006.01)
G09F  27/00        (2006.01)
H04N   1/387       (2006.01)
G09G   5/00        (2006.01)
G09G   5/377       (2006.01)
FI G06F 3/01 310A
G06F 3/038 310Y
G06F 3/048 654A
G06T 11/80 D
G09F 19/00 Z
G09F 27/00 Z
H04N 1/387
G09G 5/00 530M
G09G 5/00 550C
G09G 5/36 520L
G09G 5/00 510B
請求項の数または発明の数 4
全頁数 17
出願番号 特願2006-066863 (P2006-066863)
出願日 平成18年3月13日(2006.3.13)
優先権出願番号 2005072153
優先日 平成17年3月15日(2005.3.15)
優先権主張国 日本国(JP)
審査請求日 平成20年5月9日(2008.5.9)
特許権者または実用新案権者 【識別番号】504174135
【氏名又は名称】国立大学法人九州工業大学
発明者または考案者 【氏名】中村 俊介
早期審査対象出願または早期審理対象出願 早期審査対象出願
個別代理人の代理人 【識別番号】100112771、【弁理士】、【氏名又は名称】内田 勝
審査官 【審査官】遠藤 尊志
参考文献・文献 特開2002-196855(JP,A)
特開2002-157079(JP,A)
特開2004-246578(JP,A)
特表2002-518717(JP,A)
特表2001-307124(JP,A)
調査した分野 G06T 11/80
G09F 19/00
G09F 27/00
G09G 5/00
G09G 5/377
H04N 1/387
G06F 3/01
G06F 3/038
G06F 3/048
特許請求の範囲 【請求項1】
撮像される人の動きに応じて変化する画像を画像表示装置に表示させる画像表示方法であって、
相互に独立して表示可能な複数の、文字若しくは図形または文字および図形の結合である画像要素と、画像要素とは異なる所定の領域を含む表示画像の初期画像コンテンツを決定し、初期表示画像を生成して表示する工程と、
人を認識情報として捉える認識情報取得工程と、
認識情報として捉えた人の動きを検出する動き検出工程と、
動きのある位置の画像要素または動きのある位置の画像要素とは異なる所定の領域に対応するコンテンツ素材を選択し、または、初期表示画像に関連する画像コンテンツを選択するコンテンツ選択工程と、
選択されたコンテンツ素材からなる画像要素と初期表示画像の残余の画像要素を合成し、または、画像コンテンツからなる画像を初期表示画像に代替するとともに、さらに、認識情報として捉えた人の画像を切り出してそのままに、または人の代替画像を画像要素として合成する画像合成処理工程と、
合成した画像を表示する合成画像表示工程と、
を有し、
認識情報取得工程、動き検出工程、コンテンツ選択工程、画像合成処理工程および合成画像表示工程を表示フレームごとに繰り返すことを特徴とする画像表示方法。
【請求項2】
前記コンテンツ選択工程において、前記認識情報、前記特定の画像要素または前記所定の領域に対応する音コンテンツを選択し、前記合成画像表示工程において、合成画像とともに、または合成画像とは独立して該音コンテンツからなる音を出力することを特徴とする請求項1記載の画像表示方法。
【請求項3】
前記表示画像のコンテンツが、認識情報として捉えた人に提供する広告情報、案内情報または展示情報であることを特徴とする請求項1または2のいずれか1項に記載の画像表示方法。
【請求項4】
前記表示画像のコンテンツが、認識情報として捉えた人のパフォーマンスを、該表示画像を見る人に提供する映像情報であることを特徴とする請求項1または2のいずれか1項に記載の画像表示方法。
発明の詳細な説明 【技術分野】
【0001】
本発明は、画像表示方法およびその装置に関し、特に、広告情報もしくは案内情報または映像情報の表示方法ならびにその装置に関する。
【背景技術】
【0002】
乗り物や店舗内等において、小画面ディスプレイを使用した広告がいたるところで見られる。また、近年、街頭等において、大画面ディスプレイを使用した広告も見られるようになってきている。
これらの広告(以下、これを電子広告ということがある。)は、予め準備された静止画像あるいは動画像の画像群データをスケジュールに従って逐次表示することによって行われる。
これにより、紙広告の場合に不十分であった最新の広告をタイムリーにかつ煩雑な手間をかけることなく実現することができる。
【0003】
しかしながら、電子広告は、上記のように予め準備された静止画像あるいは動画像を一方的に流すものであるため、電子広告を見る者(以下、これを視聴者ということがある。)は受動的に広告を見るだけである。
このため、印象に残りやすい視覚効果に優れる広告を流したとしても、視聴者の注目を集め、高い広告効果を得るには限度がある。
【0004】
この点を改善するために、視聴者の注目を集め、高い広告効果を得る方法が提案されている。
【0005】
例えば、広告表示端末を見ている視聴者が広告に表示されているアクセスキーを含めて電話や電子メールを送ることで、広告表示スケジュールを再作成する電子広告システムが提案されている(特許文献1参照。)。この方法によれば、広告を実際に見ている視聴者のみが広告表示データを変更することができるので、視聴者に広告への関心を高めることができるとされている。
【0006】
また、例えば、電車等の移動体が備える表示装置に遠隔地から広告を配信して表示する場合に、移動体の走行位置や時間によって表示する広告を変更する方法が提案されている(特許文献2参照。)。この方法によれば、その走行位置や時間の乗客の層に応じた広告を表示することができ、広告を効果的にすることができるとされている。
【0007】
さらにまた、広告表示端末に撮像装置を備え、視聴者を撮像して得た情報を広告表示に反映する方法も提案されている。
例えば、撮像装置で得た個人の行動傾向に合わせて、その行動傾向に対応する広告データを画像表示する広告端末(特許文献3参照。)、複数の広告提示装置の設定場所に視聴者の反応を収集する撮像部等の装置を配備し、収集したデータを通信回線経由で分析装置に伝送記録し、広告効果の分析時に収集データを所定の形式で再生出力する広告効果確認システム(特許文献4参照。)等が提案されている。
また、撮像した視聴者に関する人物属性を判定して、人物像の切り出しを行うとともに、人物属性判定結果を蓄積するインタラクティブ表示装置が提案されている(特許文献5参照。)。ここでいう人物像の切り出しは、予め用意した複数の人物テンプレートのなかから選択されたものを人物像として切り出すものである。

【特許文献1】特開2002-150130号公報
【特許文献2】特開2003-157035号公報
【特許文献3】特開2002-288527号公報
【特許文献4】特開平11-153977号公報
【特許文献5】特開2000-105583号公報
【発明の開示】
【発明が解決しようとする課題】
【0008】
しかしながら、上記従来の方法は、いずれも、視聴者の注目を集め、高い広告効果等を得るには必ずしも十分ではないと考えられる。また、画像表示する一つ一つのコンテンツを時間と労力をかけて作り込む必要があり、コンテンツ制作が大変である。
【0009】
本発明は、上記の課題に鑑みてなされたものであり、表示装置の画像を見る視聴者の注目度を効果的に高めることのできる画像表示方法およびその装置を提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明者は、人の動きをトリガーとして、そのトリガー情報をもとにリアルタイムに画像コンテンツを作り出して表示することにより、いわば、情報の発信側ではなく受け手側に画像コンテンツ表示の主導権を委ねてインタラクティブな表示を行うことにより、表示装置の画像を見る視聴者の注目度を効果的に高めることができることを見出し、本発明に想達した。
【0011】
本発明に係る画像表示方法は、
撮像される人の動きに応じて変化する画像を画像表示装置に表示させる画像表示方法であって、
相互に独立して表示可能な複数の、文字若しくは図形または文字および図形の結合である画像要素と、画像要素とは異なる所定の領域を含む表示画像の初期画像コンテンツを決定し、初期表示画像を生成して表示する工程と、
人を認識情報として捉える認識情報取得工程と、
認識情報として捉えた人の動きを検出する動き検出工程と、
動きのある位置の画像要素または動きのある位置の画像要素とは異なる所定の領域に対応するコンテンツ素材を選択し、または、初期表示画像に関連する画像コンテンツを選択するコンテンツ選択工程と、
選択されたコンテンツ素材からなる画像要素と初期表示画像の残余の画像要素を合成し、または、画像コンテンツからなる画像を初期表示画像に代替するとともに、さらに、認識情報として捉えた人の画像を切り出してそのままに、または人の代替画像を画像要素として合成する画像合成処理工程と、
合成した画像を表示する合成画像表示工程と、
を有し、
認識情報取得工程、動き検出工程、コンテンツ選択工程、画像合成処理工程および合成画像表示工程を表示フレームごとに繰り返すことを特徴とする。
【0012】
また、本発明に係る画像表示方法は、
前記コンテンツ選択工程において、前記認識情報前記特定の画像要素または前記所定の領域に対応する音コンテンツを選択し、前記合成画像表示工程において、合成画像とともに、または合成画像とは独立して該音コンテンツからなる音を出力することを特徴とする。
【0013】
また、本発明に係る画像表示方法は、前記表示画像のコンテンツが、認識情報として捉えた人に提供する広告情報、案内情報または展示情報であることを特徴とする。
【0014】
また、本発明に係る画像表示方法は、前記表示画像のコンテンツが、認識情報として捉えた人のパフォーマンスを、該表示画像を見る人に提供する映像情報であることを特徴とする。
【発明の効果】
【0015】
本発明に係る画像表示方法およびその装置は、相互に独立して表示可能な複数の画像要素からなる表示画像に、例えば、認識情報として捉えた人の動きに対応して選択されたコンテンツ素材からなる画像要素と初期表示画像の残余の画像要素を合成するとともに、さらに、例えば、認識情報として捉えた人の画像を切り出して合成して表示するため、認識情報として捉えた人または第三者が表示画像を見るときの注目度を高めることができる。
また、人の動きに応じたコンテンツの切り替えが繰り返されることにより、人の動きがリアルタイムにコンテンツへ反映され画像が変化し続けるために注目している時間をより長く保つことができる。
【発明を実施するための最良の形態】
【0016】
本発明に係る画像表示方法およびその装置の実施の形態について、図を参照して、以下に説明する。
【0017】
まず、本発明に係る画像表示装置について、図1を参照して説明する。
本発明に係る画像表示装置10は、外界情報、特にそのなかでも人を認識情報として捕らえる受容部(認識情報取得手段)12と、主制御部14と、出力部16とを備える。受容部12および出力部16は、主制御部14と一体化されたものであってもよい。
【0018】
受容部12は、例えば、画像センサ(撮像手段)12aおよび音センサ(音受容手段)12bのうちのいずれか一方または双方である。
前者の画像センサ12aは、通常のカメラのほか、赤外線カメラ、赤外線センサあるいは両眼視差等の3Dカメラ等を用いることができ、これにより、人の挙動等の外界情報を受容(センシング)する。特に、3Dカメラを用いることで、距離情報のある画像の時間的変化の情報を得ることができる。
後者の音センサ12bは、マイク等の音センサを用いることができ、これにより、人の声等の外界情報を受容する。
また、受容部12は、叩いたり触ったりした振動を認識する振動センサ、空気の流れや気配等認識するドップラーセンサ、サーモグラフィなどで温度を認識する温度センサあるいは力のかかり具合等を認識する圧力センサであってもよい。
【0019】
出力部16は、表示装置(合成画像表示手段)16aおよび音響装置(音出力手段)16bである。表示装置16aは、例えば、ディスプレイ、プロジェクタあるいはテレビ等であり、音響装置16bは、例えば、スピーカーあるいはヘッドホン等である。
【0020】
主制御部14は、受容部12によって得られた情報に応じて出力情報を生成して、出力部16に出力する機構を備える。
主制御部14は、例えばコンピュータであり、認識情報処理部18、画像情報生成部20、音情報生成部22およびクロック24を有する。
【0021】
認識情報処理部18は、画像情報処理部(動き検出手段)26と、音情報処理部28を有する。
画像情報処理部26は、画像センサ12aによって取得した人の情報を処理して、出力画像を選択するために用いるトリガ信号を生成する。音情報処理部28は、音センサ12bによって受容される外界情報を処理して、音情報を選択するために用いるトリガ信号を生成する。このトリガ信号に基づいて得られる音情報は、外界情報と対応付けられたものである。また、これとは別に、音コンテンツが特定の画像要素等に対応して選択されるが、この点については詳細を後述する。なお、音情報と音コンテンツは、同一の意味であるが、上記のようにこれらを生成するトリガが異なるため、便宜的に言葉を使い分ける。
【0022】
画像情報処理部26は、画像センサ12aで撮像される人(以下、これを被写体ということがある)をそのままの形で合成用の被写体画像(クロマキー画像)を生成するためにそのまま出力し、あるいは、輪郭線や影絵の画像処理を施して出力する。あるいはまた、キャラクター画像等の被写体の代替画像を生成するための、トリガ信号を出力する。また、画像情報処理部26は、出力画像センサ12aで撮像される被写体を画像処理して被写体の動きを検出し、画像コンテンツを選択するためのトリガ信号を出力する。
【0023】
被写体の動きは、連続2フレームの差分、連続3フレームの差分、背景との差分などフレーム差分により、変化のあった部分を特定する。例えば連続2フレームの差分を取る場合、図2に示すように、2つのフレームF1aとフレームF1bとで変化のあった部分の座標からフレームF1cに示すように「動きの位置」を検出し、あるいは、変化のあった部分の大きさから「動きの量」を検出する。
前者の「動きの位置」については、例えば、1フレームが所定数の分割フレームに分割された前後のフレームを比較して、分割フレームの画像の輝度の変化を捉えることにより、変化のあった分割フレームの位置を特定することにより行う。すなわち、入力された画像データから、現在のフレームの画像とその直前のフレームの画像(または背景画像)のすべての画素(ピクセル)の明るさを比較し、その差が既定値以上ならば動きありの画素であると判断し、このとき、動きありの画素群の重心(X座標,Y座標)が縦横のどの区画(分割フレーム)に属するものであるかを判定する。そして、フレーム内の縦横の区画の位置に応じて「動きの位置」を検出する。
後者の「動きの量」については、例えば、上記において、入力された画像データから、現在のフレームの画像とその直前のフレームの画像(または背景画像)のすべての画素(ピクセル)の明るさを比較し、その差が既定値以上ならば動きありの画素であると判断し、このとき、動きありの画素数に応じて「動きの量」を検出する。
ここで、被写体の動きとして、例えば図3に示すように、3つのフレームF2a~F2cのフレーム差分の累積より得られる、フレームF2dに示す「動きの方向」とフレームF2eに示す「動きの累積量」を用いてもよい。
さらに、時間要素を加えることにより、動きの位置、動きの方向、動きの量および動きの速さのうちの少なくとも1つの被写体の動き(動きの質、あるいは動きの特性)によってトリガ情報(トリガ信号)が生成される。
また、このような画面上の点における動きのベクトル(大きさや方向)は、フィルタリング法や勾配法を用いてオプティカルフローを算出することによっても求めることができる。
【0024】
これらの被写体の動きは、3Dカメラを利用することにより、例えばカメラの前2m以内の人影のみの動きを認識することができ、遠くの背景や人混みを除外することが可能になる。同様に、赤外線カメラを利用して、赤外線ライトの届く範囲内のみの認識や、夜などの暗いところでの認識も可能になる。
【0025】
また、画像情報処理部26は、例えば、画像センサ12aで撮像される被写体の様子を画像認識情報として取得するように構成してもよい。
被写体の様子は、例えば、画像情報処理部26に設けられる図1に表れない画像データベース(後述の画像データベース30とは別。)とのパターンマッチングによって特定する。
すなわち、例えば、図4に示すように、画像データベースの画像パターンの中から被写体の画像と特徴が一致するものを検索し、スーツとビジネスバッグとの特徴が一致した場合、「男性らしい」という様子をトリガ情報として得、あるいは、傘と特徴が一致した場合「雨が降っている」という様子をトリガ情報として得る。
あるいはまた、例えば、図5に示すように、画像データベースの画像パターンの中から被写体の画像と位置関係が一致するものを検索し、目、鼻、口のバランスの関係が一致した場合、特定の顔という様子をトリガ情報として得る。
また、このとき、顔の位置から、大人と子供の区別を、あるいはまた、人数を、それぞれトリガ情報として得るようにしてもよい。
【0026】
音情報処理部28は、例えば、音センサ12bで受容される外界の音を処理してトリガ情報(トリガ信号)を生成する。
例えば、受容される音の単位時間の波形データをFFT(高速フーリエ変換)解析し、周波数分布形状を得、音情報処理部28に設けられる図1に表れない音データベースとのパターンマッチングによって特定する。
すなわち、例えば、図6に示すように、図6中右側の音データベースのハイヒールF3a、革靴F3b、スニーカーF3c、かばんのころころF3d、車椅子F3e、雨F3f等の音パターンの中から図6中左側の受容される音(音パターン)F3gと特徴が一致するものを検索し、入力された音の波形の成分分布形状がハイヒールF3gの音の波形の成分分布形状と特徴が一致すると判断された場合は「女性らしい」という様子をトリガ情報として得る。
また、例えば、FFTにより声のトーンを解析し、低い周波数成分が多いときは低い声、例えば男声、高い周波数成分が多いときは高い声、例えば女声というように、音から外界の様子をトリガ情報として得るようにしてもよい。
【0027】
画像情報生成部(コンテンツ選択手段および画像合成処理手段)20は、画像情報処理部26で生成されるトリガ情報に基づいて画像情報を生成するものである。
画像情報生成部20は、画像データベース30と、画像データ決定部32を有する。
画像データベース30には、例えば広告、案内または展示等として画像表示するために蓄積された画像情報群が保存されている。
案内として、例えば、空港に設置する観光案内の地図画面の特定位置に観光客の手指の画像や全身の画像が重ねて映し出されることで、その位置の土地の名所や名物等の画像情報が提供されるものを挙げることができる。また、展示として、例えば、博物館に設置する虫の生態を説明する展示パネルに各種の虫の画像コンテンツ群や音コンテンツ群を埋め込んでおき、画面の特定位置に見学者の手指画像が重ねて映し出されることで、その位置にある虫の生態の様子を説明する画像や虫の鳴き声が提供されるもの等を挙げることができる。なお、広告については、具体例を後述する。
すなわち、図10に示すように、画像データベース30には、例えば、コンテンツ層PF1として、商品の広告を行うための複数のコンテンツ(図10では、例えば、ビールの広告であるコンテンツ40a、化粧品の広告であるコンテンツ40b、その他の広告であるコンテンツ40cのみを表示する。)や映像を提供するための複数のコンテンツ(図10では、コンテンツ48a、48bのみを表示する。)が保存されている。そして、それぞれのコンテンツには、画像コンテンツ層PF2として、相互に独立して表示可能な複数の画像コンテンツ(図10では、画像コンテンツ40aの画像要素42a~42cのみを表示する。)が含まれており、さらに、それぞれの画像コンテンツには、画像要素層PF3として、相互に独立して表示可能な複数の画像要素(図10では、画像要素44a~44cおよび52a~52cのみを表示する。)が含まれる。それぞれの画像要素には、コンテンツ素材層PF4として、コンテンツ素材(図10では、コンテンツ素材46a~46cおよび54a~54cのみを表示する。)が対応付けられる。
これら各層PF1~PF4に含まれる画像は、静止画であってもよく、また、動画であってもよい。
【0028】
上記のデータベース構造を、後述する画像表示方法の具体例に沿って、さらに具体的に説明する。
例えば、被写体である人の性別や持ち物等の情報あるいは被写体の周辺の環境情報等をトリガーとしてコンテンツとしてビールの広告である40aが選択、決定されると、初期画像(初期表示画像)として、例えば、企業のロゴやビール缶等の文字や図形である複数の画像要素44a~44cで構成される表示画像(画像コンテンツ)42aが選択される。そして、人の動きをトリガ情報として、例えば企業のロゴである文字の画像要素44aに置き換えて画像要素44aに対応付けられた例えば企業紹介画像であるコンテンツ素材46aが選択される。一方、コンテンツ素材46cは後述する音データベース34に含まれるものであり、画像要素44cに対応する音コンテンツ素材が選択される。また、映像Aのコンテンツ48aの場合、画像要素52dは初期画像としての画像コンテンツ50aとは別の、コンテンツ48aに関連する画像コンテンツ50bと対応付けられており、画像要素52dにおける人の動きをトリガとして画像コンテンツ50aに切り替えて画像コンテンツ50bが選択される。なお、コンテンツ素材54cは音コンテンツ素材である。
また、画像データベース30には、被写体を代替画像で表示するための、複数のキャラクター画像コンテンツが保存されている(図示せず。)。
画像データ決定部32は、例えば、前記動きの累積量が閾値に至らないときは、画像グループの先の画像情報(画像、初期画像コンテンツ)をそのまま保持し、あるいは、表示スケジュールに従って切り替え表示する。一方、前記動きの累積量が閾値以上のときは、例えば図7に示すように、前記した動きの位置に応じて設定される、トリガ情報に対応つけられた画像F4a、F4b、・・の中から、例えば画像F4aのときに動きの位置が上部にあると画像F4bの、さらに画像F4bのときに動きの位置が右部にあると画像F4dの、それぞれの画像情報を選択、生成する。
また、画像情報群として、例えば、前記動きの方向に対応つけられた複数の画像情報で構成し、画像データ決定部32は、例えば図8に示すように、システム設置場所F5cから移動する方向が(1)のとき、その方向に存在する広告F5aに関する画像情報を生成し、方向が(2)のときは、その方向に存在する広告F5bに関する画像情報を生成する。
また、図10の画像コンテンツ群を参照する場合、上記のように、画像データ決定部32は前記動きの位置に応じて設定される、新たなトリガ情報により、前のトリガ情報に対応つけられた例えば画像要素コンテンツ42aに代えてコンテンツ素材44aを選択し、画像情報を生成する。
【0029】
また、このとき、画像情報群として、前記した被写体の様子に応じて設定される画像グループを構成し、例えば、画像データ決定部32は、「男性らしい」という画像認識情報に対応して男性向け広告画像情報を選択、生成し、あるいは、特定のブランドのマークという被写体の様子に応じてそのブランドの広告画像を情報を選択、生成してもよい。
【0030】
また、画像情報生成部20は、音情報処理部28で得られるトリガ情報に基づいて画像情報を生成するように構成してもよい。
すなわち、画像データベース30には、音情報処理部28で得られるトリガ情報に対応つけられた画像情報が保存されており(図示せず。)、画像データ決定部32は、トリガ情報に基づいて、トリガ情報に対応する画像情報を選択し、生成する。
【0031】
また、画像情報生成部20は、既に説明したように、画像センサ12aによって受容された画像情報を生成画像情報とし、現在の表示画像に重ね合わせるように構成してもよい。
例えば、映った姿が画像に薄く重なるように、または、クロマキー効果のように、画面の中に自分が入り込むように、または、画像に自分の影が映り込むように、または、自分の動いたところだけ画像が表示されるように、画像情報を生成する。
また、画像情報生成部20は、被写体のトリガ情報に応じて、キャラクター画像を選択、生成するように構成してもよい。
【0032】
また、画像情報生成部20は、例えば、温度が高いときに「暑いね」とか、女性だと認識したときに「奇麗なあなたにお勧め」とかのような言葉(文字)を付加して表示する構成としてもよい。
【0033】
音情報生成部(音コンテンツ選択手段)22は、音情報処理部28で得られるトリガ情報に基づいて音情報を生成し、あるいはまた、被写体の動きや特定の画像要素等に対応して選択した音コンテンツを生成するものである。
音情報生成部22は、音データベース34と、音データ決定部36を有する。
音データベース34には、音情報処理部28で得られるトリガ情報に対応した音情報が保存されており、音データ決定部36はトリガ情報に基づいて、トリガ情報に対応した音情報を選択し、生成する。
例えば、トリガ情報が大人の男性であるとき、ビールが注がれている画像情報を生成するとともに、音情報としてビールの注ぐ音や泡の音を選択し、生成し、または、トリガ情報が女性であるとき、「お嬢さん」などの呼びかけ言葉を音情報を選択し、生成する等である。
この場合、マイクで拾った音をそのまま音情報として生成してもよい。
また、音データベース34には、画像情報生成部20のそれぞれのコンテンツ素材46a~46cに対応付けられ、あるいはまた、画像要素44a~44cに対応づけられた音声素材データを含む(図示せず。)。そして、音データ決定部36において、画像情報処理部26からの画像のトリガ信号に対応した、言い換えれば画像要素等に対応した音声素材を選択し、生成する。
【0034】
つぎに、本発明の画像表示方法について、画像表示する場合を例にとり、図9を参照して概略説明する。
所定のタイミングで(図9中、S10)、外界情報(人の情報)を取り込み(図9中、S12)、認識情報を取得する(図9中、S14)。
ついで、認識情報に基づいて、認識情報に対応した画像情報を生成する(図9中、S16)。そして、画像情報の信号によって、画像表示を行う(図9中、S18)。
【0035】
上記本発明の画像表示方法を、人の動きをトリガ情報として表示画像を生成する場合を例にとり、図11Aおよび図11Bを参照してさらに詳細に説明する。
まず、図11Aに示すように、コンテンツを決定処理する(図11A中、S20)。コンテンツは、事前に決定処理しておいてもよいが、より好ましくは、以下の手順で行う。
すなわち、図11Bにその詳細ステップ構成を示すように、カメラからの人の画像が取得され(図11B中、S48)、画像情報処理部26を介して画像データ決定部32において、最初の画像処理であるかどうかが判断され(図11B中、S50)、最初の画像処理の場合は、取得された画像が一時画像保持領域へ保持され(図11B中、S52)、再びカメラからの人の画像が取得される(図11B中、S48)。一方、最初の画像処理でない場合、言い換えれば、既に画像処理が繰り返されている場合は、人の様子や特徴を抽出する(図11B中、S54)。そして、人の様子や特徴を抽出できた場合は、この人の様子や特徴の情報をトリガーとして、画像情報処理部26を介して画像データ決定部32において、コンテンツを選択(決定処理)する(図11B中、S56)。コンテンツは、例えば、ビールの広告(広告情報)である。この場合、トリガーとしてマイクで拾った音情報を用い、音情報決定部28を介して画像データ決定部32において、コンテンツを決定処理してもよい(図11B中、S56)。一方、人の様子や特徴を抽出できない場合は、再びカメラからの人の画像が取得される(図11B中、S48)。
コンテンツを決定処理する(図11A中、S20)と、つぎに、カメラからの人の画像が取得され(図11A中、S22)、画像情報処理部26を介して画像データ決定部32において、最初の画像処理であるかどうかが判断される(図11A中、S24)。
そして、最初の画像処理の場合は、取得された画像が一時画像保持領域へ保持され(図11A中、S26)、コンテンツを構成する、企業のロゴ、ビール缶等の文字や図形からなる複数の画像要素で構成される初期画像(初期表示画像、初期画像コンテンツ)が生成、表示されるとともに(図11A中、S28)、再び、カメラからの人の画像が取得される(図11A中、S22)。一方、最初の画像処理出ない場合、言い換えれば、既に画像処理が繰り返されている場合は、一時画像保持画像と現在のカメラ画像を比較して人の動きを検出し(図11A中、S30)、動きのあった部分(動いている人)の画像を抽出する(図11A中、S32)。
【0036】
つぎに、現在の画像内の特定位置で指定した動きがあるかどうかを判断する(図11A中、S34)。このとき、現在の画像内の任意の位置で指定した動きがあるかどうかを判断してもよい。ここで、指定した動きとは、例えば、閾値以上の動きの量、特定方向の動き、動きの反復、特定座標間における順番の動き等である。
そして、指定した動きがある場合は、その動きのある位置の特定の画像要素に対応する指定したコンテンツ素材を選択して画像を生成し(図11A中、S36)、現在の全体の画像と置き換えて表示し、または特定の画像要素の画像と置き換えて他の画像要素と合成して表示する(図11A中、S38)。一方、指定した動きがない場合は、一定時間動かない状態が続いているかどうか判断される(図11A中、S35)。
そして、動かない状態が続いている場合は、再び、コンテンツを決定処理する(図11A中、S20)。一方、動きがある場合は、現在の画像がそのまま表示されるとともに、再び、カメラからの人の画像が取得される(図11A中、S22)。
【0037】
上記のステップが繰り返されることにより、カメラで捉えられる人の動きによって、表示装置の画像あるいは特定の画像要素のコンテンツが次々と変化するため、カメラで捉えられる人や表示装置を見る第三者の眼が画像表示装置の表示画像に引き付けられることになる。
【0038】
また、本発明の画像表示方法において、画像と合わせて、または画像とは無関係に独立して音を出力する場合は、図12に示すように、動きのあった部分(動いている人)の画像を抽出した後(図11A中、S32)、画像の特定位置で指定した動きがあるかどうかを判断する(図12中、S40)。このとき、画像の任意の位置で指定した動きがあるかどうかを判断してもよい。ここで、指定した動きとは、前記のとおり、例えば、閾値以上の動きの量、特定方向の動き、動きの反復、特定座標間における順番の動き等である。
そして、指定した動きがある場合は、素材集の中から指定した音素材を選択し音を生成し(図12中、S44)、例えば画像と出力のタイミングを合わせて、生成した音を出力する(図12中、S46)。一方、指定した動きがない場合は、現在の音をそのままに、あるいは無音のときは無音のままに現在の音状態を保持する(図12中、S46)。
これにより、カメラで捉えられる人の動きによって、音声が次々と変化し、さらにまた、音声が重なることによって新たな音が作り出されるため、上記と同様に、カメラで捉えられる人や表示装置を見る第三者の眼が画像表示装置の表示画像に引き付けられることになる。
【0039】
ここで、ビールの広告を例にとって、本発明を具体的に説明する。
表示装置には、例えば図13に示すような画像が表示され、通行人が、この広告を眼にする。また、表示装置にはカメラ(図13中、矢印Aで示す。)が付帯されており、表示装置の前を通行する人を画像として捉え、例えば、その人の影を広告の画像と合成して表示する。
表示画装置の画像は、「OXビール」という企業のロゴ(図13中、矢印C1で示す。)、商品表示(図13中、矢印C2で示す。)、ビールジョッキを持った女性(図13中、矢印C3で示す。)等の独立して表示することができる複数の画像要素で構成されている。
【0040】
まず、人の動き(影の動き)の位置と画像切り替えの関係を図14を参照して説明する。
図14に示すように、初期画像として表示される画面F1において、「OXビール」というロゴC1の画像要素は、コンテンツ素材として企業紹介画像を含んでおり、ロゴの画像要素の所定の部分(図14中、矢印S1で示す。)に人の動きが位置し、言い換えればロゴの画像要素の所定の部分S1に人が触れると、画面F2に転換して、企業紹介画像を画面の全体にあるいは所定の位置に表示する。
また、画面F1において、商品表示C2の画像要素の所定の部分(図14中、矢印S2で示す。)に人の動きが位置すると、画面F3に転換して、1つの商品を紹介する画像を画面の全体にあるいは所定の位置に表示する。このとき、画面F3が表示された状態で、画面F3の画像要素の所定の部分S1に人の動きが位置すると、先の画像F2が表示される。
また、画面F1において、ビールジョッキを持った女性C3の所定の部分(図14中、矢印S3で示す。)に人の動きが位置すると、画面F4に転換して、生産者の声のメッセージが表示される。
さらにまた、上記の例と同様にして、画面F1において、あるいはまた、新たに生成された画像F2、F3、F4等において、所定の部分に人の動きが位置すると、原料のはなしを含む画面F5や画面F3の商品とは別の紹介する画像を含む画面F6等が次々に切り替え表示される。
【0041】
つぎに、人の動き(影の動き)の位置と音の関係を図13と同様の画面を示す図15を参照して説明する。
図15に示す画面において、「OXビール」というロゴC1の画像要素は企業のサウンドロゴと、2つのビールジョッキのうちの左側のビールジョッキ(図15中、矢印C4で示す。)の画像要素はビールジョッキにビールを注ぐときの音と、右側のビールジョッキ(図15中、矢印C5で示す。)の画像要素は乾杯のときにビールジョッキを合わせるときの音と、女性C3の画像要素は乾杯の声と、それぞれ対応付けられている。
そして、いずれかの画像要素の所定の部分に人が位置すると、画像要素に対応した音が生成される。
また、図15中、矢印X1~X3で示す領域に対応して、それぞれ、リズムループA、リズムループBおよびメロディループが設けられており、いずれかの領域に人の動きが位置すると、BGM(画像の背景に流れる音楽)が作られる。
このような画像表示方法は、広告情報だけでなく、例えば、種々の案内情報を表示する場合にも有効であり、さらにまた、これらに限らず広く利用することができる。
【0042】
つぎに、本発明の他の具体例として、人がパフォーマンスを行う様子を画像として捉えて映像表示する例について、図16~18を参照して説明する。
図16に示すように、カメラ(図16中、矢印Bで示す。)が向けられた舞台上で例えば演技者がパフォーマンス(演技)を行う。舞台の後方には、スクリーン(表示装置:図16中、矢印Cで示す。)が設けられる。スクリーンCには、部屋の窓からこちらを覗く人、電話機等の複数の画像要素が表示されており、さらに、カメラBで捉えた人の動きが輪郭線や影絵として複数の画像要素に合成して表示される。舞台の前の観劇者は、舞台上の演技者を観るとともにスクリーンを観ている。
【0043】
ここで、先の広告の例と同様に、まず、人の動き(影の動き)の位置とスクリーンCの画像切り替えの関係を図17を参照して説明する。
初期画像として部屋内部空間が表示される画面F11において、窓からこちらを覗く人の部分(図17中、矢印S4で示す。)に演技者の動きが位置すると、画面F11とは別の部屋内部空間が表示される画面F12に示すように、例えば、その人は話しかけてきた後スクリーンC上から消える。また、画面F12において、電話機の部分(図17中、矢印S5で示す。)に演技者の動きが位置すると、例えば、画面F11に戻る。また、画面F11において、左下の所定の領域(図17中、矢印S6で示す。)において演技者が左方向の動きを行うと、画面F11の部屋内部空間に続く部屋内部空間が表示される画面F13に切り替わる。さらに、画面F13において、左下に表示されるドアの部分(図17中、矢印S7で示す。)に演技者が動くと、スクリーンの画像は、外の風景が表示される画面F14に切り替わる。同様にして、画面F11において、右上の所定の領域(図17中、矢印S8で示す。)に演技者の動きが位置すると、部屋とは異なる店内等の画像を表示する画面F15に切り替わり、さらにまた、画面F15において、右下の所定の領域(図17中、矢印S9で示す。)で演技者が右方向に動くと、画面F15とは別の店内を表示する画面F16に切り替わる。
【0044】
つぎに、演技者の動き(影の動き)の位置と音の関係を図18を参照して説明する。
図18に示す画像において、窓の外に立つ人の画像要素(図18中、矢印X4で示す。)は人の声と、左側のカーテンの画像要素(図18中、矢印X5で示す。)は鳥の鳴き声と、電話機の画像要素(図18中、矢印X6で示す。)は電話機のなる音と、それぞれ対応付けられている。
そして、いずれかの画像要素の所定の部分に人が位置すると、画像要素に対応した音が生成される。
また、画面の右上の所定の領域(図18中、矢印X7で示す。)に対応して、ナレーションの音情報が設けられており、この領域に人の動きが位置すると、ナレーションが流れる。
【0045】
以上説明した本実施の形態例に関わらず、認識手段としては、叩いたり触ったりした振動を認識する振動センサ、空気の流れや気配等認識するドップラーセンサ、サーモグラフィなどで温度を認識する温度センサあるいは力のかかり具合等を認識する圧力センサ等を適宜選択して用いることができる。
また、認識する外界情報としては、上記人の挙動等のほかに、人の持っているものや扱っているもの、人数、メンバー構成、生体情報(鼓動や発汗、体温など)、あるいはまた、人以外のペット(動物)や植物の動きや様子、自動車や機械、ロボットの動きや様子、天気・気候・気温・風、風景、時間、または言葉の内容、声の状態(明るい、暗い、楽しい、緊張、うれしい、など)、声の大きさ・強さ等を用いることができる。
また、主制御部に、人口知能、会話機能を組み込んでおき、認識情報に応じて、効果的な呼びかけ言葉を出力したり、さらには、マイクで拾った言葉に対する返答を行って対話したりすることができるように構成すると、より好適である。
【図面の簡単な説明】
【0046】
【図1】本発明の画像生成装置の概略構成を示す図である。
【図2】連続2フレームの差分により、変化のあった部分を特定する例を説明するための図である。
【図3】フレーム差分の累積より得られる「動きの方向」と「動きの累積量」を説明するための図である。
【図4】被写体の様子を画像データベースとのパターンマッチングによって認識する方法を説明するための図である。
【図5】画像データベースの画像パターンの中から被写体の画像と位置関係が一致するものを検索し、画像認識情報として得る方法を説明するための図である。
【図6】音データベースの音パターンの中から受容される音と特徴が一致するものを検索し、音認識情報として得る方法を説明するための図である。
【図7】画像Aのときに動きの位置が上部にあると画像Bの、さらに画像Bのときに動きの位置が右部にあると画像Dの、それぞれの画像情報を選択、生成する方法を説明するための図である。
【図8】被写体の動きの方向に応じて画像情報を生成する方法を説明するための図である。
【図9】本発明の画像表示方法を説明するためのフローチャートである。
【図10】画像データベースに保存される複数のコンテンツおよび個々のコンテンツの画像に含まれる画像コンテンツ等の階層的な構造を説明するための図である。
【図11A】人の動きをトリガ情報として表示画像を生成する手順を説明するためのフローチャートである。
【図11B】図11A中、コンテンツ決定処理の手順を詳細に説明するためのフローチャートである。
【図12】画像と合わせて音を出力する手順を説明するためのフローチャートである。
【図13】ビールの広告の場合の画像表示例を示す図である。
【図14】ビールの広告の場合の人の動きの位置と画像切り替えの関係を説明するための図である。
【図15】ビールの広告の場合の人の動きの位置と音の関係を説明するための図である。
【図16】人がパフォーマンスを行う様子を画像として捉えて映像表示する場合の状況を説明するための図である。
【図17】映像表示する場合の人の動きの位置とスクリーンの画像切り替えの関係を説明するための図である。
【図18】映像表示する場合の人の動きの位置と音の関係を説明するための図である。
【符号の説明】
【0047】
10 画像表示装置
12 受容部
12a 画像センサ
12b 音センサ
14 主制御部
16 出力部
16a 表示装置
16b 音響装置
18 認識情報処理部
20 画像情報生成部
22 音情報生成部
24 クロック
26 画像情報処理部
28 音情報処理部
30 画像データベース
32 画像データ決定部
34 音データベース
36 音データ決定部
40a~40c、48a、48b コンテンツ
44a~44c,50a~50c 画像コンテンツ
44a~44c、52a~52d 画像要素
46a~46c、54a~54c コンテンツ素材
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11A】
10
【図11B】
11
【図12】
12
【図13】
13
【図14】
14
【図15】
15
【図16】
16
【図17】
17
【図18】
18