TOP > 国内特許検索 > 映像表示システムおよび映像表示方法 > 明細書

明細書 :映像表示システムおよび映像表示方法

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5366137号 (P5366137)
公開番号 特開2010-277372 (P2010-277372A)
登録日 平成25年9月20日(2013.9.20)
発行日 平成25年12月11日(2013.12.11)
公開日 平成22年12月9日(2010.12.9)
発明の名称または考案の名称 映像表示システムおよび映像表示方法
国際特許分類 G06F   3/048       (2013.01)
G06F   3/0346      (2013.01)
G06F   3/038       (2013.01)
G09G   5/00        (2006.01)
G09G   5/36        (2006.01)
G09G   3/20        (2006.01)
G02F   1/13        (2006.01)
G02F   1/133       (2006.01)
H04N  13/04        (2006.01)
H04N   7/173       (2011.01)
FI G06F 3/048 656A
G06F 3/033 426
G06F 3/038 310Y
G09G 5/00 510V
G09G 5/36 530Y
G09G 5/00 550C
G09G 5/36 520P
G09G 5/00 555G
G09G 5/36 510V
G09G 5/36 520D
G09G 3/20 660A
G09G 3/20 660X
G09G 3/20 691G
G09G 3/20 691D
G02F 1/13 505
G02F 1/133 505
G02F 1/133 530
H04N 13/04
H04N 7/173 630
請求項の数または発明の数 9
全頁数 18
出願番号 特願2009-129669 (P2009-129669)
出願日 平成21年5月28日(2009.5.28)
審査請求日 平成24年3月7日(2012.3.7)
特許権者または実用新案権者 【識別番号】301022471
【氏名又は名称】独立行政法人情報通信研究機構
発明者または考案者 【氏名】鈴木 紀子
【氏名】神谷 俊郎
【氏名】吉田 俊介
【氏名】矢野 澄男
個別代理人の代理人 【識別番号】100098305、【弁理士】、【氏名又は名称】福島 祥人
審査官 【審査官】円子 英紀
参考文献・文献 特開2005-100050(JP,A)
特開2001-136504(JP,A)
特開平02-079175(JP,A)
特開2009-092786(JP,A)
特開2002-204239(JP,A)
特開平11-259353(JP,A)
特開2003-177864(JP,A)
調査した分野 G06F 3/048-3/0489
G06F 3/0346
G06F 3/038
G09G 5/00
G09G 5/36
特許請求の範囲 【請求項1】
形状を表示するための形状データを平面映像データに変換し、変換された平面映像データに基づいて平面映像を表示する第1の映像表示装置と、
前記形状データを立体映像データに変換し、変換された立体映像データに基づいて立体映像を表示する第2の映像表示装置と、
使用者が前記第2の映像表示装置を把持したことを検出する把持検出手段と、
前記第2の映像表示装置が前記第1の映像表示装置の所定範囲内に接近したことを検出する接近検出手段と、
使用者が前記第1の映像表示装置に表示された平面映像の任意の部分を指定する操作を行ったことを検出する指定操作検出手段と、
前記接近検出手段により前記第2の映像表示装置が前記第1の映像表示装置の前記所定範囲内に接近したことが検出された場合に、前記指定操作検出手段により検出された操作に基づいて使用者により指定された平面映像の部分を判別し、前記指定された平面映像の部分に対応する立体映像を表示するように前記第2の映像表示装置を制御する制御手段とを備えたことを特徴とする映像表示システム。
【請求項2】
前記指定操作検出手段は、前記第1の映像表示装置に対する第2の映像表示装置の位置を検出する位置検出手段を含み、
前記制御手段は、前記位置検出手段により検出された位置に基づいて使用者により指定された平面映像の部分を判別することを特徴とする請求項1記載の映像表示システム。
【請求項3】
前記位置検出手段は、
前記第1の映像表示装置に設けられた第1の被撮像部と、
前記第2の映像表示装置に設けられた第2の被撮像部と、
異なる位置から前記第1の被撮像部および第2の被撮像部を撮像する複数の撮像手段とを含み、
前記制御手段は、前記複数の撮像手段により得られる画像に基づいて使用者により指定された平面映像の部分を判別することを特徴とする請求項2記載の映像表示システム。
【請求項4】
前記接近検出手段は、前記指定操作検出手段の前記位置検出手段と共通の位置検出手段を含み、前記共通の位置検出手段により検出された位置に基づいて前記第2の映像表示装置が前記第1の映像表示装置の前記所定範囲内に接近したことを検出することを特徴とする請求項2または3記載の映像表示システム。
【請求項5】
前記接近検出手段は、
前記第1の映像表示装置に設けられ、前記第2の映像表示装置の接触を検出する第1の接触検出手段を含むことを特徴とする請求項1~4のいずれかに記載の映像表示システム。
【請求項6】
前記接近検出手段は、
前記第1の映像表示装置に設けられ、前記第2の映像表示装置の近接を検出する近接検出手段を含むことを特徴とする請求項1~5のいずれかに記載の映像表示システム。
【請求項7】
前記把持検出手段は、
前記第2の映像表示装置に設けられ、使用者の身体が接触したことを検出する第2の接触検出手段を含むことを特徴とする請求項1~6のいずれかに記載の映像表示システム。
【請求項8】
前記制御手段は、
前記形状データを記憶する記憶部と、
前記記憶部に記憶された形状データを前記第1の映像表示装置に与え、使用者により指定された平面映像の部分に対応する形状データを前記記憶部から取得し、取得した形状データを前記第2の映像表示装置に与える主制御部とを含み、
前記第1の映像表示装置は、前記主制御部から与えられる形状データに基づいて平面映像を表示し、
前記第2の映像表示装置は、前記主制御部から与えられる形状データに基づいて使用者により指定された平面映像の部分に対応する立体映像を表示することを特徴とする請求項1~7のいずれかに記載の映像表示システム。
【請求項9】
形状を表示するための形状データを平面映像データに変換するステップと、
変換された平面映像データに基づいて第1の映像表示装置に平面映像を表示するステップと、
使用者が第2の映像表示装置を把持したことを検出するステップと、
前記第2の映像表示装置が前記第1の映像表示装置の所定範囲内に接近したことを検出するステップと、
使用者が前記第1の映像表示装置に表示された平面映像の任意の部分を指定する操作を行ったことを検出するステップと、
前記第2の映像表示装置が前記第1の映像表示装置の前記所定範囲内に接近したことが検出された場合に、検出された操作に基づいて使用者により指定された平面映像の部分を判別し、前記指定された平面映像の部分に対応する形状データを立体映像データに変換するステップと、
前記変換された立体映像データに基づいて立体映像を表示するように前記第2の映像表示装置を制御するステップとを備えたことを特徴とする映像表示方法。
発明の詳細な説明 【技術分野】
【0001】
本発明は、映像を表示する映像表示システムおよび映像表示方法に関する。
【背景技術】
【0002】
平面ディスプレイ、および立体ディスプレイ等の種々の映像表示装置が開発されている(例えば特許文献1参照)。
【先行技術文献】
【0003】

【特許文献1】特開2009-8837号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
一の映像表示装置に表示される映像の一部を他の映像表示装置により観察したい場合がある。複数の映像表示装置がネットワーク上のコンピュータにそれぞれ接続される場合には、使用者が一の映像表示装置に表示される映像をコンピュータを操作することにより切り取り、他の映像表示装置に表示させることができる。しかしながら、このような操作は、非常に面倒である。
【0005】
例えば、遠隔会議において、大型の映像表示装置の画面に表示された映像の一部を手元の小型の映像表示装置で詳細に観察したい場合、出席者が面倒な操作を行うことにより会議の進行が遅れる事態が生じる。そのため、リアルタイムに変化する状況下で、一の映像表示装置に表示される映像の一部を他の映像表示装置に表示させて詳細に観察することは困難である。
【0006】
本発明の目的は、一の映像表示装置に表示される平面映像の所望の部分に対応する立体映像を使用者の直感的な操作で容易に他の映像表示装置に表示させることを可能にする映像表示システムおよび映像表示方法を提供することである。
【課題を解決するための手段】
【0007】
(1)第1の発明に係る映像表示システムは、形状を表示するための形状データを平面映像データに変換し、変換された平面映像データに基づいて平面映像を表示する第1の映像表示装置と、形状データを立体映像データに変換し、変換された立体映像データに基づいて立体映像を表示する第2の映像表示装置と、使用者が第2の映像表示装置を把持したことを検出する把持検出手段と、第2の映像表示装置が第1の映像表示装置の所定範囲内に接近したことを検出する接近検出手段と、使用者が第1の映像表示装置に表示された平面映像の任意の部分を指定する操作を行ったことを検出する指定操作検出手段と、接近検出手段により第2の映像表示装置が第1の映像表示装置の所定範囲内に接近したことが検出された場合に、指定操作検出手段により検出された操作に基づいて使用者により指定された平面映像の部分を判別し、指定された平面映像の部分に対応する立体映像を表示するように第2の映像表示装置を制御する制御手段とを備えるものである。
【0008】
第1の発明に係る映像表示システムにおいては、形状を表示するための形状データが平面映像データに変換され、変換された平面映像データに基づいて第1の映像表示装置に平面映像が表示される。また、使用者が第2の映像表示装置を把持したことが把持検出手段により検出され、第2の映像表示装置が第1の映像表示装置の所定範囲内に接近したことが接近検出手段により検出される。使用者が第1の映像表示装置に表示された平面映像の任意の部分を指定する操作を行ったことが指定操作検出手段により検出される。その場合、検出された操作に基づいて使用者により指定された平面映像の部分が制御手段により判別され、第2の映像表示装置に指定された平面映像の部分に対応する立体映像が表示されるように第2の映像表示装置が制御される。
【0009】
それにより、使用者が第2の映像表示装置を把持して第1の映像表示装置に接近し、第1の映像表示装置に表示された平面映像の任意の部分を指定する操作を行うことにより、指定された部分に対応する立体映像が第2の映像表示装置に表示される。したがって、使用者は、複雑な操作を行うことなく、第1の映像表示装置に表示される平面映像の所望の部分に対応する立体映像を直感的な操作で容易に第2の映像表示装置に表示させることが可能となる。
また、第1の映像表示装置に表示された平面映像の指定された部分が立体映像として第2の映像表示装置に表示される。それにより、使用者は、平面映像の所望の部分に対応する立体映像を任意の角度から詳細に観察することが可能となる。
【0010】
(2)指定操作検出手段は、第1の映像表示装置に対する第2の映像表示装置の位置を検出する位置検出手段を含み、制御手段は、位置検出手段により検出された位置に基づいて使用者により指定された平面映像の部分を判別してもよい。
【0011】
この場合、第1の映像表示装置に対する第2の映像表示装置の位置に基づいて、第1の映像表示装置に表示された平面映像の部分を指定する操作が行われたことを検出することができるとともに、指定された平面映像の部分に対応する立体映像を判別することができる。
【0012】
(3)位置検出手段は、第1の映像表示装置に設けられた第1の被撮像部と、第2の映像表示装置に設けられた第2の被撮像部と、異なる位置から第1の被撮像部および第2の被撮像部を撮像する複数の撮像手段とを含み、制御手段は、複数の撮像手段により得られる画像に基づいて使用者により指定された平面映像の部分を判別してもよい。
【0013】
この場合、第1の映像表示装置に設けられた第1の被撮像部および第2の映像表示装置に設けられた第2の被撮像部が、複数の撮像手段により異なる位置から撮像される。複数の撮像手段により得られる第1の被撮像部の画像に基づいて第1の映像表示装置の位置を特定することができる。また、複数の撮像手段により得られる第2の被撮像部の画像に基づいて第2の映像表示装置の位置を特定することができる。それにより、第1の映像表示装置に対する第2の映像表示装置の位置を検出することができる。したがって、使用者は、第2の映像表示装置を第1の映像表示装置に対して移動させることにより第1の映像表示装置に表示される平面映像の所望の部分を指定することができ、複数の撮像手段により得られる画像に基づいて使用者により指定された平面映像の部分に対応する立体映像を判別することが可能となる。
【0014】
(4)接近検出手段は、指定操作検出手段の位置検出手段と共通の位置検出手段を含み、共通の位置検出手段により検出された位置に基づいて第2の映像表示装置が第1の映像表示装置の所定範囲内に接近したことを検出してもよい。
【0015】
この場合、共通の位置検出手段により、第2の映像表示装置が第1の映像表示装置の所定範囲内に接近したこと、および第1の映像表示装置に表示された平面映像の部分を指定する操作が行われたことを検出することができる。したがって、映像表示システムの構成が複雑化しない。
【0016】
(5)接近検出手段は、第1の映像表示装置に設けられ、第2の映像表示装置の接触を検出する第1の接触検出手段を含んでもよい。
【0017】
この場合、第1の接触検出手段により第1の映像表示装置の接触が検出されることにより、第2の映像表示装置が第1の映像表示装置の所定範囲内に接近したことが検出される。
【0018】
(6)接近検出手段は、第1の映像表示装置に設けられ、第2の映像表示装置の近接を検出する近接検出手段を含んでもよい。
【0019】
この場合、近接検出手段により第1の映像表示装置の近接が検出されることにより、第2の映像表示装置が第1の映像表示装置の所定範囲内に接近したことが検出される。
【0020】
(7)把持検出手段は、第2の映像表示装置に設けられ、使用者の身体が接触したことを検出する第2の接触検出手段を含んでもよい。
【0021】
この場合、使用者が第2の映像表示装置に接触したことが検出されることにより、使用者が第2の映像表示装置を把持したことが検出される。
【0022】
(8)制御手段は、形状データを記憶する記憶部と、記憶部に記憶された形状データを第1の映像表示装置に与え、使用者により指定された平面映像の部分に対応する形状データを記憶部から取得し、取得した形状データを第2の映像表示装置に与える主制御部とを含み、第1の映像表示装置は、主制御部から与えられる形状データに基づいて平面映像を表示し、第2の映像表示装置は、主制御部から与えられる形状データに基づいて使用者により指定された平面映像の部分に対応する立体映像を表示してもよい。
【0023】
この場合、記憶部により記憶された形状データが第1の映像表示装置に与えられる。それにより、第1の映像表示装置に平面映像が表示される。また、使用者により指定された平面映像の部分に対応する形状データが記憶部から取得され、取得された形状データが第2の映像表示装置に与えられる。それにより、第2の映像表示装置に使用者により指定された平面映像の部分に対応する立体映像が表示される。
【0024】
このように、共通の記憶部に記憶された共通の形状データを用いることにより、第1の映像表示装置に表示される平面映像の指定された部分に対応する立体映像を第2の映像表示装置に容易かつ確実に表示させることが可能となる。
【0027】
)第2の発明に係る映像表示方法は、形状を表示するための形状データを平面映像データに変換するステップと、変換された平面映像データに基づいて第1の映像表示装置に平面映像を表示するステップと、使用者が第2の映像表示装置を把持したことを検出するステップと、第2の映像表示装置が第1の映像表示装置の所定範囲内に接近したことを検出するステップと、使用者が第1の映像表示装置に表示された平面映像の任意の部分を指定する操作を行ったことを検出するステップと、第2の映像表示装置が第1の映像表示装置の所定範囲内に接近したことが検出された場合に、検出された操作に基づいて使用者により指定された平面映像の部分を判別し、指定された平面映像の部分に対応する形状データを立体映像データに変換するステップと、変換された立体映像データに基づいて立体映像を表示するように第2の映像表示装置を制御するステップとを備えるものである。
【0028】
第2の発明に係る映像表示方法においては、形状を表示するための形状データが平面映像データに変換され、変換された平面映像データに基づいて第1の映像表示装置に平面映像が表示される。また、使用者が第2の映像表示装置を把持したことが検出され、第2の映像表示装置が第1の映像表示装置の所定範囲内に接近したことが検出される。使用者が第1の映像表示装置に表示された平面映像の任意の部分を指定する操作を行ったことが検出される。その場合、検出された操作に基づいて使用者により指定された平面映像の部分が判別され、第2の映像表示装置に指定された平面映像の部分に対応する立体映像が表示されるように第2の映像表示装置が制御される。
【0029】
それにより、使用者が第2の映像表示装置を把持して第1の映像表示装置に接近し、第1の映像表示装置に表示された平面映像の任意の部分を指定する操作を行うことにより、指定された部分に対応する立体映像が第2の映像表示装置に表示される。したがって、使用者は、複雑な操作を行うことなく、第1の映像表示装置に表示される平面映像の所望の部分に対応する立体映像を直感的な操作で容易に第2の映像表示装置に表示させることが可能となる。
また、第1の映像表示装置に表示された平面映像の指定された部分が立体映像として第2の映像表示装置に表示される。それにより、使用者は、平面映像の所望の部分に対応する立体映像を任意の角度から詳細に観察することが可能となる。
【発明の効果】
【0030】
本発明によれば、第1の映像表示装置に表示される平面映像の所望の部分に対応する立体映像を直感的な操作で容易に第2の映像表示装置に表示させることができる。
【図面の簡単な説明】
【0031】
【図1】本発明の一実施の形態に係る映像表示システムの構成を示す模式的外観図である。
【図2】図1の映像表示システムの制御系の詳細な構成を示すブロック図である。
【図3】平面ディスプレイと立体ディスプレイとの相対的な位置関係の特定方法を示す模式的説明図である。
【図4】立体ディスプレイの構成を示す模式的外観図である。
【図5】立体表示面を構成する要素表示面を示す模式的断面図である。
【図6】立体映像を表示するための立体映像データの作成方法を説明するための図である。
【図7】立体映像データに基づいて立体ディスプレイの空間光変調器に表示される映像を説明するための図である。
【図8】制御装置の主制御部の動作を示すフローチャートである。
【図9】映像表示システムの動作の説明図である。
【図10】平面ディスプレイの構成の他の例を示すブロック図である。
【発明を実施するための形態】
【0032】
(1)映像表示システムの構成
図1は本発明の一実施の形態に係る映像表示システムの構成を示す模式的外観図である。

【0033】
図1に示すように、映像表示システム100は、制御装置10、平面ディスプレイ20、立体ディスプレイ30および複数の観測装置41,42を備える。

【0034】
平面ディスプレイ20は、平面映像を表示する長方形の画面を有する。平面ディスプレイ20の前面の上部両端の角部近傍にそれぞれ赤外線を放出する素子(以下、赤外線素子と呼ぶ)23,24が取り付けられる。

【0035】
立体ディスプレイ30は、立方体形状を有し、立体映像を表示する。立体ディスプレイ30の構成および動作については後述する。立体ディスプレイ30の1つの角部近傍には、赤外線素子34が取り付けられる。また、立体ディスプレイ30の表面には、タッチセンサが設けられる。

【0036】
立体ディスプレイ30は、使用者が容易に持ち運びできるサイズを有する。本実施の形態では、立体ディスプレイ30の一面の一辺の長さは、平面ディスプレイ20の画面の縦横の長さよりも小さい。

【0037】
平面ディスプレイ20の前面側の上方に、赤外線素子23,24を撮像するように複数の観測装置41,42が配置される。本実施の形態では、2つの観測装置41,42が用いられる。観測装置41,42は、例えば赤外線を検出可能なカメラからなる。また、観測装置41,42は、立体ディスプレイ30が平面ディスプレイ20の前方の所定範囲内に位置する場合に赤外線素子34を撮像する。

【0038】
制御装置10は、平面映像または立体映像を表示するための形状データを記憶し、記憶した形状データの一部または全てを平面ディスプレイ20および立体ディスプレイ30に与える。平面ディスプレイ20は、制御装置10から与えられる形状データに基づいて平面映像を表示する。また、立体ディスプレイ30は、制御装置10から与えられる形状データに基づいて立体映像を表示する。

【0039】
また、制御装置10は、観測装置41,42により得られる赤外線素子23,24,34の発光点の画像に基づいて、平面ディスプレイ20と立体ディスプレイ30との相対的な位置関係を特定する。それにより、制御装置10は、立体ディスプレイ30が平面ディスプレイ20の前方の所定範囲内に接近したことを検出するとともに、平面ディスプレイ20に表示される平面映像と立体ディスプレイ30との相対的な位置関係を特定する。

【0040】
本実施の形態に係る映像表示システム100においては、使用者が立体ディスプレイ30を把持し、平面ディスプレイ20の前方の所定範囲内に接近し、平面ディスプレイ20に表示された平面映像の所望の部分を指定する操作を行うことにより、平面映像の指定された部分を立体ディスプレイ30に立体映像として表示させることができる。これにより、平面ディスプレイ20に表示された映像の所望の部分を立体ディスプレイ30に移動または複写することができる。

【0041】
(2)映像表示システムの制御系
図2は図1の映像表示システムの制御系の詳細な構成を示すブロック図である。

【0042】
制御装置10は、主制御部11、形状データ記憶部12、メモリ13、入出力回路14および通信部15を含む。平面ディスプレイ20は、表示部21、平面表示制御部22、赤外線素子23,24および入出力回路25を含む。立体ディスプレイ30は、立体表示面31、立体表示制御部32、タッチセンサ33、赤外線素子34および通信部35を含む。

【0043】
主制御部11は、例えばCPU(中央演算処理装置)からなる。メモリ13には、後述される映像表示処理を行うための映像表示プログラムが格納される。また、メモリ13は、主制御部11の作業領域として用いられる。形状データ記憶部12は、形状データを記憶する。

【0044】
制御装置10の入出力回路14は、平面ディスプレイ20の入出力回路25に接続される。また、入出力回路14には、観測装置41,42が接続される。

【0045】
制御装置10の主制御部11は、形状データ記憶部12に記憶された形状データを入出力回路14を介して平面ディスプレイ20に与える。また、主制御部11は、観測装置41,42により得られる画像を画像データとして入出力回路14を介して取得する。さらに、主制御部11は、入出力回路14を介して平面ディスプレイ20に赤外線素子23,24の点灯を制御するための制御信号を与える。

【0046】
制御装置10の通信部15と立体ディスプレイ30の通信部35とは無線通信によりデータおよび信号を送受信する。制御装置10の主制御部11は、形状データ記憶部12に記憶された形状データを通信部15を介して立体ディスプレイ30に送信する。また、主制御部11は、通信部15を介して立体ディスプレイ30に赤外線素子34の点灯を制御するための制御信号を送信する。さらに、主制御部11は、立体ディスプレイ30から送信されるタッチセンサ33の検出信号を通信部15を介して受信する。

【0047】
平面ディスプレイ20の表示部21は、例えば液晶ディスプレイ、またはプラズマディスプレイ等からなる。平面表示制御部22は、例えばCPUからなり、入出力回路25を介して制御装置10から与えられる形状データを平面映像データに変換し、表示部21に与える。それにより、表示部21の画面に平面映像が表示される。また、平面表示制御部22は、入出力回路25を介して制御装置10から与えられる制御信号に基づいて赤外線素子23,24を点灯させる。

【0048】
なお、本実施の形態では、赤外線素子23,24は、制御装置10の制御により点灯するが、赤外線素子23,24が制御装置10により制御されずに平面ディスプレイ20の動作時に点灯してもよい。同様に、本実施の形態では、赤外線素子34は、制御装置10の制御により点灯するが、赤外線素子34が制御装置10により制御されずに立体ディスプレイ30の動作時に点灯してもよい。

【0049】
立体ディスプレイ30の立体表示面31の構成については後述する。立体表示制御部32は、例えばCPUからなり、通信部35を介して制御装置10から与えられる形状データを立体映像データに変換し、立体表示面31に与える。それにより、立体表示面31に立体映像が表示される。また、立体表示制御部32は、通信部35を介して制御装置10から受信した制御信号に基づいて赤外線素子34を点灯させる。さらに、立体表示制御部32は、タッチセンサ33から出力される検出信号を通信部35を介して制御装置10に送信する。

【0050】
(3)平面ディスプレイと立体ディスプレイとの相対的な位置関係の特定方法
図3は平面ディスプレイ20と立体ディスプレイ30との相対的な位置関係の特定方法を示す模式的説明図である。図3(a)は、2つの観測装置41,42により平面ディスプレイ20の赤外線素子23,24の発光点および立体ディスプレイ30の赤外線素子34の発光点が撮像される状態を示し、図3(b)は観測装置41の視野を示し、図3(c)は観測装置42の視野を示す。

【0051】
図3(a)において、観測装置41,42の視野がそれぞれ仮想平面VP1,VP2で示される。観測装置41の観測中心点C1と立体ディスプレイ30の赤外線素子34の発光点とを結ぶ直線L1が仮想平面VP1と交わる点をI1cとする。また、観測装置42の観測中心点C2と立体ディスプレイ30の赤外線素子34の発光点とを結ぶ直線L2が仮想平面VP2と交わる点をI2cとする。

【0052】
図3(b)に示す仮想平面VP1上の点I1cの二次元座標は、観測装置41により得られる画像から求められる。図3(c)に示す仮想平面VP2上の点I2cの二次元座標は、観測装置42により得られる画像から求められる。

【0053】
観測装置41,42の位置および向きならびに点I1c,I2cの二次元座標に基づいて赤外線素子34の三次元座標を求めることができる。

【0054】
同様にして、観測装置41の観測中心点C1と平面ディスプレイ20の赤外線素子23の発光点とを結ぶ直線が仮想平面VP1と交わる点をI1aとし、観測装置42の観測中心点C2と平面ディスプレイ20の赤外線素子23の発光点とを結ぶ直線が仮想平面VP2と交わる点をI2aとする。

【0055】
また、観測装置41の観測中心点C1と平面ディスプレイ20の赤外線素子24の発光点とを結ぶ直線が仮想平面VP1と交わる点をI1bとし、観測装置42の観測中心点C2と平面ディスプレイ20の赤外線素子24の発光点とを結ぶ直線が仮想平面VP2と交わる点をI2bとする。

【0056】
図3(b)に示す仮想平面VP1上の点I1a,I1bの二次元座標は、観測装置41により得られる画像から求められる。図3(c)に示す仮想平面VP2上の点I2a,I2bの二次元座標は、観測装置42により得られる画像から求められる。

【0057】
観測装置41,42の位置および向きならびに点I1a,I2aの二次元座標に基づいて赤外線素子23の三次元座標を求めることができ、観測装置41,42の位置および向きならびに点I1b,I2bの座標に基づいて赤外線素子24の三次元座標を求めることができる。

【0058】
平面ディスプレイ20の画面は設置面に垂直に設けられるものとする。また、平面ディスプレイ20の画面の縦の長さは既知である。この場合、赤外線素子23,24の三次元座標から平面ディスプレイ20の画面の三次元空間内の位置を一意に特定することができる。

【0059】
このようにして、制御装置10は、観測装置41,42により得られる画像に基づいて立体ディスプレイ30が平面ディスプレイ20の前方の所定範囲内に接近したことを検出するとともに、平面ディスプレイ20に表示される平面映像と立体ディスプレイ30との相対的な位置関係を特定することができる。

【0060】
なお、平面ディスプレイ20の画面が垂直に設けられていない場合、または平面ディスプレイ20の縦の長さが既知でない場合には、平面ディスプレイ20に3つ以上の赤外線素子を取り付けることが好ましい。

【0061】
(4)立体ディスプレイの構成
次に、立体ディスプレイ30の構成について説明する。図4は立体ディスプレイ30の構成を示す模式的外観図である。

【0062】
図4に示すように、立体ディスプレイ30は、立体的な外面を有する立体表示面31を備える。立体表示面31は、複数の要素表示面31aを結合させることにより構成される。本実施の形態では、立体表示面31は、正方形の6枚の要素表示面31aにより立方体に構成される。立体表示面31で囲まれる仮想空間Sの内部には立体映像31bが表示される。

【0063】
図5は立体表示面31を構成する要素表示面31aを示す模式的断面図である。図5に示すように、要素表示面31aは、平面状の空間光変調器31c、平面状の光線制御子31dおよび透明外皮層31eにより構成される。

【0064】
空間光変調器31cは、マトリクス状に色を表示することができるマトリクス表示素子からなる。この空間光変調器31cは、マトリクス状に配列された複数の画素を有する。空間光変調器31cとして、例えば液晶ディスプレイまたは有機エレクトロルミネッセンスディスプレイ等を用いることができる。

【0065】
光線制御子31dは、光線の方向を制御することができる光学素子からなり、空間光変調器31cから様々な方向へ向かう光の状態を再現させる機能を有する。本実施の形態では、光線制御子31dとして、複数のレンズからなるレンズアレイが用いられる。レンズアレイの代わりに、複数の回折格子からなる回折格子アレイを用いてもよい。また、光線制御子31dとして、複数のピンホールを有するピンホールアレイ、または複数のプリズムからなるプリズムアレイ等を用いることもできる。

【0066】
光線制御子31dの各レンズにより、空間光変調器31cの複数の画素からの光線の方向が制御される。各レンズには、その下部に位置する画素群が対応する。各レンズが対応する画素群のみからの光線の方向を制御することができるように、空間光変調器31cと光線制御子31dとの間に隣接するレンズ間を仕切る遮光部材31fが設けられてもよい。なお、レンズと画素群との距離を調整するなどの他の方法により、各レンズがその下部に位置する画素群のみからの光線の方向を制御するように構成してもよい。

【0067】
光線制御子31dにより制御可能な光線の数および光線の方向は、各レンズの下部に位置する画素の数、レンズと画素との距離およびレンズの屈折率等のレンズの光学的な設計等により決まる。

【0068】
図5に示すように、光線制御子31dのレンズLは、空間光変調器31cの画素Pa,Pb,Pc,Pdから種々の方向へ向かう光をそれぞれ点線で示す方向に制御する。

【0069】
要素表示面31aに沿ってタッチセンサ33が設けられる。タッチセンサ33は、例えば触覚センサアレイからなる。触覚センサアレイは、マトリクス状に配列された複数の触覚センサ素子からなる。触覚センサ素子としては、人または物が接触したことを検出することができる種々の触角センサを用いることができる。

【0070】
本実施の形態では、タッチセンサ33は、レンズアレイのレンズ間に埋め込まれた複数の触覚センサ素子により構成される。例えば、触覚センサ素子としては、圧電効果による電圧変化を検出する圧電素子(ピエゾ素子)、歪を検出する歪ゲージ、静電容量の変化を検出する可変容量素子を用いることができる。また、指により遮光される光を検出するフォトダイオード等の光検出素子、温度変化を検出する熱検出素子等を用いることもできる。

【0071】
また、タッチセンサ33として、触覚センサアレイの代わりに、シート状の透明の触覚センサを用いてもよい。その場合、透明の触覚センサは光線制御子31dに重ねて配置される。例えば、触覚センサ素子としては、光ファイバへの通光状態の変化を検出するシート状光検出素子、接触部位の静電容量の変化を検出するシート状可変容量素子、または電極間の通電状態により接触を検出する導電シート等を用いることができる。

【0072】
本実施の形態では、タッチセンサ33は、使用者Mが要素表示面31aに触れたときに検出信号を出力する。光線制御子31dおよびタッチセンサ33は、例えば透明の樹脂からなる透明外皮層31e内に埋め込まれる。

【0073】
(5)立体映像データの作成方法
立体ディスプレイ30に立体映像31bを表示するための立体映像データの作成方法について説明する。図6は立体映像31bを表示するための立体映像データの作成方法を説明するための図である。図6においては、タッチセンサ33の図示が省略されている。

【0074】
要素表示面31aの内側の仮想空間S内に視覚されるべき立体形状31gを定義する。この立体形状31gは形状データにより表される。立体形状31gの表面の任意の点において、任意の方向へ向かう光線を考える。要素表示面31aと立体形状31gとの間の位置関係は形状データの定義により一意に求まる。

【0075】
各光線が要素表示面31aと交差する際の交点の位置(座標)、光線と要素表示面31aとの角度、および色を求める。また、各光線がどの要素表示面31aのどの位置で交差するかを求める。最終的に、光線制御子31dにより上記の角度の方向へ向かう光線を再現するように、空間光変調器31cの各画素に交点の色を表示するための立体映像データを作成する。

【0076】
理想的には、立体形状31gの全表面から全方向に向かう光線について上記の交点の位置、角度および色を求め、各要素表示面31aに表示すべき映像を表す立体映像データを作成する。実際には、立体表示面31で囲まれる仮想空間Sを複数のボクセルに離散化するとともに、各ボクセルから発せられる光線の方向を離散化する。本実施の形態では、各ボクセルから発せられる光線の方向は、光線制御子31dにより離散化された方向に制御される。

【0077】
要素表示面31aの内側の仮想空間Sの1つのボクセルが立体形状31gの一部であれば、そのボクセルから離散化された方向に向かう光線を求める。このようにして、立体形状31gの表面上の複数のボクセルの各々から離散化された複数の方向に向かう光線と要素表示面31aとの交点を求めるとともに、光線と要素表示面31aとの角度、およびボクセルの色を求め、それらの交点、角度および色に基づいて立体映像データを作成する。

【0078】
例えば、図6に示すように、立体形状31gの表面上の1つのボクセルb1から発せられる光線は、光線制御子31dのレンズLにより点線の矢印の方向に向かうように制御される。これらの光線と要素表示面31aとの交点の画素にボクセルb1の色を表示させるように立体映像データを作成する。

【0079】
また、立体形状31gの表面上の他のボクセルb2から発せられる光線は、光線制御子31dのレンズLにより実線の矢印の方向に向かうように制御される。これらの光線と要素表示面31aとの交点の画素にボクセルb2の色を表示させるように立体映像データを作成する。

【0080】
上記の説明は、理解を容易にするために行ったが、実際には、光線制御子31dの各レンズLと空間光変調器31cの画素数との関係により再現可能な光線が制限されるため、上記の説明とは逆のアルゴリズムが用いられる。すなわち、光線制御子31dの各レンズLにより再現可能な光線を空間光変調器31cの画素を経由して逆に辿り、表示すべき立体形状31gとの交点のボクセルの色を求め、その色を画素に表示させる色と決定する。

【0081】
光線制御子31dのレンズLにより再現可能な一本の光線が立体形状31gの複数のボクセルと交差する場合には、より要素表示面31aに近いボクセルの色が画素に表示すべき色と決定される。使用者から見て奥に位置する点は手前に位置する点により隠されるからである。例えば、図6に示すように、光線制御子31dのレンズLにより再現可能な一本の光線が立体形状31gの複数のボクセルb2,b3と交差する場合には、より要素表示面31aに近いボクセルb3の色を画素に表示すべき色と決定する。

【0082】
このようにして、立体形状31gの表面上の各ボクセルの色を立体表示面31の複数の画素に表示させるための立体映像データが作成される。立体映像データに基づいて空間光変調器31cの複数の画素に映像を表示させることにより、結果的に立体形状31gからの光線が再現される。

【0083】
図7は立体映像データに基づいて立体ディスプレイ30の空間光変調器31cに表示される映像を説明するための図である。

【0084】
例えば、観察点V1から立体形状を見た場合の映像が空間光変調器31cの画素“A”に表示される。また、観察点V2から立体形状を見た場合の映像が空間光変調器31cの画素“B”に表示される。それにより、使用者は眼を観察点V1から観察点V2に移動させた場合に、立体形状を異なる角度から見ることができる。

【0085】
(6)映像表示システムの動作
次に、本実施の形態に係る映像表示システム100の動作について説明する。図8は制御装置10の主制御部11の動作を示すフローチャートである。また、図9は映像表示システム100の動作の説明図である。

【0086】
制御装置10の主制御部11は、メモリ13に記憶された映像表示プログラムに従って映像表示処理を実行する。

【0087】
まず、主制御部11は、図2の立体ディスプレイ30から送信されるタッチセンサ33の検出信号に基づいて立体ディスプレイ30が使用者Mにより把持されたか否かを判定する(ステップS1)。

【0088】
図9(a)に示されるように、立体ディスプレイ30が使用者Mにより把持された場合には、主制御部11は、観測装置41,42により得られる画像に基づいて、立体ディスプレイ30が平面ディスプレイ20の前方の所定範囲内に接近したか否かを判定する(ステップS2)。

【0089】
図9(b)に示されるように、使用者Mにより把持された立体ディスプレイ30が平面ディスプレイ20の前方の所定範囲内に接近した場合には、主制御部11は、平面ディスプレイ20の画面に表示された平面映像の指定操作が行われたか否かを判定する(ステップS3)。ここで、指定操作とは、使用者Mが立体ディスプレイ30を用いて平面ディスプレイ20の画面に表示された平面映像の所望の部分を指定する操作をいう。指定操作は、例えば、平面ディスプレイ20の画面に表示された平面映像の一部を囲むように立体ディスプレイ30を動かす操作である。

【0090】
図9(c)に示されるように、使用者Mにより平面映像の指定操作が行われた場合には、主制御部11は、観測装置41,42により得られる画像に基づいて、平面ディスプレイ20の画面に表示された平面映像の指定部分を判別する(ステップS4)。この場合、主制御部11は、観測装置41,42により得られる画像に基づいて立体ディスプレイ30の移動経路を認識するとともに、形状データ記憶部12に記憶された形状データに基づいて立体ディスプレイ30の移動時に平面ディスプレイ20に表示されている平面映像を認識し、立体ディスプレイ30の移動経路と平面映像との位置関係に基づいて平面映像の指定部分を判別する。図9(c)の例では、平面映像の矢印で囲まれた部分が指定部分となる。

【0091】
次いで、主制御部11は、形状データ記憶部12から指定部分に対応する形状データを取得し、取得した形状データを立体表示制御部32に送信する(ステップS5)。これにより、立体ディスプレイ30の立体表示制御部32は、受信した形状データを立体映像データに変換し、その立体映像データに基づく立体映像を立体表示面31に表示させる。このようにして、使用者Mは、平面ディスプレイ20に表示された平面映像の指定部分を立体ディスプレイ30に取得することができる。

【0092】
主制御部11が平面ディスプレイ20に表示された平面映像の指定部分を削除する場合には、平面ディスプレイ20に表示された平面映像の指定部分が立体ディスプレイ30に立体映像として移動する。また、主制御部11が平面ディスプレイ20に表示された平面映像の指定部分を削除しない場合には、平面ディスプレイ20に表示された平面映像の指定部分が立体ディスプレイ30に立体映像として複写される。図9(d)の例では、平面ディスプレイ20に表示された平面映像の指定部分が立体ディスプレイ30に立体映像として移動している。

【0093】
なお、平面ディスプレイ20に表示される平面映像の指定部分を立体ディスプレイ30に移動するかまたは複写するかは、制御装置10に予め設定することができる。あるいは、使用者Mが立体ディスプレイ30による指定操作の前に立体ディスプレイ30を予め定められた方法で動かすことにより指定部分の移動または複写が選択されてもよい。

【0094】
ステップS1で立体ディスプレイ30が把持されていない場合、ステップS2で立体ディスプレイ30が平面ディスプレイ20の前方の所定範囲内に接近していない場合、およびステップS3で平面映像の指定操作が行われていない場合には、主制御部11は、ステップS1の処理に戻る。

【0095】
(7)本実施の形態の効果
上記のように、本実施の形態に係る映像表示システム100によれば、使用者が立体ディスプレイ30を把持して平面ディスプレイ20に接近し、立体ディスプレイ30を用いて平面画像の部分を指定することにより、立体ディスプレイ30に指定部分の立体映像が表示される。したがって、使用者は、複雑な操作を行うことなく、直感的な操作により、平面ディスプレイ20に表示された平面映像の所望の部分を立体映像として立体ディスプレイ30に容易に取得することができる。それにより、使用者は、平面映像の所望の部分に対応する立体映像を任意の方向から詳細に観察することができる。

【0096】
(8)他の実施の形態
(a)図10は平面ディスプレイ20の構成の他の例を示すブロック図である。上記実施の形態では、立体ディスプレイ30が平面ディスプレイ20の前方の所定範囲内に接近したことを検出するために赤外線素子23,24,34および観測装置41,42が用いられるが、これに限定されない。例えば、図10に示すように、平面ディスプレイ20がタッチセンサ26および近接センサ27の少なくとも一方を備えてもよい。

【0097】
タッチセンサ26は、立体ディスプレイ30が平面ディスプレイ20に接触すると、検出信号を出力する。平面表示制御部22は、タッチセンサ26から出力される検出信号を入出力回路25を介して図2の制御装置10に送信する。これにより、制御装置10は立体ディスプレイ30が平面ディスプレイ20の前方の所定範囲内に接近したことを判別する。

【0098】
また、近接センサ27は、立体ディスプレイ30が平面ディスプレイ20の前方の所定範囲内に接近すると、検出信号を出力する。平面表示制御部22は、近接センサ27から出力される検出信号を入出力回路25を介して図2の制御装置10に送信する。これにより、制御装置10は立体ディスプレイ30が平面ディスプレイ20の前方の所定範囲内に接近したことを判別する。

【0099】
(b)上記実施の形態では、観測装置41,42として、赤外線を検出可能なカメラが用いられるが、カメラに代えて赤外線センサ、磁気センサ、または超音波センサを用いてもよい。磁気センサによる三次元位置計測装置については、例えばポルヘムス(Polhemus)社三次元磁気センサ(http://www.kbk.co.jp/cesd/polhemus.htm)を用いることができる。超音波センサによる三次元位置計測装置については、例えばインターセンス(Intersense)社超音波動作追跡システム(http://www.intersense.com/uploadedFiles/Products/IS900.pdf)を用いることができる。

【0100】
また、映像表示システム100が、大画面を有する平面ディスプレイ20および持ち運び可能な立体ディスプレイ30を含むが、これに限定されない。例えば、平面ディスプレイ20の代わりに立体ディスプレイを用いてもよい。また、立体ディスプレイ30の代わりに持ち運び可能な平面ディスプレイを用いてもよい。これらの場合、平面映像または立体映像の指定部分を平面映像または立体映像として取得することができる。

【0101】
(9)請求項の各構成要素と実施の形態の各部との対応関係
以下、請求項の各構成要素と実施の形態の各部との対応の例について説明するが、本発明は下記の例に限定されない。

【0102】
上記実施の形態においては、平面ディスプレイ20が第1の映像表示装置の例であり、立体ディスプレイ30が第2の映像表示装置の例であり、タッチセンサ33が把持検出手段または第2の接触検出手段の例であり、赤外線素子23,24,34および観測装置41,42が接近検出手段の例であり、タッチセンサ26が接近検出手段の他の例であり、近接センサ27が接近検出手段のさらに他の例である。赤外線素子23,24,34および観測装置41,42が指定操作検出手段、位置検出手段または共通の位置検出手段の例であり、制御装置10が制御手段の例であり、赤外線素子23,24が第1の被撮像部の例であり、赤外線素子34が第2の被撮像部の例である。観測装置41,42が複数の撮像手段の例であり、タッチセンサ26が第1の接触検出手段の例であり、近接センサ27が近接検出手段の例であり、形状データ記憶部12が記憶部の例である。

【0103】
請求項の各構成要素として、請求項に記載されている構成または機能を有する他の種々の要素を用いることもできる。

【0104】
(10)応用例
(a)遠隔地間で開催される会議において、平面ディスプレイ20の画面に表示された複数の製品の平面映像のうち所望の製品の部分を、出席者の手元にある立体ディスプレイ30に立体映像として表示させ、多角的な視点から検討することができる。

【0105】
(b)インターネットを利用したショッピングにおいて、平面ディスプレイ20の画面上に表示された複数の商品の平面映像のうち所望の商品の部分を、使用者の手元にある立体ディスプレイ30に立体映像として表示させ、任意の角度から商品の細部について確認することができる。

【0106】
(c)日常生活において、平面ディスプレイ20に表示されるテレビ番組の平面映像のうち所望の部分を、使用者の手元にある立体ディスプレイ30に取得し、立体映像として視聴することができる。
【産業上の利用可能性】
【0107】
本発明は、種々の映像を表示するため等に有効に利用することができる。
【符号の説明】
【0108】
10 制御装置
11 主制御部
12 形状データ記憶部
13 メモリ
14,25 入出力回路
15,35 通信部
20 平面ディスプレイ
21 表示部
22 平面表示制御部
23,24,34 赤外線素子
26,33 タッチセンサ
27 近接センサ
30 立体ディスプレイ
31 立体表示面
31a 要素表示面
31b 立体映像
31c 空間光変調器
31d 光線制御子
31e 透明外皮層
31f 遮光部材
31g 立体形状
32 立体表示制御部
41,42 観測装置
100 映像表示システム
b1,b2,b3 ボクセル
C1,C2 観測中心点
L レンズ
L1,L2 直線
M 使用者
Pa,Pb,Pc,Pd 画素
S 仮想空間
V1,V2 観察点
VP1,VP2 仮想平面
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9