TOP > 国内特許検索 > CG提示装置及びそのプログラム、並びに、CG表示システム > 明細書

明細書 :CG提示装置及びそのプログラム、並びに、CG表示システム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4493082号 (P4493082)
公開番号 特開2006-127004 (P2006-127004A)
登録日 平成22年4月16日(2010.4.16)
発行日 平成22年6月30日(2010.6.30)
公開日 平成18年5月18日(2006.5.18)
発明の名称または考案の名称 CG提示装置及びそのプログラム、並びに、CG表示システム
国際特許分類 G06T  17/40        (2006.01)
FI G06T 17/40 A
請求項の数または発明の数 8
全頁数 21
出願番号 特願2004-312029 (P2004-312029)
出願日 平成16年10月27日(2004.10.27)
審査請求日 平成19年9月26日(2007.9.26)
特許権者または実用新案権者 【識別番号】504145342
【氏名又は名称】国立大学法人九州大学
【識別番号】000004352
【氏名又は名称】日本放送協会
発明者または考案者 【氏名】源田 悦夫
【氏名】松隈 浩之
【氏名】石井 達郎
【氏名】深谷 崇史
【氏名】津田 貴生
【氏名】小宮山 摂
個別代理人の代理人 【識別番号】100064414、【弁理士】、【氏名又は名称】磯野 道造
審査官 【審査官】田中 幸雄
参考文献・文献 特開2002-032784(JP,A)
特開2000-194736(JP,A)
特開2001-307134(JP,A)
特開2000-259856(JP,A)
特開2001-216532(JP,A)
特開2004-030283(JP,A)
特開平07-296139(JP,A)
調査した分野 G06T 17/40
特許請求の範囲 【請求項1】
CGデータとして作成された鑑賞対象物の形状を模したレプリカの、鑑賞者に対する位置及び向きに連動して、前記鑑賞対象物のCGの位置、大きさ及び向きを変えて、表示装置に提示するCG提示装置であって、
前記鑑賞対象物のCGデータを記憶するCGデータ記憶手段と、
予め定められた基準位置に対する前記鑑賞者の視点位置を測定する鑑賞者視点位置測定手段と、
前記基準位置に対する前記レプリカの位置を測定するレプリカ位置測定手段と、
前記表示装置の表示面に対する前記レプリカの向きを測定するレプリカ姿勢測定手段と、
測定された前記レプリカの位置及び向きと、予め定められた前記レプリカの大きさとに基づいて、前記鑑賞者の視点位置を、前記表示装置の表示領域の中心を向かせた仮想カメラ位置とし、前記表示領域を含む当該仮想カメラの撮影画角の四隅と、前記仮想カメラ位置とからなる四角錐に含まれるレプリカの領域に対応する前記鑑賞対象物の領域を、CGを生成するための領域として算出するCG領域算出手段と、
このCG領域算出手段で算出された領域に基づいて、前記CGデータ記憶手段に記憶されているCGデータから、CG画像を生成し前記表示装置に出力するCG画像生成手段と、
を備えていることを特徴とするCG提示装置。
【請求項2】
前記鑑賞者視点位置測定手段は、
予め定められた位置に固定した第1のカメラによって撮影された、前記鑑賞者の足下を撮影した足下画像と、予め撮影された前記足下画像に対応する背景画像との差分画像に基づいて、前記基準位置に対する前記鑑賞者の立ち位置を測定する立ち位置測定手段と、
予め定められた位置に固定した第2のカメラによって撮影された、前記鑑賞者を撮影した鑑賞者画像と、予め撮影された前記鑑賞者画像に対応する背景画像との差分画像に基づいて、前記鑑賞者の頭頂部を検出する頭頂部検出手段と、
この頭頂部検出手段で検出された頭頂部から所定の範囲内において、前記鑑賞者の顔の領域を検出する顔検出手段と、
この顔検出手段で検出された顔の領域における重心位置から、前記鑑賞者の目の位置を特定し、前記基準位置に対する前記鑑賞者の目の高さを測定する視点高測定手段と、
を備え
前記立ち位置測定手段で測定された前記鑑賞者の立ち位置と、前記視点高測定手段で測定された前記鑑賞者の目の高さとで特定される位置を、前記鑑賞者の視点位置とすることを特徴とする請求項1に記載のCG提示装置。
【請求項3】
予め定められた位置に固定した第1のカメラによって撮影された、前記鑑賞者の足下を撮影した足下画像と、予め撮影された前記足下画像に対応する背景画像との差分画像に基づいて、前記基準位置に対する前記鑑賞者の立ち位置を測定する立ち位置測定手段を備え、
前記CG画像生成手段が、前記立ち位置測定手段で測定された鑑賞者の立ち位置に基づいて、表示内容の異なるCG画像を生成することを特徴とする請求項1に記載のCG提示装置。
【請求項4】
前記CG領域算出手段は、前記鑑賞者視点位置測定手段で測定された視点位置、又は、前記レプリカ位置測定手段で測定されたレプリカの位置に、予め定めた方向のオフセットを付加して、前記鑑賞対象物の領域を算出することを特徴とする請求項1乃至請求項のいずれか一項に記載のCG提示装置。
【請求項5】
CGデータとして作成された鑑賞対象物の形状を模したレプリカの、鑑賞者に対する位置及び向きに連動して、前記鑑賞対象物のCGの位置、大きさ及び向きを変えて、表示装置に提示するために、コンピュータを、
予め定められた基準位置に対する前記鑑賞者の視点位置を測定する鑑賞者視点位置測定手段、
前記基準位置に対する前記レプリカの位置を測定するレプリカ位置測定手段、
前記表示装置の表示面に対する前記レプリカの向きを測定するレプリカ姿勢測定手段、
測定された前記レプリカの位置及び向きと、予め定められた前記レプリカの大きさとに基づいて、前記鑑賞者の視点位置を、前記表示装置の表示領域の中心を向かせた仮想カメラ位置とし、前記表示領域を含む当該仮想カメラの撮影画角の四隅と、前記仮想カメラ位置とからなる四角錐に含まれるレプリカの領域に対応する前記鑑賞対象物の領域を、CGを生成するための領域として算出するCG領域算出手段、
このCG領域算出手段で算出された領域に基づいて、CGデータ記憶手段に記憶されているCGデータから、CG画像を生成し前記表示装置に出力するCG画像生成手段、
として機能させることを特徴とするCG提示プログラム。
【請求項6】
CGデータとして作成された鑑賞対象物の形状を模したレプリカの、鑑賞者に対する位置及び向きに連動して、前記鑑賞対象物のCGの位置、大きさ及び向きを変えて、表示装置に提示するために、コンピュータを、
予め定められた位置に固定した第1のカメラによって撮影された、前記鑑賞者の足下を撮影した足下画像と、予め撮影された前記足下画像に対応する背景画像との差分画像に基づいて、前記基準位置に対する前記鑑賞者の立ち位置を測定する立ち位置測定手段、
予め定められた位置に固定した第2のカメラによって撮影された、前記鑑賞者を撮影した鑑賞者画像と、予め撮影された前記鑑賞者画像に対応する背景画像との差分画像に基づいて、前記鑑賞者の頭頂部を検出する頭頂部検出手段、
この頭頂部検出手段で検出された頭頂部から所定の範囲内において、前記鑑賞者の顔の領域を検出する顔検出手段、
この顔検出手段で検出された顔の領域における重心位置から、前記鑑賞者の目の位置を特定し、前記基準位置に対する前記鑑賞者の目の高さを測定する視点高測定手段、
前記基準位置に対する前記レプリカの位置を測定するレプリカ位置測定手段、
前記表示装置の表示面に対する前記レプリカの向きを測定するレプリカ姿勢測定手段、
測定された前記レプリカの位置及び向きと、予め定められた前記レプリカの大きさとに基づいて、前記前記鑑賞者の立ち位置及び目の高さで特定される前記鑑賞者の視点位置を、前記表示装置の表示領域の中心を向かせた仮想カメラ位置とし、前記表示領域を含む当該仮想カメラの撮影画角の四隅と、前記仮想カメラ位置とからなる四角錐に含まれるレプリカの領域に対応する前記鑑賞対象物の領域を、CGを生成するための領域として算出するCG領域算出手段、
このCG領域算出手段で算出された領域に基づいて、CGデータ記憶手段に記憶されているCGデータから、CG画像を生成し前記表示装置に出力するCG画像生成手段、
として機能させることを特徴とするCG提示プログラム。
【請求項7】
CGデータとして作成された鑑賞対象物の形状を模したレプリカの、鑑賞者に対する位置及び向きに連動して、前記鑑賞対象物のCGの位置、大きさ及び向きを変えて、表示装置に提示するために、コンピュータを、
予め定められた基準位置に対する前記鑑賞者の立ち位置及び視点位置を測定する鑑賞者視点位置測定手段、
前記基準位置に対する前記レプリカの位置を測定するレプリカ位置測定手段、
前記表示装置の表示面に対する前記レプリカの向きを測定するレプリカ姿勢測定手段、
測定された前記レプリカの位置及び向きと、予め定められた前記レプリカの大きさとに基づいて、前記鑑賞者の視点位置を、前記表示装置の表示領域の中心を向かせた仮想カメラ位置とし、前記表示領域を含む当該仮想カメラの撮影画角の四隅と、前記仮想カメラ位置とからなる四角錐に含まれるレプリカの領域に対応する前記鑑賞対象物の領域を、CGを生成するための領域として算出するCG領域算出手段、
このCG領域算出手段で算出された領域に基づいて、CGデータ記憶手段に記憶されているCGデータから、CG画像を生成し前記表示装置に出力するCG画像生成手段、
として機能させ、
前記CG画像生成手段が、前記鑑賞者の立ち位置に基づいて、表示内容の異なるCG画像を生成することを特徴とするCG提示プログラム。
【請求項8】
CGデータとして作成された鑑賞対象物の形状を模したレプリカの、鑑賞者に対する位置及び向きに連動して、前記鑑賞対象物のCGの位置、大きさ及び向きを変えて、CG画像を表示装置に提示するために、CG提示装置と、前記レプリカと、前記レプリカの周囲に配置された複数の超音波発信器と、前記鑑賞者を撮影するカメラと、前記表示装置とを備えたCG表示システムであって、
前記レプリカは、
前記超音波発信器から発信される複数の超音波を受信し、その位相差を前記CG提示装置に出力する超音波受信手段と、
当該レプリカの向きを検出し、姿勢情報として前記CG提示装置に出力するジャイロセンサとを備え、
前記CG提示装置は、
前記鑑賞対象物のCGデータを記憶するCGデータ記憶手段と、
前記カメラによって撮影された画像に基づいて、予め定められた基準位置に対する前記鑑賞者の視点位置を測定する鑑賞者視点位置測定手段と、
前記超音波受信器から出力される複数の超音波の位相に基づいて、前記基準位置に対する前記レプリカの位置を測定するレプリカ位置測定手段と、
前記ジャイロセンサから出力される姿勢情報に基づいて、前記表示装置の表示面に対する前記レプリカの向きを測定するレプリカ姿勢測定手段と、
測定された前記レプリカの位置及び向きと、予め定められた前記レプリカの大きさとに基づいて、前記鑑賞者の視点位置を、前記表示装置の表示領域の中心を向かせた仮想カメラ位置とし、前記表示領域を含む当該仮想カメラの撮影画角の四隅と、前記仮想カメラ位置とからなる四角錐に含まれるレプリカの領域に対応する前記鑑賞対象物の領域を、CGを生成するための領域として算出するCG領域算出手段と、
このCG領域算出手段で算出された領域に基づいて、前記CGデータ記憶手段に記憶されているCGデータから、前記CG画像を生成するCG画像生成手段と、
備えていることを特徴とするCG表示システム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、コンピュータグラフィックス(以下CGと略す)データとして作成された鑑賞対象物の形状を模したレプリカ(模型、人形)の動きに合わせて、前記鑑賞対象物のCG画像を表示装置に提示するCG提示装置及びそのプログラム、並びに、CG表示システムに関する。
【背景技術】
【0002】
従来、コンピュータが処理するデジタルイメージ、テキストデータ等の情報を、博物館、図書館等で一般の鑑賞者に視覚化して提示(展示)する場合、鑑賞者は、マウス、キーボード、ジョイスティック、タッチパネル等のコンピュータ用デバイスを操作して、その視覚化された情報を鑑賞する方法が一般的である。
【0003】
また、近年では、バーチャルリアリティ技術を利用して、鑑賞者がセンサ、ヘッドマウントディスプレイ等を装着することで、コンピュータの中に仮想的な世界を構築し、鑑賞者がその仮想現実の世界で、コンピュータと対話(インタラクション)が可能となる装置(仮想現実システム)によって、視覚化された情報を鑑賞するという方法もある。
【0004】
しかし、コンピュータ用デバイスを操作して情報を鑑賞するためには、鑑賞者は、そのコンピュータ用デバイスの操作方法を予め知識として知っておく必要がある。また、その操作方法を知らない鑑賞者は、情報を鑑賞することができない。
また、バーチャルリアリティ技術を利用した情報の鑑賞では、鑑賞者がセンサ、ヘッドマウントディスプレイ等を装着しなければならず、正しく装着を行うための補助員が必要となったり、眼鏡をかけている鑑賞者の視野が狭くなったり等の問題がある。さらに、鑑賞者にとって、容易に、あるいは、気軽に情報の閲覧をできないという問題がある。
【0005】
そこで、最近では、虫眼鏡型のインターフェース機器(バーチャルスコープ)によって、情報(画像)を提示する展示システムが提案されている(例えば、特許文献1、非特許文献1参照)。
このバーチャルスコープによる展示システムは、全体画像を示すパネルに対して、鑑賞者がバーチャルスコープをかざして動かすことで、そのバーチャルスコープの位置に対応する画像を拡大して、表示装置に提示するものである。これによって、鑑賞者の直感的、かつ、容易な操作によって、画像を拡大して提示することができる。

【特許文献1】特開2002-152620号公報(段落0022~0061、図1~3)
【非特許文献1】深谷、三ッ峰、井上、“バーチャルスコープ”、第7回画像センシングシンポジウム講演論文集、pp.211-214、2001
【発明の開示】
【発明が解決しようとする課題】
【0006】
しかし、従来のバーチャルスコープによる展示システムでは、鑑賞対象となる画像が、二次元情報であることを想定しているため、基本的には、三次元情報の形状となるコンピュータグラフィックスを提示する場合、一方向から見た画像しか扱えないという問題がある。
この問題に対しては、従来のバーチャルスコープによる展示システムにおいて、全体画像を示すパネルを、三次元形状の模型とし、鑑賞者がバーチャルスコープをその模型にかざすことで、三次元情報のコンピュータグラフィックスにおいても、多方向からの画像を拡大して提示することは可能である。
【0007】
しかし、この場合、模型の裏側(表示装置側の面)を見ようとすると、鑑賞者が模型と表示装置との間に位置することになり、鑑賞者は、バーチャルスコープの操作と表示装置における画像の鑑賞とを相反する視線方向で行わねばならず、操作性が極めて困難であるという問題がある。
また、三次元形状の模型を回転させることで、バーチャルスコープの操作と表示装置における画像の鑑賞とを同一の視線方向で行うことも可能であるが、模型を回転させる動作をジョイスティック等のデバイスによって行うことは非常に困難である。さらに、鑑賞者は、この模型の回転とバーチャルスコープの操作とを合わせて行う必要があるため、表示装置に表示された画像に集中することができないという問題がある。
【0008】
本発明は、以上のような課題を解決するためになされたものであり、鑑賞者に対してセンサ等の装着の負担をかけることなく、さらに、バーチャルスコープを用いることなく、三次元情報の形状となるコンピュータグラフィックスに対して、鑑賞者が見たい任意の方向から見た画像を表示装置に提示することが可能なCG提示装置及びそのプログラム、並びに、CG表示システムを提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項1に記載のCG提示装置は、CGデータとして作成された鑑賞対象物の形状を模したレプリカの、鑑賞者に対する位置及び向きに連動して、前記鑑賞対象物のCGの位置、大きさ及び向きを変えて、表示装置に提示するCG提示装置であって、CGデータ記憶手段と、鑑賞者視点位置測定手段と、レプリカ位置測定手段と、レプリカ姿勢測定手段と、CG領域算出手段と、CG画像生成手段とを備える構成とした。
【0010】
かかる構成によれば、CG提示装置は、鑑賞者視点位置測定手段によって、予め定められた基準位置に対する鑑賞者の視点位置を測定する。ここで、基準位置とは、三次元空間を特定するための基準となる位置であって、例えば、固定位置に設置されている表示装置の特定の位置を基準位置とする。また、鑑賞者の視点位置を測定するには、例えば、鑑賞者にヘッドマウントディスプレイや、磁気センサ等を備えた眼鏡を装着させることで、視点位置を特定したり、鑑賞者を撮影した複数の画像から、ステレオマッチング法によって視点位置を測定することとしてもよいが、鑑賞者に負担をかけないため、鑑賞者を撮影した画像から視点位置を測定する手法が好ましい。
【0011】
また、CG提示装置は、レプリカ位置測定手段によって、基準位置に対するレプリカの位置を測定する。例えば、レプリカ位置測定手段は、超音波センサによってレプリカの位置を測定してもよいし、レプリカを撮影した複数の画像から、ステレオマッチング法によってレプリカの位置を測定することとしてもよい。
【0012】
さらに、CG提示装置は、レプリカ姿勢測定手段によって、表示装置の表示面に対するレプリカの向きを測定する。例えば、レプリカ姿勢測定手段は、ジャイロセンサによってレプリカの向きを測定してもよいし、バーコード等のパターンを複数レプリカに貼付し、そのレプリカを撮影した画像から、パターンを検出することで、レプリカの向きを測定してもよい。
これによって、CG提示装置は、基準位置に基づいて、三次元空間上において、固定位置に設置されている表示装置と、鑑賞者の視点位置と、レプリカの位置とが、どのような位置関係にあり、その三次元空間上において、レプリカがどの方向を向いているのかを特定することができる。
【0013】
そこで、CG提示装置は、CG領域算出手段によって、レプリカの位置及び向きと、予め定められたレプリカの大きさとに基づいて、鑑賞者の視点位置を、表示装置の表示領域の中心を向かせた仮想カメラ位置とし、表示領域を含む当該仮想カメラの撮影画角の四隅と、仮想カメラ位置とからなる四角錐に含まれるレプリカの領域に対応する鑑賞対象物の領域を、CGを生成するための領域(CGの領域)として算出する。
これによって、鑑賞者の視点位置から、表示装置の表示領域に対してレプリカを投影したCGの領域が特定されることになる。
【0014】
そして、CG提示装置は、CG画像生成手段によって、CG領域算出手段で算出されたCGの領域に基づいて、CGデータ記憶手段に記憶されているCGデータから、CG画像を生成し表示装置に出力する。
これによって、鑑賞者がレプリカを見ている視線方向にある表示装置に、レプリカの向きに合わせたCG画像が表示される。
【0017】
また、請求項に記載のCG提示装置は、請求項1に記載のCG提示装置において、前記鑑賞者視点位置測定手段が、立ち位置測定手段と、頭頂部検出手段と、顔検出手段と、視点高測定手段とを備える構成とした。
【0018】
かかる構成によれば、CG提示装置は、立ち位置測定手段によって、予め定められた位置に固定した第1のカメラによって撮影された、鑑賞者の足下を撮影した足下画像と、予め撮影された足下画像に対応する背景画像との差分をとった差分画像を生成する。この差分画像は、背景画像とは異なる鑑賞者の足のみの画像となる。そこで、立ち位置測定手段は、差分画像における鑑賞者の足の所定位置、例えば先端(つま先)を鑑賞者の立ち位置とする。
【0019】
さらに、CG提示装置は、頭頂部検出手段によって、予め定められた位置に固定した第2のカメラによって撮影された、鑑賞者を撮影した鑑賞者画像と、予め撮影された鑑賞者画像に対応する背景画像との差分画像を生成する。この差分画像は、背景画像とは異なる鑑賞者のみの画像となる。そこで、頭頂部検出手段は、鑑賞者のみの画像から、鑑賞者の頭頂部を検出する。そして、CG提示装置は、顔検出手段によって、頭頂部から所定の範囲内において、鑑賞者の顔を検出する。このように、顔を検出するための領域を狭める(限定する)ことで、演算速度を早めることができる。そして、CG提示装置は、視点高測定手段によって、顔検出手段で検出された顔の領域における重心位置から、予め定めたオフセット値により鑑賞者の目の位置を補正することで、基準位置に対する鑑賞者の目の高さを測定する。
これによって、CG提示装置は、鑑賞者の目の位置、すなわち視点位置を特定することができる。
【0020】
さらに、請求項に記載のCG提示装置は、請求項1に記載のCG提示装置において、立ち位置測定手段を備え、前記CG画像生成手段が、前記立ち位置測定手段で測定された鑑賞者の立ち位置に基づいて、表示内容の異なるCG画像を生成することを特徴とする。
【0021】
かかる構成によれば、CG提示装置は、立ち位置測定手段によって、予め定められた位置に固定した第1のカメラによって撮影された、前記鑑賞者の足下を撮影した足下画像と、予め撮影された前記足下画像に対応する背景画像との差分画像に基づいて、前記基準位置に対する前記鑑賞者の立ち位置を測定する。これによって、CG提示装置は、鑑賞者が表示装置に対して前後又は左右に移動し、立ち位置を変えた場合であっても、その立ち位置を逐次測定することができる。
【0022】
そして、CG提示装置は、CG画像生成手段によって、立ち位置測定手段で測定された鑑賞者の立ち位置が、予め定めた領域に移動する毎に表示内容の異なるCG画像を生成する。例えば、CG画像生成手段は、鑑賞者の立ち位置によって、同一の鑑賞対象物のCG画像において、色を変えたり、透明度を変えたり、鑑賞対象物に対する照明方向を変えたり等、種々の表示モードの切り替えを行う。
【0023】
また、請求項に記載のCG提示装置は、請求項1乃至請求項のいずれか一項に記載のCG提示装置において、前記CG領域算出手段が、前記鑑賞者視点位置測定手段で測定された視点位置、又は、前記レプリカ位置測定手段で測定されたレプリカの位置に、予め定めた方向のオフセットを付加して、前記鑑賞対象物の領域を算出することを特徴とする。
【0024】
かかる構成によれば、CG提示装置は、CG領域算出手段において、鑑賞者視点位置測定手段で測定された視点位置、又は、レプリカ位置測定手段で測定されたレプリカの位置に、予め定めた方向に、予め定めた量(オフセット)を付加して、新たな視点位置又は新たなレプリカの位置とする。このため、CG領域算出手段において算出された鑑賞対象物のCGの領域は、オフセットが付加された方向にずれることになる。これによって、表示されたCG画像は、鑑賞者がレプリカを見ている視線の延長線上よりも、例えば、上方向にずれて表示される。このため、鑑賞者が見るレプリカとCG画像とが完全に重なった状態とはならず、鑑賞者がレプリカを見ている状態であっても、CG画像を視認することができる。
【0025】
なお、このオフセットを付加しない場合であっても、鑑賞者の両眼の視差によって、CG画像を視認することは可能であるが、より鮮明にCG画像を視認するためには、このように、レプリカの位置にオフセットを付加する方が好ましい。
【0030】
また、請求項に記載のCG提示プログラムは、CGデータとして作成された鑑賞対象物の形状を模したレプリカの、鑑賞者に対する位置及び向きに連動して、前記鑑賞対象物のCGの位置、大きさ及び向きを変えて、表示装置に提示するために、コンピュータを、鑑賞者視点位置測定手段、レプリカ位置測定手段、レプリカ姿勢測定手段、CG領域算出手段、CG画像生成手段、として機能させることを特徴とする。
【0031】
かかる構成によれば、CG提示プログラムは、鑑賞者視点位置測定手段によって、予め定められた基準位置に対する鑑賞者の視点位置を測定する。また、CG提示プログラムは、レプリカ位置測定手段によって、基準位置に対するレプリカの位置を測定する。
さらに、CG提示プログラムは、レプリカ姿勢測定手段によって、表示装置の表示面に対するレプリカの向きを測定する。
これによって、CG提示プログラムは、基準位置に基づいて、三次元空間上において、固定位置に設置されている表示装置と、鑑賞者の視点位置と、レプリカの位置とが、どのような位置関係にあり、その三次元空間上において、レプリカがどの方向を向いているのかを特定することができる。
【0032】
そこで、CG提示プログラムは、CG領域算出手段によって、レプリカの位置及び向きと、予め定められたレプリカの大きさとに基づいて、鑑賞者の視点位置を、表示装置の表示領域の中心を向かせた仮想カメラ位置とし、表示領域を含む当該仮想カメラの撮影画角の四隅と、仮想カメラ位置とからなる四角錐に含まれるレプリカの領域に対応する鑑賞対象物の領域を、CGを生成するための領域(CGの領域)として算出する。
これによって、鑑賞者の視点位置から、表示装置の表示領域に対してレプリカを投影したCGの領域が特定されることになる。
【0033】
そして、CG提示プログラムは、CG画像生成手段によって、CG領域算出手段で算出されたCGの領域に基づいて、CGデータ記憶手段に記憶されているCGデータから、CG画像を生成し表示装置に出力する。
これによって、鑑賞者がレプリカを見ている視線方向にある表示装置に、レプリカの向きに合わせたCG画像が表示される。
なお、CG提示プログラムは、コンピュータを、位置測定手段、頭頂部検出手段、顔検出手段、視点高測定手段、レプリカ位置測定手段、レプリカ姿勢測定手段、CG領域算出手段、CG画像生成手段、として機能させてもよい(請求項6)。
また、CG提示プログラムは、コンピュータを、鑑賞者視点位置測定手段、レプリカ位置測定手段、レプリカ姿勢測定手段、CG領域算出手段、CG画像生成手段、として機能させ、CG画像生成手段が、鑑賞者の立ち位置に基づいて、表示内容の異なるCG画像を生成することとしてもよい(請求項7)。
【0034】
さらに、請求項8に記載のCG表示システムは、CGデータとして作成された鑑賞対象物の形状を模したレプリカの、鑑賞者に対する位置及び向きに連動して、前記鑑賞対象物のCGの位置、大きさ及び向きを変えて、CG画像を表示装置に提示するために、CG提示装置と、前記レプリカと、前記レプリカの周囲に配置された複数の超音波発信器と、前記鑑賞者を撮影するカメラと、前記表示装置とを備える構成とした。
【0035】
このシステムにおいて、レプリカは、超音波受信手段と、ジャイロセンサとを備え、CG提示装置は、CGデータ記憶手段と、鑑賞者視点位置測定手段と、レプリカ位置測定手段と、レプリカ姿勢測定手段と、CG領域算出手段と、CG画像生成手段とを備える構成とした。
かかる構成によれば、CG表示システムは、鑑賞者視点位置測定手段によって、カメラが撮影した鑑賞者の画像から、予め定められた基準位置に対する鑑賞者の視点位置を測定する。
【0036】
そして、CG表示システムは、レプリカ位置測定手段によって、基準位置に対するレプリカの位置を測定する。すなわち、レプリカの周囲に配置された複数の超音波発信器が発信する超音波を、レプリカに備え付けられている超音波受信器で受信し、その複数の超音波の位相差を検出することで、レプリカ位置測定手段は、三次元空間におけるレプリカの位置を測定する。
【0037】
さらに、CG表示システムは、レプリカ姿勢測定手段によって、表示装置の表示面に対するレプリカの向きを測定する。すなわち、レプリカ姿勢測定手段は、レプリカに備え付けられているジャイロセンサで検出されたロール、ピッチ、ヨー等の姿勢情報に基づいて、表示装置の表示面に対するレプリカの向きを測定する。
これによって、CG表示システムは、基準位置に基づいて、三次元空間上において、固定位置に設置されている表示装置と、鑑賞者の視点位置と、レプリカの位置とが、どのような位置関係にあり、その三次元空間上において、レプリカがどの方向を向いているのかを特定することができる。
【0038】
そして、CG表示システムは、CG領域算出手段によって、レプリカの位置及び向きと、予め定められたレプリカの大きさとに基づいて、鑑賞者の視点位置を、表示装置の表示領域の中心を向かせた仮想カメラ位置とし、表示領域を含む当該仮想カメラの撮影画角の四隅と、仮想カメラ位置とからなる四角錐に含まれるレプリカの領域に対応する鑑賞対象物の領域を、CGを生成するための領域として算出する。
そして、CG表示システムは、CG画像生成手段によって、CG領域算出手段で算出された領域に基づいて、CGデータ記憶手段に記憶されているCGデータから、CG画像を生成し、表示装置が、そのCG画像を表示する。
【発明の効果】
【0039】
請求項1、請求項5又は請求項8に記載の発明によれば、鑑賞者に対してセンサ等の装着の負担をかけることなく、レプリカの向きを変えるだけで、そのレプリカと同じ向きの三次元情報のCGを、鑑賞者が見たい任意の方向から見た画像として、表示装置に提示することができる。また、鑑賞者にとっては、レプリカの向きを変えるという簡単な操作で、鑑賞者がそのレプリカを見た形状に相当するCG画像を、表示装置で視認することができるため、直感的な操作でCG画像を動かして鑑賞することができる。
また、本発明によれば、鑑賞者がレプリカを見た視線の延長線上に、CG画像が提示されるため、鑑賞者は自然な目線のままCG画像を鑑賞することができる。
【0040】
請求項1、請求項5又は請求項8に記載の発明によれば、鑑賞者がレプリカを見た形状に対応するCG画像を表示装置に提示することができる。また、表示装置を見ている視聴者の視線方向が、常に表示領域の中央を向いていることとしているので、鑑賞者の実際の視線方向に関わらず、CG画像の動きを安定した状態で提示することができる。
【0041】
請求項2又は請求項6に記載の発明によれば、鑑賞者の目の位置(視点位置)を測定する際に、カメラで撮影された画像から直接目を検出するのではなく、背景差分法によって、顔を検出するための領域を限定し、その領域内で顔を検出し、目の位置を特定するため、顔を検出するための演算量が少なくなり、高速に鑑賞者の視点位置を測定することができる。
【0042】
請求項3又は請求項7に記載の発明によれば、鑑賞者の立ち位置によって、表示内容の異なるCG画像を生成することができるので、簡単に表示モードの切り替えを行うことができる。また、同一の鑑賞対象物であっても、鑑賞者の立ち位置によって、種々の表示モードでCG画像を提示することができるため、鑑賞者に対して、より多くの情報を提示することができる。
【0043】
請求項に記載の発明によれば、鑑賞者がレプリカを見ている視線の延長線上に対して、ずれた位置にCG画像が提示されるため、鑑賞者が見るレプリカとCG画像との重なりが少なくなるため、CG画像がより見やすくなる。
【発明を実施するための最良の形態】
【0044】
以下、本発明の実施の形態について図面を参照して説明する。
[CG表示システムの構成]
まず、図1を参照して、博物館等で用いるCG表示システムの構成について説明する。図1は、本発明に係るCG表示システムの全体構成を示す模式図である。CG表示システム1は、鑑賞者Mが、手に持ったレプリカ20を動かすことで、鑑賞者Mが見たレプリカ20の形状に相当するCG画像を、表示装置30に提示するものである。ここでは、CG表示システム1は、CG提示装置10と、レプリカ20と、表示装置30と、超音波発信器40と、カメラ50とを備えている。
【0045】
CG提示装置10は、レプリカ20の位置及び向きを測定するとともに、鑑賞者Mの視点位置を測定し、その視点位置から見たレプリカ20の実像に対応する、レプリカ20のCG画像を表示装置30に提示するものである。なお、このCG提示装置10の構成については後で詳細に説明する。
【0046】
レプリカ20は、CGデータとして作成された鑑賞の対象となる物(鑑賞対象物)の形状を模した模型である。ここでは、レプリカ20は、超音波受信器21と、ジャイロセンサ22とを備えている。
【0047】
超音波受信器21は、複数の超音波発信器40から発信される超音波の周波数の位相差、到達タイミングのずれを検出するものである。この超音波受信器21で検出された周波数の位相差等は、ケーブル(図示せず)等を介してCG提示装置10に送信される。これによって、CG提示装置10では、仮想の三次元空間上におけるレプリカ20の位置を測定することができる。
【0048】
ジャイロセンサ22は、レプリカ20の向きを検出するものである。このジャイロセンサ22には、例えば、3軸ジャイロセンサを用い、ロール、ピッチ及びヨーの3軸の傾きを検出する。このジャイロセンサ22で検出された向き(例えば、ロール、ピッチ及びヨー)は、ケーブル(図示せず)等を介してCG提示装置10に送信される。これによって、CG提示装置10では、仮想の三次元空間上におけるレプリカ20の姿勢を検出することができる。
【0049】
表示装置30は、CG画像を表示するための一般的な表示装置であって、例えば、プラズマディスプレイパネル(PDP)、液晶ディスプレイ(LCD)等である。
【0050】
超音波発信器40は、超音波を発信するものである。なお、超音波発信器40は、表示装置30の周り、鑑賞者Mの後ろ側、天井を支える柱等、複数の位置に設置され、それぞれが発信する超音波の周波数は異なるものとする。
【0051】
カメラ50は、鑑賞者Mを撮影するものである。このカメラ50で撮影された画像が、鑑賞者Mの位置(視点位置)を測定するために、CG提示装置10に送信される。なお、ここでは、カメラ50を、表示装置30の予め定めた位置である中央上部(カメラ50U)、左側部(カメラ50L)及び右側部(カメラ50R)にそれぞれ設置している。
【0052】
カメラ50U(第1のカメラ)は、鑑賞者Mの立ち位置を測定するための画像を撮影するものである。具体的には、カメラ50Uは、鑑賞者Mの足下を撮影する。これによって、CG提示装置10では、カメラ50Uによって撮影された画像(足下画像)と、予め撮影された背景画像との差分をとることで、鑑賞者Mの立ち位置が、表示装置30からどれだけ離れているか、表示装置30に対して左右どちらにずれているか等を測定することができる。
【0053】
カメラ50L及びカメラ50R(第2のカメラ)は、鑑賞者Mの視点位置の高さを測定するための画像を撮影するものである。具体的には、カメラ50L及びカメラ50Rは、少なくとも鑑賞者Mの顔を含んだ上半身を撮影する。これによって、CG提示装置10では、カメラ50L(又はカメラ50R)で撮影された画像(鑑賞者画像)と、予め撮影された背景画像との差分をとることで、鑑賞者Mの領域を抽出し、その抽出された画像から顔の統計的な特徴量に基づいて、顔を検出し、視点位置(目の位置)の高さを測定する。
【0054】
ここで、視点位置の高さを測定するための画像を撮影するカメラを、カメラ50L及びカメラ50Rの2台としたのは、鑑賞者Mの移動範囲を広くとるためである。例えば、CG提示装置10は、カメラ50Uが撮影した画像によって、鑑賞者Mの立ち位置が、左にずれていると判断した場合は、カメラ50Lが撮影した画像から視点位置の高さを測定し、右にずれていると判断した場合は、カメラ50Rが撮影した画像から視点位置の高さを測定する。なお、鑑賞者Mの移動範囲を広くとる必要がない場合は、視点位置の高さ測定用のカメラを1台とし、例えば、表示装置30の中央下部に設置することとしてもよい。
このように、カメラ50Uで撮影された画像と、カメラ50L又はカメラ50Rで撮影された画像とを用いることで、CG提示装置10は、仮想の三次元空間上における鑑賞者Mの視点位置を測定することができる。
【0055】
[CG提示装置の構成]
次に、図2を参照(適宜図1参照)して、CG提示装置の構成について説明する。図2は、本発明に係るCG提示装置の構成を示すブロック図である。図2に示すように、CG提示装置10は、CGデータ記憶手段11と、制御手段COとしての鑑賞者視点位置測定手段12と、レプリカ位置・姿勢測定手段13と、CG生成手段14とを備えている。
【0056】
CGデータ記憶手段11は、予め鑑賞の対象となる鑑賞対象物のCGデータを記憶しておくものであって、ハードディスク等の一般的な記憶装置である。このCGデータ記憶手段11に記憶されるCGデータは、例えば、一般的なボリュームレンダリング法におけるボリュームデータである。このボリュームデータは、鑑賞対象物が存在する三次元空間をボクセル(voxel:volume element)と呼ばれる立方体に分割し、各ボクセルの色情報、透明度、反射率等の情報を三次元配列としたデータである。
【0057】
鑑賞者視点位置測定手段12は、仮想の三次元空間における鑑賞者の現在の視点位置を測定するものである。この鑑賞者視点位置測定手段12で測定された視点位置は、CG生成手段14に出力される。なお、鑑賞者視点位置測定手段12は、ここでは、図3に示すような、表示装置30の表示画面の中心から床面に下ろした垂線と床面との交点を原点O(基準位置)とし、この原点Oを通り、表示画面の水平方向に平行なX軸、表示画面の垂直方向に平行なY軸、X軸及びY軸からなるXY平面に直交するZ軸とした仮想の三次元座標空間上における位置を測定するものとする。
ここでは、鑑賞者視点位置測定手段12は、立ち位置測定手段12aと、頭頂部検出手段12bと、顔検出手段12cと、視点高測定手段12dとを備えている。
【0058】
立ち位置測定手段12aは、床面に立っている鑑賞者の立ち位置を検出するものである。ここでは、立ち位置測定手段12aは、カメラ50Uで撮影された画像を入力し、その撮影画像(足下画像)と、予め鑑賞者が存在しない状態で撮影した背景画像との差分をとることで、鑑賞者の立ち位置(例えば、つま先)を検出する。
【0059】
ここで、図4を参照(適宜図2参照)して、鑑賞者の立ち位置の検出手法について説明する。図4は、鑑賞者の立ち位置を検出する手法を説明するための説明図であって、(a)は背景画像、(b)は足下画像、(c)は差分画像を示している。
【0060】
まず、立ち位置測定手段12aは、予め図4(a)に示すような背景画像を図示していない記憶手段に記憶しておく。なお、ここでは、背景画像の4点(La,Lb,Lc,Ld)に、予め図3に示したXZ平面における座標を対応付けておく。そして、立ち位置測定手段12aは、図4(a)に示す背景画像と、図4(b)に示すカメラ50Uで撮影された足下画像との差分をとることで、図4(c)に示す差分画像を生成する。この差分画像は、鑑賞者の足のみの画像となる。そこで、立ち位置測定手段12aは、その足もとの先端、あるいは両足の先端の中間位置を、鑑賞者の立ち位置とする。なお、この立ち位置の座標は、背景画像に対応付けられている4点(La,Lb,Lc,Ld)の座標から相対的に算出することができる。これによって、図3に示したXZ平面における鑑賞者の立ち位置のX座標及びZ座標である(Cx,Cz)を求めることができる。
図2に戻って、CG提示装置10の構成の説明を続ける。
【0061】
なお、この立ち位置測定手段12aで測定された鑑賞者の立ち位置は、鑑賞者の視点位置を測定するためのみならず、後記するCG画像生成手段14bにおいて、表示すべきCG画像の表示モードを切り替えるための基準としても使用することができる。この表示モードの切り替えについては、CG画像生成手段14bを説明する際に行うこととする。
【0062】
頭頂部検出手段12bは、カメラ50L又はカメラ50Rで撮影された画像(鑑賞者画像)から、鑑賞者を検出し、その鑑賞者の頭頂部の位置を特定(検出)するものである。なお、ここでは、頭頂部検出手段12bは、立ち位置測定手段12aにおいて測定された鑑賞者の立ち位置が、表示装置30に対して左にずれている場合は、カメラ50Lが撮影した画像から鑑賞者を検出し、表示装置30に対して右にずれている場合は、カメラ50Rが撮影した画像から鑑賞者を検出する。また、鑑賞者の立ち位置が、表示装置30に対して中央に位置する場合(X座標が“0”)は、カメラ50L又はカメラ50Rで撮影された画像のいずれか一方から鑑賞者を検出するものとする。
【0063】
ここで、頭頂部検出手段12bは、カメラ50L又はカメラ50Rで撮影された画像を入力し、その撮影画像(鑑賞者画像)と、予め鑑賞者が存在しない状態で撮影した背景画像との差分をとることで、鑑賞者を検出し、その最上位の画素位置を鑑賞者の頭頂部とする。
【0064】
顔検出手段12cは、頭頂部検出手段12bで検出された鑑賞者の頭頂部から予め定めた所定の範囲内において、鑑賞者の顔の領域を検出するものである。ここで、画像から鑑賞者の顔を検出するには、一般的な検出技術を用いることができる。例えば、顔検出手段12cは、顔の特徴量(目、口等の特徴量)を予め学習データとして保持しておき、その特徴量に最も類似する領域を顔と判定する。このように、顔を検出する範囲を小さくしておくと、検出の高速化を図ることができる。
【0065】
視点高測定手段12dは、顔検出手段12cで検出された顔の領域から目を特定し、基準位置に対する鑑賞者の目の高さを測定するものである。ここでは、視点高測定手段12dは、顔検出手段12cで検出された顔の領域の重心位置を算出し、その重心位置から、予め定めたオフセット値により補正を行うことで、その位置を目の位置とする。なお、この目の位置の座標は、予め背景画像と、あるZ座標(図3参照)における高さとを数点(例えば、4点)対応付けておくことで、鑑賞者の目の高さを相対的に算出する。ただし、鑑賞者は、Z方向(カメラの光軸方向)に移動するため、立ち位置測定手段12aで測定された鑑賞者の立ち位置に基づいて、鑑賞者の目の高さを補正する。
【0066】
具体的には、背景画像に対応付けたあるZ座標の値(=z1)における目の高さ(=y1)において、立ち位置測定手段12aで測定された鑑賞者の立ち位置のZ座標の値がz2である場合、実際の目の高さy2を、以下の(1)式で算出する。
2=(z2/z1)y1 …(1)
【0067】
このように、鑑賞者視点位置測定手段12は、図3に示した三次元空間(X,Y,Z)において、立ち位置測定手段12aで測定された鑑賞者の立ち位置であるX座標及びZ座標と、視点高測定手段12dで測定された目の高さであるY座標とで特定される位置を鑑賞者の視点位置とする。
【0068】
なお、ここでは、鑑賞者視点位置測定手段12は、カメラ50Uで撮影された画像(足下画像)から鑑賞者の立ち位置を測定し、カメラ50L又はカメラ50Rで撮影された画像(鑑賞者画像)から鑑賞者Mの視点位置の高さを測定することで、鑑賞者の視点位置を測定したが、複数のカメラで鑑賞者を撮影した画像から、ステレオマッチング法によって視点位置を測定することとしてもよい。あるいは、鑑賞者にヘッドマウントディスプレイや、眼鏡に磁気センサ、超音波センサ、ジャイロセンサ等を取りつけて視点位置を測定することとしてもよいが、鑑賞者がセンサ等を装着しなければならないため、本実施の形態の方が好ましいといえる。
【0069】
レプリカ位置・姿勢測定手段13は、仮想的に設定された三次元空間におけるレプリカの位置及び向きを測定するものである。このレプリカ位置・姿勢測定手段13で測定されたレプリカの位置及び向きはCG生成手段14に出力される。なお、レプリカ位置・姿勢測定手段13は、図3に示した、表示装置30を基準とした仮想の三次元空間(X,Y,Z)において、レプリカの位置及び向きを測定するものとする。
ここでは、レプリカ位置・姿勢測定手段13は、レプリカ位置測定手段13aと、レプリカ姿勢測定手段13bとを備えている。
【0070】
レプリカ位置測定手段13aは、レプリカ20の位置を測定するものである。具体的には、レプリカ位置測定手段13aは、レプリカ20に備え付けられている超音波受信器21から出力される、複数の超音波発信器40から発信される超音波の周波数の位相差、到達タイミングのずれ等に基づいて、図3に示した三次元空間(X,Y,Z)において、レプリカ20の位置(超音波受信器21の位置に相当)を測定する。
【0071】
レプリカ姿勢測定手段13bは、レプリカ20の向きを測定するものである。具体的には、レプリカ姿勢測定手段13bは、レプリカ20に備え付けられているジャイロセンサ22から出力される、ジャイロセンサ22で検出された姿勢情報(例えば、ロール、ピッチ及びヨー)を、レプリカ20の向きとして測定する。
【0072】
なお、ここでは、レプリカ位置測定手段13aは、超音波受信器21によってレプリカ20の位置を測定し、レプリカ姿勢測定手段13bは、ジャイロセンサ22によってレプリカ20の向きを測定したが、レプリカ20にバーコード等のパターンを貼付し、複数のカメラで撮影した画像から、ステレオマッチング法によって、レプリカ20の位置や向きを測定することとしてもよい。
【0073】
CG生成手段14は、レプリカ20のCG画像を生成し、表示装置30に提示するものである。ここでは、CG生成手段14は、CG領域算出手段14aと、CG画像生成手段14bとを備えている。
【0074】
CG領域算出手段14aは、鑑賞者視点位置測定手段12で測定された鑑賞者の視点位置と、表示装置30の表示領域の四隅とからなる四角錐の仮想領域における、レプリカ位置・姿勢測定手段13で測定されたレプリカ20の位置及び向き基づいて、表示装置30に提示する鑑賞対象物のCGの領域を算出するものである。このCG領域算出手段14aで算出されたCGの領域は、CG画像生成手段14bに出力される。
【0075】
なお、CG領域算出手段14aは、レプリカ位置・姿勢測定手段13で測定されたレプリカ20の位置に、予め定めた方向のオフセットを付加することとしてもよい。これによって、鑑賞者の視線方向において、レプリカ20と、表示装置30に表示されるCG画像とがずれることになり、鑑賞者にとってCG画像が見やすくなる。
【0076】
ここで、図5及び図6を参照(適宜図2参照)して、CG領域算出手段14aが、表示装置30に提示(表示)する鑑賞対象物のCGの領域を算出する手法について説明する。図5は、仮想的に設定された三次元空間において、視点位置とレプリカと表示装置との関係を説明するための説明図である。図6は、視点位置を仮想カメラ位置としたときの、表示領域内に含まれる仮想カメラの撮影画角の四隅と視点位置との関係を説明するための説明図である。
【0077】
図5では、表示装置30の表示領域(表示画面)が、図3で説明した三次元空間に、仮想表示領域Dvとして予め設定されているものとする。ここでは、仮想表示領域Dvの幅を2w、高さを2tとする。そして、仮想表示領域Dvの中心Poの座標がPo=(0,h,0)、仮想表示領域Dvの四隅(各頂点)の座標Pa,Pb,Pc,Pdが、それぞれ、Pa=(-w,h+t,0)、Pb=(-w,h-t,0)、Pc=(w,h-t,0)、Pd=(w,h+t,0)とする。
【0078】
また、ここでは、視点位置CがC=(Cx,Cy,Cz)、レプリカ20の位置RがR=(Rx,Ry,Rz)であったとする。
これによって、視点位置Cとレプリカ20と表示装置の仮想表示領域Dvとが、仮想の三次元座標空間において特定される。
【0079】
このとき、CG領域算出手段14aは、図6に示すように、視点位置を仮想カメラ(視点)位置Cとし、表示装置の表示領域である仮想表示領域Dvを含む(内接する)仮想カメラの撮影画角Dcの四隅(Pa´,Pb´,Pc´,Pd´)と、仮想カメラ位置Cとからなる四角錐(C,Pa´,Pb´,Pc´,Pd´)を仮想的に設定する。なお、仮想カメラ位置Cからの視線方向は仮想表示領域Dvの中心Poを常に向いているものとする。
そして、CG領域算出手段14aは、この四角錐(C,Pa´,Pb´,Pc´,Pd´)に含まれる鑑賞対象物のCGの領域を算出する。
これによって、図5に示すように、仮想カメラ映像Iに示すように、レプリカ20に対応するCGの領域を算出されることになる。
【0080】
なお、図5において、レプリカ20の位置にオフセットを付加する場合、例えば、レプリカ20の位置R=(Rx,Ry,Rz)に対して、R=(Rx,Ry+Offset,Rz)と、Offset分、Y座標を増加させることで、仮想表示領域Dvには、このオフセットに対応して上方向にずれたCGの領域が算出されることになる。なお、このオフセットは、視点位置に対して付加することとしてもよい。
図2に戻って、CG提示装置10の構成の説明を続ける。
【0081】
CG画像生成手段14bは、CG領域算出手段14aで算出されたCGの領域に基づいて、CGデータ記憶手段11に記憶されているCGデータから、CG画像を生成し表示装置30に出力するものである。
このCG画像生成手段14bは、CG領域算出手段14aで算出されたCGの領域に対応するCGデータをCGデータ記憶手段11から読み出して、例えば、CGデータとして設定されている色情報、透明度、反射率等に基づいてCG画像を生成する。
【0082】
なお、ここでは、CG画像生成手段14bは、立ち位置測定手段12aで測定された鑑賞者の立ち位置に基づいて、CG画像を表示する方式を切り替えることとする。例えば、CG画像生成手段14bは、表示装置30に対する鑑賞者の左右、前後の立ち位置によって、同一の鑑賞対象物において、その表示方法を切り替える。
【0083】
ここで、図7を参照して、CG画像生成手段14bが行う表示モードの切り替えについて説明する。図7は、鑑賞者の立ち位置によって表示モードが切り替わる状態を示した模式図であって、(a)は鑑賞者の立ち位置が表示装置に対して正面中央である場合、(b)は鑑賞者の立ち位置が表示装置に対して中央より左側である場合、(c)は鑑賞者の立ち位置が表示装置に対して中央より右側である場合を示している。
【0084】
図7(a)に示すように、鑑賞者の立ち位置が表示装置に対して正面中央である場合、CG画像生成手段14bは、レプリカ20(ここでは人形)に対応する「骨」のみの画像をCG画像として生成する。また、図7(b)に示すように、鑑賞者の立ち位置が表示装置に対して中央より左側である場合、CG画像生成手段14bは、レプリカ20に対応する「内蔵」のみの画像をCG画像として生成する。また、図7(c)に示すように、鑑賞者の立ち位置が表示装置に対して中央より右側である場合、CG画像生成手段14bは、レプリカ20に対応する「皮膚」のみの画像をCG画像として生成する。
【0085】
なお、ここでは、鑑賞者の立ち位置を3つの領域に区分して、表示モードを切り替える例を示したが、この区分はこれに限定されるものではない。
この図7に示した表示モードの切り替えは、CGデータが、ボリュームレンダリング法におけるボリュームデータである場合、CG画像生成手段14bが、鑑賞者の立ち位置によって、ボクセルの透明度を変化させることで実現することができる。
【0086】
以上説明したように、CG提示装置10は、鑑賞者が手にしたレプリカ20の位置や向きに合わせて、鑑賞者の視線の先にある表示装置30に、レプリカ20のCG画像を表示することができる。また、鑑賞者の立ち位置によって、表示モードを切り替えることができるため、同一の鑑賞対象物であっても、展示方法を変えることができる。
なお、CG提示装置10は、コンピュータを制御手段COの各手段として機能させるCG提示プログラムによって動作する。
【0087】
以上、本発明に係るCG提示装置10の構成について説明したが、本発明はこれに限定されるものではない。例えば、CG提示装置10の制御手段COである鑑賞者視点位置測定手段12と、レプリカ位置・姿勢測定手段13と、CG生成手段14とを、それぞれ異なるコンピュータによって、機能させることも可能である。このように機能を分散することで、レプリカ20の動きに連動してCG画像を高速に表示することができる。
【0088】
[CG提示装置の動作]
次に、図8を参照(適宜図2参照)して、CG提示装置の動作について説明する。図8は、本発明に係るCG提示装置の動作を示すフローチャートである。
【0089】
(測定ステップ:鑑賞者視点位置測定ステップ)
まず、CG提示装置10は、鑑賞者視点位置測定手段12の立ち位置測定手段12aによって、立ち位置検出用のカメラ50Uで撮影された画像を入力する(ステップS1)。そして、立ち位置測定手段12aは、ステップS1で撮影された画像から、床面に立っている鑑賞者のつま先を背景差分により検出し、鑑賞者の立ち位置を算出する(ステップS2)。
【0090】
そして、CG提示装置10は、鑑賞者視点位置測定手段12の頭頂部検出手段12bによって、鑑賞者の立ち位置により、左右のカメラ(50L又は50R)で撮影された画像のいずれか一方を選択し入力する(ステップS3)。さらに、頭頂部検出手段12bによって、その選択されたカメラで撮影された画像と、予め撮影した背景画像との差分をとることで、鑑賞者の頭頂部を検出し、顔検出手段12cによって、その頭頂部を基準として顔を検出する範囲を限定し顔を検出する(ステップS4)。そして、視点高測定手段12dは、顔の領域における重心位置から、予め定めたオフセット値により、目の位置を特定し、目の高さを算出する(ステップS5)。
このように、ステップS2で算出された鑑賞者の立ち位置と、ステップS5で算出された目の高さとによって、仮想の三次元空間における鑑賞者の視点位置が測定される。
【0091】
(測定ステップ:レプリカ位置測定ステップ)
また、CG提示装置10は、レプリカ位置・姿勢測定手段13のレプリカ位置測定手段13aによって、レプリカ20に備え付けられている超音波受信器21から出力される超音波発信器40から発信される超音波の周波数の位相差、到達タイミングのずれ等に基づいて、仮想の三次元空間におけるレプリカ20の位置を測定する(ステップS6)。
【0092】
(測定ステップ:レプリカ姿勢測定ステップ)
さらに、CG提示装置10は、レプリカ姿勢測定手段13bによって、レプリカ20に備え付けられているジャイロセンサ22から出力される、ジャイロセンサ22で検出された向きを、レプリカ20の向きとして測定する(ステップS7)。
この段階で、鑑賞者の視点位置と、レプリカ20の位置及び向きとが測定されたことになる。
【0093】
(CG領域算出ステップ)
そして、CG提示装置10は、CG生成手段14のCG領域算出手段14aによって、鑑賞者の視点位置と、予め設定された表示装置30の表示領域の四隅とからなる四角錐の仮想領域における、レプリカ20の位置及び向きに基づいて、表示装置30に提示する鑑賞対象物のCGの領域を算出する(ステップS8)。
【0094】
(CG画像生成ステップ)
ここでは、図3に示したXZ平面における、鑑賞者の立ち位置のX軸の値に基づいて、表示するCG画像の表示モードを変えることとする。
そこで、CG提示装置10は、CG画像生成手段14bによって、ステップS2で算出された鑑賞者の立ち位置を判定する(ステップS9)。
そして、鑑賞者の立ち位置のX座標が、予め定めた2つの閾値(x1、x2)の範囲内の場合(x1≦X≦x2)、CG画像生成手段14bは、第1の表示モードとして、例えば、レプリカ20(ここでは人形)に対応する「骨」のみの画像をCG画像として生成する(ステップS10)。
【0095】
また、鑑賞者の立ち位置のX座標が、閾値x1より小さい場合(X<x1)、CG画像生成手段14bは、第2の表示モードとして、例えば、レプリカ20に対応する「内蔵」のみの画像をCG画像として生成する(ステップS11)。
さらに、鑑賞者の立ち位置のX座標が、閾値x2より大きい場合(x2<X)、CG画像生成手段14bは、第3の表示モードとして、例えば、レプリカ20に対応する「皮膚」のみの画像をCG画像として生成する(ステップS12)。
【0096】
そして、CG画像生成手段14bは、ステップS10、S11又はS12で生成されたCG画像を表示装置30に出力し、鑑賞者にCG画像を提示する(ステップS13)。
以上の動作が連続して実行されることで、鑑賞者のレプリカ20の操作に連動して、リアルタイムで、CG画像が提示される。
なお、前記した鑑賞者視点位置測定ステップ(ステップS1~S5)、レプリカ位置測定ステップ(ステップS6)、及び、レプリカ姿勢測定ステップ(ステップS7)は、必ずしもこの順番で動作させる必要はない。
【0097】
以上の動作によって、CG提示装置10は、鑑賞者の視点位置と、レプリカ20の位置及び向きとを測定し、鑑賞者がレプリカ20を見ている視線方向に配置されている表示装置30に、レプリカ20の動きに連動したCG画像を提示することができる。
【0098】
[CG提示装置の利用例]
以上の説明においては、本発明に係るCG提示装置が、博物館等で用いるCG表示システムとして利用される形態について説明したが、ここでは、図9を参照(適宜図2参照)して、本発明に係るCG提示装置の他の利用形態について説明する。
図9は、レプリカを、テレビジョン装置を操作するリモコンとした例を示す概念図である。図9では、鑑賞者が、テレビジョン装置Tvを操作するリモコン(レプリカ)20を、テレビジョン装置Tvの前に差し出すことで、テレビジョン装置Tvの画面上にリモコン20のボタンの操作方法、ボタンの機能等を表示する例を示している。
この場合、CG提示装置10は、予め設定されたテレビジョン装置Tvの位置を基準として、鑑賞者の視点位置と、リモコン(レプリカ)20の位置とを測定する。
【0099】
そして、CG提示装置10は、視聴しているチャンネルや、操作モード(例えば、ビデオ装置の操作等)によって、テレビジョン装置Tvに提示する画像を変える。すなわち、CG画像生成手段14bにおいて、現在の操作モード等によって、テレビジョン装置Tvに提示する画像を変える。例えば、操作モードが、「ビデオ装置の操作」である場合、テレビジョン装置Tvの画面には、リモコンの各ボタンの機能(「巻き戻し」、「早送り」、「停止」、「取り出し」等)をリモコンの画像とともに表示させる。これによって、リモコンのボタンを最小限に集約することができるとともに、現在動作可能な操作を視覚化できるため、簡単で直感的な操作が可能になる。
【図面の簡単な説明】
【0100】
【図1】本発明に係るCG表示システムの全体構成を示す模式図である。
【図2】本発明に係るCG提示装置の構成を示すブロック図である。
【図3】表示装置を基準とした仮想の三次元座標空間を示す概念図である。
【図4】鑑賞者の立ち位置を検出する手法を説明するための説明図であって、(a)は背景画像、(b)は足下画像、(c)は差分画像を示している。
【図5】視点位置とレプリカと表示装置との関係を説明するための説明図である。
【図6】視点位置を仮想カメラ位置としたときの、仮想カメラの撮影画角内に含まれる表示領域の四隅と視点位置との関係を説明するための説明図である。
【図7】鑑賞者の立ち位置によって表示モードが切り替わる状態を示した模式図であって、(a)は鑑賞者の立ち位置が表示装置に対して正面中央である場合、(b)は鑑賞者の立ち位置が表示装置に対して中央より左側である場合、(c)は鑑賞者の立ち位置が表示装置に対して中央より右側である場合を示している。
【図8】本発明に係るCG提示装置の動作を示すフローチャートである。
【図9】レプリカを、テレビジョン装置を操作するリモコンとした例を示す概念図である。
【符号の説明】
【0101】
1 CG表示システム
10 CG提示装置
11 CGデータ記憶手段
12 鑑賞者視点位置測定手段
12a 立ち位置測定手段
12b 頭頂部検出手段
12c 顔検出手段
12d 視点高測定手段
13 レプリカ位置・姿勢測定手段
13a レプリカ位置測定手段
13b レプリカ姿勢測定手段
14 CG生成手段
14a CG領域算出手段
14b CG画像生成手段
20 レプリカ
21 超音波受信器
22 ジャイロセンサ
30 表示装置
40 超音波発信器
50 カメラ
50U カメラ(第1のカメラ)
50L、50R カメラ(第2のカメラ)
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8