TOP > 国内特許検索 > 三次元像表示装置の座標校正方法 > 明細書

明細書 :三次元像表示装置の座標校正方法

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5087571号 (P5087571)
公開番号 特開2010-204759 (P2010-204759A)
登録日 平成24年9月14日(2012.9.14)
発行日 平成24年12月5日(2012.12.5)
公開日 平成22年9月16日(2010.9.16)
発明の名称または考案の名称 三次元像表示装置の座標校正方法
国際特許分類 G06F   3/01        (2006.01)
H04N   5/74        (2006.01)
G09G   5/36        (2006.01)
G09G   5/00        (2006.01)
G09G   5/377       (2006.01)
G03B  21/00        (2006.01)
G02B  27/22        (2006.01)
FI G06F 3/01 310A
H04N 5/74 Z
G09G 5/36 510V
G09G 5/00 550C
G09G 5/00 510B
G09G 5/00 X
G09G 5/36 520L
G03B 21/00 D
G02B 27/22
請求項の数または発明の数 3
全頁数 13
出願番号 特願2009-047207 (P2009-047207)
出願日 平成21年2月27日(2009.2.27)
審査請求日 平成23年12月9日(2011.12.9)
特許権者または実用新案権者 【識別番号】304019399
【氏名又は名称】国立大学法人岐阜大学
発明者または考案者 【氏名】木島 竜吾
個別代理人の代理人 【識別番号】100068755、【弁理士】、【氏名又は名称】恩田 博宣
【識別番号】100105957、【弁理士】、【氏名又は名称】恩田 誠
審査官 【審査官】岩橋 龍太郎
参考文献・文献 特開2008-085641(JP,A)
特開2009-147480(JP,A)
調査した分野 G06F 3/01
G06F 3/033- 3/041
G06F 3/048
G02B 27/22
G03B 21/00
G09G 5/00
G09G 5/36
H04N 5/74
特許請求の範囲 【請求項1】
一つの軸回りで回転姿勢が変化自在に支持された三次元スクリーンと、前記三次元スクリーンの回転姿勢を計測する姿勢計測手段と、前記三次元スクリーンを観察する観察者の視点位置を計測する光学系観察者位置計測手段と、対象物の三次元構造及び前記三次元スクリーンの位置を記憶する記憶手段と、前記姿勢計測手段にて計測される三次元スクリーンの回転姿勢並びに前記記憶手段に記憶された前記三次元スクリーンの位置、前記光学系観察者位置計測手段に計測される三次元スクリーンを観察する観察者の視点位置の相対関係に基づいて、前記記憶手段に記憶された三次元構造から、三次元画像データを生成する生成手段と、前記生成手段により生成された三次元画像データに基づいて三次元画像を前記三次元スクリーンに投影するプロジェクタを備える三次元像表示装置の座標校正方法において、前記プロジェクタの基準座標系に対する内部変数と外部変数を含むプロジェクタパラメータを求める第1段階と、前記三次元スクリーンの基準座標系に対する軸回りのオフセット及び軸方向のオフセットを求める第2段階と、前記光学系観察者位置計測手段の基準座標系の位置、及び姿勢行列を求める第3段階を含むことを特徴とする三次元像表示装置の座標校正方法。
【請求項2】
前記第1段階が、既知の複数の位置にマーカを付け、前記プロジェクタからマーカ合わせ用の画像を投影して、該画像を前記各マーカに合致させて、前記プロジェクタの2次元画面座標と、前記各マーカの基準座標系の3次元座標との対応関係を取ることにより、プロジェクタの基準座標系に対する内部変数と外部変数を含むプロジェクタパラメータを求めるものであることを特徴とする請求項1に記載の三次元像表示装置の座標校正方法。
【請求項3】
第3段階は、光学治具に対し、前記プロジェクタパラメータを用いて該光学治具の形状をレンダリングした像を前記プロジェクタから投影して、前記光学治具の位置姿勢を一致させ、前記光学治具に付設したマーカの位置姿勢を前記光学系観察者位置計測手段にて計測し、その計測結果に基づいて、前記光学系観察者位置計測手段の基準座標系の位置、及び、姿勢行列を求めることを特徴とする請求項1又は請求項2に記載の三次元像表示装置の座標校正方法。
発明の詳細な説明 【技術分野】
【0001】
本発明は、三次元像表示装置の座標校正方法に関し、特に、プロジェクタ・カメラ・スクリーン間の座標校正法に関する。
【背景技術】
【0002】
自由な形状をもつスクリーンに画像を投影し、投影されたスクリーン上の画像を見る視点や、或いはスクリーン物体の位置姿勢を考慮して画像を生成することにより、仮想物体が、あたかもスクリーン内部に埋め込まれたかのような状況を作り上げる自由曲面投影型ディスプレイは、特許文献1、特許文献2、及び非特許文献1により公知である。
【0003】
特許文献1及び特許文献2では、対象物の形状に対応した形状を有する実物体をスクリーンとして用い、この対象物に関連した情報を実物体スクリーン上に表示することにより、実物体(実空間)に仮想物体(三次元像)を挿入するようにされている。例えば、対象物を人体とし、実物体をスクリーンとして人体形状の実物体(人体模型)を用いて、この人体模型上に対象物の人体内部のデータである人体内部情報(三次元構造物)を表示することにより、好適に人体内部情報の提供が可能となる。
【先行技術文献】
【0004】

【特許文献1】特開2007-265061号公報
【特許文献2】特開2008-85641号公報
【0005】

【非特許文献1】“人型への投影を用いた医学教育システム”, 日本バーチャルリアリティ学会, 第9回大会論文抄録集, pp.101, 2004, VRSJ
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、前述のような技術では、スクリーンと、該スクリーンに画像を投影するプロジェクタと、スクリーンに投影された画像を見る人の視点の位置は、最終的には、一つの共通座標系上に記述される必要がある。
【0007】
しかしながら、プロジェクタとスクリーンの表示系装置、視点等の位置計測等を含む計測系装置を設置する際に、物理的、機械的な精度を持たせておき、それを長く保つという方法には、コスト及び物理的、機械的な精度保持するための装置の重量がかさむという欠点がある。
【0008】
そこで、表示系装置、計測系装置等の設置には、ある程度の誤差を許容し、事後的に簡単にその間の座標変換を求めることができれば、上記の欠点は解消される。
この問題の解決を理論的、或いは数学的な解を求めことは可能である、しかしながら、一般的な解法ではなく、どのようなシステムに対し、どのような治具と手順を用いて校正を行えばよいかという具体的な問題に対しては、良い解決方法が得られていない。
【0009】
自由曲面投影型ディスプレイは、表示系装置及び計測系装置等の座標系間の関係が精度良く求められていないと実現はできないものであり、機構的、物理的にその関係を定義しておく方法は、装置全体の重量や剛性が増し、組立分解、或いは経年変化を押さえ込むことも配慮する必要がある。
【0010】
本発明の目的は、表示系装置、計測系装置を組立て設置した後に、簡便に表示系装置及び計測系装置の座標校正を行うことができる三次元像表示装置の座標校正方法を提供することにある。
【課題を解決するための手段】
【0011】
上記目的を達成するために、請求項1に記載の発明は、一つの軸回りで回転姿勢が変化自在に支持された三次元スクリーンと、前記三次元スクリーンの回転姿勢を計測する姿勢計測手段と、前記三次元スクリーンを観察する観察者の視点位置を計測する光学系観察者位置計測手段と、対象物の三次元構造及び前記三次元スクリーンの位置を記憶する記憶手段と、前記姿勢計測手段にて計測される三次元スクリーンの回転姿勢並びに前記記憶手段に記憶された前記三次元スクリーンの位置、前記光学系観察者位置計測手段に計測される三次元スクリーンを観察する観察者の視点位置の相対関係に基づいて、前記記憶手段に記憶された三次元構造から、三次元画像データを生成する生成手段と、前記生成手段により生成された三次元画像データに基づいて三次元画像を前記三次元スクリーンに投影するプロジェクタを備える三次元像表示装置の座標校正方法において、前記プロジェクタの基準座標系に対する内部変数と外部変数を含むプロジェクタパラメータを求める第1段階と、前記三次元スクリーンの基準座標系に対する軸回りのオフセット及び軸方向のオフセットを求める第2段階と、前記光学系観察者位置計測手段の基準座標系の位置、及び姿勢行列を求める第3段階を含むことを特徴とする三次元像表示装置の座標校正方法を要旨とするものである。
【0012】
請求項2の発明は、請求項1において、前記第1段階が、既知の複数の位置にマーカを付け、前記プロジェクタからマーカ合わせ用の画像を投影して、該画像を前記各マーカに合致させて、前記プロジェクタの2次元画面座標と、前記各マーカの基準座標系の3次元座標との対応関係を取ることにより、プロジェクタの基準座標系に対する内部変数と外部変数を含むプロジェクタパラメータを求めるものであることを特徴とする。
【0013】
請求項3の発明は、請求項1又は請求項において、第3段階は、光学治具に対し、前記プロジェクタパラメータを用いて該光学治具の形状をレンダリングした像を前記プロジェクタから投影して、前記光学治具の位置姿勢を一致させ、前記光学治具に付設したマーカの位置姿勢を前記光学系観察者位置計測手段にて計測し、その計測結果に基づいて、前記光学系観察者位置計測手段の基準座標系の位置、及び、姿勢行列を求めることを特徴とする。
【発明の効果】
【0014】
請求項1の発明によれば、三次元スクリーン、プロジェクタの表示系装置、光学系観察者位置計測手段等を含む計測系装置を組立て設置した後に、簡便に表示系装置及び計測系装置の座標校正を行うことができる。仮に、表示系装置であるプロジェクタ、三次元スクリーンや、計測系装置である光学系観察者位置計測手段を機械的に連結することにより物理的に両者の関係を一体化し、その両者の関係を固定的にする場合は、装置全体の重量や剛性が増し、各系の組立分解や、経年変化等によって、表示系装置及び計測系装置の両者の相対的な位置関係、姿勢を押さえ込む配慮が必要となり、このための工夫及びコストがかかるが、請求項1の方法によれば、装置を組立した後、簡便に行うことができ、組立コストや、装置全体のコストを抑制することができる。
【0015】
請求項2の発明によれば、第1段階において、プロジェクタパラメータを簡単に求めることができる。
請求項3の発明によれば、プロジェクタパラメータを用いて光学治具の形状をレンダリングした像を前記プロジェクタから光学治具に投影して、該光学治具の位置姿勢を一致させ、光学治具に付設したマーカの位置姿勢を前記光学系観察者位置計測手段にて計測することにより、該計測結果に基づいて、前記光学系観察者位置計測手段の基準座標系の位置、及び、姿勢行列を求めることができる。
【図面の簡単な説明】
【0016】
【図1】三次元像表示装置の概略図。
【図2】三次元像表示装置の座標校正方法の第3段階の説明図。
【図3】三次元像表示装置の計算機が処理するフローチャート。
【図4】座標校正方法の手順のフローチャート。
【発明を実施するための形態】
【0017】
以下、本発明の三次元像表示装置の座標校正方法を具体化した一実施形態を図1~4を参照して説明する。
まず、本実施形態の座標校正法の対象となる自由曲面投影型ディスプレイ(以下、単に三次元像表示装置という)の概要について説明する。なお、本実施形態では、内部を表示する対象物として人体(胴部)を用いる。

【0018】
図1に示すように、三次元像表示装置10は、コンピュータからなる計算機20と、プロジェクタ30と、三次元スクリーン40、光学系観察者位置計測手段(以下、単に観察者位置計測手段60という)とを備える。計算機20は、記憶手段22、及び生成手段24を有し、三次元像表示装置10の全体的な制御を行なっている。

【0019】
ここで記憶手段22は、対象物としての人体の三次元構造(人体内部情報)と、三次元スクリーン40の表面形状データと、三次元スクリーン40の位置座標とを記憶している。
前記人体内部情報は、ボクセルデータやポリゴンデータで構成されており、少なくとも人体内の各種臓器より構成されている例を示す。

【0020】
観察者位置計測手段60は、計算機20に接続され、三次元像表示装置10を使用する観察者Vを、三次元スクリーン40を観察する観察者Vの視点位置を計測する。具体的には、観察者位置計測手段60は、ビデオカメラからなり、観察者Vの頭部に装着された器具(例えば眼鏡、帽子)等にマーキングされた複数のマーカMを撮像することにより、前記マーカMを含んだ撮像画像に基づいて、計算機20は観察者Vの三次元の視点位置を計測することが可能である。なお、図1では、説明の便宜上、1つのマーカMのみが図示されている。

【0021】
各マーカMには、赤外線発光部を有する。なお、マーカMの個数は互いに異なる位置に位置して複数個設けられ、各マーカMの位置と視点位置の相対位置関係は既知となっている。従って、各マーカMを観察者位置計測手段60により検出することにより、視点位置の三次元座標が計算機20により算出される。

【0022】
そして、三次元像表示装置10を構成する各要素は、計算機20に対して有線、又は、無線を介して、計測に必要とされる信号を伝送可能である。
前記三次元スクリーン40は、プロジェクタ30により三次元画像ADが投影・表示されるディスプレイであり、自由曲面、すなわち、三次元の曲面を有し、立体的な胴体形状物が使用されている。

【0023】
本実施形態では、三次元スクリーン40は、図1に示すように、支持体としての枠体42に対して回転自在に支持された回転軸44に取付け固定されている。すなわち、三次元スクリーン40は、自身の長手方向に延びる中心軸が回転軸44の軸心と一致するように取付けされている。回転軸44には、姿勢計測手段としてのロータリエンコーダ46が取り付けされ、三次元スクリーン40の回転の検出、すなわち、姿勢(回転姿勢)が可能である。ロータリエンコーダ46の検出信号は、計算機20に出力される。

【0024】
このロータリエンコーダ46によって、三次元スクリーン40の回転姿勢が分かり、観察者位置計測手段60で計測される観察者Vの視点位置に対する三次元スクリーン40の相対的な位置及び姿勢を計算機20が常に把握可能となっている。すなわち、ロータリエンコーダ46は、一自由度の回転計測系であり、三次元スクリーン40の回転を計測することにより、三次元スクリーン40の姿勢が分かる。なお、三次元スクリーン40の位置(位置座標)は、世界座標系で予め記憶手段22に格納されている。

【0025】
生成手段24は、記憶手段22に記憶された各種情報と、前記ロータリエンコーダ46に計測される前記三次元スクリーン40の姿勢、記憶手段22に格納された既知の三次元スクリーン40の位置、並びに観察者位置計測手段60に計測される観察者Vの視点位置の相対関係とに基づいて、三次元スクリーン40に表示する三次元画像ADの基となる三次元画像データを生成する。

【0026】
ここで、生成手段24が利用する記憶手段22に記憶された各種情報とは、人体内部情報、プロジェクタ30の配置位置、三次元スクリーン40の位置、三次元スクリーン40の表面形状データである。

【0027】
又、三次元画像データは、三次元スクリーン40の位置・姿勢に対応して表示される人体内の各種臓器及び骨格の画像に係る情報である。そして、前記三次元スクリーン40に対して、前記プロジェクタ30が生成手段24により生成された三次元画像データに基づいた三次元画像ADを投影することにより、該三次元スクリーン40に三次元画像ADが表示される。

【0028】
又、生成手段24は、前記既知の三次元スクリーン40の位置と、観察者位置計測手段60に計測される観察者Vの視点位置と、記憶手段22に記憶されているプロジェクタ30の配置位置との相対関係の確定により、非特許文献1に開示されている双対レンダリングによって三次元画像データを生成している。

【0029】
この双対レンダリングによって生成された三次元画像データは、胴体形状物である三次元スクリーン40に、観察者Vから歪みのない三次元画像ADとして認識されるように表示される。すなわち、前記三次元スクリーン40に人体内部情報を三次元的に表示した画像と人体とを一体的に関連付けた表示を可能とし、人体の内部構造の三次元的な位置及び三次元的な大きさ等を直感的に認識し得るようになっている。

【0030】
この生成手段24は、ロータリエンコーダ46及び観察者位置計測手段60で夫々計測される三次元スクリーン40及び観察者Vの相対的な位置及び姿勢に対応して、プロジェクタ30によって三次元スクリーン40に投影・表示される三次元画像ADの基となる三次元画像データを常に生成するよう構成されている。すなわち、ロータリエンコーダ46及び観察者位置計測手段60で夫々計測される三次元スクリーン40及び観察者Vの相対的な位置及び姿勢を常に把握することで、三次元スクリーン40の姿勢の変化や観察者Vの視線位置の変化に対応した三次元画像データが生成手段24によって生成される。

【0031】
ここで、三次元スクリーン40の相対的な姿勢に対応する三次元画像データとは、観察者Vが三次元スクリーン40に表示される三次元画像ADを観察した際に、該三次元画像ADが三次元スクリーン40内に人体内部情報を埋め込んだ三次元的な画像として、現実に形成されている人体の内部構造のように認識できるデータを指す。

【0032】
次に、前記三次元像表示装置10の動作を説明する。なお、三次元スクリーン40はプロジェクタ30の投影範囲に配置されるとともに、観察者Vは観察者位置計測手段60から観察できる位置、及び、該三次元スクリーン40を観察できる位置にいるものとする。又、記憶手段22には、ボクセルデータやポリゴンデータで構成された対象物である人体についての人体内部情報と、三次元スクリーン40の表面形状データと、プロジェクタ30の配置位置等の情報が予め入力されているものとする。

【0033】
三次元像表示装置10の作動は、図3に示すように、基本的に三次元画像データに関係する三次元画像データ生成段階S1及び三次元画像表示段階S2とからなる。そして、これら三次元画像データ生成段階S1及び三次元画像表示段階S2は、夫々繰り返し実施されている。

【0034】
三次元像表示装置10では、前記三次元画像データ生成段階S1において、記憶手段22に記憶された各種情報を基本とし、更にロータリエンコーダ46、観察者位置計測手段60からの夫々の情報を加えて、生成手段24が、三次元スクリーン40に表示すべき三次元画像ADの基となる三次元画像データを生成する。

【0035】
ここで、前記三次元画像データ生成段階S1において用いられる記憶手段22に記憶された各種情報とは、人体内部情報、プロジェクタ30の配置位置、及び三次元スクリーン40の表面形状データである。

【0036】
このように生成手段24で生成された三次元画像データは、三次元画像表示段階S2の実行によってプロジェクタ30に送られ、この三次元画像データに基づいた三次元画像ADが三次元スクリーン40に向けて投影される。この結果、三次元スクリーン40に、三次元画像ADが投影・表示される。そして、ロータリエンコーダ46で計測される三次元スクリーン40の姿勢や、観察者位置計測手段60で計測される観察者Vの視線位置が変化すれば、これに伴って三次元スクリーン40に投影・表示される三次元画像ADが変化して、常に観察者Vが観察したい三次元画像ADが提供される。

【0037】
(三次元像表示装置の座標校正法)
次に、上記のように校正された三次元像表示装置の座標校正法を図4を参照して説明する。

【0038】
(第1段階A:プロジェクタ30と枠体42)
まず、プロジェクタ30と、三次元スクリーン40を支持する支持体である枠体42間の関係について校正する。

【0039】
三次元スクリーン40を支持している枠体42上の複数の箇所に、少なくとも6箇所以上の位置であって、互いに同一平面とならない部位にマーカMn(n≧6)を分散してつけておく。なお、これらのマーカの位置は予め計測されて既知となっており、世界座標系で記憶手段22に記憶されている。

【0040】
次に、プロジェクタ30から、前記マーカMnに合わせるための画像を投影する。マーカMnに合わせるための画像は、例えば、マウスカーソル画像であるが、限定されるものではなく、例えば、白丸、黒丸等の画像でもよい。以下、マーカMnに合わせるための画像をポインタという。プロジェクタ30から三次元スクリーン40に向かって投影される画像(すなわち、ポインタを含む全体画像)は、計算機20に接続された表示装置26にも表示される。

【0041】
そして、オペレータは表示装置26の画面を見ながら、前記ポインタを、図示しないキーボード等の入力装置を操作することにより、枠体42のマーカMnに対して、投影されたポインタを合わせる。前記マーカMnに対し合わせた後、前記キーボード等の入力装置で、ポインタの表示装置26での画面上の位置を登録する。そして、以後、同様にして、残りの全部のマーカに対して同様にポインタを合わせた後、ポインタの表示装置26での画面上の位置を2次元画面座標で登録する。

【0042】
この後、計算機20で、既知である各マーカ点の世界座標系の3次元座標(X,Y,Z)と、各マーカに合わせたポインタの画像上(画面上)での画像座標(2次元画面座標)(u,v)との組み合わせから世界座標系と画像座標系との射影関係として射影変換行列を演算し、演算した後述する射影変換行列Pからプロジェクタ30の内部変数と外部変数を求める。

【0043】
ここで、プロジェクタ30の内部変数には、焦点距離、アスペクト比、画像中心、レンズ歪みが含まれる。又、外部変数には、位置(世界座標系に対するレンズ中心の座標)、姿勢(光軸の方向)が含まれる。以下、内部変数、及び外部変数をプロジェクタパラメータという。なお、このプロジェクタのキャリブレーションは、いわゆるストロングキャリブレーションにより行われている。

【0044】
ここで、プロジェクタパラメータの求め方について説明する。
プロジェクタ座標系は、画像面上に2次元座標系としてとり、画素の位置(Xc,Yc)として表わすものとする。又、基準座標系としての世界座標系は、3次元空間中の任意の場所に原点と座標軸を固定しているものとする。

【0045】
この場合、枠体42上の既知のマーカ点(X,Y,Z)とその点の像(Xp,Yp)の間の関係は、式(1)の通り3行4列の射影変換行列Pによって表現できる。

【0046】
【数1】
JP0005087571B2_000002t.gif
上記式(1)の行列Pを構成する12個のパラメータがプロジェクタパラメータである。枠体42上のマーカ点は(X,Y,Z,1)、画像上の点は(Xp,Yp,1)という同次座標系で表現している。なお、Hpは媒介変数である。

【0047】
式(1)を展開すると式(2)となる。

【0048】
【数2】
JP0005087571B2_000003t.gif
このパラメータを求めるには、基準座標系である世界座標系が既知なマーカ点について、その像のプロジェクタ座標を求め、得られた既知のマーカ点(X,Y,Z)と、該マーカ点と合致させた像のプロジェクタ座標(Xp,Yp)の組を、既知の組として式(3)の2つの式に代入し、Pを未知数とみなした連立法定式を作成して解く。射影変換行列Pは12個の未知数を含むため、最低12個の方程式を作る。この場合、前記6組の既知のマーカ点を使う。なお、精度を向上させるためには、さらに多くの既知のマーカ点と、像の組を作り、最小2乗法を用いる。

【0049】
【数3】
JP0005087571B2_000004t.gif
(第2段階B:三次元スクリーン40の校正)
次に、三次元スクリーン40が枠体42に対してどのように取付けられているかを校正する。

【0050】
三次元スクリーン40は、枠体42に対して回転自在に支持された回転軸44に対して取付けされており、三次元スクリーン40の姿勢はロータリエンコーダ46による一自由度の回転計測系により測定される。

【0051】
ここで、枠体42に対して、校正するのは、三次元スクリーン40の回転軸44の軸回りの回転のオフセットと、回転軸44の軸方向において、どの位置に三次元スクリーン40が取付けられているかである。ここで、回転軸44の軸回りの回転のオフセットは、三次元スクリーン40の回転位置における基準位置から外れた量である。

【0052】
なお、予め計測しておいた三次元スクリーン40の三次元の表面形状データは、記憶手段22に格納されている。この三次元スクリーン40の三次元の表面形状データを、前記第1段階Aで求めたプロジェクタパラメータに従ってレンダリング(画像化)し、三次元スクリーン40に投影する。

【0053】
次に、オペレータは計算機20の中で、回転軸44の軸回りに投影画像を回転させて、該投影画像が、三次元スクリーン40に正確に一致するように、入力装置(図示しない)を操作する。一致したら、オペレータは、その時の投影画像における基準位置からの回転量を記憶手段22に登録(記憶)させるべく、入力装置(図示しない)を登録操作する。このように投影画像を画像の基準位置から回転させる場合、投影画像が、三次元スクリーン40の表面形状に合致するまで回転させ、このときの、投影画像の回転量を、オフセットとする。

【0054】
なお、投影画像の基準位置は、三次元スクリーン40の回転位置である基準位置と理論上一致させてあるが、実際には、三次元スクリーン40の基準位置がずれていることが多い。

【0055】
或いは、三次元スクリーン40の方を投影画像と一致するまで回転させ、ロータリエンコーダ46で、三次元スクリーン40の回転位置である基準位置からの回転を検出する。そして、一致するまでの三次元スクリーン40の基準位置からの回転量を、入力装置(図示しない)を操作することにより、その時の投影画像の基準位置からの回転量を記憶手段22に登録(記憶)させるべく、入力装置(図示しない)を登録操作する。

【0056】
このように三次元スクリーン40を回転させる場合、三次元スクリーン40の投影画像の形状に三次元スクリーン40の形状が一致するまで回転させ、この基準位置から一致するまでのロータリエンコーダ46によって検出された回転量をオフセットとする。

【0057】
次に、三次元スクリーン40の回転軸44に対する軸方向(長手方向)のオフセットを計測する。具体的には、オペレータは計算機20の中で、回転軸44の軸方向に投影画像を移動させて、該投影画像が、三次元スクリーン40に正確に一致するように、入力装置(図示しない)を操作する。一致したら、オペレータは、その時の投影画像における軸方向における基準位置からの移動量を記憶手段22に登録(記憶)させるべく、入力装置(図示しない)を登録操作する。

【0058】
このようにして、三次元スクリーン40の回転軸44に対する回転方向のオフセット(回転角)、及び軸方向におけるオフセット量(すなわち、軸方向における基準位置からの取付け位置)が求められる。

【0059】
(第3段階C:観察者位置計測手段60の校正)
次に、観察者位置計測手段60の校正、すなわち、観察者Vの視点位置を計測するビデオカメラの校正を行う。なお、プロジェクタ30の位置姿勢は、(1.プロジェクタ30と枠体42)で校正したときと同じ状態である。

【0060】
ここでは、三次元位置姿勢を計測する光学式計測システムを用いる。この光学式計測システムは、例えば、Optitrak(製品名:Natural Point社製)などの、複数の光学マーカーを用いて観察者位置計測手段60に対する三次元位置姿勢を計測するものである。

【0061】
まず、既知の三次元形状をもった光学治具70に光学マーカー80を、プロジェクタ30の投影可能な領域に設置する。なお、光学治具70の既知の三次元形状データは、記憶手段22に予め記憶されている。光学治具70は、例えば、透明な三角錐(図2参照)を挙げることができるが、光学治具70の三次元形状は限定されるものではない。

【0062】
次に、(1.プロジェクタ30と枠体42)で得られたプロジェクタパラメータを用いて、光学治具70の既知の形状を前記記憶手段22に記憶した光学治具70の既知の三次元形状データに基づいてレンダリング(画像化)し、投影する。

【0063】
この投影画像に、光学治具70が合致するようにオペレータは、該光学治具70の位置姿勢を合わせる。
そして、オペレータは、観察者位置計測手段60を用いて、光学治具70上にある光学マーカー80の位置姿勢を計測する。この計測を3回繰り返す。

【0064】
上記の計測結果から、観察者位置計測手段60の姿勢行列、位置を求める。
下記の式(4)~(6)は、観察者位置計測手段60の姿勢行列、光学マーカの位置等に関連する式である。

【0065】
【数4】
JP0005087571B2_000005t.gif
2回の計測を行い、式(4)を引き算すると、

【0066】
【数5】
JP0005087571B2_000006t.gif

【0067】
【数6】
JP0005087571B2_000007t.gif

【0068】
【数7】
JP0005087571B2_000008t.gif
となる。3回の計測結果を同様にまとめると、下記式(8)となる。

【0069】
【数8】
JP0005087571B2_000009t.gif
すなわち、観察者位置計測手段60の姿勢行列が、式(9)に示すように、

【0070】
【数9】
JP0005087571B2_000010t.gif
と求められる。この演算は、計算機20で処理される。

【0071】
なお、3回を越える計測を行い、その計測結果を用いて、2次式の最小化を用いれば、より精度が高い、観察者位置計測手段60の姿勢行列を求めることができる。
一方の観察者位置計測手段60の位置は、

【0072】
【数10】
JP0005087571B2_000011t.gif
として求める。この演算処理も計算機20で行われる。

【0073】
なお、観察者位置計測手段60の位置についても、複数回の計測結果から平均を算出することにより、より精度が高い結果が得られる。
このようにして、第1段階Aではプロジェクタ30と枠体42と間の各座標系の相関関係が、第2段階Bでは、三次元スクリーン40の位置、及び姿勢のオフセットが、第3段階Cでは、観察者位置計測手段60の姿勢行列、及び基準座標系での位置が求められ、校正が完了する。

【0074】
本実施形態によって発揮される効果について、以下に記載する。
(1) 本実施形態の三次元像表示装置の座標校正方法では、プロジェクタ30の世界座標系(基準座標系)に対する内部変数と外部変数を含むプロジェクタパラメータを求める第1段階Aと、三次元スクリーン40世界座標系に対する軸回りのオフセット及び軸方向のオフセットを求める第2段階Bと、観察者位置計測手段60の世界座標系の位置、及び、姿勢行列を求める第3段階Cを行う。この結果、三次元スクリーン40、プロジェクタ30の表示系装置、観察者位置計測手段60等を含む計測系装置を組立て設置した後に、簡便に表示系装置及び計測系装置の座標校正を行うことができる。

【0075】
なお、特許文献1等では、高額な磁気を使用した三次元位置センサを使用している。これに対して、本実施形態の三次元像表示装置は、安価な光学系観察者位置計測手段60により、観察者Vの三次元座標の視点位置の計測ができるが、本方法ではこのような三次元像表示装置に特に適した座標校正方法となる。

【0076】
(2) 本実施形態の三次元像表示装置の座標校正方法では、既知の複数の位置にマーカMnを付け、プロジェクタ30からマーカ合わせ用の画像を投影して、該画像を各マーカMnに合致させて、プロジェクタ30の2次元画面座標と、各マーカの基準座標系の3次元座標との対応関係を取ることにより、プロジェクタ30の基準座標系に対する内部変数と外部変数を含むプロジェクタパラメータを求める。この結果、第1段階Aにおいて、プロジェクタパラメータを簡単に求めることができる。

【0077】
(3) 本実施形態の三次元像表示装置の座標校正方法では、第3段階Cは、光学治具70に対し、プロジェクタパラメータを用いて該光学治具70の形状をレンダリングした像をプロジェクタ30から投影して、光学治具70の位置姿勢を一致させ、光学治具70に付設したマーカの位置姿勢を観察者位置計測手段60にて計測し、その計測結果に基づいて、観察者位置計測手段60の基準座標系の位置、及び、姿勢行列を求めることができる。

【0078】
なお、本発明の実施形態は前記実施形態に限定されるものではなく、前記実施形態を次のように変更して構成してもよい。
○ 前記実施形態では、マーカM毎に赤外線発光部を有していたが、再帰反射材で形成していてもよい。この場合は、観察者位置計測手段60のカメラに近接してLEDからなる赤外線発光部を備え、マーカMに対して投光させるように構成する。

【0079】
○ 前記実施形態の座標校正方法では、マーカMnの数は、プロジェクタ30の光軸が法軸(すなわち、鉛直線)にあるので有れば、異なる位置に位置するように2個でよい。又、枠体42の位置が分かっている場合は、最低3箇所にマーカを付けておけばよい。

【0080】
○ 前記実施形態では、内部を表示する対象物として人体を用いた例を挙げたが、例えば、多数の構成要素が三次元的に組み合わさり、分解等しなければ外部からの内部構造の把握が困難であって、分解が困難なもの、例えばエンジンや、三次元的に構成された基板等を対象物としてもよい。

【0081】
○ 前記実施形態では、枠体42上にマーカMnをつけるようにしたが、枠体42上に既知の複数の位置にマーカを必ずつける必要はなく、枠体42周辺の既知の位置、すなわち、基準座標系の座標位置が既知の位置にマーカを着けても良い。

【0082】
○ 前記実施形態では、基準座標系として世界座標系としたが、他の座標系であってもよい。
【符号の説明】
【0083】
10…三次元像表示装置、
20…計算機、
22…記憶手段、
24…生成手段、
26…表示装置、
30…プロジェクタ、
40…三次元スクリーン、
46…ロータリエンコーダ(姿勢計測手段)、
60…観察者位置計測手段(光学系観察者位置計測手段)、
70…光学治具、
80…光学マーカー。
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3