Top > Search of Japanese Patents > (In Japanese)投影装置、投影装置の制御方法、複合投影システム、投影装置の制御プログラム、投影装置の制御プログラムが記録された記録媒体

(In Japanese)投影装置、投影装置の制御方法、複合投影システム、投影装置の制御プログラム、投影装置の制御プログラムが記録された記録媒体 commons

Patent code P07A013143
File No. P04-31
Posted date Mar 10, 2008
Application number P2006-553816
Patent number P4002983
Date of filing Jun 24, 2005
Date of registration Aug 31, 2007
International application number JP2005011652
International publication number WO2006077665
Date of international filing Jun 24, 2005
Date of international publication Jul 27, 2006
Priority data
  • P2005-013288 (Jan 20, 2005) JP
Inventor
  • (In Japanese)満上 育久
  • (In Japanese)浮田 宗伯
  • (In Japanese)木戸出 正繼
Applicant
  • (In Japanese)国立大学法人 奈良先端科学技術大学院大学
Title (In Japanese)投影装置、投影装置の制御方法、複合投影システム、投影装置の制御プログラム、投影装置の制御プログラムが記録された記録媒体 commons
Abstract (In Japanese)本発明のパンチルトプロジェクタ装置(1)は、実環境投影面(R)に対して光を照射し画像を投影するプロジェクタ(2)と、このプロジェクタ(2)から実環境投影面(R)に対して投影する投影方向(J)を変更させるように、プロジェクタ(2)を回転させる駆動装置(3)とを備えている。この駆動装置(3)によって回転させられるプロジェクタ(3)の回転運動は、回転中心(G)を有しており、プロジェクタ(2)が照射する光の光源点を投影中心(F)とすると、この回転中心(G)と投影中心(F)とが一致するようにプロジェクタ(2)と駆動装置(3)とが配置されている。 このため、本発明のパンチルトプロジェクタ装置(1)は、投影面に対して、歪みがなく、位置ずれのない画像を描画できるようにするために行う調整作業を容易とする。
Outline of related art and contending technology (In Japanese)

近年、現実世界と仮想世界とをリアルタイムに融合する技術として、複合現実感(AR;augmented reality,MR;mixed reality)の研究が盛んになりつつある。この複合現実感では、テキストあるいは画像などを、ユーザが存在する空間領域、すなわち実環境に付加させることによって、現実世界と仮想世界とを融合させることができる。


ところで、上記テキストあるいは画像などの情報を実環境に付加させるための手段として、次の2つの方法が考えられる。すなわち、HMD(head mounted display)などのユーザ着用型装置を用いる方法と、ユーザが存在する空間領域の壁面などに、直接、映像などを投影するプロジェクタを用いる方法である。


上記HMDを用いる方法では、このHMDの表示画面において、実環境に仮想世界の映像を重ねて表示させる。このように、実環境に仮想世界の映像を重ねて表示することにより、HMDを装着したユーザは、実環境に仮想世界が付加された環境を体感することができる。


しかしながら、テキストあるいは画像などの情報を実環境に付加させるためにHMDを利用する場合、上記ユーザに対してHMDの常時着用という負担を強いることとなる。また、複合現実感では、ユーザの視点の動きに合わせた、実環境と仮想世界との空間的整合性が求められる。このため、HMDを装着しているユーザの頭部の、実環境における3次元的な配置、または姿勢などの情報を高速且つ高精度に得る必要があるといった問題がある。


このような問題に対して、HMDに位置センサを取り付ける方法(非特許文献1;小田島、神原、横矢著「拡張現実感技術を用いた屋外型ウェアラブル注釈提示システム」画像電子学会誌Vol.32 No.6 pp.832-840 Nov.2003.参照)、あるいは、実環境側にマーカを取り付ける方法(非特許文献2;M.Maeda,T.Ogawa,T.Machida,K.Kiyokawa and H.Takemura,“Indoor Localization and Navigation using IR Markers for Augmented Reality”,Adjunct Proc.of 10th International Conference on Human-Computer Interaction,pp.283-284,Jun.2003.参照)などが提案されている。しかしながら、これらの方法では、HMDの装置構成あるいは、複合現実感を体感するために準備すべき環境における設備構成が煩雑となる。さらには、これら提案された方法では、リアルタイムで、実環境と仮想世界との空間的整合性を実現するための十分な精度あるいは処理速度を得ることができないといった問題がある。


一方、上記プロジェクタを用いる方法では、プロジェクタによりユーザが存在する空間領域の壁面などに、直接、映像などによって表現される情報などを描画する(非特許文献3;日浦、東城、稗田、森谷、井口、「プロジェクタを用いた3次元遠隔指示インタフェースの構築」、画像の認識・理解シンポジウム(MIRU2002)論文集I、pp.29-38,Jul.2002.、非特許文献4;向川、西山、尺長、「スクリーン物体への光学パターン投影による仮想光学環境の実現」、信学論D-II、Vol.J84,No.7,pp.1448-1455,Jul.2001.参照)。


このように、プロジェクタによって実環境に直接、情報などを描画する場合、ユーザは上記HMDなどのような装置を装着する必要がない。また、ユーザが実際眺めている実環境に対して、プロジェクタにより上記情報が付加されているため、ユーザの観察における負担を低減させることができる。また、複数ユーザによって、実環境に付加された情報を同時に共有することも可能となるという利点を有する。


さらにはまた、実環境中に据え付けられるプロジェクタでは、事前に投影領域に対する位置合わせを一度行っておけば、実環境と仮想世界との空間的整合性を実現することができるという利点も有する。


なお、上記位置あわせの可能なプロジェクタとして例えば、特許文献1;特開2003-204495号公報(2003年7月18日公開)、特許文献2;特開平10-200836号公報(1998年7月31日公開)、特許文献3;特開2004-177385号公報(2004年6月24日公開)、特許文献4;特開2004-77545号公報(2004年3月11日公開)、特許文献5;特開2001-83949号公報(2001年3月30日公開)が提案されている。


すなわち、特許文献1では、投影光学系を通してスクリーンまでの距離を測定する。そして、スクリーンの傾きを算出し投影画像の歪みを補正する画像投影装置が開示されている。


また、特許文献2では、画像を投影し、投影された画像を撮像光学系によって撮像する。そして、撮像した結果(ゆがんだ画像)と、もとの画像とを比較し歪み量を計算し、この算出された歪み量に応じてもとの画像を補正する画像投影装置が開示されている。


また、特許文献3では、第1および第2ライン型パッシブン型パッシブ測距装置を備え、スクリーン上の水平および垂直方向に沿った複数の位置までの距離を測定することにより、スクリーンの傾斜角度を測定する角度検出装置が開示されている。この角度検出装置は、プロジェクタ正面における平面に対するスクリーン平面の傾斜角度を水平面内および垂直面内において正確に測定することができる。このため、投影画像の歪みを補正することができる。


また、特許文献4では、映像投射機構部の垂直方向または水平方向に関する基準位置からの変位角度から、投射面を判断し、その投射面に対応した補正設定値にもとづいて台形補正が行われるプロジェクタが開示されている。


また、特許文献5では、次の映像投影装置が開示されている。すなわち、投影された映像を、視点位置に配置されたカメラで撮影する。そして、投影している映像の画像データとカメラによって撮影された画像データとを比較し、投影されている映像の歪み量を算出する。そして、算出した歪み量に基づき、投影する画像データを補正する映像投影装置が開示されている。


しかしながら、プロジェクタを利用する場合、このプロジェクタによって描画可能なエリアが限定されるという問題がある。そこで、この問題に対して、上記プロジェクタに、投影面の方向を変更可能とさせる回転機構を備え、ユーザの視聴領域の移動に対して対応可能とし、上記描画エリアの制限を克服する方法がある。


また、この回転機構としては、例えば上記プロジェクタの投影方向を、パン軸90によって水平方向に、また、チルト軸91によって垂直方向に回転させる機構(パン・チルト回転機構)がある。なお、水平方向とは、プロジェクタが配置されている面と平行する方向であり、垂直方向とは、この面に垂直となる方向である。


ところで、このような回転機構を有するプロジェクタを用いて実環境に映像を投影する場合、実環境と投影された映像との空間的整合性を満たすためには、実環境投影面の座標と、プロジェクタの姿勢およびプロジェクタ投影画像の座標との対応関係を求める必要がある。なお、このプロジェクタ投影画像とは、プロジェクタにおいて保持されている情報であり、入力画像において、投影可能な領域中のどの座標位置にどの映像を配置するかを決めるための情報である。上記座標位置は、入力画像における各画素値と対応するアドレスによって管理される。


例えば非特許文献5(S.Borkowski,O.Riff,J.L.Crowley,“Projecting Rectified Images in an Augmented Environment”,ProCams Workshop.IEEE Computer Society Press,Oct.2003.)には、パン・チルト回転機構によるプロジェクタの姿勢変化に応じて生じる、投影画像の形状の歪み補正を行うことが可能なパンチルトプロジェクタが提案されている。


また、非特許文献6(中村、平池、「アクティブプロジェクタ:凹凸面上を移動する映像の歪み補正」,FIT(情報科学技術フォーラム)2002講演論文集、pp.423-424,Sep.2002.)では、プロジェクタの前に設けられたミラーによる反射光が360度回転するように構成され、上述したパンチルトプロジェクタと同様により広い投影領域を実現している。また、このプロジェクタでは、投影する画像形状などの制御を行うことができるようになっている。


しかしながら、上記従来の技術では、自身が備える回転機構による、プロジェクタの姿勢変化(投影方向の変化)に伴い、投影中心位置が変化する。すなわち、プロジェクタの投影光がある一点から発せられていると仮定した場合におけるその一点の位置が、プロジェクタの姿勢変更ごとに異なる位置となる。このため、上記従来の技術では、設定されたプロジェクタの姿勢位置ごとに実環境における投影面とプロジェクタ投影画像との対応関係を求める必要がある。


したがって、回転機構によりプロジェクタの姿勢(投影方向)を変化させる度に、実環境における投影面(実環境投影面R)とプロジェクタ投影画像との対応関係を求め、画像の補正処理を行う必要があり、投影作業が非常に煩雑になるという問題が生じる。また、上記従来の技術では、プロジェクタの姿勢を変化させ連続して画像を投影させることができないといった問題も生じる。

Field of industrial application (In Japanese)

本発明は、投影面に投影画像を投影する、投影方向が変更可能な投影装置、投影装置の制御方法、複合投影システム、投影装置の制御プログラム、投影装置の制御プログラムが記録された記録媒体に関するものである。

Scope of claims (In Japanese)
【請求項1】
 
投影面に対して光を照射し画像を投影する投影部と、この投影部から投影面に対して照射する投影方向を変更するように、該投影部を回転させる駆動部とを備えた投影装置であって
上記駆動部は、上記投影部を回転させるために複数の回転軸を備えており、
上記駆動部によって、上記投影部の回転運動の中心点であり、上記複数の回転軸の交点となる回転中心が1点となるように該投影部が回転され、
上記投影部から投影した光の軌跡として示される、投影方向に平行でかつ水平面と垂直となる面における該光の照射領域と非照射領域との境界をなす境界線、および投影方向に平行でかつ該水平面と平行となる面における該光の照射領域と非照射領域との境界をなす境界線が交わる点を投影中心としたとき、
上記回転中心の位置情報である回転中心位置情報を取得する回転中心位置情報取得手段と、
照射された光の軌跡を示す照射光情報を受付け、該照射光情報に基づき、上記投影中心の位置情報である投影中心位置情報を特定する投影中心位置情報特定手段と、
上記取得された回転中心位置情報と、上記特定された投影中心位置情報とに基づき、投影中心と回転中心とが一致するように、投影部と駆動部との配置関係を調整する調整手段とを備えていることを特徴とする投影装置。

【請求項2】
 
上記投影部は、上記投影面に対して、上記投影中心から所定の角度で光領域の範囲が広がるように照射しており、
上記回転中心の位置情報を示す回転中心情報を記憶する記憶装置と、
上記投影中心と投影面との間において照射された光の軌跡を示す軌跡情報を取得する軌跡取得部とをさらに備え、
上記回転中心位置情報取得手段は、上記記憶装置から回転中心位置情報を取得し、
上記投影中心位置情報特定手段は、上記照射光情報として、上記軌跡取得部より軌跡情報を受付け、該軌跡情報に基づき投影中心位置情報を特定することを特徴とする請求項1に記載の投影装置。

【請求項3】
 
上記投影部と上記投影面との間の任意の固定点を通過する光の、該投影面における投影位置情報を、異なる投影方向それぞれについて取得する投影位置情報取得部と、
上記投影位置情報取得部によって取得された上記投影位置情報を受付け、該投影位置情報が上記投影面において1点となる投影中心位置情報を算出する位置調整算出手段と、
上記位置調整算出手段によって算出された結果に基づき、上記特定された投影中心位置情報を変更し、この変更した投影中心位置情報に基づき、上記調整手段により調整された投影部と駆動部との配置関係を微調整する微調整手段とをさらに備えていることを特徴とする請求項2に記載の投影装置。

【請求項4】
 
投影すべき画像データを受付ける画像データ受付け手段と、
上記画像データ受付け手段によって受付けた、点群を配置した画像データに基づき、初期姿勢に設定された投影部により投影された点群を撮影するカメラと、
上記カメラによって撮影された結果に基づき、撮影された点群の投影面における位置情報である投影位置情報を求め、上記点群の位置情報と、この点群の投影面における投影位置情報との関係を算出する第1関係算出手段と、
上記点群を配置した画像データに基づき、初期姿勢から所定角度回転させた投影部によって投影された、投影面における投影点の投影位置情報から、投影部の投影方向と、該投影方向ごとに応じた上記投影点の投影位置情報との関係を算出する第2関係算出手段と、
上記第1関係算出手段と第2関係算出手段との算出結果に応じて、画像データに基づき投影面に投影する画像およびその投影位置を調整するための調整情報を取得する調整情報取得手段とを備えていること特徴とする請求項1に記載の投影装置

【請求項5】
 
上記調整情報取得手段は、上記調整情報として、投影方向が異なる投影部それぞれについて画像データを共通して扱うことができる平面である正接平面上の位置情報と、投影面上の位置情報との関係を示す第1変換情報と、
上記投影中心から上記投影面における投影点に対する方向を示す方向情報と、
投影面に対する投影可能な範囲を規定する、画像データ中の少なくとも4点以上に対する投影中心からの方向を示す方向情報とを取得することを特徴とする請求項4に記載の投影装置。

【請求項6】
 
異なる複数の投影面に対して画像を投影する場合において、
上記投影面を規定する4点以上の位置情報と、投影部から該投影面の4点以上に対する方向を示す規定位置方向情報とを取得する投影面情報取得手段と、
上記投影面情報取得手段によって取得された、投影面を規定する4点以上の位置情報と規定位置方向情報とに基づいて、各投影面上の位置情報を上記正接平面上の位置情報に変換するための第2変換情報を算出する外部調整情報算出手段とを備えていることを特徴とする請求項4または5に記載の投影装置。

【請求項7】
 
上記外部調整情報算出手段によって算出された第2変換情報には、上記投影面を規定する4点以上の位置情報および規定位置方向情報に基づき算出された、隣接する他の投影面との連結関係を示す連結関係情報と、
上記連結関係情報に基づき算出された、連結する投影面同士を2次元平面に展開した際における両者の座標関係を特定する座標変換パラメータと、を含むことを特徴とする請求項6に記載の投影装置

【請求項8】
 
投影面に対して光を照射し画像を投影する投影部と、この投影部から投影面に対して照射する投影方向を変更するように、該投影部を回転させる駆動部とを備えた投影装置の制御方法であって、
上記駆動部は、上記投影部を回転させるために複数の回転軸を備えており、
上記駆動部によって、上記投影部の回転運動の中心点であり、上記複数の回転軸の交点となる回転中心が1点となるように該投影部が回転され、
上記投影部から投影した光の軌跡として示される、投影方向に平行でかつ水平面と垂直となる面における該光の照射領域と非照射領域との境界をなす境界線、および投影方向に平行でかつ該水平面と平行となる面における該光の照射領域と非照射領域との境界をなす境界線が交わる点を投影中心としたとき、
上記回転中心の位置情報である回転中心位置情報を取得するステップと、
照射された光の軌跡を示す照射光情報を受付け、該照射光情報に基づき、投影中心の位置情報である投影中心位置情報を特定するステップと、
上記取得された回転中心位置情報と、上記特定された投影中心位置情報とに基づき、投影中心と回転中心とが一致するように、投影部と駆動部との配置関係を調整するステップとを含むことを特徴とする投影装置の制御方法。

【請求項9】
 
投影すべき画像データを受付けるステップと、
上記受付けた、点群を配置した画像データに基づき、初期姿勢に設定された投影部により投影された点群を撮影するステップと、
撮影された結果に基づき、撮影された点群の投影面における位置情報である投影位置情報を求め、上記点群の位置情報と、この点群の投影面における投影位置情報との関係を算出するステップと、
上記点群を配置した画像データに基づき、初期姿勢から所定角度回転させた投影部によって投影された、投影面における投影点の投影位置情報から、投影部の投影方向と、該投影方向ごとに応じた上記投影点の投影位置情報との関係を算出するステップと、
上記した算出結果に応じて、画像データに基づき投影面に投影する画像およびその投影位置を調整するための調整情報を取得するステップとを含むこと特徴とする請求項8に記載の投影装置の制御方法。

【請求項10】
 
異なる複数の投影面に対して画像を投影する場合において、
上記投影面を規定する4点以上の位置情報と、投影部から該投影面に対する方向を示す情報とを取得するステップと、
上記取得された投影面を規定する4点以上の位置情報と、投影部から該投影面に対する方向を示す情報とに基づいて、各投影面上の位置情報を上記正接平面上の位置情報に変換するための第2変換情報を算出するステップとを含むことを特徴とする請求項9に記載の投影装置の制御方法。

【請求項11】
 
請求項1~7のいずれか1項に記載の投影装置を複数備えたことを特徴とする複合投影システム。

【請求項12】
 
請求項1~7の何れか1項に記載の投影装置を動作させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。

【請求項13】
 
請求項12に記載の投影装置の制御プログラムが記録されたコンピュータの読取り可能な記録媒体。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

20570_01SUM.gif
State of application right Registered
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close