TOP > 国内特許検索 > 投影システム、投影方法、パターン生成方法及びプログラム > 明細書

明細書 :投影システム、投影方法、パターン生成方法及びプログラム

発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2017-017698 (P2017-017698A)
公開日 平成29年1月19日(2017.1.19)
発明の名称または考案の名称 投影システム、投影方法、パターン生成方法及びプログラム
国際特許分類 H04N   5/74        (2006.01)
G03B  21/00        (2006.01)
G03B  21/14        (2006.01)
G09G   5/00        (2006.01)
G09G   5/36        (2006.01)
H04N   9/31        (2006.01)
G06T   3/00        (2006.01)
FI H04N 5/74 Z
G03B 21/00 D
G03B 21/14 Z
G09G 5/00 510B
G09G 5/00 510V
G09G 5/00 520A
G09G 5/36 520A
G09G 5/00 550C
G09G 5/00 X
H04N 9/31 Z
H04N 5/74 A
G06T 3/00
請求項の数または発明の数 13
出願形態 OL
全頁数 26
出願番号 特願2016-126463 (P2016-126463)
出願日 平成28年6月27日(2016.6.27)
優先権出願番号 2015128331
優先日 平成27年6月26日(2015.6.26)
優先権主張国 日本国(JP)
発明者または考案者 【氏名】川崎 洋
【氏名】益山 仁
【氏名】マルコ ヴィゼンティーニ スカルツァネッラ
【氏名】蛭川 琢斗
【氏名】日浦 慎作
【氏名】古川 亮
出願人 【識別番号】504258527
【氏名又は名称】国立大学法人 鹿児島大学
【識別番号】510108951
【氏名又は名称】公立大学法人広島市立大学
個別代理人の代理人 【識別番号】100095407、【弁理士】、【氏名又は名称】木村 満
【識別番号】100162259、【弁理士】、【氏名又は名称】末富 孝典
【識別番号】100133592、【弁理士】、【氏名又は名称】山口 浩一
審査請求 未請求
テーマコード 2K203
5B057
5C058
5C060
5C182
Fターム 2K203FA64
2K203FA66
2K203FA82
2K203FA96
2K203FA97
2K203FB03
2K203GB33
2K203GB35
2K203GB37
2K203GB53
2K203GB62
2K203GB69
2K203GC22
2K203KA44
2K203KA56
2K203KA72
2K203KA82
2K203MA21
2K203MA40
5B057CD12
5B057DB02
5B057DB06
5B057DB09
5C058BA05
5C058BA23
5C058BA27
5C058BA35
5C058EA02
5C058EA32
5C060GA01
5C060GC00
5C060JA00
5C060JA01
5C060JB06
5C182AA04
5C182AA14
5C182AC02
5C182AC38
5C182BA01
5C182BA04
5C182BA14
5C182BB01
5C182BB05
5C182BB14
5C182CA02
5C182CA11
5C182CA21
5C182DA70
要約 【課題】より簡便な方法で、投影光の光路上に複数の異なる独立した画像を表示することができる投影システム、投影方法、パターン生成方法及びプログラムを提供する。
【解決手段】投影システム100は、出射される投影光L1、L2が互いに交差し、交わり合いながら進むようにそれぞれ設置される複数のプロジェクタ1、2を備える。複数のプロジェクタ1、2は、互いに重ね合わせると強め合うパターン及び弱め合うパターンの少なくとも一方を有するパターン画像P1、P2を投影光L1、L2でそれぞれ投影することにより、複数の奥行き(位置)d2、d1で、パターン画像P1、P2の重なり方に応じた異なる合成画像を形成する。
【選択図】図1
特許請求の範囲 【請求項1】
出射される投影光の照射範囲が交わるようにそれぞれ設置される複数のプロジェクタを備え、
前記複数のプロジェクタは、
互いに重ね合わされるようにパターン画像をそれぞれ投影することにより、複数の位置で、パターン画像の重なり方に応じた異なる合成画像を形成する、
投影システム。
【請求項2】
複数の位置でそれぞれ形成される合成画像は、
当該合成画像が形成された位置を示すパターンを表示する画像である、
請求項1に記載の投影システム。
【請求項3】
前記パターン画像は、
背景色を、パターンを構成する複数種類の色の中間色とする、
請求項1又は2に記載の投影システム。
【請求項4】
複数のプロジェクタ各々に表示されたパターン画像と、複数の位置に投影されたパターン画像との位置関係を示す情報に基づいて、前記各プロジェクタ各々に表示されたパターン画像の各画素を要素とする第1の行列を、前記複数の位置各々に投影される前記合成画像の各画素を要素とする第2の行列に変換する変換行列を生成する変換行列生成部と、
所望のパターンを有する合成画像に対応する第2の行列と、前記変換行列生成部で生成された変換行列とに基づいて、第1の行列に対応するパターン画像をプロジェクタ毎に生成するパターン生成部と、
を備える、
請求項1から3のいずれか一項に記載の投影システム。
【請求項5】
前記パターン生成部は、生成されるパターン画像の輝度の範囲を制約のもとで前記第2の行列と前記変換行列とに基づいて前記第1の行列の解を求める、
請求項4に記載の投影システム。
【請求項6】
前記変換行列生成部は、
前記各プロジェクタに表示されたパターン画像の画素の位置情報を有するパターンを、前記各プロジェクタから前記複数の位置に投影し、前記複数の位置それぞれに投影された前記投影パターンを撮像し、撮像された投影パターンをデコードすることにより前記位置関係を示す情報を獲得する、
請求項4又は5に記載の投影システム。
【請求項7】
前記変換行列生成部は、前記位置関係を示す情報を、前記複数のプロジェクタのエピポーラ線上に限定して、前記変換行列を当該エピポーラ線について生成し、
前記パターン生成部は、
前記第2の行列と、前記変換行列生成部で生成された変換行列とに基づいて、前記第1の行列に対応するパターン画像の生成を全てのエピポーラ線について実行し、生成されたパターン画像の合成画像を、プロジェクタ毎に投影する画像として生成する、
請求項4から6のいずれか一項に記載の投影システム。
【請求項8】
前記各プロジェクタに色のテストパターン画像を投影させ、投影されたテストパターン画像の撮像結果に基づいて、前記パターン画像の色の調整情報を算出する色キャリブレーション部と、
前記パターン生成部で生成されたパターン画像を、前記色キャリブレーション部で調整された色の調整情報に基づいて、前記各プロジェクタに投影させる投影制御部と、
を備える、
請求項4に記載の投影システム。
【請求項9】
前記合成画像が投影される複数の位置に半透明のスクリーンを置くことで、各半透明スクリーンに、異なる合成画像を投影する、
請求項1から8のいずれか一項に記載の投影システム。
【請求項10】
出射される投影光が互いに交差し、交わり合いながら進むように複数のプロジェクタを設置し、
前記複数のプロジェクタに、互いに重ね合わせると強め合うパターン及び弱め合うパターンの少なくとも一方を複数有するパターン画像をそれぞれ投影光で投影させることにより、複数の位置で、パターン画像の重なり方に応じた異なる合成画像を形成する、
投影方法。
【請求項11】
コンピュータが、複数のプロジェクタ各々に表示されたパターン画像と、複数の位置に投影されたパターン画像との位置関係を示す情報に基づいて、前記各プロジェクタ各々に表示されたパターン画像の各画素を要素とする第1の行列を、前記複数の位置各々に投影される前記合成画像の各画素を要素とする第2の行列に変換する変換行列を生成する幾何キャリブレーション工程と、
コンピュータが、所望のパターンを有する合成画像に対応する第2の行列と、前記幾何キャリブレーション工程で生成された変換行列とに基づいて、第1の行列に対応するパターン画像をプロジェクタ毎に生成するパターン生成工程と、
を含むパターン生成方法。
【請求項12】
コンピュータが、前記各プロジェクタに色のテストパターン画像を投影させ、投影されたテストパターン画像の撮像結果に基づいて、前記パターン画像の色の調整情報を算出する色キャリブレーション工程と、
コンピュータが、前記パターン生成工程で生成されたパターン画像を、前記色キャリブレーション工程で調整された色の調整情報に基づいて、前記各プロジェクタに投影させる投影工程と、
を含む請求項11に記載のパターン生成方法。
【請求項13】
コンピュータに、
複数のプロジェクタ各々に表示されたパターン画像と、複数の位置に投影されたパターン画像との位置関係を示す情報に基づいて、前記各プロジェクタ各々に表示されたパターン画像の各画素を要素とする第1の行列を、前記複数の位置各々に投影される前記合成画像の各画素を要素とする第2の行列に変換する変換行列を生成する幾何キャリブレーション手順と、
所望のパターンを有する合成画像に対応する第2の行列と、前記幾何キャリブレーション手順で生成された変換行列とに基づいて、第1の行列に対応するパターン画像をプロジェクタ毎に生成するパターン生成手順と、
を実行させるプログラム。
発明の詳細な説明 【技術分野】
【0001】
この発明は、投影システム、投影方法、パターン生成方法及びプログラムに関する。
【背景技術】
【0002】
近年、プロジェクションマッチングが普及するなど、ビデオプロジェクタが盛んに用いられている。例えば、単一又は複数のプロジェクタ群の投影像をレンチキュラースクリーンに投影することにより、遠近感のある画像を形成するものが開示されている(例えば、非特許文献1、2参照)。また、単一のプロジェクタの投影光の光路を遮るように、複数列の水滴を落下させて、落下する水滴に画像を表示させるシステムが提案されている(例えば、非特許文献3参照)。このシステムによれば、投影光の光路上の複数の位置に水滴列を落下させ、各位置で異なる画像を表示させることが可能である。
【先行技術文献】
【0003】

【非特許文献1】"Prototyping a light field display involving direct observation of a video projector array., " Jurik, J., Jones, A., Bolas, M., & Debevec, P.(2011, June)., Computer Vision and Pattern Recognition Workshops (CVPRW), 2011 IEEE Computer Society Conference on, IEEE, 2011.
【非特許文献2】"An autostereoscopic projector array optimized for 3D facial display.," Nagano, K., Jones, A., Liu, J., Busch, J., Yu, X., Bolas, M., & Debevec, P.(2013, July). InACM SIGGRAPH 2013 Emerging Technologies (p.3). ACM.
【非特許文献3】"A multi-layered display with water drops, " Barnum, Peter C., Srinivasa G. Narasimhan, and Takeo Kanade, ACM Transactions on Graphics (TOG) 29.4 (2010): 76.
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記非特許文献3に記載のシステムは、投影光の光路上に水滴列を落下させるという特殊な方法でしか複数の位置で異なる画像を表示することができない。また、このシステムでは、投影光の光路上の前側の水滴列に当たらずに通過した投影光しか、後ろ側の水滴列に到達することができないので、表示される複数の画像は、極めて限定されたものになり、互いに独立したものではない。
【0005】
この発明は、上記実情に鑑みてなされたものであり、より簡便な方法で、投影光の光路上に複数の異なる独立した画像を表示することができる投影システム、投影方法、パターン生成方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するため、この発明の第1の観点に係る投影システムは、
出射される投影光の照射範囲が交わるようにそれぞれ設置される複数のプロジェクタを備え、
前記複数のプロジェクタは、
互いに重ね合わされるようにパターン画像をそれぞれ投影することにより、複数の位置で、パターン画像の重なり方に応じた異なる合成画像を形成する。
【0007】
複数の位置でそれぞれ形成される合成画像は、
当該合成画像が形成された位置を示すパターンを表示する画像である、
こととしてもよい。
【0008】
前記パターン画像は、
背景色を、パターンを構成する複数種類の色の中間色とする、
こととしてもよい。
【0009】
複数のプロジェクタ各々に表示されたパターン画像と、複数の位置に投影されたパターン画像との位置関係を示す情報に基づいて、前記各プロジェクタ各々に表示されたパターン画像の各画素を要素とする第1の行列を、前記複数の位置各々に投影される前記合成画像の各画素を要素とする第2の行列に変換する変換行列を生成する変換行列生成部と、
所望のパターンを有する合成画像に対応する第2の行列と、前記変換行列生成部で生成された変換行列とに基づいて、第1の行列に対応するパターン画像をプロジェクタ毎に生成するパターン生成部と、
を備える、
こととしてもよい。
【0010】
前記パターン生成部は、生成されるパターン画像の輝度の範囲を制約のもとで前記第2の行列と前記変換行列とに基づいて前記第1の行列の解を求める、
こととしてもよい。
【0011】
前記変換行列生成部は、
前記各プロジェクタに表示されたパターン画像の画素の位置情報を有するパターンを、前記各プロジェクタから前記複数の位置に投影し、前記複数の位置それぞれに投影された前記投影パターンを撮像し、撮像された投影パターンをデコードすることにより前記位置関係を示す情報を獲得する、
こととしてもよい。
【0012】
前記変換行列生成部は、前記位置関係を示す情報を、前記複数のプロジェクタのエピポーラ線上に限定して、前記変換行列を当該エピポーラ線について生成し、
前記パターン生成部は、
前記第2の行列と、前記変換行列生成部で生成された変換行列とに基づいて、前記第1の行列に対応するパターン画像の生成を全てのエピポーラ線について実行し、生成されたパターン画像の合成画像を、プロジェクタ毎に投影する画像として生成する、
こととしてもよい。
【0013】
前記各プロジェクタに色のテストパターン画像を投影させ、投影されたテストパターン画像の撮像結果に基づいて、前記パターン画像の色の調整情報を算出する色キャリブレーション部と、
前記パターン生成部で生成されたパターン画像を、前記色キャリブレーション部で調整された色の調整情報に基づいて、前記各プロジェクタに投影させる投影制御部と、
を備える、
こととしてもよい。
【0014】
前記合成画像が投影される複数の位置に半透明のスクリーンを置くことで、各半透明スクリーンに、異なる合成画像を投影する、
こととしてもよい。
【0015】
本発明の第2の観点に係る投影方法は、
出射される投影光が互いに交差し、交わり合いながら進むように複数のプロジェクタを設置し、
前記複数のプロジェクタに、互いに重ね合わせると強め合うパターン及び弱め合うパターンの少なくとも一方を複数有するパターン画像をそれぞれ投影光で投影させることにより、複数の位置で、パターン画像の重なり方に応じた異なる合成画像を形成する。
【0016】
本発明の第3の観点に係るパターン生成方法は、
コンピュータが、複数のプロジェクタ各々に表示されたパターン画像と、複数の位置に投影されたパターン画像との位置関係を示す情報に基づいて、前記各プロジェクタ各々に表示されたパターン画像の各画素を要素とする第1の行列を、前記複数の位置各々に投影される前記合成画像の各画素を要素とする第2の行列に変換する変換行列を生成する幾何キャリブレーション工程と、
コンピュータが、所望のパターンを有する合成画像に対応する第2の行列と、前記幾何キャリブレーション工程で生成された変換行列とに基づいて、第1の行列に対応するパターン画像をプロジェクタ毎に生成するパターン生成工程と、
を含む。
【0017】
コンピュータが、前記各プロジェクタに色のテストパターン画像を投影させ、投影されたテストパターン画像の撮像結果に基づいて、前記パターン画像の色の調整情報を算出する色キャリブレーション工程と、
コンピュータが、前記パターン生成工程で生成されたパターン画像を、前記色キャリブレーション工程で調整された色の調整情報に基づいて、前記各プロジェクタに投影させる投影工程と、
を含む、
こととしてもよい。
【0018】
本発明の第4の観点に係るプログラムは、
コンピュータに、
複数のプロジェクタ各々に表示されたパターン画像と、複数の位置に投影されたパターン画像との位置関係を示す情報に基づいて、前記各プロジェクタ各々に表示されたパターン画像の各画素を要素とする第1の行列を、前記複数の位置各々に投影される前記合成画像の各画素を要素とする第2の行列に変換する変換行列を生成する幾何キャリブレーション手順と、
所望のパターンを有する合成画像に対応する第2の行列と、前記幾何キャリブレーション手順で生成された変換行列とに基づいて、第1の行列に対応するパターン画像をプロジェクタ毎に生成するパターン生成手順と、
を実行させる。
【発明の効果】
【0019】
この発明によれば、複数のプロジェクタ各々から出射される投影光により形成されるパターン画像は、互いに重ね合わせると強め合う部分及び弱め合う部分が複数形成されており、重ね合わせ位置に応じて実際に強め合う部分と弱め合う部分とが変化する画像となっている。換言すれば、この発明では、各プロジェクタから出射される投影光が、交差し、交わり合いながら進む区間の複数の位置において、パターン画像の重ね合わせ位置に応じて実際に強め合う部分と弱め合う部分とを調整することにより、複数の位置におけるパターン画像の合成画像を独立した全く異なるものとすることができる。したがって、この発明によれば、複数のプロジェクタにより複数の投影光を交差させるというより簡便な方法で、投影光の光路上に複数の異なる独立した画像を形成することができる。
【図面の簡単な説明】
【0020】
【図1】この発明の実施の形態1に係る投影システムの概略的な構成を示す斜視図である。
【図2】図2(A)、図2(B)、図2(C)及び図2(D)は、図1の投影システムで投影されるパターン画像及び合成画像の一例を示す図である。
【図3】プロジェクタにおけるパターン画像の投影面と、複数の位置におけるパターン画像の被投影面との位置関係を示す図である。
【図4】制御部の構成を示すブロック図である。
【図5】幾何キャリブレーションを示す図である。
【図6】図6(A)及び図6(B)は、各プロジェクタに投影されるテストパターンの一例を示す図である。
【図7】図7(A)及び図7(B)は、カメラで撮像されたテストパターンの一例を示す図である。
【図8】推定されたレスポンスカーブの一例を示すグラフである。
【図9】図1の投影システムにおける画像投影処理を示すフローチャートである。
【図10】図10(A)及び図10(B)は、各プロジェクタで投影される画像の一例である。図10(C)及び図10(D)は、各スクリーンに投影される画像の一例である。
【図11】この発明の実施の形態2に係る投影システムの概略的な構成を示す斜視図である。
【図12】この発明の実施の形態3に係る投影システムの概略的な構成を示す斜視図である。
【図13】この発明の実施の形態4に係る投影システムにおけるパターン画像を示す図である。
【図14】この発明の実施の形態5に係る投影システムを示す図である。
【図15】この発明の実施の形態6に係る投影システムを示す図である。
【図16】この発明の実施の形態7に係る投影システムを示す図である。
【図17】2つの半透明スクリーンを並べ、2つのプロジェクタの合成画像が投影される複数の位置に半透明のスクリーンを置くことで、各半透明スクリーンに、異なる合成画像を投影する様子を示す図である。
【図18】2つのスクリーンに投影された合成画像を示す図である。
【図19】エピポーラ平面(光学中心C1、C2、スクリーン1、2に進む光線、エピポーラ線、エピポールe1、e2含む)を示す図である。
【図20】エピポーラ平面内で光線が干渉する様子を示す図である。
【図21】図21(A)、図21(B)、図21(C)、図21(D)、図21(E)及び図21(F)は、対象物体を平面とした投影画像の一例を示す図である。
【図22】図22(A)、図22(B)、図22(C)、図22(D)は、投影された画像を数値評価した結果を示す図である。
【図23】図23(A)及び図23(B)は、任意形状物体に対するグレーコード投影によって横の縞模様のパターンを複数投影する様子を示す図である。図23(C)は、横の縞模様のグレーコード投影によって得られたマップ画像の一例を示す図である。
【図24】図24(A)及び図24(B)は、任意形状物体に対するグレーコード投影によって縦の縞模様のパターンを複数投影する様子を示す図である。図24(C)は、縦の縞模様のグレーコード投影によって得られたマップ画像の一例を示す図である。
【図25】図25(A)及び図25(B)は、他の任意形状物体に対するグレーコード投影によって横の縞模様のパターンを複数投影する様子を示す図である。図25(C)は、横の縞模様のグレーコード投影によって得られたマップ画像の一例を示す図である。
【図26】図26(A)及び図26(B)は、他の任意形状物体に対するグレーコード投影によって縦の縞模様のパターンを複数投影する様子を示す図である。図26(C)は、縦の縞模様のグレーコード投影によって得られたマップ画像の一例を示す図である。
【図27】図27(A)及び図27(B)は、任意形状物体上に投影される画像の一例を示す図である。
【図28】図28(A)は、一方の奥行きに任意形状物体を置いたときに得られる横の縞模様に基づくマップ画像である。図28(B)は、一方の奥行きに任意形状物体を置いたときに得られる縦の縞模様に基づくマップ画像である。
【図29】図29(A)は、もう一方の奥行きに任意形状物体を置いたときに得られる横の縞模様に基づくマップ画像である。図29(B)は、もう一方の奥行きに任意形状物体を置いたときに得られる縦の縞模様に基づくマップ画像である。
【図30】図30(A)及び図30(B)は、各プロジェクタによって投影されるパターン画像の一例である。
【図31】図31(A)は、一方の奥行きに置かれた任意形状物体に投影される画像の一例を示す図である。図31(B)は、もう一方の奥行きに置かれた任意形状物体に投影される画像の一例を示す図である。
【図32】図32(A)及び図32(B)は、2つの位置に、形状の異なる物体をそれぞれ置いたときに各物体に投影される画像の一例を示す図である。
【発明を実施するための形態】
【0021】
以下、この発明の実施の形態について図面を参照して詳細に説明する。

【0022】
実施の形態1.
まず、この発明の実施の形態1について説明する。

【0023】
図1は、この実施の形態1に係る投影システム100の概略的な構成を示す。図1に示すように、投影システム100は、2つのプロジェクタ1、2を備える。プロジェクタ1、2は、それぞれ投影光L1、L2を出射する、出射した投影光L1、L2は進むにつれて広がっている。

【0024】
プロジェクタ1、2は、出射される投影光L1、L2が互いに交差し、交わり合いながら進むようにそれぞれ設置される。すなわち、プロジェクタ1、2は、ほぼ同じ方向を向くように、かつ、それぞれの投影光学系の光軸が浅い角度で交差するように設けられている。

【0025】
投影システム100は、制御部10を備える。制御部10は、コンピュータであり、通信インターフェイス、CPU(Central Processing Unit)及びメモリを備える。制御部10は、CPUがメモリに格納されたプログラムを実行し、通信インターフェイスを介してプロジェクタ1、2と通信を行うことにより、その機能を実現する。

【0026】
制御部10は、プロジェクタ1、2が投影するパターン画像P1、P2をプロジェクタ1、2に投影させるなどして、プロジェクタ1、2を制御する。制御部10は、入力インターフェイスとして、マウス等のポインティングデバイスを有している。ポインティングデバイスによるカーソルは、プロジェクタ1、2の投影面に表示されるようになっている。

【0027】
プロジェクタ1は、制御部10による制御の下、投影されるパターン画像P1を内部の投影面(図3の投影面PL1)に表示し、投影光L1で、パターン画像P1を外部に投影する。プロジェクタ2は、制御部10による制御の下、投影されるパターン画像P2を内部の投影面(図3の投影面PL2)に表示し、投影光L2で、パターン画像P2を外部に投影する。この例の場合、パターン画像P1、P2は、投影光L1、L2が進むにつれて、次第に重なり合うようになり、プロジェクタ1、2を基準とする奥行きd2の位置では、大半が重なり合い、奥行きd1の位置では、ぴったり重なり合うようになっている。実際の設置においては、プロジェクタ同士をなるべく近づけると、奥行きにかかわらず、重なりあい部分が大きくなり好適である。

【0028】
プロジェクタ1、2は、互いに重ね合わせると強め合うパターン及び弱め合うパターンの少なくとも一方を有するパターン画像P1、P2を投影光L1、L2で投影する。この実施の形態では、パターン画像P1、P2は、背景色を、パターンを構成する複数種類の色の中間色としている。例えば、画像がグレースケールであれば、背景色は、白と黒との中間色である灰色となる。通常の画像では、背景色とは、シーンにおいて、最暗部の色(黒)であるのに対して、本発明ではこのように中間色として定義することにより、負の色を実現することができる。これにより、パターン画像P1、P2は、重なり合うパターンが同系色(例えば白)のパターンであれば、それらは強め合うパターンとなる(これは通常の画像でも同じ)のに対して、補色(反対色)関係にあるパターン(例えば白と黒)であれば、それらは弱め合うパターンとなり、両パターンが完全な補色関係にある場合には、それらのパターンを打ち消し合うことができるようになる。

【0029】
例えば、図2(A)に示すように、プロジェクタ1、2が投影するパターン画像P1、P2には、背景色に対して輝度の高い数字”1”のパターン像が形成されている。この場合、両パターン画像の”1”のパターン像が重なり合う奥行きd2の位置では、”1”のパターンが強調された合成画像が表示される。ただし、この場合、奥行きd1の位置では、それぞれ輝度が背景色よりもやや高い、薄い”1”のパターン像が2カ所表示されるようになる。

【0030】
これに対応して、例えば図2(B)に示すように、プロジェクタ2が投影するパターン画像に、背景色よりも輝度の低い”1”のパターンを新たに追加する。この”1”のパターン像は、奥行きd1の位置において、右側の”1”のパターンと打ち消し合い、”1”のパターンを消失させる。ただし、この場合、奥行きd2の位置では、輝度が背景色よりやや低い、薄い”1”のパターンが表示されるようになる。

【0031】
奥行きd2の位置に表示された輝度が背景色よりやや低い”1”のパターンを打ち消すため、例えば図2(C)に示すように、プロジェクタ1が投影するパターン画像P1に、背景色よりも輝度の高い”1”のパターンが新たに追加される。この”1”のパターンは、奥行きd2の位置において、右側の”1”のパターンと打ち消し合い、”1”のパターンを消失させる。ただし、奥行きd1の位置では、背景色よりも輝度の高い”1”のパターンが右側に表示される。

【0032】
すなわち、このように、パターン画像P1、P2の適切な位置に複数の”1”のパターンを追加することにより、奥行きd2、d1の任意の位置に”1”のパターンを形成することができる。例えば、図2(D)に示すように、背景色よりも輝度の高い”1”のパターンや背景色よりも輝度の低い”1”のパターンを適宜組み合わせることにより、奥行きd1、d2とでそれぞれが強め合ったり、弱め合ったりした結果、その位置の合成画像として”1”のパターンを形成することができる。

【0033】
適当なパターンを組み合わせたパターン画像P1、P2を生成し、所望の合成画像を奥行きd1、d2の位置に形成するには、プロジェクタ1、2の投影面におけるパターンの位置を正確に決めておく必要がある。そのためには、前提として、プロジェクタ1、2におけるパターン画像の投影面と、奥行きd1、d2の位置におけるパターン画像の被投影面との位置関係を把握しておく必要がある。

【0034】
図3は、プロジェクタ1、2におけるパターン画像P1、P2の投影面(映像表示面)PL1、PL2と、奥行きd1、d2の位置におけるパターン画像P1、P2の被投影面(スクリーンI1,I2でパターン画像が投影される面)との位置関係を示す。スクリーンI1、I2を、被投影面I1、I2ともいう。

【0035】
投影面PL1、PL2は、それぞれプロジェクタ1、2において、パターン画像P1、P2が表示される映像面である。プロジェクタ1、2では、それぞれの点光源からの光が、投影面PL1、PL2に照射され、パターン画像P1、P2を含む投影光が投影光学系を介して外部に出射される。投影面PL1、PL2において、パターン画像P1、P2を構成する各画素をpj,1、pj,2、…、pj,m、…とする(j=1又は2)。

【0036】
投影面PL1、PL2に表示されたパターン画像P1、P2は、被投影面であるスクリーンI1又はI2に投影される。スクリーンI1I2上の被投影面上に投影されたパターン画像P1、P2を画素に分割したときの各画素をik,1、ik,2、…、ik,n、…とする(k=1又は2)。

【0037】
ここで、投影面PL1、PL2のパターン画像P1、P2の各画素を要素とする行列P1、P2を以下のように定義する。
【数1】
JP2017017698A_000003t.gif
また、スクリーンI1I2上の位置におけるパターン画像P1、P2の各画素を要素とする行列I1、I2を以下のように定義する。
【数2】
JP2017017698A_000004t.gif
上述のように投影面PL1、PL2の各画素pj,1、pj,2、…、pj,m、…から出た光は、スクリーンI1I2上の位置座標ik,1、ik,2、…、ik,n、…に入射するため、投影面PL1、PL2の各画素pj,1、pj,2、…、pj,m、…の行列P1、P2と、スクリーンI1I2上の位置座標の行列I1、I2とは、以下の式(1)、式(2)のように射影変換の式で定義することができる。
【数3】
JP2017017698A_000005t.gif
【数4】
JP2017017698A_000006t.gif
ここで、行列A1,1、A1,2、A2,1、A2,2は、ホモグラフィ行列から生成される変換行列である。ホモグラフィ行列とは、画像上のある点が、射影変換後の画像上のどこに移動するかを、行列の積の形で計算可能とするものである。そこで、ホモグラフィ行列を用いて、移動前後の座標のセットを計算しておけば、行列A1,1、A1,2、A2,1、A2,2は、各行のいずれか1つの要素が1であり、残りは0である行列として即座に変換行列を生成できる。また、各行の1つの要素のみ1で残りは0のため、この行列は疎行列である。疎行列は、そのアトリビュートにより、逆行列計算と言った計算量の大きな処理を、効率的に解くことができる場合があり、その性質を利用できるメリットがある。

【0038】
ここで、行列P1、P2と、行列I1、I2と、変換行列A1,1、A1,2、A2,1、A2,2は、以下のような行列P、I、Aにまとめられる。この行列Pが第1の行列に対応し、行列Iが第2の行列に対応する。
【数5】
JP2017017698A_000007t.gif
上記式(1)、(2)は、以下の式(3)のようにまとめられる。
【数6】
JP2017017698A_000008t.gif
本実施の形態では、スクリーンI1、I2上に所望の合成画像を形成するために、プロジェクタ1、2にそれぞれ投影させるパターン画像P1、P2を投影面PL1、PL2に表示させる必要があり、そのためには、行列P1、P2、すなわち行列Pを求める必要がある。行列Pを求めるには、まず、変換行列Aを求める幾何キャリブレーション処理を行う必要がある。幾何キャリブレーション処理やプロジェクタ1、2へのパターン画像P1、P2の投影指示を行うのは制御部10である。

【0039】
図4は、制御部10の構成を示すブロック図である。図4に示すように、制御部10は、変換行列生成部11と、パターン生成部12と、色キャリブレーション部13と、投影制御部14と、を備える。

【0040】
変換行列生成部11は、例えばホモグラフィ行列を用いて、複数のプロジェクタ1,2各々のパターン画像P1、P2の投影面PL1、PL2と、複数の奥行き(位置)d1、d2におけるパターン画像P1、P2の被投影面I1、I2との位置関係を示す情報を計算より獲得し、各プロジェクタ1、2の投影面PL1、PL2におけるパターン画像P1、P2の各画素pj,1、pj,2、…、pj,m、…を要素とする行列Pを、複数の奥行き(位置)d1、d2各々に形成される合成画像の各画素ik,1、ik,2、…、ik,n、…を要素とする行列Iに変換する変換行列Aを生成する。

【0041】
以下に示すように、変換行列生成部11は、変換行列Aを求める。まず、制御部10は、図5に示すように、プロジェクタ1、2にそれぞれ背景色が白で、四隅に黒色のパターンが形成されたテストパターン画像を投影させる。そして、ユーザは、制御部10に設けられたポインティングデバイスを操作して、スクリーンI1、I2に投影されたパターン画像P1、P2内の黒色パターンの位置にカーソルを合わせてクリックする。このクリック操作により、各画素pj,1、pj,2、…、pj,m、…と、位置座標ik,1、ik,2、…、ik,n、…との位置関係が明らかとなり、その位置関係から変換行列Aを求めることができる。変換行列生成部11は、このようにして、変換行列Aを求める。変換行列生成部11は、CPU、メモリ、ポインティングデバイス、通信インターフェイスの動作によって実現される。

【0042】
パターン生成部12は、所望のパターンを有する合成画像に対応する行列Iと、変換行列生成部11で生成された変換行列Aとに基づいて、行列Pに対応するパターン画像P1、P2を生成する。具体的には、行列Iに変換行列Aの逆行列を乗算して、行列Pを求めることにより、パターン画像P1、P2が生成される。パターン生成部12は、CPU、メモリの動作によって実現される。ここで、変換行列のサイズは非常に大きいものの、変換行列が疎行列であることを利用することで、疎行列用の数値演算ライブラリを利用した、非常に高速な計算を実現できる。

【0043】
色キャリブレーション部13は、各プロジェクタ1、2に色のテストパターン画像を投影させる。例えば、色のテストパターン画像には、色が均等に変化するようなテストパターンが用いられる。図6(A)、図6(B)に各プロジェクタ1、2に投影されるテストパターンの一例を示す。色キャリブレーション部13は、カメラで撮像されたテストパターン画像の撮像結果に基づいて、パターン画像の色の調整情報を算出する。カメラの撮像データは、コンピュータが有する通常のインターフェイスを介して取り込むことができる。

【0044】
スクリーンI1、I2上に投影された色のテストパターン画像は、カメラで撮像される。図7(A)、図7(B)にカメラで撮像されたテストパターンの一例を示す。色キャリブレーション部13は、カメラで撮像された色のテストパターン画像の撮像データに基づいて、プロジェクタ1、2への入力輝度値と、実際にスクリーンI1、I2に投影される輝度値との非線形な関係を示す輝度曲線(レスポンスカーブ)を算出する。図8に、推定されたレスポンスカーブの一例を示す。図8では、各プロジェクタ1、2に投影されたテストパターンのカーブ(Proj1、Proj2)に加え、プロジェクタ1、2によって投影される画像の重ね合わせ画像のカーブ(sum、Add)も示されている。色キャリブレーション部13は、CPU、メモリ、通信インターフェイスによって実現される。

【0045】
投影制御部14は、色キャリブレーション部13で算出された輝度曲線を用いて、すなわち色キャリブレーション部13で調整された色の調整情報に基づいて、パターン画像P1、P2を調整する。そして、投影制御部14は、パターン生成部12で生成され調整されたパターン画像P1、P2を、各プロジェクタ1、2に投影させる。投影制御部14は、CPU、メモリ、通信インターフェイスによって実現される。

【0046】
図9は、制御部10で実行されるプロジェクタ1、2を用いた画像投影処理のフローチャートである。図9に示すように、まず、制御部10(変換行列生成部11)は、各プロジェクタ1、2が投影するパターン画像P1、P2に対応する行列Pを、複数の奥行き(位置)d1、d2に投影される合成画像に対応する行列Iに変換する変換行列Aを求める(ステップS1;幾何キャリブレーション工程)。この幾何キャリブレーション工程において、上述の変換行列Aが得られる。

【0047】
ここでは、例えば、図5に示すように、パターン画像P1、P2が投影される奥行きd2、d1の位置に設置されたスクリーンI1、I2に、四隅にチェックパターンが形成されたパターン画像P1、P2を表示し、その位置を、ポインティングデバイスを用いてクリックし、チェックパターンに対応する投影面PL1、PL2上の位置座標を取得する。制御部10(変換行列生成部11)は、パターン画像中のチェックパターンの位置座標と、撮像結果におけるチェックパターンの位置座標との関係に基づいて、変換行列Aを算出する。

【0048】
続いて、制御部10(パターン生成部12)が、行列Iに逆行列A-1を乗算することにより(逆行列演算により)、行列Pを算出し、各プロジェクタ1、2のパターン画像P1、P2を生成する(ステップS2;パターン生成工程)。ここで、逆行列が求められないような場合には、P-IA-1が最小になるようなフィッティング演算を行って行列Pを求めるようにしてもよい。

【0049】
制御部10が、各プロジェクタ1、2に色のテストパターン画像をスクリーンI1、I2上に形成されるパターン画像P1、P2のカメラの撮像結果に基づいて、パターン画像の色を調整する(ステップS3:色キャリブレーション工程)。これにより、指定された輝度値と実際の輝度値との間の非線形性を示す輝度曲線(レスポンスカーブ)が生成される。

【0050】
制御部10が、色キャリブレーション工程で生成された色の調整情報によって調整されたパターン画像P1、P2を、各プロジェクタ1、2に投影する(ステップS4:投影工程)。これにより、パターン画像P1、P2の合成画像が、スクリーンI1、I2に投影される。

【0051】
以上詳細に説明したように、本実施の形態によれば、複数のプロジェクタ1、2各々から出射される投影光L1、L2により形成されるパターン画像P1、P2は、互いに重ね合わせると強め合う部分及び弱め合う部分が形成されており、重ね合わせ位置に応じて実際に強め合う部分と弱め合う部分とが変化する画像となっている。換言すれば、この実施の形態では、各プロジェクタ1、2から出射される投影光L1、L2が交差し、交わり合いながら進む区間の複数の奥行き(位置)d1、d2において、パターン画像P1、P2の重ね合わせ位置に応じて実際に強め合う部分と弱め合う部分とを調整することにより、複数の奥行き(位置)d1、d2におけるパターン画像P1、P2の合成画像を独立した全く異なるものとすることができる。したがって、この実施の形態によれば、複数のプロジェクタ1、2により複数の投影光を交差させるというより簡便な方法で、投影光L1、L2の光路上に複数の異なる独立した画像を形成することができる。

【0052】
例えば、図10(A)に示すパターン画像をプロジェクタ1に投影させ、図10(B)に示すパターン画像をプロジェクタ2に投影させる。これらの画像は全く独立した別の画像である。この場合、図10(C)及び図10(D)に示すパターン画像が、スクリーンI1、I2に投影される。

【0053】
実施の形態2.
次に、本発明の実施の形態2について説明する。

【0054】
図11に示すように、本実施の形態では、3つのプロジェクタ1、2、3を備える。プロジェクタ1、2、3は、出射される投影光が互いに交差し、交わり合いながら進むようにそれぞれ設置される。この投影システム100は、奥行きが異なる3つの位置(3つのレイヤLA1、LA2、LA3)に、それぞれ異なるパターン画像を形成する。レイヤLA1には、数字”1”のパターンの行列が形成された合成画像が表示され、レイヤLA2には、数字”2”のパターンの行列が形成された合成画像が表示され、レイヤLA3には、数字”3”のパターンの行列が形成された合成画像が表示される。

【0055】
この実施の形態のように、本発明では、プロジェクタの数は2つには限られず、形成される合成画像の数も2つには限られない。

【0056】
実施の形態3.
次に、本発明の実施の形態3について説明する。

【0057】
図12に示すように、本実施の形態では、16個のピコプロジェクタを含むプロジェクタ群5を備える。プロジェクタ群5は、ピコプロジェクタが4行4列に配列されたものである。各ピコプロジェクタは、出射される投影光が互いに交差し、交わり合いながら進むようにそれぞれ設置される。この投影システム100は、レイヤLA1~LA5の位置に、それぞれ異なるパターン画像を形成する。

【0058】
レイヤLA1には、数字”1”のパターンの行列が形成された合成画像が表示され、レイヤLA2には、数字”2”のパターンの行列が形成された合成画像が表示され、レイヤLA3には、数字”3”のパターンの行列が形成された合成画像が表示される。レイヤLA4には、数字”4”のパターンの行列が形成された合成画像が表示される。レイヤLA5には、数字”5”のパターンの行列が形成された合成画像が表示される。

【0059】
この実施の形態のように、プロジェクタの数は2つや3つには限られず、形成される合成画像の数も2つや3つには限られない。この実施の形態のように、多数の小型のプロジェクタを用いることが可能であり、合成画像の数にも制限はない。

【0060】
実施の形態4.
次に、本発明の実施の形態4について説明する。

【0061】
図13に示すように、本実施の形態では、3つのプロジェクタ1、2、3を備える。プロジェクタ1、2、3は、出射される投影光が互いに交差し、交わり合いながら進むようにそれぞれ設置される。この投影システム100は、3つの位置(レイヤLA1、LA2)に、それぞれ異なるパターン画像を形成する。レイヤLA1には、数字”1”のパターンの行列が形成された合成画像が表示され、レイヤLA2には、数字”2”のパターンの行列が形成された合成画像が表示される。この実施の形態では、各プロジェクタ1、2、3で投影されるパターン像は、”1”等のパターンではなく、点像のパターンとなっている。このような点像のパターンから成るパターン画像を用いても、”1”パターンの行列を含む合成画像や”2”パターンの行列を含む合成画像を、異なる奥行き(レイヤ)で表示することができる。

【0062】
図10(A)及び図10(B)に示すパターン画像は、このような観点から生成された画像である。

【0063】
実施の形態5.
次に、本発明の実施の形態5について説明する。

【0064】
図14に示すように、本実施の形態では、16個のピコプロジェクタを含むプロジェクタ群5を備える。プロジェクタ群5は、ピコプロジェクタが4行4列に配列されたものである。プロジェクタ群5を構成する各ピコプロジェクタは、出射される投影光が互いに交差し、交わり合いながら進むようにそれぞれ設置される。この投影システム100は、4つの位置に、半透明のスクリーンI1、I2、I3、I4が設置され、それぞれのスクリーンI1~I4で、プロジェクタ群5による異なる独立した画像が表示される。

【0065】
この投影システム100を用いれば、複数の異なる位置で同時に異なる画像でのプロジェクションマッピングが可能になる。

【0066】
実施の形態6.
次に、本発明の実施の形態6について説明する。

【0067】
図15に示すように、本実施の形態では、16個のピコプロジェクタを含むプロジェクタ群5を備える。プロジェクタ群5は、ピコプロジェクタが4行4列に配列されたものである。ピコプロジェクタは、出射される投影光が互いに交差し、交わり合いながら進むようにそれぞれ設置される。この投影システム100は、複数の位置に、それぞれ異なるパターン画像を形成する。奥行き1mの位置では、数字”1”のパターンの行列が形成された合成画像が表示され、奥行き2mの位置では、数字”2”のパターンの行列が形成された合成画像が表示される。また、奥行き3mの位置では、数字”3”のパターンの行列が形成された合成画像が表示され、奥行き4mの位置では、数字”4”のパターンの行列が形成された合成画像が表示される。

【0068】
この投影システム100は、産業施設に、測量システム(3次元ものさし)として導入することができる。例えば、計測領域40内の奥行き2mの位置に、荷物を置いたときには、荷物に”2”のパターン行列が表示される。これにより、荷物が置かれた場所が、2mであると計測される。このように、この投影システム100によれば、奥行き方向での距離情報を荷物に表示させるのに用いることができる。

【0069】
実施の形態7.
次に、本発明の実施の形態7について説明する。

【0070】
この実施の形態に係る投影システム100は、自然界における遮られた環境で計測対象51にパターンを投影するシステムとして用いられる。投影されるパターン画像は、上記実施の形態6と同様に、そのパターンが投影される計測対象51の位置(奥行き)を示す情報である。

【0071】
図16に示すように、本実施の形態では、16個のピコプロジェクタを含むプロジェクタ群5を備える。プロジェクタ群5は、ピコプロジェクタが4行4列に配列されたものである。プロジェクタ群15を構成する各ピコプロジェクタは、出射される投影光が互いに交差し、交わり合いながら進むようにそれぞれ設置される。

【0072】
プロジェクタ群5により計測対象51に投影されるパターン画像は、計測対象51の奥行きに応じて異なったものになる。したがって、計測対象51に形成された合成画像のパターンを観察すれば、計測対象51の3次元形状を計測することが可能となる。

【0073】
このプロジェクタ群5を用いれば、いずれかのピコプロジェクタから発せられた光が障害物50で遮られたとしても、他のピコプロジェクタから同じ位置に入射する光がその位置に入射すれば、計測対象51にパターン画像を形成することができる。すなわち、この投影システムでは、複数のピコプロジェクタから同じ部分のパターン画像、すなわち強め合う部分の画像を投影しているので、画角を実質的に大きくして仮想的な広いアパーチャを実現することができる。したがって、プロジェクタ群5の前に障害物50(例えば生け垣等)があったとしても、その先に合成画像を形成し、計測対象51の位置にパターンを投影することができる。これにより、プロジェクタ・カメラ系による数多くの形状計測アルゴリズムを障害物のあるシーンにおいても利用可能となる。

【0074】
図17には、2つの半透明スクリーンI1、I2を並べ、プロジェクタ1、2の合成画像が投影される複数の位置に半透明のスクリーンI1、I2を置くことで、各半透明スクリーンI1、I2に、異なる合成画像を投影する様子が示されている。図18に示すように、半透明スクリーンI1に、図10(C)に示す画像が表示され、半透明スクリーンI2に、図10(D)に示す画像が表示されている。

【0075】
実施の形態8.
次に、本発明の実施の形態8について説明する。

【0076】
この実施の形態に係るパターン生成アルゴリズムは、限られたピクセルを用いた独立した計算手法となる。すなわち、図19に示すように、輝度を相互に補償しあう光線は、全て、エピポーラ平面上にある。このため、パターン生成計算は、エピポーラ平面毎に独立して行うことができる。さらに図20に示すように、エピポーラ平面内でも、相互に干渉しあう光線は、飛び飛びとなる。例えば、図20では、スクリーン1では4点、スクリーン2では4点の、合計8点のみが互いに干渉しあうが、それ以外は全く関与しない。また、この8点を投影するために必要な投影パターンも、プロジェクタ1では4点、プロジェクタ2では5点の合計9点であり、それ以外は全く関与しない。このため、投影パターン上の9点(未知パラメータ)と、スクリーン上の点8点(8つの1次方程式)を連立して解くことで、解(投影パターン9点の輝度)が得られる。これにより、実施の形態1のような巨大な行列を解かずに、複数のプロジェクタ各々に表示されたパターン画像と、複数の位置に投影されたパターン画像と位置関係を示す情報を複数のプロジェクタのエピポーラ線上に限定してそれぞれ生成された、独立した小さな連立1次方程式を、各限られたピクセル集合毎に、すべてのエピポーラ線についてそれぞれ解くことで投影パターンを得ることができる。これは、数多くの独立した処理が得意な並列処理(SIMD;Single Instruction Multiple Data)に適した手法である。

【0077】
言い換えると、変換行列生成部11(図4参照)は、複数のプロジェクタ1、2各々に表示されたパターン画像と、複数の位置に投影されたパターン画像との位置関係を示す情報を、複数のプロジェクタ1、2のエピポーラ線上に限定して、各プロジェクタ1、2に表示されたパターン画像の各画素を要素とする行列P’を、複数の位置各々に投影される合成画像の各画素を要素とする行列I’に変換する変換行列A’を当該エピポーラ線について生成する。ここで、行列P’は、上記式(3)の行列Pの一部であり、行列I’は、上記式(3)の行列Iの一部であり、変換行列A’は、連立一次方程式の各係数を要素とする式(3)の行列Aの一部である。さらに、パターン生成部12は、行列Iと、変換行列生成部11で生成された変換行列A’とに基づいて、行列P’に対応するパターン画像の生成を全てのエピポーラ線について実行する。さらに、パターン生成部12は、全てのエピポーラ線のパターン画像を合成し、合成された画像を、プロジェクタ毎に投影する画像として生成する。

【0078】
前記の連立方程式は、図20からも明らかな通り、スクリーン数と、プロジェクタ数が同じである場合、通常、未知数と拘束式の数が同じになる。ただし、スクリーンの縁の部分では交点を作らないことが起こりうるため、未知数が1つか2つ多くなることも起こりうる。このため、この方程式は常に解を持ち、未知数が多い場合には、幾つかの自由度を持つ。ところで、解に何の制約も付けずにこの連立1次方程式を解くと、値域が広くなることが計算上ありうる。しかし、プロジェクタが投影できる輝度値には有限の範囲があるため、実際に投影するためには、投影可能な輝度の範囲内に正規化しなければならない。これにより、投影パターンのコントラスト(階調)が減少する。その結果、最終的にスクリーン上に投影されるパターンのコントラストをも減少させることになる。そこで、パターン生成部12が、連立方程式を解く際に、例えば、値域が0~255(通常のプロジェクタにおけるピクセル輝度値の範囲)制約のもとで解(連立方程式の解、すなわち行列I’と変換行列A’とに基づく行列P’の解)を計算するようにすると、コントラストを減少させずに済む。ただし、その場合、拘束数の方が未知数を上回るため、計算には、最終投影画像と投影目的画像との誤差を最小化する最適化問題を解く必要がある。

【0079】
図21(A)~図21(F)は、対象物体を平面とした投影画像の一例を示す。図21(A)及び図21(D)に示す画像は、輝度値に制約を加えずに生成した画像である。また、図21(B)及び図21(E)、図21(C)及び図21(F)に示す画像は、本実施の形態8に係るパターン生成手法を用いて、輝度値に制約を加えて生成した画像である。図21(A)、図21(B)及び図21(C)が奥行き1の平面に投影された画像であり、図21(D)、図21(E)及び図21(F)が奥行き1とは異なる奥行き2の平面に投影された画像である。奥行き1に投影された画像である図21(A)に示す画像と、図21(B)及び図21(C)に示す画像とを比べると、輝度値に制約を加えて生成した図21(B)及び図21(C)に示す画像の方が、輝度値に制約を加えて生成した図21(A)の画像と比べてダイナミックレンジが大幅に増大しているのがわかる。

【0080】
投影された画像を数値評価した結果を図22(A)から図22(D)に示す。横軸は、投影する2つの画像の組み合わせを示している。2つの画像の組み合わせはそれぞれ、Cameraman/jetplane、Lena/Mandril、Lena/Peppers、Peppers/House、Lena/Cameraman、Peppers/Lenaとなっている。Lena/Mandrilの組み合わせは、図21(A)~図21(F)に示す画像である。

【0081】
画像の品質を評価する際によく使用されるPSNR(Peak Signal-to-Noise Ratio)による評価結果を図22(A)(実画像)及び図22(B)(合成画像)に示し、人間の感覚に近いと言われるSSIM(Structural SIMilarity)による評価結果を図22(C)(実画像)及び図22(D)(合成画像)に示す。ここで、実画像とは、実際にプロジェクタをスクリーンに投影した画像であり、合成画像とは、コンピュータ上で投影をシミュレートして合成した画像である。また、LFはLinear Factorizationの略であり解に制約を加えなかったもの、EOはEpipolar Optimizationの略であり、解に制約([*,*]で表される輝度値の範囲)を加えたものである。図22(A)~図22(D)を見ると、LF、EO[-100,255]、EO[0,255]というように輝度値の範囲に制約を加えることにより、ダイナミックレンジが拡大し、画質が向上しているのがわかる。

【0082】
実施の形態9.
次に、本発明の実施の形態9について説明する。

【0083】
この実施の形態に係るパターン生成アルゴリズムは、複数の任意形状物体を対象として、同時に異なるパターンを投影する手法である。複数の任意形状物体は、文字通り複数用意しても良いし、あるいは同じ任意形状物体を移動するようにしても良い。以下にパターン生成アルゴリズムの詳細について説明する。

【0084】
任意形状物体上で、各プロジェクタで投影する複数のパターンが重なりあうことで、任意のパターンを生成するためには、プロジェクタ上の各ピクセルの投影光がオブジェクトのどの位置を照射するのかを知る必要がある。本実施の形態では各プロジェクタからグレーコード・パターンの投影を行うことで対応関係を求める。グレーコード・パターンは、プロジェクタに表示されたパターン画像上の画素の位置情報を有するパターンである。グレーコード投影によって図23(A)、図23(B)、図24(A)、図24(B)、図25(A)、図25(B)、図26(A)、図26(B)に示すような縞模様のパターンを任意形状物体に複数投影し、図23(C)、図24(C)、図25(C)、図26(C)に示す縦横それぞれのマップ画像(輝度値が座標)を作ることで対応(各プロジェクタに表示されたパターン画像と、複数の位置に投影されたパターン画像との位置関係を示す情報)が得られる。

【0085】
最終的に任意形状物体上に投影される画像を図27(A)及び図27(B)に示す画像とする。また、任意形状物体を人体模型の頭部とする。そして、変換行列生成部11は、グレーコード画像を複数の位置に置かれた任意形状物体に投影したときに、任意形状物体に投影された投影パターンをカメラでそれぞれ撮像する。そして、変換行列生成部11は、撮像された投影パターンをデコードする。このようにすれば、各プロジェクタに表示されたパターン画像と、複数の位置に投影されたパターン画像との位置関係を示す情報、すなわち図28(A)及び図28(B)、図29(A)及び図29(B)に示すマップ画像が得られる。得られた位置関係を示す情報を用いて、本実施の形態に係る手法により、変換行列生成部11及びパターン生成部12は、各プロジェクタ1、2によって投影されるパターン画像を生成する。生成された、各プロジェクタにより投影する投影パターンの一例を図30(A)及び図30(B)に示す。このパターン画像を2台それぞれのプロジェクタ1、2から任意形状物体に投影することで、一方の奥行きに置かれた任意形状物体では図31(A)に示すように、図27(A)に示す画像に対応する画像が投影され、もう一方の奥行きに置かれた任意形状物体には、図31(B)で示すように、図27(B)に示す画像に対応する画像が投影される。

【0086】
なお、図32(A)及び図32(B)に示すように、奥行きに応じて、パターンを投影する物体の形状を変えるようにしてもよい。

【0087】
なお、上記各実施の形態では、グレースケールの画像を投影するプロジェクタを用いる場合について説明したが、本発明はこれには限られない。例えば、カラー画像を投影するプロジェクタを用いてもよい。この場合、パターン画像の背景色には、画像中のパターンに用いられる複数種類の色の中間色が用いられる。

【0088】
上記各実施の形態の投影システム100では、投影像の制御にカメラを用いないので、システム全体の構成を簡略化し、システムの応答に遅延を生じさせないようにすることができる。しかしながら、幾何キャリブレーション及び色キャリブレーションに、カメラで撮像された画像データを用いるようにしてもよい。このようにしても、実際のパターン画像の投影にカメラで撮像された画像データの処理は行われないので、遅延は生じず、アルゴリズムがシンプルになり、高速計算が可能となる。

【0089】
その他、制御部10のハードウエア構成やソフトウエア構成は一例であり、任意に変更および修正が可能である。

【0090】
制御部10の処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体(フレキシブルディスク、CD-ROM、DVD-ROM等)に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する制御部10を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで制御部10を構成してもよい。

【0091】
制御部10の機能を、OS(オペレーティングシステム)とアプリケーションプログラムの分担、またはOSとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。

【0092】
搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板(BBS, Bulletin Board System)にコンピュータプログラムを掲示し、ネットワークを介してコンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、OSの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。

【0093】
この発明は、この発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、この発明の範囲を限定するものではない。すなわち、この発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。
【符号の説明】
【0094】
1、2、3 プロジェクタ、5 プロジェクタ群、10 制御部、11 変換行列生成部、12 パターン生成部、13 色キャリブレーション部、14 投影制御部、40 計測領域、50 障害物、51 計測対象、100 投影システム、d1、d2 奥行き(位置)、I1、I2、I3、I4 スクリーン(被投影面)、P1、P2 パターン画像、PL1、PL2 投影面、L1、L2 投影光、LA1、LA2、LA3、LA4、LA5 レイヤ。
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14
【図16】
15
【図17】
16
【図18】
17
【図19】
18
【図20】
19
【図21】
20
【図22】
21
【図23】
22
【図24】
23
【図25】
24
【図26】
25
【図27】
26
【図28】
27
【図29】
28
【図30】
29
【図31】
30
【図32】
31