TOP > 国内特許検索 > 裸眼対応多重画像提示装置 > 明細書

明細書 :裸眼対応多重画像提示装置

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第6233876号 (P6233876)
公開番号 特開2015-026918 (P2015-026918A)
登録日 平成29年11月2日(2017.11.2)
発行日 平成29年11月22日(2017.11.22)
公開日 平成27年2月5日(2015.2.5)
発明の名称または考案の名称 裸眼対応多重画像提示装置
国際特許分類 H04N  13/04        (2006.01)
G02B  27/22        (2006.01)
G09G   5/02        (2006.01)
G09G   5/10        (2006.01)
G09G   5/36        (2006.01)
G09G   5/00        (2006.01)
FI H04N 13/04 020
G02B 27/22
G09G 5/02 B
G09G 5/10 B
G09G 5/36 510V
G09G 5/00 510V
請求項の数または発明の数 5
全頁数 12
出願番号 特願2013-154106 (P2013-154106)
出願日 平成25年7月25日(2013.7.25)
審査請求日 平成28年6月22日(2016.6.22)
特許権者または実用新案権者 【識別番号】304021277
【氏名又は名称】国立大学法人 名古屋工業大学
発明者または考案者 【氏名】佐藤 淳
【氏名】坂上 文彦
審査官 【審査官】佐野 潤一
参考文献・文献 特開2003-264853(JP,A)
特開2008-129162(JP,A)
特開2012-133089(JP,A)
特開2012-058736(JP,A)
調査した分野 H04N 13/00-15/00
G09G 5/00-5/42
G02B 27/22
特許請求の範囲 【請求項1】
単一または複数の観測者に対して画像を提示する画像提示装置において、
分光放射輝度を制御することが可能な画像提示部を持ち、
前記観測者の右目及び左目のそれぞれの分光感度特性に応じて、
前記画像提示部の前記分光放射輝度を制御して前記画像を提示することにより、
前記観測者の右目及び左目のそれぞれに対して異なる前記画像を同時に提示することを特徴とする画像提示装置。
【請求項2】
可視光の波長帯域において4種以上の分光放射特性を持つ複数の画像提示手段よりなる前記画像提示部を持つことを特徴とする請求項1に記載の画像提示装置。
【請求項3】
前記観測者が選択した画像を元に、
複数の前記画像提示手段のそれぞれにおいて提示する提示用画像を作成する画像作成部を持ち、
前記提示用画像を前記画像提示手段により、
単一の多重画像を作成することを特徴とする請求項2に記載の画像提示装置。
【請求項4】
前記画像作成部において、
前記分光感度特性および前記分光放射特性より感度特性行列を計算し、
前記観測者が選択した画像と前記感度特性行列より、
前記提示用画像を作成することを特徴とする請求項3に記載の画像提示装置。
【請求項5】
前記画像作成部において、
前記画像提示手段の提示輝度の範囲内において、
前記観測者が観測する前記画像のコントラストが高くなるように、
前記提示用画像を作成することを特徴とする請求項3又は4のいずれかに記載の画像提示装置。
発明の詳細な説明 【技術分野】
【0001】
本発明は、単一の画面又はスクリーンを用いて多人数で同時に異なる画像又は映像を裸眼のままで観賞することを可能にする画像提示装置である。この画像提示装置の技術を用いることにより家庭の1台のテレビを多人数で同時にシェアして異なる番組を観賞することや、映画館等で一つのスクリーンで同時に異なる複数の映画を上映することなどが可能となる。さらに、左右の目に異なる画像を提示することで、裸眼立体視も可能となる。
【背景技術】
【0002】
非特許文献1に、単一の映像提示装置を用いて複数の映像を同時に提示する技術が紹介されている。これでは、カラーフィルタや偏光板などを用いた特殊なメガネを装着する方法が採用されている。この代表的な技術として、特許文献1や特許文献2に記載されているように特殊なメガネを装着して左右の目に異なる映像を提示する立体視のための技術があげられる。
また、メガネを装着しない方法としては、特許文献3に記載されているように映像提示装置の前面にマイクロレンズやレンティキュラレンズやパララックスバリアを配置し、観測する方向によって提示する映像を変化させる技術がある
【先行技術文献】
【0003】

【特許文献1】WO2011102136 A1
【特許文献2】US Patent No.6283597
【特許文献3】特開2004-40722号公報
【0004】

【非特許文献1】3D立体映像表現の基礎、オーム社、平成22年
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記のように、従来の方法では、メガネやレンティキュラレンズを用いて観測者に届く光を制御することにより観測者それぞれに対して異なる映像を提示していた。しかし、メガネを用いる方法は、メガネ装着による観測者の負担が大きいため、長時間の視聴が難しい。また、レンティキュラレンズやパララックスバリアを用いる方法では、観測する方向や位置が限定されており、自由な位置での映像の視聴ができないという問題がある。
【0006】
これに対して本発明は、人間の視覚特性(以下、「分光感度特性」という)が個人間で異なっていることに着目し、画像表示装置の分光放射輝度を制御することにより、見る人それぞれが異なる画像を観測することを利用した画像提示装置に関する。つまり、すべての観測者が同一の光(画像)を観測するが、それぞれの観測者の分光感度特性の差異により異なる画像として知覚する。
【0007】
人間の色の知覚は3つの錐体細胞であるS(青)、M(緑)、L(赤)のセンサの出力により決定される。この錐体細胞(センサ)の分光感度特性は個人ごとに微妙に異なるため、画像提示装置の分光放射輝度を細かく制御することにより、個人ごとに異なる画像を提示することが可能となる。
しかし、現在の主たる画像提示装置は、赤(R)、緑(G)、青(B)の3チャンネルにより色を表現しており、分光放射輝度を細かく制御することはできない。
【0008】
そこで、画像提示装置をより細かいバンドの光を用いて、多チャンネル化することにより、分光放射輝度の細かな制御を実現する。このような多チャンネル映像提示装置としては、マルチバンドプロジェクタやマルチバンドディスプレイがあげられる。これらの多チャンネル映像提示装置は、通常のRGBよりも狭い帯域の光を多数用いて色の表現を行う。そのため、一般的な3チャンネルの映像提示装置と比較して、より細かく分光放射輝度を制御することが可能である。
これを用いることにより観測者ごとの分光感度特性に合わせた画像を提示することが可能となり、1つの画像提示装置から多数の画像を同時に出力することができる。
【課題を解決するための手段】
【0009】
発明1は、単一または複数の観測者に対して画像を提示する画像提示装置において、分光放射輝度を制御することが可能な画像提示部を持ち、観測者の右目及び左目のそれぞれの分光感度特性に応じて、画像提示部の前記分光放射輝度を制御して画像を提示することにより、観測者の右目及び左目のそれぞれに対して異なる画像を同時に提示することを特徴とする画像提示装置である。発明2は、可視光の波長帯域において4種以上の分光放射特性を持つ複数の画像提示手段よりなる画像提示部を持つことを特徴とする発明1に記載の画像提示装置ある。発明3は、観測者が選択した画像を元に、複数の画像提示手段のそれぞれにおいて提示する提示用画像を作成する画像作成部を持ち、提示用画像を画像提示手段により、単一の多重画像を作成することを特徴とする発明2に記載の画像提示装置である。発明4は、画像作成部において、分光感度特性および分光放射特性より感度特性行列を計算し、観測者が選択した画像と感度特性行列より、提示用画像を作成することを特徴とする請発明3に記載の画像提示装置である。発明5は、画像作成部において、画像提示手段の提示輝度の範囲内において、観測者が観測する画像のコントラストが高くなるように、提示用画像を作成することを特徴とする発明3又は4のいずれかに記載の画像提示装置である。

【図面の簡単な説明】
【0010】
【図1】人間の目の3つの錐体細胞(S、M、L)の分光感度特性x1(λ)、 x2(λ)、 x3(λ)を示す図である。
【図2】本発明の実施例の一つである観測者ごとへの異なる画像提示の図である。
【図3】本発明の実施例の一つである裸眼立体視のための視差画像の表示図である。
【図4】本発明のシステム構成を示す図である。
【図5】本発明における多重画像提示装置例で、5つの異なるバンドの画像を提示することを示す図である。
【図6】本発明の多重画像提示装置において用いた5つのバンドパスフィルタの分光透過率を示す図である。
【図7】2つの異なる観測者(センサ)に提示させる目標画像である。
【図8】5台のプロジェクタから投影する画像である。
【図9】各観測者が実際に観測する画像である。
【図10】微細な表示素子に複数のバンドパスフィルタを装着した複数の表示素子による画像提示装置を示す図である。
【図11】DMD(デジタル・ミラー・デバイス)を用いた画像提示装置を示す図である。
【図12】テレビ放送を多重画像提示装置で観賞する場合の作動フローを示す。
【図13】立体映像を多重画像提示装置で観賞する場合の作動フローを示す。
【発明を実施するための形態】
【0011】
(原理)
多チャンネル画像提示装置を用いて観測者に異なる画像を観測させる方法について示す。まず、観測者が画像提示装置中の1点(画素)を観測した場合を考える。観測者の分光感度特性についてはあらかじめ計測されており、第-j錐体の波長λに関する分光感度特性をxj (λ)とする。図1は、人間の目の3つの錐体細胞(S、M、L)の分光感度特性x1(λ)、 x2(λ)、 x3(λ)の例である。
また、画像提示装置のチャンネル数をNとし、第iチャンネルの波長λに関する分光放射特性をEi (λ)、第iチャンネルの提示輝度をbiとする。このとき、観測者の第-j錐体において観測される輝度X jは以下の式で計算できる。
【数1】
JP0006233876B2_000002t.gif

数1をより簡潔に記述するために、定数Cjiを以下のように定義する。
【数2】
JP0006233876B2_000003t.gif

このCjiを用いることにより、数1は以下のように書き換えられる。
【数3】
JP0006233876B2_000004t.gif

数3は、行列形式を用いて以下の数4のように表すことができる。
【数4】
JP0006233876B2_000005t.gif

また、複数の観測者(あるいは複数の目)が存在する場合には、数4を一般化することで、提示輝度biと複数の観測者の観測輝度X jとの関係を次式のように表すことができる。
【数5】
JP0006233876B2_000006t.gif

ここで、Mは観測者の錐体の総数である。

【0012】
数5においてCjiより構成される行列を感度特性行列と呼ぶ。この感度特性行列は観測者と画像提示装置との間の関係を表しており、提示された光を観測者がどのようにとらえるかを表している。また、数5は感度特性行列が既知であれば、数5の連立方程式を満たす提示輝度biを求めることによりそれぞれの観測者に対して任意の画像が提示可能であることを示している。つまり、Xjにそれぞれの観測者に提示したい画像の輝度の値を代入し、この連立方程式を解いて提示輝度biを求め、これを提示することにより、それぞれの観測者に対して異なる輝度を観測させることが可能である。したがって、すべての画素について同様の処理を行うことにより、図2に示すように各観測者に対してそれぞれ異なる任意の画像を提示することが可能となる。また、各感度特性行列に右目、左目の特性を用いることにより、図3に示すような裸眼立体視を実現することができる。
即ち、各観測者に、それぞれ異なる任意の画像を提示し観測させることは、上述の連立方程式を解いて求めた提示輝度bに応じて、画像提示装置の画像提示部の分光放射輝度を制御することにより、求めた提示輝度bよりなる画像をスクリーンやLCD(液晶ディスプレイ)等に表示することである。

【0013】
しかし、上記の連立方程式を解いた場合、解biに負の値が含まれる場合が存在する。一般的な画像提示装置からは負の明るさを持つ光を投影することができないため、このままでは適切な画像提示を実現できない。そのため、提示する画像に補正を加えることにより画像提示を実現する。
いま,2人の観測者に対して画像提示を行う場合を考える。それぞれの観測者に提示する目標画像をX=[X1、X2、X3]、Y=[Y1、Y2、Y3]、としたとき、補正画像X’= [X1’、X2’、X3’]、Y’ =[Y1’、Y2’、Y3’]を以下の数6のように定義する。
【数6】
JP0006233876B2_000007t.gif

ここでα、βはそれぞれの画像全体に対するスケール係数であり、m-、nは輝度のオフセットである。1は全要素の値が1のベクトルである。これらの係数を適切に設定することにより、解が負の値を含まないように画像を補正する。
まず、目標画像をX’、Y’とし、提示輝度b’と観測輝度の関係を以下のように記述する。
【数7】
JP0006233876B2_000008t.gif

ここで、C1、C2はそれぞれの観測者の分光感度特性から導かれる感度特性行列である。先に述べたとおり画像提示装置では負の光を表現できないため、提示輝度b’には負の値が含まれてはならない。そこで、b’に含まれる負の値をペナルティとする評価関数を定義する。
いま、画素kにおいて数7の連立方程式を解くことにより解b’kが得られたとする。このとき、b’kに含まれる負の値を用いてペナルティNkを以下のように定義する。
【数8】
JP0006233876B2_000009t.gif

ここで、bki’はbk’の第i要素を表し、ζ(x)はx<0のとき-1となり、x≧0のとき0となる関数である。このNの画像全体の総和を求めることにより、ペナルティ-Nallを以下のように定義する。
【数9】
JP0006233876B2_000010t.gif

このペナルティNallが最少となるようにα、β、m、nを決定することにより負の値を含まない画像を導出することができる。

【0014】
しかし、このように負の輝度の値を含まないように画像の補正を行う場合、画像のコントラストが低下し画像の視認性が悪化する。この問題を避けるために、画像補正において画像コントラストの低下を抑制する。上記の式で示した画像補正後のコントラストは、以下の式でR1、R2として計算される。
【数10】
JP0006233876B2_000011t.gif

ここで、Imaxは目標画像中の最大輝度を表す。このR1,R2を最大化することにより、コントラストの低下を抑制することが可能である。したがって,R1、R2を最大化し、かつ、Nallを最小化させるように、以下の評価値Eを最大化することにより適切な画像補正を実現することができる。
【数11】
JP0006233876B2_000012t.gif

ここで、w1、w2はそれぞれの評価値に対する重みである。このEを最大化するようα、β、m、nを求め、数7により目標画像X、Yから各プロジェクタの提示輝度b’を求めることで、画像提示装置により表現可能でありかつ視認性の高い画像を、それぞれの観測者に対して独立に提示することが可能となる。
即ち、各観測者に、それぞれ異なる任意の画像を提示し観測させることは、上述の連立方程式を解いて求めた提示輝度b’に応じて、画像提示装置の画像提示部の分光放射輝度を制御することにより、求めた提示輝度b’よりなる画像をスクリーンやLCD(液晶ディスプレイ)等に表示することである。

【0015】
(システム構成および動作)
図4は、本発明の画像提示装置のシステム構成を示す。画像提示装置は、提示用画像を作成する画像作成部と作成された提示用画像をプロジェクタ等により提示する画像提示部からなる。
画像作成部は提示用の画像を作成する。提示用画像は、画像情報(例えばテレビ放送)と感度特性行列から作成される。
感度特性行列は、観測者の目1から観測者の目Mまでの分光感度特性xj(j=1~,M)、および画像提示手段1からNの分光放射特性Ei(i=1~N)から計算される。
複数の観測者は、観測者操作部(形態例:画像提示装置の表面部にパネル状に配置)にて、自己の分光感度特性、観賞したい画像(テレビでは番組のチャンネル)を選定する。
以上より、画像作成部では、複数の提示用画像が作成される。
画像提示部は、複数の画像提示手段(例:プロジェクタ)1からNで構成される。各画像提示手段には、光の波長の一定範囲のみを透過させる分光透過率を持つバンドパスフィルタ1からNを設ける。バンドパスフルタ1からNは、可視光の波長範囲(400~750nm)を分割するように設定される。
各画像提示手段から、提示用画像が1つのスクリーン上においてぴったりと重なるように平面射影変換を用い形状変形されて投影され、一つの多重画像が生成される。

【0016】
図5は、本発明の画像提示装置の画像提示部の例を示す。この画像提示部は5台のプロジェクタ(画像提示手段)より成る。各プロジェクタには、図6に示す分光透過率を持つ5種類のバンドパスフィルタを設置した。バンドパスフィルタf1 は青色(波長400~500nm)、バンドパスフィルタf2は赤色(波長470~550nm)、バンドパスフィルタf3は黄色(波長530~620nm)、バンドパスフィルタf4は緑色(波長600~680nm)、バンドパスフィルタf5は紫色(波長650~750nm)を用いた。
ここで、プロジェクタとバンドパスフィルタのセットの数は6種以上でもよい。バンドパスフィルタの数を増やすと提示画像の光の情報量が増え、より多くの画像を1つの多重画像として提供することができる。また、通常のRGBよりも狭い帯域の光を利用するため、少なくとも4種以上の分光透過率、即ち分光放射特性を持つ画像提示手段を用いる。

【0017】
各プロジェクタから白黒画像を、各バンドパスフィルタを介して投光することで、5つの異なる分光分布を持つ画像を投光することができる。
これらのプロジェクタは、一つのスクリーン画面上において全てのプロジェクタの画像がぴったりと重なるよう、画像作成部において平面射影変換を用いて画像の位置合わせをする制御(画像位置合わせ制御)を行っている。画像の位置合わせは、ミラーやレンズを用いて光学的、あるいは機械的に行っても構わない。

【0018】
図5、図6の画像提示装置を用いて、異なる画像を観測させる例を示す。
本実施例では、異なる分光感度特性を持つ観測者として、図5の上部に示すカラーカメラとモノクロカメラという2つの異なる分光感度特性を持つカメラを用いた。カラーカメラのRチャンネル、Gチャンネル、Bチャンネルの分光感度特性xj(j=1、2、3)とモノクロカメラの分光感度特性x4をあらかじめ測定しておき、画像提示装置の画像作成部に入力する。

【0019】
それぞれの観測者に観測させたい目標画像を図7に示す。図7(a)はカラーカメラに観測させたい目標画像(赤色のバラの花)、図7(b)はモノクロカメラに観測させたい目標画像(モノクロの船)である。
次に、これらの目標画像からプロジェクタ投影画像を求める方法について説明する。まず、カラーカメラとモノクロカメラの各チャンネルの分光感度特性xj(j=1~4)と、各プロジェクタの分光放射特性Ei(i=1~5)より、数2を用いて感度特性行列の各要素Cjiを求め、カラーカメラの感度特性行列Cとモノクロカメラの感度特性行列C2を求める。次に、カラーカメラの目標画像X、モノクロカメラの目標画像Y、感度特性行列C1、C2より、数7を用いて5台のプロジェクタから投影する提示輝度b’を求める。この提示輝度b’の計算は、提示するプロジェクタ画像の全ての画素において行う。これがプロジェクタ投影画像となる。このとき、数7のα、β、m、n は数11の評価値Eを最大化するように求める。図8はこのようにして求めた5台の各プロジェクタの投影画像(提示輝度よりなる画像)である。

【0020】
これらの画像を、バンドパスフィルタを設置したそれぞれのプロジェクタから投影した結果、カラーカメラとモノクロカメラではそれぞれ図9に示す画像が観測された。図9(a)はカラーカメラの観測画像であり、図9(b)はモノクロカメラの観測画像である。カラーカメラである観測者は赤いバラを観測し、モノクロカメラである別の観測者はモノクロの船を観測した。
ここでは観測者が観測した画像を定量的に示すためカラーカメラとモノクロカメラを用いたが、これを異なる分光感度特性を持つ2人の人間の眼と考えれば、異なる2人の人間に異なる画像を提示していることになる。この例のように、本発明では、異なる分光感度特性を持つ観測者に対して異なる画像を提示する多重画像提示を実現した。

【0021】
以上述べたシステム構成では、複数のプロジェクタを用いて画像提示装置を構成したが、図10に示すように、LCD(液晶ディスプレイ)などの微細な表示素子に複数のバンドパスフィルタを装着して複数の表示素子により画像の一つの画素を構成し、このような画素を縦横に敷き詰めることで画像提示装置を構成することもできる。またDLPプロジェクタ(テキサス・インスツルメンツ社の登録商標)において、図11に示すようにプロジェクタの投光部の前に回転円盤を設置し、この回転円盤に複数のバンドパスフィルタを装着しておき、回転円盤の回転と同期してDMD(デジタル・ミラー・デバイス)により各バンドパスフィルタの画像を提示することにより画像提示装置を構成することもできる。いずれの構成においても、先に述べた方法により求めた提示輝度b’を提示することで多重画像提示を実現することができる。

【0022】
図12には、2人の観測者がテレビ観賞する場合を想定した本発明の実施例をフローで示す。この場合には6台のバンドパスフィルタ付きのプロジェクタ(画像提示手段)を用いる。
第一に、2人の観測者の目の分光感度特性を事前に計測し、画像提示装置の画像作成部に入力する。
第二に、各観測者は、画像提示装置の分光感度特性の選択部(図示せず)において、自己の分光感度特性を選択する。同時に、テレビにて各人の観賞したい番組を選定する。このテレビ放送の画像情報は、画像作成部に入力される。
第三に、画像作成部において、各観測者の分光感度特性と6台の画像提示手段の分光放射特性から感度特性行列を計算する。
第四に、画像作成部において、各観測者が選定した番組放送の画像情報と感度特性行列より、6台の画像提示手段から投影する提示用画像Aを作成する。このとき、同時に、視認性を向上させるために、提示用画像Aのコントラストの最適化処理を行う。また、6台の画像提示手段の提示用画像Aがスクリーン上においてぴったりと重なるように平面射影変換を用いて各画像提示手段の提示用画像Aの形状変形を行う。
第五に、画像提示部において、6台の画像提示手段から提示用画像Aを投影し、スクリーン上において一つの多重画像Bを生成する。
第六に、各観測者は裸眼で同一のスクリーンに投影された多重画像Bを見ることにより、各観測者が選定した異なる番組を、同時に、カラーで観賞することができる。

【0023】
図13には、1人の観測者がカラー立体映像を観賞する場合を想定した本発明の実施例をフローで示す。この場合には6台のバンドパスフィルタ付きのプロジェクタ(画像提示手段)を用いる。
第一に、観測者の左右の目の分光感度特性を事前に計測し、画像提示装置の画像作成部に入力する。
第二に、カラー立体映像の右目用カラー画像と左目用カラー画像を画像作成部に入力する。
第三に、画像作成部において、観測者の左右の目の分光感度特性と6台の画像提示手段の分光放射特性から感度特性行列を計算する。
第四に、画像作成部において、右目用カラー画像と左目用カラー画像と感度特性行列より、6台の画像提示手段から投影する提示用画像Aを作成する。このとき、同時に、視認性を向上させるために、提示用画像Aのコントラストの最適化処理を行う。また、6台の画像提示手段の提示用画像Aがスクリーン上においてぴったりと重なるように平面射影変換を用いて各画像提示手段の提示用画像Aの形状変形を行う。
第五に、画像提示部において、6台の画像提示手段から提示用画像Aを投影し、スクリーン上において一つの多重画像Bを生成する。
第六に、観測者は裸眼で同一のスクリーンに投影された多重画像Bを見ることにより、カラーの立体映像を観賞することができる。
【産業上の利用可能性】
【0024】
本発明を用いることにより,家庭内における単一のテレビを同時にシェアして視聴することが可能となる.また,映画館などでは,単一のスクリーンに複数の映像を同時に投影することが可能となる.立体視装置においても、視点位置に依存せずに立体視可能な裸眼の立体視が実現できる。




図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12