Specification :(In Japanese)表示撮像装置

Country	(In Japanese)日本国特許庁(JP)
Gazette	(In Japanese)公開特許公報(A)
Publication number	P2020-022006A
Date of publication of application	Feb 6, 2020
Title of the invention, or title of the device	(In Japanese)表示撮像装置
IPC (International Patent Classification)	H04N   5/225       (2006.01) G09F   9/00        (2006.01) G02B   5/32        (2006.01)
FI (File Index)	H04N 5/225 400 G09F 9/00 366G G02B 5/32 G09F 9/00 313 H04N 5/225 100
Number of claims or invention	6
Filing form	OL
Total pages	17
Application Number	P2018-142788
Date of filing	Jul 30, 2018
Inventor, or creator of device	(In Japanese)【氏名】山口 雅浩 【氏名】中村 友哉 【氏名】五十嵐 俊亮 【氏名】今野 光基
Applicant	(In Japanese)【識別番号】304021417 【氏名又は名称】国立大学法人東京工業大学
Representative	(In Japanese)【識別番号】100067736、【弁理士】、【氏名又は名称】小池 晃 【識別番号】100192212、【弁理士】、【氏名又は名称】河野 貴明 【識別番号】100204032、【弁理士】、【氏名又は名称】村上 浩之
Request for examination	(In Japanese)未請求
Theme code	2H249 5C122 5G435
F-term	2H249CA01 2H249CA04 2H249CA05 2H249CA09 2H249CA24 5C122DA07 5C122DA09 5C122EA47 5C122EA54 5C122FB02 5C122FB11 5C122FB15 5C122FK12 5C122GE11 5G435AA00 5G435AA18 5G435BB12 5G435DD11 5G435EE49 5G435FF01 5G435FF08 5G435HH02 5G435LL07
Abstract	(In Japanese)【課題】薄型の構成によって撮像部で撮像された被写体となる人物の撮像画像の視線と当該人物の表示部への視線を一致させる。 【解決手段】表示部102の前面に位置する被写体Obを正面から撮像可能な機能を有する表示撮像装置100であって、表示部の前面側に設けられる導波路型ホログラム光学素子106と、導波路型ホログラム光学素子の周縁部の何れかに設けられ、導波路型ホログラム光学素子を介して被写体を撮像する撮像部104と、撮像部で撮像された撮像データに対して画像再構成処理をして撮像画像を出力する画像再構成処理部110と、を備え、撮像部は、導波路型ホログラム光学素子で回折された被写体からの光が導光されることによって被写体を撮像する。 【選択図】図1
Scope of claims	(In Japanese)【請求項1】 表示部の前面に位置する被写体を正面から撮像可能な機能を有する表示撮像装置であって、 前記表示部の前面側に設けられる導波路型ホログラム光学素子と、 前記導波路型ホログラム光学素子の周縁部の何れかに設けられ、前記導波路型ホログラム光学素子を介して前記被写体を撮像する撮像部と、 前記撮像部で撮像された撮像データに対して画像再構成処理をして撮像画像を出力する画像再構成処理部と、を備え、 前記撮像部は、前記導波路型ホログラム光学素子で回折された前記被写体からの光が導光されることによって該被写体を撮像することを特徴とする表示撮像装置。 【請求項2】 前記導波路型ホログラム光学素子の前面側に透明板部材が更に設けられ、 前記撮像部は、前記導波路型ホログラム光学素子で回折された前記被写体からの前記光が前記透明板部材で全反射を繰り返しながら導光される位置に設けられていることを特徴とする請求項1に記載の表示撮像装置。 【請求項3】 前記透明板部材には、前面側に前記導波路型ホログラム光学素子と当接する領域と重複しない領域に他の導波路型ホログラム光学素子が更に設けられており、 前記撮像部は、前記導波路型ホログラム光学素子で回折された前記被写体からの前記光が前記透明板部材で全反射後に前記他の導波路型ホログラム光学素子で回折した該被写体からの該光を導光可能な位置に設けられていることを特徴とする請求項2に記載の表示撮像装置。 【請求項4】 前記撮像部は、前記導波路型ホログラム光学素子の前記周縁部の何れかに複数設けられていることを特徴とする請求項1又は2に記載の表示撮像装置。 【請求項5】 前記表示部の前面側には、干渉縞のパターンがそれぞれ異なる複数の導波路型ホログラム光学素子が設けられていることを特徴とする請求項1乃至4の何れか1項に記載の表示撮像装置。 【請求項6】 前記複数の導波路型ホログラム光学素子は、それぞれが互いに重複しないように前記表示部の前面側に配置されていることを特徴とする請求項5に記載の表示撮像装置。
Detailed description of the invention	(In Japanese)【技術分野】 【0001】 本発明は、表示部の前面に位置する被写体を撮像部で正面から撮像可能な表示撮像装置に関する。 【背景技術】 【0002】 近年では、画像符号化技術等の通信技術の発展により、遠隔地間を映像・音声通信網で結んだTV電話やTV会議システム等の双方向映像通信が急速に普及してきている。音声及び映像を双方向映像通信する際に、表示部の前面に位置する被写体となる人物を撮像部で正面から撮像可能な表示撮像装置が使用される。しかしながら、かかる表示撮像装置では、撮像部が表示部の上側等に所定の間隔で配置されるため、被写体の人物の視線が下向きの影像となってしまい、双方向映像通信を介した対話形式を実現する際に、対話する双方の人物の視線が一致せずに問題となっていた。 【0003】 このような双方向の視線不一致を解決する従来技術として、特許文献1には、半透明鏡をディスプレイの前面に設置し、ディスプレイ前方の被写体を半透明鏡からの反射像として液晶ディスプレイの周囲に設置された撮像装置により撮像を行う手法が開示されている。また、特許文献2には、スクリーンと、プロジェクタと、ビデオカメラと、プロジェクタの映像表示体に映像を表示する前に逆台形歪み補正を行う逆台形歪み補正回路とを備え、プロジェクタをスクリーンの斜め後方に配置し、ビデオカメラの光軸をスクリーンに対して垂直になるように配置した表示撮像装置が開示されている。 【0004】 さらに、特許文献3には、液晶プロジェクタにより映像を投射表示するスクリーンと、プロジェクタの近傍に設けられスクリーン越しの被写体である人物を撮影するカメラと、カメラの前面に設置される偏光板とから構成される表示撮影装置が開示されている。また、特許文献4には、集光機能を持つように微小半透鏡を組み合わせ配列した微小半透鏡アレイを表示装置の前面に配置して、表示装置の表示画像を使用者の方向に集め、表示画像の輝度向上を図る一方、微小半透鏡アレイにおける上向きに反射する領域の使用者の反射像を撮像装置で撮像することにより、その使用者の正面を撮像可能にし、視線一致を図る表示撮像装置が開示されている。一方、特許文献5には、ホログラム光学素子を用いてオフアクシスでの正面撮影を行うことによって、虚像ディスプレイも実現する映像提示システムが開示されている。 【先行技術文献】 【0005】 【特許文献1】特開平4－145789号公報 【特許文献2】特開平6－133311号公報 【特許文献3】特開2000－075129号公報 【特許文献4】特開平6－098320号公報 【特許文献5】特開2018－026775号公報 【発明の概要】 【発明が解決しようとする課題】 【0006】 しかしながら、これらの表示撮像装置等は、何れもカメラやディスプレイ等の構成要素を配置させる際に高さや奥行き等を必要とする三次元的に展開される構成となっている。このため、スマートフォンやタッチパッド等の薄型の携帯情報端末装置に対して、表示部と撮像部を備える表示撮像装置として適用するのが難しいものとなっていた。すなわち、これらの薄型の携帯情報端末装置を用いてWeb通話等をする際に、双方向から撮像される被写体となる人物の視線が互いに一致させるために、撮像部によって撮像された撮像画像の視線と表示部への視線を一致させることが望まれていた。 【0007】 本発明は、上記課題に鑑みてなされたものであり、薄型の構成によって撮像部で撮像された被写体となる人物の撮像画像の視線と当該人物の表示部への視線を一致させることの可能な、新規かつ改良された表示撮像装置を提供することを目的とする。 【課題を解決するための手段】 【0008】 本発明の一態様は、表示部の前面に位置する被写体を正面から撮像可能な機能を有する表示撮像装置であって、前記表示部の前面側に設けられる導波路型ホログラム光学素子と、前記導波路型ホログラム光学素子の周縁部の何れかに設けられ、前記導波路型ホログラム光学素子を介して前記被写体を撮像する撮像部と、前記撮像部で撮像された撮像データに対して画像再構成処理をして撮像画像を出力する画像再構成処理部と、を備え、前記撮像部は、前記導波路型ホログラム光学素子で回折された前記被写体からの光が導光されることによって該被写体を撮像することを特徴とする。 【0009】 本発明の一態様によれば、表示部の前面側に設けられた導波路型ホログラム光学素子によって回折された被写体からの光を撮像部に導光して撮像してから、画像再構成処理をして撮像画像を出力するので、被写体となる人物の表示部への視線と当該人物の撮像画像の視線を一致させることができる。 【0010】 このとき、本発明の一態様では、前記導波路型ホログラム光学素子の前面側に透明板部材が更に設けられ、前記撮像部は、前記導波路型ホログラム光学素子で回折された前記被写体からの前記光が前記透明板部材で全反射を繰り返しながら導光される位置に設けられていることとしてもよい。 【0011】 このようにすれば、導波路型ホログラム光学素子によって回折された被写体からの光が透明板部材で全反射を繰り返しながら、撮像部に導光されるので、導波路型ホログラム光学素子と透明板部材を介して、撮像部で被写体を撮像できるようになる。 【0012】 また、本発明の一態様では、前記透明板部材には、前面側に前記導波路型ホログラム光学素子と当接する領域と重複しない領域に他の導波路型ホログラム光学素子が更に設けられており、前記撮像部は、前記導波路型ホログラム光学素子で回折された前記被写体からの前記光が前記透明板部材で全反射後に前記他の導波路型ホログラム光学素子で回折した該被写体からの該光を導光可能な位置に設けられていることとしてもよい。 【0013】 このようにすれば、撮像部の設置箇所の自由度が増すので、装置の小型化が実現され易くなる。 【0014】 また、本発明の一態様では、前記撮像部は、前記導波路型ホログラム光学素子の前記周縁部の何れかに複数設けられていることとしてもよい。 【0015】 このようにすれば、複数の撮像部を用いることによって、被写体の画像を多視点から撮像して、三次元情報を取得できるようになる。 【0016】 また、本発明の一態様では、前記表示部の前面側には、干渉縞のパターンがそれぞれ異なる複数の導波路型ホログラム光学素子が設けられていることとしてもよい。 【0017】 このようにすれば、複数の導波路型ホログラム光学素子を用いることによって、波長の異なる光が撮像部に導光され易くなるので、画像再構成処理後の撮像画像の精度が良好になる。 【0018】 また、本発明の一態様では、前記複数の導波路型ホログラム光学素子は、それぞれが互いに重複しないように前記表示部の前面側に配置されていることとしてもよい。 【0019】 このようにすれば、複数の導波路型ホログラム光学素子を用いることによって、被写体を異なる角度から撮像することができる。 【発明の効果】 【0020】 以上説明したように本発明によれば、表示部の前面側に設けられた導波路型ホログラム光学素子によって回折された被写体からの光を撮像部に導光して撮像してから、画像再構成処理をして撮像画像を出力できるようになる。このため、被写体となる人物が表示部に視線を送る際に、当該視線が撮像部への視線と一致するようになるので、被写体となる人物の表示部への視線と撮像部によって撮像された人物の視線の一致が実現される。 【図面の簡単な説明】 【0021】 【図1】本発明の一実施形態に係る表示撮像装置の概略構成を示すブロック図である。 【図2】本発明の一実施形態に係る表示撮像装置に備わる導波路型ホログラム光学素子の作成方法の一例を示す動作説明図である。 【図3】（A）乃至（C）は、本発明の一実施形態に係る表示撮像装置による撮像データの一実施例の説明図である。 【図4】（A）乃至（C）は、本発明の一実施形態に係る表示撮像装置による撮像データの他の一実施例の説明図である。 【図5】本発明の一実施形態に係る表示撮像装置の一変形例の概略構成を示すブロック図である。 【図6】本発明の一実施形態に係る表示撮像装置による動作説明の一例を示す説明図である。 【図7】本発明の一実施形態に係る表示撮像装置による動作説明の他の一例を示す説明図である。 【図8】本発明の他の一実施形態に係る表示撮像装置の概略構成を示すブロック図である。 【図9】（A）は、本発明の更に他の一実施形態に係る表示撮像装置の概略構成を示すブロック図であり、（B）は、本発明の更に他の一実施形態に係る表示撮像装置を薄型多視点撮影デバイスに適用した場合の一例を示す動作説明図である。 【図10】（A）は、従来技術に係るジェスチャー入力の一例を示す動作説明図であり、（B）は、本発明の一実施形態に係る表示撮像装置をジェスチャー入力に適用した場合の一例を示す動作説明図である。 【発明を実施するための形態】 【0022】 以下、本発明の好適な実施の形態について詳細に説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。 【0023】 まず、本発明の一実施形態に係る表示撮像装置の概略構成について、図面を使用しながら説明する。図1は、本発明の一実施形態に係る表示撮像装置の概略構成を示すブロック図である。 【0024】 本発明の一実施形態に係る表示撮像装置100は、表示部102の前面に位置する人物等の被写体Obを正面から撮像可能な撮像部104を備える装置に適用される。特に、本発明の一実施形態に係る表示撮像装置100は、スマートフォンやタブレット端末等の薄型の情報端末装置で遠隔対話や自画撮影をするために、被写体Obとなる人物を正面から撮像する際に、人物の視線一致を実現させるために適用される。 【0025】 本発明の一実施形態に係る表示撮像装置100は、図1に示すように、表示部102と、撮像部104と、導波路型ホログラム光学素子106と、透明板部材108と、及び画像再構成処理部110とを備える。 【0026】 表示部102は、撮像対象や表示対象を表示する機能を有し、液晶等のディスプレイで構成される。撮像部104は、発光された光を利用して撮像対象を撮像するカメラとしての機能を有する。本実施形態では、撮像部104は、導波路型ホログラム光学素子106の周縁部の何れかに設けられ、当該導波路型ホログラム光学素子106を介して被写体Obを撮像する。具体的には、撮像部104は、導波路型ホログラム光学素子106で回折された被写体Obからの光が透明板部材108で全反射を繰り返しながら導光される位置に設けられており、表示部102の外縁側に設けられている。 【0027】 導波路型ホログラム光学素子106は、表示部102の前面側に設けられており、被写体Obからの光を回折する機能を有する。本実施形態では、導波路型ホログラム光学素子106は、その前面側に空気より屈折率の大きい材質であるガラス基板等から構成される透明板部材108が設けられている。このため、導波路型ホログラム光学素子106で回折された被写体Obからの光は、透明板部材108で全反射を繰り返しながら、図1に示すように、導波路型ホログラム光学素子106に重ねて設けられる透明板部材108の外縁側に設置されている撮像部104に導光される。 【0028】 本実施形態では、被写体Obから導波路型ホログラム光学素子106に入射した光は、ある角度を持って回折し、ガラス板導波路となる透明板部材108の側面から射出される。この光は、透明板部材108内部で全反射を何度か繰り返し、最後に導波路型ホログラム光学素子106が貼り付けられた面で全反射してから透明板部材108の下端から射出されるものと、導波路型ホログラム光学素子106が貼り付けられる面と反対側の面で最後に全反射して、透明板部材108の下端から射出するものの2種類に分けられる。 【0029】 この2種類の光線は、異なる方向を向いているために、シミュレーションで用いた光学系では、それぞれが撮影部104上の片側半分に入射することになる。撮影部104上の何れの側に入射するかは、導波路型ホログラム光学素子106によって回折した後に、導波路内部となる透明板部材108内での全反射する回数によって決まり、偶数回全反射する光が撮影部104の片側に入射し、奇数回全反射した光が撮影部104上のもう片側に入射するようになる。 【0030】 また、被写体Obからのある光は、導波路型ホログラム光学素子106によって回折し、透明板部材108導波路内部で全反射を繰り返すが、導波路型ホログラム光学素子106が貼り付けられている面で全反射をする場合には、全反射をする位置に入射する被写体Obの別の光源からの光が同じ角度で回折される。これらの光は、同じ光路を辿って撮像部104に入射するため、同じ画像が重なり合って撮影される。 【0031】 この重なりが起こらないようにするためには、透明板部材108内部で全反射を繰り返す光は、導波路型ホログラム光学素子106が貼り付けられている面で全反射をするとき、その位置に入ってくる被写体Obの別の光源からの光が全反射をしなければよい。すなわち、その位置に導波路型ホログラム光学素子106が貼り付けられていなければ良いので、導波路型ホログラム光学素子106の大きさによっては、画像の重なりが撮影されない。 【0032】 画像再構成処理部110は、撮像部104で撮像された撮像データに対して画像再構成処理をして撮像画像Ipを出力する機能を有する。導波路型ホログラム光学素子106を介して撮像部104で撮像された画像は、歪みや重なり等のノイズが含まれている。このため、本実施形態では、画像再構成処理部110は、かかる歪みや重なり等のノイズを除去するプログラムを用いて、撮像部104で撮像して得られた撮像データに対して画像再構成処理を行って、歪みや重なりの無い撮像画像Ipを取得する。 【0033】 具体的には、撮像データg、線形作用素H、及び撮像画像となる物体fは、下記の式（1）の関係を有していることから、線形画像となる撮像データgは、線形逆問題として表すことができるので、各種逆問題解法を用いて、元の物体fを推定することができる。 【0034】 【数1】 【0035】 このように、本発明の一実施形態に係る表示撮像装置100では、導波路型ホログラム素子106を表示部102の前面に重ねて設けているので、被写体Obからの光が導波路型ホログラム光学素子106で回折され、透明板部材108内で全反射を繰り返しながら、その辺縁に向けて進むようになる。そして、本実施形態の表示撮像装置100は、透明板部材108の辺縁から射出した光を撮像部104で撮影するようになっている。 【0036】 導波路型ホログラム光学素子106を介して、撮像部104で撮影された画像データには、歪みや重なり等のノイズが含まれるため、画像再構成処理部110で再構成処理を行うことによって、撮像画像Ipを取得するようになっている。このため、本実施形態では、被写体Obとなる人物が表示部102に視線を送る際に、当該視線が撮像部104への視線と一致するようになるので、被写体Obとなる人物の表示部102への視線と撮像部104への視線が一致するようになる。 【0037】 なお、本実施形態で使用される導波路型ホログラム光学素子106として、体積型ホログラムを用いる場合には、特定の波長・特定の入射角の光のみ、すなわち、ブラッグ条件を満たす入射角の光のみを回折する。表示部102からの光の大部分は、ブラッグ条件を満たさないため、導波路型ホログラム光学素子106を透過して、観察者に到達する。また、本実施形態では、赤緑青の3原色で撮影された導波路型ホログラム光学素子106を用いることにより、撮像部104では、カラーの画像を取得することができるようになっている。 【0038】 次に、本発明の一実施形態に係る表示撮像装置に備わる導波路型ホログラム光学素子の作成方法について、図面を使用しながら説明する。図2は、本発明の一実施形態に係る表示撮像装置に備わる導波路型ホログラム光学素子の作成方法の一例を示す動作説明図である。 【0039】 本発明の一実施形態に係る表示撮像装置100に備わる導波路型ホログラム光学素子106は、図2に示すような光学系を用いて作成される。なお、図2では、緑色のレーザ光を光源とした場合の導波路型ホログラム光学素子の作成方法の一例を示す。 【0040】 本実施形態では、図2に示すように、導波路型ホログラム光学素子106を台形プリズム1の下端に貼り付け、物体光として緑色のレーザ光を光源2で発光するように光源制御部8を制御する。そして、光源2から発光した緑色のレーザ光がレンズ3、4を介して平行光にされ、当該平行光を導波路型ホログラム光学素子106に対して垂直になるよう入射させる。 【0041】 一方、光源制御部8を制御して光源5で緑色のレーザ光として発光される参照光は、図2に示すように、レンズ6、7を介して平行光にされてから、台形プリズム1の脚の部分から当てる。そして、台形プリズム1の脚の部分に当てられた参照光は、台形プリズム1の内部で屈折し、当該台形プリズム1を構成するガラスの臨界角を超えた角度で導波路型ホログラム光学素子106に入射する。 【0042】 このようにして、緑色レーザ光の回折用の干渉縞が導波路型ホログラム光学素子106に形成される。また、光源2、5から発光する光を赤色レーザ光、青色レーザ光とすることによって、赤色レーザ光の回折用の干渉縞、青色レーザ光の回折用の干渉縞がそれぞれ導波路型ホログラム光学素子106に形成される。すなわち、表示部102の前面側に、各波長ごと、各色ごとに干渉縞のパターンがそれぞれ異なる複数の導波路型ホログラム光学素子106を設けることによって、波長の異なる光が撮像部104に導光されるので、画像再構成処理後の撮像画像の精度を良好にできるようになる。 【0043】 次に、本発明の一実施形態に係る表示撮像装置による撮像データの実施例について、図面を使用しながら説明する。図3（A）乃至図3（C）は、本発明の一実施形態に係る表示撮像装置による撮像データの一実施例の説明図であり、図4（A）乃至図4（C）は、本発明の一実施形態に係る表示撮像装置による撮像データの他の一実施例の説明図である。 【0044】 まず、本発明の一実施形態に係る表示撮像装置を用いて、図3（A）に示すようなスターチャートを被写体として撮像した。その際にガラス基板から射出する光をレンズにより撮像素子の上に結像させた。かかる撮像素子で結像させた被写体となるスターチャートをレーザプロジェクタで拡散スクリーン上に投影したものを導波路型ホログラム光学素子の下端から撮影すると、図3（B）に示すように、歪んだスターチャートとなった。その後、表示撮像装置の画像再構成処理部によって、撮像素子で結像して得られた歪んだスターチャートの撮像データに対して画像再構成処理を行うことによって、図3（C）に示すように、歪みや重なりの少ない撮影したい被写体に近いスターチャートの撮像画像を得ることができた。 【0045】 次に、導波路型ホログラム光学素子の背面にディスプレイを設置した場合に、ディスプレイからの光が撮影に及ぼす影響を実験によって確かめた。具体的には、図4（A）に示すように、ホログラム光学素子の背面にディスプレイを設置した光学系を用いて、実験した。ホログラム光学素子が貼り付けられていないガラス板導波路の面側に、印刷した「A」の文字をレーザで照射したものを被写体として導波路型ホログラム光学素子から10cmほど離れた位置に設置した。ディスプレイは、ガラス板導波路に貼り付けられた導波路型ホログラム光学素子に密着させるようにして、図4（A）中にあるカメラを用いて撮影を行なった。 【0046】 図4（A）中にあるカメラを用いて、導波路型ホログラム光学素子が貼り付けられていないガラス板を使用して撮像すると、図4（B）に示すように、ガラス板を通して外部の背景が見えており、印刷した「A」の文字は映っていない。このことから、以降の撮像データと図4（B）の差異が導波路型ホログラム光学素子による像であるということが分かる。 【0047】 次に、図4（A）中にあるカメラを用いて、導波路型ホログラム光学素子が貼り付けられているガラス板を使用して撮像すると、図4（C）に示すように、印刷した「A」の文字が明確に見えた上で、ディスプレイに表示した画像は、見られない。このことから、導波路型ホログラム光学素子の背面にディスプレイがあったとしても、このようにディスプレイの影響が見られない画像を取得することができた。 【0048】 なお、本実施形態では、撮像部104は、導波路型ホログラム光学素子106と重複する透明板部材108の外縁部側に向けて設けられているが、撮像部104の設置箇所及び設置方向は、図1に示す態様に限定されない。すなわち、図5に示すように、透明板部材108の前面側に、一方の導波路型ホログラム光学素子106aと当接する領域と重複しない領域に、他方の導波路型ホログラム光学素子106bを更に設けることによって、撮像部105が表示部102の外縁側に取り付けて、撮像対象となる被写体Obの方向に向けて設置される構成としてもよい。 【0049】 すなわち、図5に示すように、撮像部105が一方の導波路型ホログラム光学素子106aで回折された被写体Obからの光が透明板部材108で全反射後に、他方の導波路型ホログラム光学素子106bで回折した被写体Obからの光を導光可能な位置に設けられることによって、撮像部105の設置部位や設置方向の自由度が増す。このため、表示撮像装置101の設計自由度が向上した上で、装置の小型化が実現され易くなる。 【0050】 以上説明したように、本発明の一実施形態に係る表示撮像装置100では、表示部102の前面側に導波路型ホログラム光学素子106を設けることによって、表示部102の辺縁に配置された撮像部104で表示部102の正面にいる被写体Obとなる人物を撮像できるようになる。そして、撮像部104で撮像して得られた歪みやノイズ等を含む撮像データに対して、画像再構成処理部110で画像再構成処理をすることによって、被写体Obに対して再現性の高い撮像画像Ipが得られるようになる。 【0051】 このように、実質的に表示部102の面全体で被写体Obが撮像されるようになると、被写体Obとなる人物が表示部102に視線を送る際に、当該視線の状態のまま撮像部104に撮像されるようになる。このため、被写体Obとなる人物の表示部102への視線と撮像部104によって撮像される被写体Obの視線が一致するようになる。 【0052】 すなわち、本発明の一実施形態に係る表示撮像装置100を遠隔ビデオ通話に適用すると、図6に示すように、一方の表示撮像装置100aを使用する被写体Ob1の表示部102aに向かう視線と撮像部104aによって撮像される被写体Ob1の視線が一致するようになる。同様にして、他方の表示撮像装置100bを使用する被写体Ob2の表示部102bに向かう視線と撮像部104bによって撮像される被写体Ob2の視線が一致するようになる。 【0053】 このため、表示撮像装置100a、100bを用いて遠隔ビデオ通話をすると、被写体となる双方の人物Ob1、Ob2が表示部102a、102bを注視した正面の画像を撮影できるので、双方の人物Ob1、Ob2の視線が一致するようになる。これによって、スマートフォンやタブレット端末等の薄型の表示撮像装置で視線一致の遠隔ビデオ通話が可能になるので、ユーザにとっては、より自然な形で臨場感のある遠隔ビデオ通話ができるようになる。 【0054】 また、本発明の一実施形態に係る表示撮像装置100は、自画撮影にも適用できる。例えば、図7に示すように、ガラス板導波路となる透明板部材の導波路型ホログラム光学素子を貼り付けた側に設置した表示部となるディスプレイ102に撮影した画像をリアルタイムで表示すると、被写体Obが観察するディスプレイ102には、正面から撮像された被写体Obの画像が映し出され、正面から画像を確認しながら、自画撮影を行うことができる。このとき、左右反転して表示すれば、ディスプレイ102は、被写体Obから鏡を見ているかのように振る舞い、被写体Obは、ディスプレイ102に映し出された自身と視線を一致させて自然に観察することができるようになる。 【0055】 さらに、本発明の一実施形態に係る表示撮像装置100は、薄型多視点撮影デバイスにも適用できる。例えば、図8に示すように、表示部となるディスプレイ202の前面側に導波路型ホログラム光学素子206と透明板部材208を設けて、当該透明板部材208の辺縁部側に撮像部として複数のカメラ204a、204b、204cを用いることによって、表示撮像装置200は、多視点から被写体Obの画像を撮像して、撮像画像Ip1、Ip2、Ip3として被写体Obの三次元情報を取得できるようになる。 【0056】 また、本発明の一実施形態に係る表示撮像装置100は、薄型多視点撮影デバイスに適用する際に、図9（A）に示すように、不図示の表示部の前面側に、干渉縞のパターンがそれぞれ異なる複数の導波路型ホログラム光学素子306a、306b、306c、306d、306e、306fが貼付された透明板部材308が設けられ、当該透明板部材308の辺縁部側に撮像部として複数のカメラ304a、304b、304c、304d、304e、304fが各導波路型ホログラム光学素子306a、306b、306c、306d、306e、306fにそれぞれ対応して設けられる構成としてもよい。すなわち、複数の導波路型ホログラム光学素子306a、306b、306c、306d、306e、306fのそれぞれが互いに重複しないように、表示部の前面側に配置する構成としてもよい。 【0057】 このように、異なる導波路型ホログラム光学素子306a、306b、306c、306d、306e、306fをそれぞれ別の位置に貼り付けた表示撮像装置300に設けられる複数のカメラ304a、304b、304c、304d、304e、304fで被写体Obを撮像することによって、図9（B）に示すように、異なる角度から被写体Obを撮像して、それぞれ異なる角度の撮像画像Ip1、Ip2、Ip3が得られるようになる。 【0058】 さらに、本発明の一実施形態に係る表示撮像装置100は、ジェスチャー入力にも適用できる。すなわち、図10（A）に示すように、従来の表示撮像装置10に備わる内蔵カメラ14による撮像では、ディスプレイ12から非常に近い距離にある被写体Obを撮像することができない。一方、本発明の一実施形態に係る表示撮像装置400では、撮像部404が導波路型ホログラム光学素子406を介してディスプレイ402全面で光を捉えることができるため、そのような撮像も可能となる。 【0059】 このようなジェスチャー入力に係る技術は、ディスプレイ402に触れることなく、タッチ操作やその他のジェスチャー入力を行う非接触型タッチディスプレイへも応用できる。また、前述した多視点での撮像と組み合わせることによって、ステレオ視差法から物体の深度を求めることができ、深度が一定以下になれば、タッチされたとみなすという処理によって実現可能となる。 【0060】 また、本発明の一実施形態に係る表示撮像装置100は、マルチスペクトルカメラを使用して背景光成分を効果的に除去することができる。本実施形態に係る表示撮像装置100で撮影される画像は、ホログラム光学素子による回折光であるが、透過光や散乱光等の迷光も撮像データに含まれることがある。このため、かかる背景光成分を低減・除去する必要がある。 【0061】 本発明の一実施形態に係る表示撮像装置100で用いるホログラム光学素子は、反射体積型ホログラムであるため、波長選択性を有している。このため、回折光は、波長方向に狭帯域のスペクトルを持つ。R、G、B各成分の撮影物体光強度及び回折光のスペクトルをそれぞれfi（x，y）、di（λ）（i＝R，G，B）とすると、ホログラム光学素子からの回折光全体のスペクトルfh（x，y，λ）は、以下の式（2）で与えられる。 【0062】 【数2】 【0063】 RGBカラーカメラの分光感度をsk（λ）とすると、撮像データgk（x，y）（k＝R，G，B）は、下記の式（3）と書くことができる。 【0064】 【数3】 【0065】 ここで、前述した式（3）に記載のe（x，y，λ）は、背景光成分の空間・分光分布である。当該式（3）は、以下のような式（4）に書き換えることができる。 【0066】 【数4】 【0067】 ただし、前述した式（4）におけるaik、ek（x，y）は、以下の式（5）で表される。 【0068】 【数5】 【0069】 なお、RGBの分光感度がホログラム回折光のRGB各成分をカバーし、クロストークが無ければ、aik＝0（k≠i）となるので、撮像データgk（x，y）（k＝R，G，B）は、以下の式（6）のように簡単な式で表せる。 【0070】 【数6】 【0071】 このとき、RGBカラーカメラの分光感度をホログラム回折光の波長帯域幅にできるだけ近づけることによって、akkを大きく、ek（x，y）を小さくすることができるので、S／Nを改善できる。 【0072】 さらに、RGBカラーカメラではなく、マルチスペクトルカメラ（MSC）を用いることを考える。MSCの分光感度をsk（λ）とすると、撮像データgk（x，y）（k＝1…M、Mは、MSCのバンド数）は、前述した式（4）と同様に、以下の式（7）で表すことができる。 【0073】 【数7】 【0074】 前述した式（7）を行列・ベクトルを用いて表現すると、以下の式（8）のように表せる。 【0075】 【数8】 【0076】 ただし、前述した式（8）では、波長λをN点で離散化して表現している。このうち、Aは、既知で狭い波長範囲にのみ値を持つスパースな行列、Sは、既知の分光感度特性であり、また、背景光成分のスペクトルeλは、多くの場合、波長方向に相関を持つことから、f及びeλが非負である条件のもとで最適化アルゴリズムを用いて逆問題を解くことによって、f及びeλを推定できるようになる。 【0077】 なお、このとき、sk（λ）が等間隔狭帯域の分光感度特性であれば、Seλの代わりに、e＝（e1（x，y）e2（x，y）…eM（x，y））tを分光画像として扱ってもよい。 【0078】 また、除去するべき背景光成分がディスプレイからの光の場合には、ディスプレイのRGB3原色のスペクトルの線形結合でe（x，y，λ）を表現し、その係数を未知数として上記最適化問題を解くこともできる。 【0079】 簡単のために、マルチスペクトル画像のチャネルのうち、特定の3つのチャネルのみでホログラムからのRGB回折光をカバーすると、行列Aの各列で1要素のみが値を持ち、他の要素が0となる。このとき、撮影されたマルチスペクトル画像のうち、M－3個のチャネルは、背景光成分のみを取得していることになる。そこで、背景光成分eλは、多くの場合、波長方向に相関を持つこと、又はディスプレイのRGB3原色のスペクトルの線形結合で表現できることを拘束条件として用いて、この問題を解くことによって、比較的容易にf及びeを推定できる。このようにして、本発明の一実施形態に係る表示撮像装置100は、マルチスペクトルカメラを使用した背景光成分の除去を適用することによって、背景を分離して撮像画像を得ることができる。 【0080】 以上説明したように、本発明の一実施形態に係る表示撮像装置を適用することによって、実質的に表示部の面全体で当該表示部の前面側の被写体が撮像されるようになる。このため、被写体となる人物が表示部に視線を送る際に、当該視線の状態のまま撮像部に撮像されるので、被写体となる人物の表示部への視線と撮像部によって撮像される被写体の視線が一致するようになる。 【0081】 また、本発明の一実施形態に係る表示撮像装置は、三次元的に展開することなく、二次元的に展開される構成となり、従来よりも薄型の表示撮影装置となるので、スマートフォンやタブレット端末に適用可能となる。このため、視線一致の遠隔ビデオ対話装置や自画撮影、鏡機能アプリケーション、近接ジェスチャー入力によるインターフェースを容易に実現できるようになるので、極めて大きな工業的価値を有する。 【0082】 なお、上記のように本発明の各実施形態について詳細に説明したが、本発明の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは、当業者には、容易に理解できるであろう。従って、このような変形例は、全て本発明の範囲に含まれるものとする。 【0083】 例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、表示撮像装置の構成、動作も本発明の各実施形態で説明したものに限定されず、種々の変形実施が可能である。 【符号の説明】 【0084】 100 表示撮像装置、102 表示部、104 撮像部、106 導波路型ホログラム光学素子、108 透明板部材、110 画像再構成処理部
Drawing	(In Japanese)【図1】 (In Japanese)【図2】 (In Japanese)【図3】 (In Japanese)【図4】 (In Japanese)【図5】 (In Japanese)【図6】 (In Japanese)【図7】 (In Japanese)【図8】 (In Japanese)【図9】 (In Japanese)【図10】