TOP > 国内特許検索 > ディスプレイ装置 > 明細書

明細書 :ディスプレイ装置

発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2019-040165 (P2019-040165A)
公開日 平成31年3月14日(2019.3.14)
発明の名称または考案の名称 ディスプレイ装置
国際特許分類 G09G   5/00        (2006.01)
G02B  27/02        (2006.01)
H04N   5/64        (2006.01)
G09F   9/00        (2006.01)
FI G09G 5/00 550H
G02B 27/02 Z
H04N 5/64 511A
G09G 5/00 510A
G09F 9/00 359
G09F 9/00 313
請求項の数または発明の数 19
出願形態 OL
全頁数 54
出願番号 特願2017-164341 (P2017-164341)
出願日 平成29年8月29日(2017.8.29)
発明者または考案者 【氏名】加藤 博一
【氏名】太田 淳
【氏名】浦岡 行治
【氏名】プロプスキ アレクサンダー
出願人 【識別番号】504143441
【氏名又は名称】国立大学法人 奈良先端科学技術大学院大学
個別代理人の代理人 【識別番号】100114476、【弁理士】、【氏名又は名称】政木 良文
審査請求 未請求
テーマコード 2H199
5C182
5G435
Fターム 2H199CA04
2H199CA07
2H199CA23
2H199CA25
2H199CA42
2H199CA94
5C182AA02
5C182AA03
5C182AA31
5C182AB33
5C182BC03
5C182BC22
5C182CB01
5C182CC24
5C182DA03
5G435AA01
5G435BB05
5G435BB12
5G435BB19
5G435CC12
5G435FF07
5G435GG02
5G435GG12
要約 【課題】 瞳孔の拡大等に伴う画質の低下を抑制できる眼前に装着して使用するマイクロレンズアレイを備えたディスプレイ装置を提供する。
【解決手段】 画像生成装置5が、ディスプレイパネル3の1つの画素に対応する1つの入力画素の画素値を入力画素値とし、当該入力画素値に予め設定された重み係数を乗じて、当該1つの画素の画素値とする画素値生成処理を、ディスプレイパネルの各画素に対して各別に行うように構成され、前記重み係数が、ディスプレイパネル3の各画素に対して、1つの対象画素が、対象画素以外の他の画素のノイズ源と見做される特定画素である場合に0が割り当てられ、特定画素でない場合に、マイクロレンズアレイ2とディスプレイパネル3と瞳孔面の配置関係、マイクロレンズアレイ2及びディスプレイパネル3の構造的属性、瞳孔面の直径、及び、当該対象画素の位置に応じて生成された0~1の補正値が割り当てられ作成されている。
【選択図】 図1
特許請求の範囲 【請求項1】
ユーザの眼前に装着して使用するディスプレイ装置であって、
マイクロレンズアレイ、ディスプレイパネル、前記ディスプレイパネルを駆動するドライバ装置、前記ディスプレイパネルに表示させる出力画像の出力画像データを生成し前記ドライバ装置に出力する画像生成装置を備えてなり、
前記マイクロレンズアレイの主面と前記ディスプレイパネルの発光面が、前記マイクロレンズアレイの焦点距離より短い距離だけ離間して対向し、装着時に前記マイクロレンズアレイの主面が前記ディスプレイパネルの発光面よりユーザの瞳孔面側に位置するように構成され、
前記画像生成装置は、入力処理部、演算処理部、及び、出力処理部を備えて構成され、
前記入力処理部は、前記ディスプレイパネルの各画素から出射される光が、前記マイクロレンズアレイ及び前記瞳孔面を通過して網膜上に結像されることで、前記ユーザによって前記ディスプレイパネルより後方の仮想画像面上で観察される虚像を入力画像とする入力画像データを受け付けるように構成され、
前記演算処理部は、前記仮想画像面上の前記入力画像を構成する各入力画素の中から、前記ディスプレイパネルの1つの画素に対応する1つの前記入力画素を特定し、前記入力画像データから前記特定した前記入力画素の画素値を読み出して入力画素値とし、当該入力画素値に、当該1つの画素に対して予め設定された重み係数を乗じて、当該1つの画素の画素値とする画素値生成処理を、前記ディスプレイパネルの各画素に対して各別に行うように構成され、
前記出力処理部は、前記画素値生成処理で生成された各画素の前記画素値を備えた前記出力画像データを、前記ドライバ装置に出力するように構成され、
前記重み係数は、前記ディスプレイパネルの各画素に対して、各別に、前記ディスプレイパネルの1つの対象画素が、前記対象画素から出射された光が前記マイクロレンズアレイ内の複数のレンズを通して前記瞳孔面に到達することで、前記対象画素以外の他の画素のノイズ源と見做される特定画素である場合に、0が割り当てられ、前記対象画素が、前記特定画素でない場合に、前記マイクロレンズアレイの主面と前記ディスプレイパネルの発光面と前記瞳孔面の配置関係、前記マイクロレンズアレイ及び前記ディスプレイパネルの構造的属性、前記瞳孔面の直径、及び、当該対象画素の位置に応じて生成された0、1、0より大きく1未満の中間値の3種類の補正値が全て割り当てられ、前記画像生成装置に内蔵または外付けの記憶装置内に保存されていることを特徴とするディスプレイ装置。
【請求項2】
前記重み係数は、前記対象画素が前記特定画素でない場合に、前記特定画素の前記重み係数の値が0であることに起因して前記仮想画像面上において前記ユーザによって観測されるノイズパターンの発生が抑制されるように、前記補正値が割り当てられていることを特徴とする請求項1に記載のディスプレイ装置。
【請求項3】
前記瞳孔面の中心と前記対象画素の中心を結ぶ直線が通過する前記マイクロレンズアレイ内の1つのレンズを前記対象画素に対応する対象レンズとした場合において、前記対象画素から出射され前記対象レンズに隣接する複数の隣接レンズの少なくとも1つを通過した光の少なくとも一部が前記瞳孔面を通過する場合、当該対象画素を前記特定画素として、前記重み係数が生成されていることを特徴とする請求項1または2に記載のディスプレイ装置。
【請求項4】
前記レンズの配列間隔が、前記瞳孔面の直径の最小値より小さいことを特徴とする請求項1~3の何れか1項に記載のディスプレイ装置。
【請求項5】
前記ディスプレイパネルの各画素がRGB3原色に個別に対応した副画素を備えたカラー表示対応の画素であり、
前記入力処理部が、前記入力画素の画素値が前記RGB3原色の各色の画素値で構成された前記入力画像データを受け付け、
前記演算処理部が、前記画素値生成処理において、前記ディスプレイパネルの1つの画素に対応する1つの前記入力画素を特定し、前記入力画像データから前記特定した前記入力画素の前記各色の画素値を読み出して前記各色の入力画素値とし、当該各色の入力画素値に、当該1つの画素に対して予め設定された前記重み係数を乗じて、当該1つの画素の前記各色に対応した前記副画素の各画素値とすることを特徴とする請求項1~4の何れか1項に記載のディスプレイ装置。
【請求項6】
前記瞳孔面の中心と前記対象画素の中心を結ぶ直線が通過する前記マイクロレンズアレイ内の1つのレンズを前記対象画素に対応する対象レンズとした場合において、
前記対象画素が、前記特定画素でない場合に、当該対象画素に対応する前記対象レンズを中心とする前記瞳孔面の直径と前記レンズの配列間隔の比に応じた範囲内の被検査レンズの夫々について、
前記対象画素から出射した光が前記対象レンズによって前記仮想画像面上に虚像として観測される対象仮想画素位置と前記被検査レンズの主点を結ぶ直線が前記ディスプレイパネルの前記発光面と交差する点を、前記被検査レンズに対応する被検査画素点とし、
前記被検査画素点から出射され当該被検査画素点に対応する前記被検査レンズに隣接する複数の隣接レンズを通過した光が前記瞳孔面を通過せずに、前記瞳孔面の外周領域に到達する場合に、第1変数と第2変数の計算を行い、当該光が前記瞳孔面を通過する場合は、前記第1変数と第2変数の計算を行わず、
前記第1変数は、当該光の到達位置の前記瞳孔面の中心または外縁からの離間距離に応じて、前記離間距離が前記瞳孔面の直径に応じた所定の基準値以上の場合に1とし、前記離間距離が前記所定の基準値未満の場合に、前記離間距離が大きいほど1に近付く0以上1未満の値として計算され、
前記第2変数は、前記対象仮想画素位置から、前記被検査レンズを通して前記瞳孔面とその延長面に投影される前記被検査レンズの投影領域と前記瞳孔面とが重複する部分の前記瞳孔面に対する面積比に、前記第1変数を乗じて計算され、
前記対象画素に対応する前記第2変数の計算された全ての前記被検査レンズの前記第2変数を合計して第3変数とし、前記対象レンズが前記被検査レンズである場合の前記第1変数を前記第3変数で除した値に対して、最大値が1となるように正規化した値が、前記対象画素の前記重み係数となるように、
前記ディスプレイパネルの各画素に対して、各別に、前記重み係数が設定されていることを特徴とする請求項1~5の何れか1項に記載のディスプレイ装置。
【請求項7】
前記ディスプレイパネルの各画素がカラー表示非対応の画素であり、
前記ディスプレイパネルの縦方向及び横方向に夫々複数の前記画素を有する画素区画の夫々、または、前記マイクロレンズアレイの個々の前記レンズの夫々に対して、前記RGB3原色の何れか1色に対応したカラーフィルタが設置され、前記画素区画または前記レンズの夫々に前記RGB3原色の何れか1色が対応付けられており、
前記3色のカラーフィルタが、前記仮想画像面上の任意の1点を頂点とし、前記瞳孔面を底面とする円錐体が前記カラーフィルタの設置面と交差する断面内に、前記3色の全てが存在するように配列しており、
前記入力処理部が、前記入力画素の画素値が前記RGB3原色の各色の画素値で構成された前記入力画像データを受け付け、
前記演算処理部が、前記各画素が前記RGB3原色の何れの色に対応しているかの色対応関係を備えており、前記画素値生成処理において、前記ディスプレイパネルの1つの画素に対応する1つの前記入力画素を特定し、前記入力画像データから前記特定した前記入力画素の前記色対応関係によって定まる前記RGB3原色の1つの画素値を読み出して入力画素値とし、当該入力画素値に、当該1つの画素に対して予め設定された前記重み係数を乗じて、当該1つの画素の画素値とすることを特徴とする請求項1~4の何れか1項に記載のディスプレイ装置。
【請求項8】
前記瞳孔面の中心と前記対象画素の中心を結ぶ直線が通過する前記マイクロレンズアレイ内の1つのレンズを前記対象画素に対応する対象レンズとした場合において、
前記対象画素が、前記特定画素でない場合に、当該対象画素に対応する前記対象レンズを中心とする前記瞳孔面の直径と前記レンズの配列間隔の比に応じた範囲内の被検査レンズの夫々について、
前記対象画素から出射した光が前記対象レンズによって前記仮想画像面上に虚像として観測される対象仮想画素位置と前記被検査レンズの主点を結ぶ直線が前記ディスプレイパネルの前記発光面と交差する点を、前記被検査レンズに対応する被検査画素点とし、
前記被検査画素点の前記色対応関係によって定まる前記RGB3原色の1つである対応色が、前記対象画素の前記色対応関係によって定まる前記RGB3原色の1つである対応色と一致し、且つ、前記被検査画素点から出射され当該被検査画素点に対応する前記被検査レンズに隣接する複数の隣接レンズを通過した光が前記瞳孔面を通過せずに、前記瞳孔面の外周領域に到達する場合に、第1変数と第2変数の計算を行い、
前記被検査画素点の前記対応色が前記対象画素の前記対応色と一致しないか、前記被検査画素点から出射され前記複数の隣接レンズを通過した光が前記瞳孔面を通過する場合は、前記第1変数と第2変数の計算を行わず、
前記第1変数は、当該光の到達位置の前記瞳孔面の中心または外縁からの離間距離に応じて、前記離間距離が前記瞳孔面の直径に応じた所定の基準値以上の場合に1とし、前記離間距離が前記所定の基準値未満の場合に、前記離間距離が大きいほど1に近付く0以上1未満の値として計算され、
前記第2変数は、前記対象仮想画素位置から、前記被検査レンズを通して前記瞳孔面とその延長面に投影される前記被検査レンズの投影領域と前記瞳孔面とが重複する部分の前記瞳孔面に対する面積比に、前記第1変数を乗じて計算され、
前記対象画素に対応する前記第2変数の計算処理を行った全ての前記被検査レンズの前記第2変数を合計して第3変数とし、前記対象レンズが前記被検査レンズである場合の前記第1変数を前記第3変数で除した値に対して、最大値が1となるように正規化した値が、前記対象画素の前記重み係数となるように、
前記ディスプレイパネルの各画素に対して、各別に、前記重み係数が設定されていることを特徴とする請求項7に記載のディスプレイ装置。
【請求項9】
前記ディスプレイパネルが、前記ディスプレイパネルより小面積のディスプレイパネルユニットを縦方向と横方向の少なくとも1方向に複数配列して構成され、
前記ディスプレイパネル内の前記ディスプレイパネルユニット間の隙間を仮想的に前記特定画素と見做して、前記ディスプレイパネルユニット内の各画素に対して、前記重み係数が生成されていることを特徴とする請求項1~5及び7の何れか1項に記載のディスプレイ装置。
【請求項10】
前記ディスプレイパネルが、前記ディスプレイパネルより小面積のディスプレイパネルユニットを縦方向と横方向の少なくとも1方向に複数配列して構成され、
前記対象画素が、前記特定画素でない場合に、前記被検査レンズの夫々について、
前記被検査画素点が前記ディスプレイパネルユニット内に存在する場合に、前記第1変数及び前記第2変数の計算処理を行い、前記被検査画素点が前記ディスプレイパネルユニット内に存在しない場合は、前記第1変数及び前記第2変数の計算処理を行わず、
前記対象画素に対応する前記第2変数の計算された全ての前記被検査レンズの前記第2変数を合計して第3変数とし、前記対象レンズが前記被検査レンズである場合の前記第1変数を前記第3変数で除した値に対して、最大値が1となるように正規化した値が、前記対象画素の前記重み係数となるように、
複数の前記ディスプレイパネルユニットの各画素に対して、各別に、前記重み係数が設定されていることを特徴とする請求項6または8に記載のディスプレイ装置。
【請求項11】
前記第1変数の計算処理において、前記被検査画素点と前記隙間との間の距離を前記レンズの配列間隔で除した値が所定値以下の場合、当該値の増加に応じて0から1まで単調に増加する第4変数を前記第1変数に乗じた値を前記第1変数として使用することを特徴とする請求項10に記載のディスプレイ装置。
【請求項12】
ユーザの眼前に装着して使用するディスプレイ装置であって、
マイクロレンズアレイ、ディスプレイパネル、前記ディスプレイパネルを駆動するドライバ装置、前記ディスプレイパネルに表示させる出力画像の出力画像データを生成し前記ドライバ装置に出力する画像生成装置を備えてなり、
前記マイクロレンズアレイの主面と前記ディスプレイパネルの発光面が、前記マイクロレンズアレイの焦点距離より短い距離だけ離間して対向し、装着時に前記マイクロレンズアレイの主面が前記ディスプレイパネルの発光面よりユーザの瞳孔面側に位置するように構成され、
前記ディスプレイパネルの各画素がカラー表示非対応の画素であり、
前記ディスプレイパネルの縦方向及び横方向に夫々複数の前記画素を有する画素区画の夫々、または、前記マイクロレンズアレイの個々の前記レンズの夫々に対して、前記RGB3原色の何れか1色に対応したカラーフィルタが設置され、前記画素区画または前記レンズの夫々に前記RGB3原色の何れか1色が対応付けられており、
前記画像生成装置は、入力処理部、演算処理部、及び、出力処理部を備えて構成され、
前記入力処理部は、前記ディスプレイパネルの各画素から出射される光が、前記マイクロレンズアレイ及び前記瞳孔面を通過して網膜上に結像されることで、前記ユーザによって前記ディスプレイパネルより後方の仮想画像面上で観察される虚像を入力画像とする入力画像データであって、前記入力画像を構成する各入力画素の画素値が前記RGB3原色の各色の画素値で構成された前記入力画像データを受け付けるように構成され、
前記演算処理部は、前記各画素が前記RGB3原色の何れの色に対応しているかの色対応関係を備え、前記各入力画素の中から、前記ディスプレイパネルの1つの画素に対応する1つの前記入力画素を特定し、前記入力画像データから前記特定した前記入力画素の前記色対応関係によって定まる前記RGB3原色の1つの画素値を読み出して入力画素値とし、前記入力画素値または前記入力画素値に当該1つの画素に対して予め設定された重み係数を乗じた値を当該1つの画素の画素値とする画素値生成処理を、前記ディスプレイパネルの各画素に対して各別に行うように構成され、
前記出力処理部は、前記画素値生成処理で生成された各画素の前記画素値を備えた前記出力画像データを、前記ドライバ装置に出力するように構成され、
前記3色のカラーフィルタが、前記仮想画像面上の任意の1点を頂点とし、前記瞳孔面を底面とする円錐体が前記カラーフィルタの設置面と交差する断面内に、前記3色の全てが存在するように配列していることを特徴とするディスプレイ装置。
【請求項13】
前記ディスプレイパネルの各画素の内、1つの前記入力画素に対応し、且つ、前記色対応関係で定まる3色に対応する3つの画素の前記重み係数の比が、前記仮想画像面上における当該1つの前記入力画素の中心を頂点とする前記円錐体が前記カラーフィルタの設置面と交差する前記断面内における3色の前記カラーフィルタの面積の逆数の比となっていることを特徴とする請求項12に記載のディスプレイ装置。
【請求項14】
ユーザの眼前に装着して使用するディスプレイ装置であって、
マイクロレンズアレイ、ディスプレイパネル、前記ディスプレイパネルを駆動するドライバ装置、前記ディスプレイパネルに表示させる出力画像の出力画像データを生成し前記ドライバ装置に出力する画像生成装置を備えてなり、
前記ディスプレイパネルが、前記ディスプレイパネルより小面積のディスプレイパネルユニットを縦方向と横方向の少なくとも1方向に複数配列して構成され、
前記マイクロレンズアレイの主面と前記ディスプレイパネルの発光面が、前記マイクロレンズアレイの焦点距離より短い距離だけ離間して対向し、装着時に前記マイクロレンズアレイの主面が前記ディスプレイパネルの発光面よりユーザの瞳孔面側に位置するように構成され、
前記画像生成装置は、入力処理部、演算処理部、及び、出力処理部を備えて構成され、
前記入力処理部は、前記ディスプレイパネルの各画素から出射される光が、前記マイクロレンズアレイ及び前記瞳孔面を通過して網膜上に結像されることで、前記ユーザによって前記ディスプレイパネルより後方の仮想画像面上で観察される虚像を入力画像とする入力画像データを受け付けるように構成され、
前記演算処理部は、前記仮想画像面上の前記入力画像を構成する各入力画素の中から、前記ディスプレイパネルの1つの画素に対応する1つの前記入力画素を特定し、前記入力画像データから前記特定した前記入力画素の画素値を読み出して入力画素値とし、当該入力画素値に、当該1つの画素に対して予め設定された重み係数を乗じて、当該1つの画素の画素値とする画素値生成処理を、前記ディスプレイパネルの各画素に対して各別に行うように構成され、
前記出力処理部は、前記画素値生成処理で生成された各画素の前記画素値を備えた前記出力画像データを、前記ドライバ装置に出力するように構成され、
前記重み係数は、前記ディスプレイパネルの各画素に対して、各別に、前記ディスプレイパネルの1つの対象画素が、前記ディスプレイパネル内に前記ディスプレイパネルユニット間の隙間が存在することに起因して前記仮想画像面上において前記ユーザによって観測されるノイズパターンの発生が抑制されるように、前記マイクロレンズアレイの主面と前記ディスプレイパネルの発光面と前記瞳孔面の配置関係、前記マイクロレンズアレイ及び前記ディスプレイパネルの構造的属性、前記瞳孔面の直径、及び、当該対象画素の位置に応じて生成された0、1、0より大きく1未満の中間値の3種類の補正値が全て割り当てられ、前記画像生成装置の所定の記憶領域に保存されていることを特徴とするディスプレイ装置。
【請求項15】
前記瞳孔面の中心と前記対象画素の中心を結ぶ直線が通過する前記マイクロレンズアレイ内の1つのレンズを前記対象画素に対応する対象レンズとした場合において、
前記対象画素が、前記重み係数として既に0が割り当てられていない場合、当該対象画素に対応する前記対象レンズを中心とする前記瞳孔面の直径と前記レンズの配列間隔の比に応じた範囲内の被検査レンズの夫々について、
前記対象画素から出射した光が前記対象レンズによって前記仮想画像面上に虚像として観測される対象仮想画素位置と前記被検査レンズの主点を結ぶ直線が前記ディスプレイパネルの前記発光面と交差する点を、前記被検査レンズに対応する被検査画素点とし、
前記被検査画素点が前記ディスプレイパネルユニット内に存在し、且つ、前記被検査画素点から出射され当該被検査画素点に対応する前記被検査レンズに隣接する複数の隣接レンズを通過した光が前記瞳孔面を通過せずに、前記瞳孔面の外周領域に到達する場合に、第1変数と第2変数の計算を行い、
前記被検査画素点が前記ディスプレイパネルユニット内に存在しないか、前記被検査画素点から出射され前記複数の隣接レンズを通過した光が前記瞳孔面を通過する場合は、前記第1変数と第2変数の計算を行わず、
前記第1変数は、当該光の到達位置の前記瞳孔面の中心または外縁からの離間距離に応じて、前記離間距離が前記瞳孔面の直径に応じた所定の基準値以上の場合に1とし、前記離間距離が前記所定の基準値未満の場合に、前記離間距離が大きいほど1に近付く0以上1未満の値として計算され、
前記第2変数は、前記対象仮想画素位置から、前記被検査レンズを通して前記瞳孔面とその延長面に投影される前記被検査レンズの投影領域と前記瞳孔面とが重複する部分の前記瞳孔面に対する面積比に、前記第1変数を乗じて計算され、
前記対象画素に対応する前記第2変数の計算処理を行った全ての前記被検査レンズの前記第2変数を合計して第3変数とし、前記対象レンズが前記被検査レンズである場合の前記第1変数を前記第3変数で除した値に対して、最大値が1となるように正規化した値が、前記対象画素の前記重み係数となるように、
複数の前記ディスプレイパネルユニットの各画素に対して、各別に、前記重み係数が設定されていることを特徴とする請求項14に記載のディスプレイ装置。
【請求項16】
前記第1変数の計算処理において、前記被検査画素点と前記隙間との間の距離を前記レンズの配列間隔で除した値が所定値以下の場合、当該値の増加に応じて0から1まで単調に増加する第4変数を前記第1変数に乗じた値を前記第1変数として使用する請求項15に記載のディスプレイ装置。
【請求項17】
前記レンズの配列間隔が、前記瞳孔面の直径の最小値より小さいことを特徴とする請求項14~16の何れか1項に記載のディスプレイ装置。
【請求項18】
前記重み係数が、前記瞳孔面の直径、前記瞳孔面に直交して前記瞳孔面の中心を通過する視線軸が前記ディスプレイパネルと交差する位置、及び、前記瞳孔面の中心を通過して前記ディスプレイパネルと直交する基準直線に対する前記視線軸の方向の内の1以上の瞳孔面に関するパラメータに応じて、複数組の前記重み係数を備え、
前記入力処理部が、前記1以上の瞳孔面に関するパラメータを入力情報として受け付けるように構成され、
前記演算処理部が、前記入力情報に応じた前記重み係数を使用することを特徴とする請求項1~17の何れか1項に記載のディスプレイ装置。
【請求項19】
前記瞳孔面の直径、前記瞳孔面に直交して前記瞳孔面の中心を通過する視線軸が前記ディスプレイパネルと交差する位置、及び、前記瞳孔面の中心を通過して前記ディスプレイパネルと直交する基準直線に対する前記視線軸の方向の内の1以上の瞳孔面に関するパラメータを計測し、その計測結果を前記入力情報として、前記画像生成装置に出力するセンサを備えていることを特徴とする請求項1~18の何れか1項に記載のディスプレイ装置。
発明の詳細な説明 【技術分野】
【0001】
本発明は、眼前に装着して使用するディスプレイ装置、及び、当該ディスプレイ装置に使用する画像生成装置に関し、特に、マイクロレンズアレイとディスプレイパネルと前記ディスプレイパネルを駆動するドライバ装置を備えて構成されるディスプレイ装置、及び、その画像生成装置に関する。
【背景技術】
【0002】
マイクロレンズアレイとディスプレイパネルと前記ディスプレイパネルを駆動するドライバ装置を備えて構成されるディスプレイ装置としては、下記の特許文献1及び非特許文献1等に開示されているヘッドマウントディスプレイ装置がある。
【0003】
マイクロレンズアレイを使用することでレンズの焦点距離を短くでき、マイクロレンズアレイとディスプレイパネル間の距離を短くした構成が可能となる。これにより、ディスプレイ装置の小型化及び軽量化が可能となり、例えば、非特許文献1に開示されているように、眼鏡タイプの薄型で軽量なディスプレイ装置の実現が期待される。
【0004】
非特許文献1では、マイクロレンズアレイを使用した眼鏡タイプのディスプレイ装置のプロトタイプを作製して、その実現可能性は示されたが、高解像度・高視野角の実現には至っておらず、ディスプレイを適切に見ることのできるユーザの視点(眼の位置、瞳孔中心)の範囲を表すアイボックス(eye box)も十分な大きさではない。前者の問題は、ディスプレイパネルとして高解像度、広面積のパネルが存在しないことが要因として挙げられている。また、後者のアイボックスの大きさの問題には、ユーザの視点の追跡の必要性を指摘しているに止まっている。
【0005】
上記アイボックスの大きさの問題は、単体レンズを使用する場合は、アイボックスの外側に視点があると映像を見ることができない(黒画面)ことになるが、マイクロレンズアレイを使用する場合は、各レンズがアレイ状に配列した構造であるため、同じ画像が周期的に繰り返されるという現象が生じる。
【先行技術文献】
【0006】

【特許文献1】米国特許出願公開第2014/0340389号
【0007】

【非特許文献1】Douglas Lanman and David Luebke,“Near-eye light field displays,” ACM SIGGRAPH 2013 Emerging Technologies on - SIGGRAPH ’13.
【発明の概要】
【発明が解決しようとする課題】
【0008】
上記アイボックスの大きさの問題は、ユーザの視点の取り扱いの問題であるが、視点は、現実には点ではなく、瞳孔という大きさのある面領域として考慮する必要がある。つまり、瞳孔面(瞳孔の開口面)の一部がアイボックス内に存在しても、他の一部がアイボックス外に存在すると、上述の画像の繰り返しの影響を受け、ユーザが知覚する画質が低下するという新たな問題が生じる。非特許文献1では、視点を瞳孔面という面領域として取り扱うことについては言及がなく、当然に、それに起因する問題への対策も取られていない。
【0009】
瞳孔の大きさは、一般に直径が2mmから6mm乃至8mmまでの範囲で変化して、眼球内に取り込む光の量を調節している。そのため、瞳孔が拡大すると、上述の画像の繰り返しの影響を強く受け、ユーザが知覚する画質の低下が顕著となる。
【0010】
本発明は、上述の問題点に鑑みてなされたものであり、その目的は、眼前に装着して使用するマイクロレンズアレイを備えたディスプレイ装置において、瞳孔の拡大等に伴う画質の低下を抑制し、高品質の画像をユーザが観察できるようにすることにある。
【課題を解決するための手段】
【0011】
本発明に係るディスプレイ装置は、ユーザの眼前に装着して使用するディスプレイ装置であって、マイクロレンズアレイ、ディスプレイパネル、前記ディスプレイパネルを駆動するドライバ装置、前記ディスプレイパネルに表示させる出力画像の出力画像データを生成し前記ドライバ装置に出力する画像生成装置を備えてなり、
前記マイクロレンズアレイの主面と前記ディスプレイパネルの発光面が、前記マイクロレンズアレイの焦点距離より短い距離だけ離間して対向し、装着時に前記マイクロレンズアレイの主面が前記ディスプレイパネルの発光面よりユーザの瞳孔面側に位置するように構成され、
前記画像生成装置は、入力処理部、演算処理部、及び、出力処理部を備えて構成され、
前記入力処理部は、前記ディスプレイパネルの各画素から出射される光が、前記マイクロレンズアレイ及び前記瞳孔面を通過して網膜上に結像されることで、前記ユーザによって前記ディスプレイパネルより後方の仮想画像面上で観察される虚像を入力画像とする入力画像データを受け付けるように構成され、
前記演算処理部は、前記仮想画像面上の前記入力画像を構成する各入力画素の中から、前記ディスプレイパネルの1つの画素に対応する1つの前記入力画素を特定し、前記入力画像データから前記特定した前記入力画素の画素値を読み出して入力画素値とし、当該入力画素値に、当該1つの画素に対して予め設定された重み係数を乗じて、当該1つの画素の画素値とする画素値生成処理を、前記ディスプレイパネルの各画素に対して各別に行うように構成され、
前記出力処理部は、前記画素値生成処理で生成された各画素の前記画素値を備えた前記出力画像データを、前記ドライバ装置に出力するように構成され、
前記重み係数は、前記ディスプレイパネルの各画素に対して、各別に、前記ディスプレイパネルの1つの対象画素が、前記対象画素から出射された光が前記マイクロレンズアレイ内の複数のレンズを通して前記瞳孔面に到達することで、前記対象画素以外の他の画素のノイズ源と見做される特定画素である場合に、0が割り当てられ、前記対象画素が、前記特定画素でない場合に、前記マイクロレンズアレイの主面と前記ディスプレイパネルの発光面と前記瞳孔面の配置関係、前記マイクロレンズアレイ及び前記ディスプレイパネルの構造的属性、前記瞳孔面の直径、及び、当該対象画素の位置に応じて生成された0、1、0より大きく1未満の中間値の3種類の補正値が全て割り当てられ、前記画像生成装置に内蔵または外付けの記憶装置内に保存されていることを第1の特徴とする。
【0012】
更に、上記第1の特徴のディスプレイ装置は、前記重み係数が、前記対象画素が前記特定画素でない場合に、前記特定画素の前記重み係数の値が0であることに起因して前記仮想画像面上において前記ユーザによって観測されるノイズパターンの発生が抑制されるように、前記補正値が割り当てられていることが好ましい。
【0013】
上記第1の特徴のディスプレイ装置によれば、画像生成装置が、入力画像から生成した出力画像データをドライバ装置に出力してディスプレイパネル上に表示させることで、ディスプレイパネルの各画素から出射される光が、マイクロレンズアレイ及びユーザの瞳孔を通過して網膜上に結像されて、当該ユーザはディスプレイパネルより後方の仮想画像面上において該入力画像の拡大された再生画像を虚像として観察することでき、その際、出力画像データを生成する画素値生成処理においてディスプレイパネルの各画素に対して瞳孔面の直径に応じて生成された重み係数を用いることにより、上述した瞳孔の拡大に伴いユーザが該再生画像上において知覚する画質の低下を効果的に抑制することができる。当該抑制効果については詳細に後述する。
【0014】
ここで、「ユーザの眼前に装着して使用する」とは、ディスプレイ装置の一部が眼前にあればよく、必ずしも、ディスプレイ装置の全ての構成要素が眼前に位置する必要はない。また、「眼前」とはユーザの視線軸の方向(瞳孔面に垂直な方向)に前方であることを意味する。従って、マイクロレンズアレイとディスプレイパネルが視線軸上に存在すれば、「ユーザの眼前に装着して使用する」に該当する。更に、ユーザの視線軸を鏡(ハーフミラーを含む)やプリズム等で屈曲させる構造を採用している場合には、その鏡(ハーフミラーを含む)やプリズム等がディスプレイ装置の一部であれば、「ユーザの眼前に装着して使用する」に該当し、屈曲した視線軸上にマイクロレンズアレイとディスプレイパネルが存在する場合も、「ユーザの眼前に装着して使用する」に該当する。
【0015】
また、「マイクロレンズアレイの主面」とは、マイクロレンズアレイを構成する個々のレンズの幾何光学上の主点が存在する面である。
【0016】
更に、「マイクロレンズアレイ及びディスプレイパネルの構造的属性」とは、例えば、マイクロレンズアレイの焦点距離、レンズの配列間隔(レンズの大きさ)、レンズの配列数、及び、ディスプレイパネルの描画領域の大きさ、画素の配列間隔(画素の大きさ)、描画領域内の画素の配列数等を意味する。
【0017】
更に、上記第1の特徴のディスプレイ装置は、前記瞳孔面の中心と前記対象画素の中心を結ぶ直線が通過する前記マイクロレンズアレイ内の1つのレンズを前記対象画素に対応する対象レンズとした場合において、前記対象画素から出射され前記対象レンズに隣接する複数の隣接レンズの少なくとも1つを通過した光の少なくとも一部が前記瞳孔面を通過する場合、当該対象画素を前記特定画素として、前記重み係数が生成されていることが好ましい。これにより、重み係数の作成時における特定画素の選別が容易且つ確実に行うことができる。
【0018】
更に、上記第1の特徴のディスプレイ装置は、前記レンズの配列間隔が、前記瞳孔面の直径の最小値より小さいことが好ましい。レンズの配列間隔が小さいと個々のレンズの焦点距離を短くでき、ディスプレイ装置の小型化、薄型化が図れ好ましい。しかしながら、一方で、レンズの配列間隔が小さいと、同じ瞳孔面の大きさに対して、相対的に瞳孔の拡大による画質の低下が顕著となるため、上記第1の特徴のディスプレイ装置によって、当該画質低下がより好適に抑制され、上記ディスプレイ装置の小型化、薄型化との両立が図れる。
【0019】
更に、本発明に係るディスプレイ装置は、上記第1の特徴に加えて、前記ディスプレイパネルの各画素がRGB3原色に個別に対応した副画素を備えたカラー表示対応の画素であり、前記入力処理部が、前記入力画素の画素値が前記RGB3原色の各色の画素値で構成された前記入力画像データを受け付け、前記演算処理部が、前記画素値生成処理において、前記ディスプレイパネルの1つの画素に対応する1つの前記入力画素を特定し、前記入力画像データから前記特定した前記入力画素の前記各色の画素値を読み出して前記各色の入力画素値とし、当該各色の入力画素値に、当該1つの画素に対して予め設定された前記重み係数を乗じて、当該1つの画素の前記各色に対応した前記副画素の各画素値とすることを第2の特徴とする。
【0020】
上記第2の特徴のディスプレイ装置によれば、画像生成装置が、カラー画像の入力画像から生成した出力画像データをドライバ装置に出力してディスプレイパネル上に表示させることで、ディスプレイパネルの各画素から出射される光が、マイクロレンズアレイ及びユーザの瞳孔を通過して網膜上に結像されて、当該ユーザはディスプレイパネルより後方の仮想画像面上において該カラー入力画像の拡大された再生画像を虚像として観察することでき、その際、出力画像データを生成する画素値生成処理においてディスプレイパネルの各画素に対して瞳孔面の直径に応じて生成された重み係数を用いることにより、上述した瞳孔の拡大に伴いユーザが該再生画像上において知覚する画質の低下を効果的に抑制することができる。
【0021】
更に、本発明に係るディスプレイ装置は、上記第1または第2の特徴に加えて、前記瞳孔面の中心と前記対象画素の中心を結ぶ直線が通過する前記マイクロレンズアレイ内の1つのレンズを前記対象画素に対応する対象レンズとした場合において、
前記対象画素が、前記特定画素でない場合に、当該対象画素に対応する前記対象レンズを中心とする前記瞳孔面の直径と前記レンズの配列間隔の比に応じた範囲内の被検査レンズの夫々について、
前記対象画素から出射した光が前記対象レンズによって前記仮想画像面上に虚像として観測される対象仮想画素位置と前記被検査レンズの主点を結ぶ直線が前記ディスプレイパネルの前記発光面と交差する点を、前記被検査レンズに対応する被検査画素点とし、
前記被検査画素点から出射され当該被検査画素点に対応する前記被検査レンズに隣接する複数の隣接レンズを通過した光が前記瞳孔面を通過せずに、前記瞳孔面の外周領域に到達する場合に、第1変数と第2変数の計算を行い、当該光が前記瞳孔面を通過する場合は、前記第1変数と第2変数の計算を行わず、
前記第1変数は、当該光の到達位置の前記瞳孔面の中心または外縁からの離間距離に応じて、前記離間距離が前記瞳孔面の直径に応じた所定の基準値以上の場合に1とし、前記離間距離が前記所定の基準値未満の場合に、前記離間距離が大きいほど1に近付く0以上1未満の値として計算され、
前記第2変数は、前記対象仮想画素位置から、前記被検査レンズを通して前記瞳孔面とその延長面に投影される前記被検査レンズの投影領域と前記瞳孔面とが重複する部分の前記瞳孔面に対する面積比に、前記第1変数を乗じて計算され、
前記対象画素に対応する前記第2変数の計算された全ての前記被検査レンズの前記第2変数を合計して第3変数とし、前記対象レンズが前記被検査レンズである場合の前記第1変数を前記第3変数で除した値に対して、最大値が1となるように正規化した値が、前記対象画素の前記重み係数となるように、
前記ディスプレイパネルの各画素に対して、各別に、前記重み係数が設定されていることを第3の特徴とする。
【0022】
上記第3の特徴の画像生成装置によれば、特定画素の重み係数の値が0であることに起因して仮想画像面上においてユーザによって観測されるノイズパターンの発生を効果的に抑制可能な重み係数を使用することができ、上述した瞳孔の拡大に伴いユーザが再生画像上において知覚する画質の低下を確実に抑制することができる。
【0023】
更に、本発明に係るディスプレイ装置は、上記第1の特徴に加えて、前記ディスプレイパネルの各画素がカラー表示非対応の画素であり、
前記ディスプレイパネルの縦方向及び横方向に夫々複数の前記画素を有する画素区画の夫々、または、前記マイクロレンズアレイの個々の前記レンズの夫々に対して、前記RGB3原色の何れか1色に対応したカラーフィルタが設置され、前記画素区画または前記レンズの夫々に前記RGB3原色の何れか1色が対応付けられており、
前記3色のカラーフィルタが、前記仮想画像面上の任意の1点を頂点とし、前記瞳孔面を底面とする円錐体が前記カラーフィルタの設置面と交差する断面内に、前記3色の全てが存在するように配列しており、
前記入力処理部が、前記入力画素の画素値が前記RGB3原色の各色の画素値で構成された前記入力画像データを受け付け、
前記演算処理部が、前記各画素が前記RGB3原色の何れの色に対応しているかの色対応関係を備えており、前記画素値生成処理において、前記ディスプレイパネルの1つの画素に対応する1つの前記入力画素を特定し、前記入力画像データから前記特定した前記入力画素の前記色対応関係によって定まる前記RGB3原色の1つの画素値を読み出して入力画素値とし、当該入力画素値に、当該1つの画素に対して予め設定された前記重み係数を乗じて、当該1つの画素の画素値とすることを第4の特徴とする。
【0024】
上記第4の特徴のディスプレイ装置によれば、画像生成装置が、カラー画像の入力画像から生成した出力画像データをドライバ装置に出力してカラー表示非対応のディスプレイパネル上に表示させることで、ディスプレイパネルのカラー表示非対応の各画素から出射される光が、マイクロレンズアレイ及びユーザの瞳孔を通過して網膜上に結像されて、当該ユーザはディスプレイパネルより後方の仮想画像面上において該カラー入力画像の拡大された再生画像を虚像として観察することでき、その際、出力画像データを生成する画素値生成処理においてディスプレイパネルの各画素に対して瞳孔面の直径に応じて生成された重み係数を用いることにより、上述した瞳孔の拡大に伴いユーザが該再生画像上において知覚する画質の低下を効果的に抑制することができる。
【0025】
更に、カラー表示非対応のディスプレイパネルの各画素は、通常のカラー表示対応のディスプレイパネルの各画素と異なり、RGB3原色に個別に対応した副画素を備える必要がないため、つまり、1画素内で色の分離を行う必要がないため、各画素の面積を縮小でき、ディスプレイパネルの高解像度化を容易に実現することができる。
【0026】
更に、本発明に係るディスプレイ装置は、上記第4の特徴に加えて、前記瞳孔面の中心と前記対象画素の中心を結ぶ直線が通過する前記マイクロレンズアレイ内の1つのレンズを前記対象画素に対応する対象レンズとした場合において、
前記対象画素が、前記特定画素でない場合に、当該対象画素に対応する前記対象レンズを中心とする前記瞳孔面の直径と前記レンズの配列間隔の比に応じた範囲内の被検査レンズの夫々について、
前記対象画素から出射した光が前記対象レンズによって前記仮想画像面上に虚像として観測される対象仮想画素位置と前記被検査レンズの主点を結ぶ直線が前記ディスプレイパネルの前記発光面と交差する点を、前記被検査レンズに対応する被検査画素点とし、
前記被検査画素点の前記色対応関係によって定まる前記RGB3原色の1つである対応色が、前記対象画素の前記色対応関係によって定まる前記RGB3原色の1つである対応色と一致し、且つ、前記被検査画素点から出射され当該被検査画素点に対応する前記被検査レンズに隣接する複数の隣接レンズを通過した光が前記瞳孔面を通過せずに、前記瞳孔面の外周領域に到達する場合に、第1変数と第2変数の計算を行い、
前記被検査画素点の前記対応色が前記対象画素の前記対応色と一致しないか、前記被検査画素点から出射され前記複数の隣接レンズを通過した光が前記瞳孔面を通過する場合は、前記第1変数と第2変数の計算を行わず、
前記第1変数は、当該光の到達位置の前記瞳孔面の中心または外縁からの離間距離に応じて、前記離間距離が前記瞳孔面の直径に応じた所定の基準値以上の場合に1とし、前記離間距離が前記所定の基準値未満の場合に、前記離間距離が大きいほど1に近付く0以上1未満の値として計算され、
前記第2変数は、前記対象仮想画素位置から、前記被検査レンズを通して前記瞳孔面とその延長面に投影される前記被検査レンズの投影領域と前記瞳孔面とが重複する部分の前記瞳孔面に対する面積比に、前記第1変数を乗じて計算され、
前記対象画素に対応する前記第2変数の計算処理を行った全ての前記被検査レンズの前記第2変数を合計して第3変数とし、前記対象レンズが前記被検査レンズである場合の前記第1変数を前記第3変数で除した値に対して、最大値が1となるように正規化した値が、前記対象画素の前記重み係数となるように、
前記ディスプレイパネルの各画素に対して、各別に、前記重み係数が設定されていることを第5の特徴とする。
【0027】
上記第5の特徴の画像生成装置によれば、特定画素の重み係数の値が0であることに起因して仮想画像面上においてユーザによって観測されるノイズパターンの発生を色別に効果的に抑制可能な重み係数を使用することができ、上述した瞳孔の拡大に伴いユーザが再生画像上において知覚する画質の低下を、カラー表示非対応のディスプレイパネルを使用した場合においても、確実に抑制することができる。
【0028】
更に、本発明に係るディスプレイ装置は、上記第1、第2及び第4の特徴に加えて、前記ディスプレイパネルが、前記ディスプレイパネルより小面積のディスプレイパネルユニットを縦方向と横方向の少なくとも1方向に複数配列して構成され、前記ディスプレイパネル内の前記ディスプレイパネルユニット間の隙間を仮想的に前記特定画素と見做して、前記ディスプレイパネルユニット内の各画素に対して、前記重み係数が生成されていることを第6の特徴とする。
【0029】
上記第6の特徴の画像生成装置によれば、画像生成装置が、入力画像から生成した出力画像データをドライバ装置に出力して複数のディスプレイパネルユニットを連結して成るディスプレイパネル上に表示させることで、複数のディスプレイパネルユニットの各画素から出射される光が、マイクロレンズアレイ及びユーザの瞳孔を通過して網膜上に結像されて、当該ユーザはディスプレイパネルより後方の仮想画像面上において該入力画像の拡大された再生画像を虚像として観察することでき、その際、出力画像データを生成する画素値生成処理において、ディスプレイパネルユニット間の隙間に起因してユーザが仮想画像面上において観測されるノイズパターンの発生が抑制されるように、ディスプレイパネルの各画素に対して瞳孔面の直径に応じて生成された重み係数を用いることにより、上述した瞳孔の拡大に伴いユーザが該再生画像上において知覚する画質の低下を、複数のディスプレイパネルユニットを連結して成るディスプレイパネルを使用する場合においても効果的に抑制することができる。これにより、ディスプレイパネルの広面積化が容易に実現できる。
【0030】
更に、本発明に係るディスプレイ装置は、上記第3及び第5の特徴に加えて、前記ディスプレイパネルが、前記ディスプレイパネルより小面積のディスプレイパネルユニットを縦方向と横方向の少なくとも1方向に複数配列して構成され、
前記対象画素が、前記特定画素でない場合に、前記被検査レンズの夫々について、
前記被検査画素点が前記ディスプレイパネルユニット内に存在する場合に、前記第1変数及び前記第2変数の計算処理を行い、前記被検査画素点が前記ディスプレイパネルユニット内に存在しない場合は、前記第1変数及び前記第2変数の計算処理を行わず、
前記対象画素に対応する前記第2変数の計算された全ての前記被検査レンズの前記第2変数を合計して第3変数とし、前記対象レンズが前記被検査レンズである場合の前記第1変数を前記第3変数で除した値に対して、最大値が1となるように正規化した値が、前記対象画素の前記重み係数となるように、
複数の前記ディスプレイパネルユニットの各画素に対して、各別に、前記重み係数が設定されていることを第7の特徴とする。
【0031】
上記第7の特徴の画像生成装置によれば、特定画素の重み係数の値が0であること、更に、ディスプレイパネルユニット間の隙間に起因して仮想画像面上においてユーザによって観測されるノイズパターンの発生を抑制可能な重み係数を使用することができ、上述した瞳孔の拡大に伴いユーザが再生画像上において知覚する画質の低下を、複数のディスプレイパネルユニットを連結して成るディスプレイパネルを使用した場合においても、確実に抑制することができる。
【0032】
更に、上記第7の特徴のディスプレイ装置は、前記第1変数の計算処理において、前記被検査画素点と前記隙間との間の距離を前記レンズの配列間隔で除した値が所定値以下の場合、当該値の増加に応じて0から1まで単調に増加する第4変数を前記第1変数に乗じた値を前記第1変数として使用することが好ましい。これにより、ディスプレイパネルユニット間の隙間に起因して仮想画像面上においてユーザによって観測されるノイズパターンの発生をより効果的に抑制することができる。
【0033】
更に、本発明に係るディスプレイ装置は、ユーザの眼前に装着して使用するディスプレイ装置であって、マイクロレンズアレイ、ディスプレイパネル、前記ディスプレイパネルを駆動するドライバ装置、前記ディスプレイパネルに表示させる出力画像の出力画像データを生成し前記ドライバ装置に出力する画像生成装置を備えてなり、
前記マイクロレンズアレイの主面と前記ディスプレイパネルの発光面が、前記マイクロレンズアレイの焦点距離より短い距離だけ離間して対向し、装着時に前記マイクロレンズアレイの主面が前記ディスプレイパネルの発光面よりユーザの瞳孔面側に位置するように構成され、
前記ディスプレイパネルの各画素がカラー表示非対応の画素であり、
前記ディスプレイパネルの縦方向及び横方向に夫々複数の前記画素を有する画素区画の夫々、または、前記マイクロレンズアレイの個々の前記レンズの夫々に対して、前記RGB3原色の何れか1色に対応したカラーフィルタが設置され、前記画素区画または前記レンズの夫々に前記RGB3原色の何れか1色が対応付けられており、
前記画像生成装置は、入力処理部、演算処理部、及び、出力処理部を備えて構成され、
前記入力処理部は、前記ディスプレイパネルの各画素から出射される光が、前記マイクロレンズアレイ及び前記瞳孔面を通過して網膜上に結像されることで、前記ユーザによって前記ディスプレイパネルより後方の仮想画像面上で観察される虚像を入力画像とする入力画像データであって、前記入力画像を構成する各入力画素の画素値が前記RGB3原色の各色の画素値で構成された前記入力画像データを受け付けるように構成され、
前記演算処理部は、前記各画素が前記RGB3原色の何れの色に対応しているかの色対応関係を備え、前記各入力画素の中から、前記ディスプレイパネルの1つの画素に対応する1つの前記入力画素を特定し、前記入力画像データから前記特定した前記入力画素の前記色対応関係によって定まる前記RGB3原色の1つの画素値を読み出して入力画素値とし、前記入力画素値または前記入力画素値に当該1つの画素に対して予め設定された重み係数を乗じた値を当該1つの画素の画素値とする画素値生成処理を、前記ディスプレイパネルの各画素に対して各別に行うように構成され、
前記出力処理部は、前記画素値生成処理で生成された各画素の前記画素値を備えた前記出力画像データを、前記ドライバ装置に出力するように構成され、
前記3色のカラーフィルタが、前記仮想画像面上の任意の1点を頂点とし、前記瞳孔面を底面とする円錐体が前記カラーフィルタの設置面と交差する断面内に、前記3色の全てが存在するように配列していることを第8の特徴とする。
【0034】
上記第8の特徴のディスプレイ装置によれば、画像生成装置が、カラー画像の入力画像から生成した出力画像データをドライバ装置に出力してカラー表示非対応のディスプレイパネル上に表示させることで、ディスプレイパネルのカラー表示非対応の各画素から出射される光が、マイクロレンズアレイ及びユーザの瞳孔を通過して網膜上に結像されて、当該ユーザはディスプレイパネルより後方の仮想画像面上において該カラー入力画像の拡大された再生画像を虚像として観察することできる。
【0035】
上記第8の特徴のディスプレイ装置は、前記ディスプレイパネルの各画素の内、1つの前記入力画素に対応し、且つ、前記色対応関係で定まる3色に対応する3つの画素の前記重み係数の比が、前記仮想画像面上における当該1つの前記入力画素の中心を頂点とする前記円錐体が前記カラーフィルタの設置面と交差する前記断面内における3色の前記カラーフィルタの面積の逆数の比となっていることが好ましい。これにより、ユーザが観察する再生画像の高精度の色再現性が実現できる。
【0036】
更に、カラー表示非対応のディスプレイパネルの各画素は、通常のカラー表示対応のディスプレイパネルの各画素と異なり、RGB3原色に個別に対応した副画素を備える必要がないため、つまり、1画素内で色の分離を行う必要がないため、各画素の面積を縮小でき、ディスプレイパネルの高解像度化を容易に実現することができる。
【0037】
更に、本発明に係るディスプレイ装置は、ユーザの眼前に装着して使用するディスプレイ装置であって、マイクロレンズアレイ、ディスプレイパネル、前記ディスプレイパネルを駆動するドライバ装置、前記ディスプレイパネルに表示させる出力画像の出力画像データを生成し前記ドライバ装置に出力する画像生成装置を備えてなり、
前記ディスプレイパネルが、前記ディスプレイパネルより小面積のディスプレイパネルユニットを縦方向と横方向の少なくとも1方向に複数配列して構成され、
前記マイクロレンズアレイの主面と前記ディスプレイパネルの発光面が、前記マイクロレンズアレイの焦点距離より短い距離だけ離間して対向し、装着時に前記マイクロレンズアレイの主面が前記ディスプレイパネルの発光面よりユーザの瞳孔面側に位置するように構成され、
前記画像生成装置は、入力処理部、演算処理部、及び、出力処理部を備えて構成され、
前記入力処理部は、前記ディスプレイパネルの各画素から出射される光が、前記マイクロレンズアレイ及び前記瞳孔面を通過して網膜上に結像されることで、前記ユーザによって前記ディスプレイパネルより後方の仮想画像面上で観察される虚像を入力画像とする入力画像データを受け付けるように構成され、
前記演算処理部は、前記仮想画像面上の前記入力画像を構成する各入力画素の中から、前記ディスプレイパネルの1つの画素に対応する1つの前記入力画素を特定し、前記入力画像データから前記特定した前記入力画素の画素値を読み出して入力画素値とし、当該入力画素値に、当該1つの画素に対して予め設定された重み係数を乗じて、当該1つの画素の画素値とする画素値生成処理を、前記ディスプレイパネルの各画素に対して各別に行うように構成され、
前記出力処理部は、前記画素値生成処理で生成された各画素の前記画素値を備えた前記出力画像データを、前記ドライバ装置に出力するように構成され、
前記重み係数は、前記ディスプレイパネルの各画素に対して、各別に、前記ディスプレイパネルの1つの対象画素が、前記ディスプレイパネル内に前記ディスプレイパネルユニット間の隙間が存在することに起因して前記仮想画像面上において前記ユーザによって観測されるノイズパターンの発生が抑制されるように、前記マイクロレンズアレイの主面と前記ディスプレイパネルの発光面と前記瞳孔面の配置関係、前記マイクロレンズアレイ及び前記ディスプレイパネルの構造的属性、前記瞳孔面の直径、及び、当該対象画素の位置に応じて生成された0、1、0より大きく1未満の中間値の3種類の補正値が全てが割り当てられ、前記画像生成装置の所定の記憶領域に保存されていることを第9の特徴とする。
【0038】
上記第9の特徴のディスプレイ装置によれば、画像生成装置が、入力画像から生成した出力画像データをドライバ装置に出力して複数のディスプレイパネルユニットを連結して成るディスプレイパネル上に表示させることで、複数のディスプレイパネルユニットの各画素から出射される光が、マイクロレンズアレイ及びユーザの瞳孔を通過して網膜上に結像されて、当該ユーザはディスプレイパネルより後方の仮想画像面上において該入力画像の拡大された再生画像を虚像として観察することでき、その際、出力画像データを生成する画素値生成処理において、ディスプレイパネルユニット間の隙間に起因してユーザが仮想画像面上において観測されるノイズパターンの発生が抑制されるように、ディスプレイパネルの各画素に対して瞳孔面の直径に応じて生成された重み係数を用いることにより、上記ノイズパターンによる画質の低下が抑制され、複数のディスプレイパネルユニットを連結して成るディスプレイパネルの使用が可能となり、ディスプレイパネルの広面積化が容易に実現できる。
【0039】
更に、本発明に係るディスプレイ装置は、上記第9の特徴に加えて、前記瞳孔面の中心と前記対象画素の中心を結ぶ直線が通過する前記マイクロレンズアレイ内の1つのレンズを前記対象画素に対応する対象レンズとした場合において、
前記対象画素が、前記重み係数として既に0が割り当てられていない場合、当該対象画素に対応する前記対象レンズを中心とする前記瞳孔面の直径と前記レンズの配列間隔の比に応じた範囲内の被検査レンズの夫々について、
前記対象画素から出射した光が前記対象レンズによって前記仮想画像面上に虚像として観測される対象仮想画素位置と前記被検査レンズの主点を結ぶ直線が前記ディスプレイパネルの前記発光面と交差する点を、前記被検査レンズに対応する被検査画素点とし、
前記被検査画素点が前記ディスプレイパネルユニット内に存在し、且つ、前記被検査画素点から出射され当該被検査画素点に対応する前記被検査レンズに隣接する複数の隣接レンズを通過した光が前記瞳孔面を通過せずに、前記瞳孔面の外周領域に到達する場合に、第1変数と第2変数の計算を行い、
前記被検査画素点が前記ディスプレイパネルユニット内に存在しないか、前記被検査画素点から出射され前記複数の隣接レンズを通過した光が前記瞳孔面を通過する場合は、前記第1変数と第2変数の計算を行わず、
前記第1変数は、当該光の到達位置の前記瞳孔面の中心または外縁からの離間距離に応じて、前記離間距離が前記瞳孔面の直径に応じた所定の基準値以上の場合に1とし、前記離間距離が前記所定の基準値未満の場合に、前記離間距離が大きいほど1に近付く0以上1未満の値として計算され、
前記第2変数は、前記対象仮想画素位置から、前記被検査レンズを通して前記瞳孔面とその延長面に投影される前記被検査レンズの投影領域と前記瞳孔面とが重複する部分の前記瞳孔面に対する面積比に、前記第1変数を乗じて計算され、
前記対象画素に対応する前記第2変数の計算処理を行った全ての前記被検査レンズの前記第2変数を合計して第3変数とし、前記対象レンズが前記被検査レンズである場合の前記第1変数を前記第3変数で除した値に対して、最大値が1となるように正規化した値が、前記対象画素の前記重み係数となるように、
複数の前記ディスプレイパネルユニットの各画素に対して、各別に、前記重み係数が設定されていることを第10の特徴とする。
【0040】
上記第10の特徴のディスプレイ装置によれば、ディスプレイパネルユニット間の隙間に起因して仮想画像面上においてユーザによって観測されるノイズパターンの発生を抑制可能な重み係数を使用することができ、上述した第9の特徴のディスプレイ装置の効果が確実に奏される。
【0041】
更に、上記第10の特徴のディスプレイ装置は、前記第1変数の計算処理において、前記被検査画素点と前記隙間との間の距離を前記レンズの配列間隔で除した値が所定値以下の場合、当該値の増加に応じて0から1まで単調に増加する第4変数を前記第1変数に乗じた値を前記第1変数として使用することが好ましい。これにより、ディスプレイパネルユニット間の隙間に起因して仮想画像面上においてユーザによって観測されるノイズパターンの発生をより効果的に抑制することができる。
【0042】
更に、上記第9または第10の特徴のディスプレイ装置は、前記レンズの配列間隔が、前記瞳孔面の直径の最小値より小さいことが好ましい。レンズの配列間隔が小さいと個々のレンズの焦点距離を短くでき、ディスプレイ装置の小型化、薄型化が図れ好ましい。しかしながら、一方で、レンズの配列間隔が小さいと、同じ瞳孔面の大きさに対して、相対的に瞳孔の拡大による画質の低下が顕著となるため、上記第9または第10の特徴のディスプレイ装置によって、当該画質低下がより好適に抑制され、上記ディスプレイ装置の小型化、薄型化との両立が図れる。
【0043】
更に、本発明に係るディスプレイ装置は、上記何れかの特徴に加えて、前記重み係数が、前記瞳孔面の直径、前記瞳孔面に直交して前記瞳孔面の中心を通過する視線軸が前記ディスプレイパネルと交差する位置、及び、前記瞳孔面の中心を通過して前記ディスプレイパネルと直交する基準直線に対する前記視線軸の方向の内の1以上の瞳孔面に関するパラメータに応じて、複数組の前記重み係数を備え、
前記入力処理部が、前記1以上の瞳孔面に関するパラメータを入力情報として受け付けるように構成され、
前記演算処理部が、前記入力情報に応じた前記重み係数を使用することを第11の特徴とする。
【0044】
上記第11の特徴のディスプレイ装置によれば、ユーザの瞳孔面に関するパラメータが変化しても、変化後のパラメータに対応した重み係数を使用することで、上記何れかの特徴のディスプレイ装置の効果が確実に奏される。
【0045】
更に、本発明に係るディスプレイ装置は、上記何れかの特徴に加えて、前記瞳孔面の直径、前記瞳孔面に直交して前記瞳孔面の中心を通過する視線軸が前記ディスプレイパネルと交差する位置、及び、前記瞳孔面の中心を通過して前記ディスプレイパネルと直交する基準直線に対する前記視線軸の方向の内の1以上の瞳孔面に関するパラメータを計測し、その計測結果を前記入力情報として、前記画像生成装置に出力するセンサを備えていることを第12の特徴とする。
【0046】
上記第12の特徴のディスプレイ装置によれば、ユーザの瞳孔面に関するパラメータの変化に対して適切な重み係数の選択或いは生成することが可能となる。
【発明の効果】
【0047】
本発明に係るディスプレイ装置によれば、眼前に装着して使用するマイクロレンズアレイを備えたディスプレイ装置であって、瞳孔の拡大等に伴う画質の低下を抑制し、高品質の画像をユーザが観察できるディスプレイ装置を提供できる。
【図面の簡単な説明】
【0048】
【図1】本発明の第1実施形態に係るディスプレイ装置の概略の構成例を模式的に示すブロック図。
【図2】瞳孔面S1、マイクロレンズアレイの主面S2、ディスプレイパネルの発光面S3、仮想画像面S4の相対的な配置関係を模式的に示す図。
【図3】演算処理部が実行する第1処理の処理内容を補足的に説明する説明図。
【図4】重み係数W(m,n)の作成手順の処理の流れを簡略的に示すフローチャート。
【図5】重み係数W(m,n)の作成手順のステップ1の処理内容を補足的に説明する説明図。
【図6】重み係数W(m,n)の作成手順のステップ1の処理内容を補足的に説明する説明図。
【図7】重み係数W(m,n)の作成手順のステップ3の処理内容を補足的に説明する説明図。
【図8】重み係数W(m,n)の作成手順のステップ4の処理内容を補足的に説明する説明図。
【図9】重み係数W(m,n)の作成手順のステップ4の処理内容を補足的に説明する説明図。
【図10】第1乃至第3実施形態の実施例及び比較例に係るディスプレイ装置で想定した入力画像データ(仮想画像面S4)の属性と、マイクロレンズアレイ及びディスプレイパネルの構造的属性と、瞳孔面S1の直径Dpを示す一覧表。
【図11】実施例1及び2に使用した入力画像Aを示す図。
【図12】実施例1に使用した入力画像Bを示す図。
【図13】実施例1の重み係数W(m,n)の重み係数画像とその要部拡大図を示す図。
【図14】実施例2の重み係数W(m,n)の重み係数画像とその要部拡大図を示す図。
【図15】実施例1の入力画像Aに対応する表示画像Aとその要部拡大図を示す図。
【図16】実施例1の入力画像Bに対応する表示画像Bを示す図。
【図17】実施例2の入力画像Aに対応する表示画像Aとその要部拡大図を示す図。
【図18】実施例1の入力画像Aに対応する網膜画像のシミュレーション画像Aとその要部拡大図を示す図。
【図19】実施例1の入力画像Bに対応する網膜画像のシミュレーション画像Bを示す図。
【図20】実施例2の入力画像Aに対応する網膜画像のシミュレーション画像Aとその要部拡大図を示す図。
【図21】比較例1の入力画像Aに対応する表示画像Aを示す図。
【図22】比較例1の入力画像Bに対応する表示画像Bを示す図。
【図23】比較例1の入力画像Aに対応する網膜画像のシミュレーション画像Aを示す図。
【図24】比較例1の入力画像Bに対応する網膜画像のシミュレーション画像Bを示す図。
【図25】比較例2の入力画像Aに対応する表示画像Aとその要部拡大図を示す図。
【図26】比較例2の入力画像Bに対応する表示画像Bを示す図。
【図27】比較例2の入力画像Aに対応する網膜画像のシミュレーション画像Aを示す図。
【図28】比較例2の入力画像Bに対応する網膜画像のシミュレーション画像Bを示す図。
【図29】比較例3の重み係数W(m,n)の重み係数画像とその要部拡大図を示す図。
【図30】比較例3の入力画像Aに対応する表示画像Aとその要部拡大図を示す図。
【図31】比較例3の入力画像Bに対応する表示画像Bを示す図。
【図32】比較例3の入力画像Aに対応する網膜画像のシミュレーション画像Aを示す図。
【図33】比較例3の入力画像Bに対応する網膜画像のシミュレーション画像Bを示す図。
【図34】比較例4の重み係数W(m,n)の重み係数画像とその要部拡大図を示す図。
【図35】比較例4の入力画像Aに対応する表示画像Aとその要部拡大図を示す図。
【図36】比較例4の入力画像Aに対応する網膜画像のシミュレーション画像Aを示す図。
【図37】本発明の第2実施形態に係るディスプレイ装置の概略の構成例を模式的に示すブロック図。
【図38】3色のカラーフィルタの配置構成を模式的に示す図。
【図39】実施例3に使用した入力画像B(カラー画像)のRGB3原色の色別に分離した3つの入力画像B-R、入力画像B-G、入力画像B-Bを示す図。
【図40】実施例3の重み係数W(m,n)の重み係数画像とその要部拡大図を示す図。
【図41】実施例3の入力画像Bに対応する表示画像Bを示す図。
【図42】実施例3の入力画像Bに対応する網膜画像のシミュレーション画像BのRGB3原色の色別に分離した3つのシミュレーション画像B-R、シミュレーション画像像B-G、シミュレーション画像B-Bを示す図。
【図43】本発明の第2実施形態に係るディスプレイ装置の概略の構成例を模式的に示すブロック図(A)と、ディスプレイパネルの概略構成を模式的に示す図(B)。
【図44】実施例4~6の重み係数W(m,n)の重み係数画像を示す図。
【図45】実施例4~6の入力画像Aに対応する左右2枚のディスプレイパネルユニットの表示画像Aを左右に並べて示す図。
【図46】実施例4~6の入力画像Aに対応する網膜画像のシミュレーション画像Aを示す図。
【図47】比較例5~8の入力画像Aに対応する左右2枚のディスプレイパネルユニットの表示画像Aを左右に並べて示す図。
【図48】比較例5~8の入力画像Aに対応する網膜画像のシミュレーション画像Aを示す図。
【発明を実施するための形態】
【0049】
以下、本発明の幾つかの実施形態に係るディスプレイ装置(以下、適宜、「本装置」と称す。)について説明する。

【0050】
[第1実施形態]
<ディスプレイ装置の概略構成>
本装置は、眼前に装着して使用する眼鏡タイプまたはゴーグルタイプ等のヘッドマウントディスプレイ装置である。図1に模式的に示すように、本装置1は、マイクロレンズアレイ2、ディスプレイパネル3、ドライバ装置4、及び、画像生成装置5を備えて構成される。尚、図1では、マイクロレンズアレイ2、ディスプレイパネル3、ドライバ装置4、及び、画像生成装置5を支持または収容してユーザの眼前に固定するための部材等は、種々の形態のものが可能であり、図示していない。

【0051】
マイクロレンズアレイ2は、同じ形状及び同じ焦点距離の微小なレンズを縦方向及び横方向に夫々複数アレイ状に配列して構成されており、1つのレンズの占有する区画は正方形状で、その1辺の長さがレンズの大きさ及びレンズの配列間隔となる。尚、本実施形態では、レンズの形状は、両側に凸面を有する両凸レンズを想定する。マイクロレンズアレイ2の焦点距離は、個々のレンズの焦点距離として規定される。本実施形態では、マイクロレンズアレイ2の主面は平面で、個々のレンズの幾何光学上の主点は該主面上に等間隔で格子状に配列している。レンズの配列間隔は、焦点距離が、レンズの材質(屈折率)及びレンズ面の曲率に応じて、例えば1mm~10mm程度の範囲に収まる範囲内を想定し、例えば、人の瞳孔の大きさ(直径)の変動範囲の最大値(6mm乃至8mm)より短い場合、或いは、同最小値(2mm)より短い場合を想定する。マイクロレンズアレイ2の材質は、可視光域で透明であって、焦点距離が、レンズの配列間隔及びレンズ面の曲率に応じて、例えば1mm~10mm程度、好ましくは1mm~5mm程度、更に好ましくは1mm~4mm程度の範囲に収まれば、特定の材質に限定されるものではない。一例として、光学ガラス或いは光学用プラスチック材料等が利用できる。

【0052】
ディスプレイパネル3は、有機EL(エレクトロルミネッセンス)ディスプレイパネルまたは液晶ディスプレイパネル等の、微小な画素(有機EL画素または液晶画素等)を縦方向及び横方向に夫々複数アレイ状に配列して構成される薄型平板状のディスプレイパネルである。マイクロレンズアレイ2とディスプレイパネル3は、ユーザの眼前の瞳孔面から数mm~数cm程度の範囲内に配置して使用されるため、夫々の縦横の長さは、例えば、2cm~数cm程度が想定される。従って、斯かる小面積のディスプレイパネル3を使用して高解像度の画像を表示しようとすると、個々の画素は自ずと小さな面積のものが必要となる。本実施形態では、ディスプレイパネル3の画素サイズ(画素の配列間隔と同じ)として、縦横夫々数μm~10数μm程度の正方形状または長方形状のものを想定し、更に、各画素は、RGB3原色に個別に対応した3色の副画素を備えて構成されている。従って、本実施形態では、ディスプレイパネル3がカラー表示に対応している。また、ディスプレイパネル3の発光面(各画素からの発光が出射される側の表面)は、マイクロレンズアレイ2の主面と同様に平面である場合を想定する。

【0053】
図2に示すように、マイクロレンズアレイ2とディスプレイパネル3は、視線軸Zが正面を向いている場合に、マイクロレンズアレイ2の主面S2とディスプレイパネル3の発光面S3が瞳孔面S1と平行となり、マイクロレンズアレイ2の主面S2がディスプレイパネル3の発光面S3と瞳孔面S1の間に位置し、且つ、マイクロレンズアレイ2の主面S2とディスプレイパネル3の発光面S3の離間距離L1がマイクロレンズアレイ2の焦点距離より短くなるように、ユーザの眼前に配置される。尚、視線軸Zは、瞳孔面S1の中心P1(以下、「瞳孔中心」と称す)を瞳孔面S1に垂直に通過する軸であり、瞳孔面S1は、瞳孔の開口面で眼球の水晶体の前面に位置しており、本実施形態では円形(正円)の平面を想定している。図2に示すように、本実施形態では、マイクロレンズアレイ2の主面S2と瞳孔面S1の離間距離L2は、離間距離L1より長く、更に、マイクロレンズアレイ2の主面S2と後述する仮想画像面S4の離間距離L3は、離間距離L2より長くなっている(L3>L2>L1)。

【0054】
本実施形態では、マイクロレンズアレイ2の大きさ(横:S2x,縦:S2y)に係数((L1+L2)/L2)を乗じた値を、ディスプレイパネル3の画素アレイ上での描画上限サイズ(横:Rx,縦:Ry)と規定し(下記の数1参照)、実際のディスプレイパネル3の画素アレイの大きさ(横:S3x,縦:S3y)が、横縦の別に、上記描画上限サイズを超える場合には、ディスプレイパネル3の画素アレイ上の描画領域は、描画上限サイズに制限され、ディスプレイパネル3の画素アレイ上での描画領域の大きさ(横:R3x,縦:R3y)は、下記の数2に示すようになる。このように、描画領域の大きさを描画上限サイズで制限する理由は、描画領域外の画素からの発光が、マイクロレンズアレイ2の外周部のレンズを通過して瞳孔面S2内に到達することによるアーチファクトを回避するためである。尚、マイクロレンズアレイ2の横及び縦の大きさが、夫々、ディスプレイパネル3の画素アレイの横及び縦の大きさに上記係数を乗じた値以上であると、描画領域の大きさは画素アレイの大きさと等しくなり、ディスプレイパネル3上の画素を全て有効に利用できる点で好ましい。

【0055】
[数1]
Rx=S2x×(L1+L2)/L2
Ry=S2y×(L1+L2)/L2

【0056】
[数2]
R3x=min(S3x,Rx)
R3y=min(S3y,Ry)

【0057】
仮想画像面S4は、ディスプレイパネル3上に表示された画像が、マイクロレンズアレイ2及び瞳孔面S1を通過して網膜上に結像されてユーザによって知覚される場合に、ユーザがディスプレイパネルより後方において虚像として観察する面である。ここで、離間距離L1と離間距離L3とマイクロレンズアレイ2の焦点距離fの関係は、下記の数3で表される。

【0058】
[数3]
1/f=1/L1-1/L3

【0059】
ドライバ装置4は、ディスプレイパネル3を駆動する半導体集積回路装置であり、ディスプレイパネル3の各画素に対して、画像生成装置5で生成された各画素の画素値を書き込むための制御信号及びデータ信号を、ディスプレイパネル3の電気的仕様に即した所定の電圧値及びタイミングで、各画素に接続する制御信号線及びデータ信号線に印加するように構成されている。ドライバ装置4の具体的な動作内容は、本発明の本旨ではないので、詳細な説明は割愛する。

【0060】
画像生成装置5は、図1に示すように、入力処理部6、演算処理部7、及び、出力処理部8を備えて構成され、ハードウェアとしては、マイクロプロセッサ或いはディジタル信号プロセッサ等の演算処理装置を備えて構成される。後述する入力処理部6、演算処理部7、及び、出力処理部8による各種の処理は、演算処理装置が所定のプログラムを実行することによって実行される。

【0061】
入力処理部6は、外部から受け付けた入力画像データを、内蔵するフレームメモリ等の所定の記憶領域に一時的に格納する。入力画像データは、ディスプレイパネル3上に表示された画像が、マイクロレンズアレイ2及び瞳孔面S1を通過して網膜上に結像されて知覚される場合に、ユーザが仮想画像面S4上において観察する虚像を入力画像とした場合の当該入力画像の画像データである。つまり、画像生成装置5は、ユーザが入力された入力画像データの画像を仮想画像面S4上において観察できるように、ディスプレイパネル3上に表示すべき画像の画像データを生成する装置である。尚、本実施形態では、入力画像としてカラー画像を想定しているため、入力画像データを構成する入力画像の各入力画素の画素値は、RGB3原色の各色の輝度を示す画素値で構成される。尚、入力画像が白黒のグレースケール画像の場合は、入力画像データを構成する入力画像の各入力画素の画素値は、各入力画素の輝度を示す画素値のみで構成してもよい。

【0062】
尚、入力画像データの入力処理部6への入力方法としては、種々の形態が考えられる。例えば、メモリカード等に記録された入力画像データを、本装置1に設けられたメモリカード用スロットに挿入して読み込む形態、所定の近距離無線通信方式(Wifi(登録商標)等の無線LANやBluetooth(登録商標)等)を用いて入力画像データを所定の外部端末から受信する形態、所定の有線方式のシリアルデータ通信に適したデータ通信ケーブル(USBケーブル、HDMI(登録商標)ケーブル等)を用いて入力画像データを所定の外部端末から受信する形態、等が想定される。

【0063】
演算処理部7は、入力画像を構成する各入力画素の中から、ディスプレイパネル3の1つの画素に対応する1つの入力画素を特定する第1処理と、入力画像データから特定した入力画素の画素値を読み出して入力画素値とする第2処理と、当該入力画素値に、当該1つの画素に対して予め設定された重み係数を乗じて、当該1つの画素の画素値とする第3処理からなる画素値生成処理を、ディスプレイパネル3の各画素に対して各別に行うように構成されている。

【0064】
第1処理では、ディスプレイパネル3の描画領域の各画素(m,n)と仮想画像面S4上の入力画像の各入力画素(i,j)の対応関係を、図3に示す要領で導出し、ディスプレイパネル3の1つの画素に対応する1つの入力画素を特定する。以下の説明では、便宜的に、マイクロレンズアレイ2の主面S2、ディスプレイパネル3の発光面S3、及び、仮想画像面S4の各中心を、各面のxy座標系の原点(0,0)とし、右方向を+x方向、左方向を-x方向、上方向を+y方向、下方向を-y方向とする。入力画像の各入力画素(i,j)は、仮想画像面S4の中心P4から±x方向にi番目で±y方向にj番目の画素として規定される。また、ディスプレイパネル3の各画素(m,n)は、発光面S3の中心P3から±x方向にm番目で±y方向にn番目の画素として規定される。更に、レンズ(u,v)は、主面S2の中心P2から±x方向にu番目で±y方向にv番目の画素として規定される。

【0065】
図3に示すように、ディスプレイパネル3の1画素(m,n)の発光面S3上の中心座標(x3,y3)と瞳孔中心P1を結ぶ直線が主面S2と交差する点の主面S2上の座標(x2,y2)によって、当該座標(x2,y2)に存在するマイクロレンズアレイ2内の1つのレンズ(u,v)が特定される。引き続き、図3に示すように、特定されたレンズ(u,v)の主点P2(本実施形態の両凸レンズではレンズの中心)と座標(x3,y3)を結ぶ直線が仮想画像面S4と交差する点の座標(x4,y4)によって、当該座標(x4,y4)に存在する入力画像の1入力画素(i,j)が特定される。1つのレンズ(u,v)の主面S2上の正方形の区画を底面、瞳孔中心P1を頂点とする四角錐を発光面S3まで延長した場合に、当該四角錐内に存在する画素(m,n)に対して、当該1つのレンズ(u,v)が特定される。

【0066】
尚、(i,j)と(x4,y4)の間の対応関係、(m,n)と(x3,y3)の対応関係、及び、(u,v)と(x2,y2)の間の対応関係は、下記の数4~数9で与えられる。ここで、s2は、レンズの配列間隔(レンズの大きさ)であり、s3は、ディスプレイパネル3の画素(m,n)の配列間隔(画素サイズ)であり、s4は、入力画素(i,j)の配列間隔(画素サイズ)である。また、N2xとN2yは、レンズ(u,v)のx方向及びy方向の配列数であり、N3xとN3yは、ディスプレイパネル3の描画領域内の画素(m,n)のx方向及びy方向の配列数(描画領域の解像度)であり、N4xとN4yは、入力画素(i,j)のx方向及びy方向の配列数(入力画像の解像度)である。また、In(x)は、変数xの小数点以下を切り捨てて整数化する関数であり、Rd(x)は、変数xの小数点以下を四捨五入して整数化する関数である。

【0067】
[数4]
i=In(x4/s4)+1, i=±(1~N4x/2), 但し、N4x=偶数
i=Rd(x4/s4), i=0~±(N4x-1)/2, 但し、N4x=奇数
[数5]
j=In(y4/s4)+1, j=±(1~N4y/2), 但し、N4y=偶数
j=Rd(y4/s4), j=0~±(N4y-1)/2, 但し、N4y=奇数
[数6]
m=x3/s3+0.5, m=±(1~N3x/2), 但し、N3x=偶数
m=x3/s3, m=0~±(N3x-1)/2, 但し、N3x=奇数
[数7]
n=y3/s3+0.5, n=±(1~N3y/2), 但し、N3y=偶数
n=y3/s3, n=0~±(N3y-1)/2, 但し、N3y=奇数
[数8]
u=In(x2/s2)+1, u=±(1~N2x/2), 但し、N2x=偶数
u=Rd(x2/s2), u=0~±(N2x-1)/2, 但し、N2x=奇数
[数9]
v=In(y2/s2)+1, v=±(1~N2y/2), 但し、N2y=偶数
v=Rd(y2/s2), v=0~±(N2y-1)/2, 但し、N2y=奇数

【0068】
ここで、マイクロレンズアレイ2の大きさS2x,S2y、レンズの配列間隔s2、及び、レンズの配列数N2x,N2yは、下記の数10に示す相互関係を有する。

【0069】
[数10]
S2x=s2×N2x
S2y=s2×N2y

【0070】
また、ディスプレイパネル3の描画領域の大きさR3x,R3y、画素の配列間隔s3、及び、画素領域内の画素の配列数N3x,N3yは、下記の数11に示す相互関係を有する。

【0071】
[数11]
R3x=s3×N3x
R3y=s3×N3y

【0072】
更に、入力画像の大きさ(横:S4x,縦:S4y)、入力画素の配列間隔s4、及び、入力画素の配列数N4x,N4y(入力画像の解像度)は、下記の数12に示す相互関係を有する。但し、入力画素の配列数N4x,N4yは、入力画像データの属性として与えられ、入力画像の大きさS4x,S4y、及び、入力画素の配列数等は任意に設定できるが、一般的には、本装置1の取り得る視野角一杯に入力画像の再生画像が表示されるように、入力画像の大きさを設定するのが実用的であり、好ましい。視野角(横:αx,縦:αy)は、非特許文献1に開示されているように、下記の数13で与えられる。尚、数13中の関数min{x,y}は変数x、yの最小値を選択する関数である。結果として、入力画像の大きさS4x,S4yの取り得る最大値(S4xmax,S4ymax)は、数14で与えられる。また、本実施形態では、非特許文献1において議論されているように、仮想画像面S4上でユーザが観察する入力画像の再生画像の解像度は、マイクロレンズアレイの使用に起因して低下するため、実際に使用する入力画素の配列数N4x,N4yは、ディスプレイパネル3の描画領域内の画素の配列数N3x,N3yより小さい値としている。

【0073】
[数12]
S4x=s4×N4x
S4y=s4×N4y
[数13]
αx=2arctan[min{N2x×s2/2L2,
(L3/L1)×R3x/2(L2+L3)}]
αy=2arctan[min{N2y×s2/2L2,
(L3/L1)×R3y/2(L2+L3)}]
[数14]
S4xmax=N2x×s2×(L2+L3)/L2
S4ymax=N2y×s2×(L2+L3)/L2

【0074】
尚、第1処理におけるディスプレイパネル3の描画領域の各画素(m,n)と仮想画像面S4上の入力画像の各入力画素(i,j)の対応関係は、上記各面S1~S3の配置関係(L1,L2)、瞳孔面S1の直径Dp、マイクロレンズアレイ2の構成(焦点距離f、マイクロレンズアレイ2の大きさS2x,S2y、レンズの配列間隔s2、及び、レンズの配列数N2x,N2y)、ディスプレイパネル3の構成(描画領域の大きさR3x,R3y、画素の配列間隔s3、及び、画素領域内の画素の配列数N3x,N3y)、並びに、入力画像の入力画素の配列間隔s4によって、一義的に決まり、入力画像の大きさ及び入力画素の配列数とは無関係である。従って、上記対応関係は、入力画素の配列間隔s4以外は、任意の入力画像に対して予め設定可能であり、入力画素の配列間隔s4に関する箇所は、数4によって決定される。よって、ディスプレイパネル3の描画領域の各画素(m,n)と仮想画像面S4上の座標(x4,y4)が、予め導出され、テーブル化しておくことが可能であり、座標(x4,y4)と入力画素(i,j)の対応関係は、数4で簡単に導出される。尚、上記画素(m,n)と座標(x4,y4)の対応関係を示すテーブル等は、画像生成装置5に内蔵または外付けの不揮発性の記憶装置9(例えば、フラッシュメモリ等の半導体メモリ)に格納することができる。

【0075】
第2処理では、第1処理で特定された入力画素(i,j)のRGB3原色の各色の画素値を、入力処理部6が所定の記憶領域に格納した入力画像データから読み出し、RGB3原色の各色の入力画素値とする。尚、入力画像が白黒のグレースケール画像で、各入力画素の画素値が各入力画素の輝度を示す画素値のみで構成されている場合は、第1処理で特定された入力画素(i,j)の輝度を示す1つの画素値を、入力処理部6が所定の記憶領域に格納した入力画像データから読み出し、RGB3原色の各色の入力画素値とする。

【0076】
第3処理では、第2処理で読み出した入力画素(i,j)のRGB3原色の各色の入力画素値IR(i,j),IG(i,j),IB(i,j)に、対応するディスプレイパネル3の画素(m,n)に対して予め設定された重み係数W(m,n)を乗じて、当該画素(m,n)の各色に対応した副画素の各画素値DR(m,n),DG(m,n),DB(m,n)とする。W(m,n)=0では、当該画素の各色に対応した副画素の画素値DR(m,n),DG(m,n),DB(m,n)は夫々0となり、黒色の表示となる。一方、W(m,n)=1では、当該画素の各色に対応した副画素の画素値DR(m,n),DG(m,n),DB(m,n)は、対応する入力画素(i,j)の各色の入力画素値IR(i,j),IG(i,j),IB(i,j)と同じとなる。尚、重み係数W(m,n)は、画像生成装置5に内蔵または外付けの不揮発性の記憶装置9(例えば、フラッシュメモリ等の半導体メモリ)に格納されている。

【0077】
出力処理部8は、ディスプレイパネル3の各画素に対して行われた画素値生成処理(第1処理~第3処理)で生成された各副画素の画素値DR(m,n),DG(m,n),DB(m,n)の全画素分を備えた出力画像データを、ドライバ装置4の電気的仕様に即した形式で、ドライバ装置4に出力する。

【0078】
<重み係数W(m,n)の作成手順>
本装置1の主たる特徴は、上記演算処理部7による第3処理において、重み係数W(m,n)を使用して、ユーザの視点が点ではなく実際は大きさのある瞳孔面S1であることに起因して発生する、ユーザが仮想画像面S4上で観察する入力画像の再生画像内のアーチファクト(ノイズパターン)を抑制することである。従って、重み係数W(m,n)は、ユーザの視点が点ではなく実際は大きさのある瞳孔面S1であることに起因して発生する、ユーザが仮想画像面S4上で観察する入力画像の再生画像内のアーチファクトを抑制できれば、以下に説明する作成手順以外の方法で作成された重み係数W(m,n)も当然に使用可能である。

【0079】
以下、本実施形態における重み係数W(m,n)の作成手順を説明する。尚、以下の説明では、瞳孔面S1とマイクロレンズアレイ2の主面S2とディスプレイパネル3の発光面S3が互いに平行で、視線軸Zが各面S1~S3の中心を垂直に通過する基本的な配置関係を想定する。当該基本的な配置関係から外れるケースについては後述する。また、重み係数W(m,n)は、上記各面S1~S3の配置関係(L1,L2)、瞳孔面S1の直径Dp、マイクロレンズアレイ2の焦点距離f、大きさS2x,S2y、レンズの配列間隔s2、及び、レンズの配列数N2x,N2y、並びに、ディスプレイパネル3の描画領域の大きさR3x,R3y、画素の配列間隔s3、及び、描画領域内の画素の配列数N3x,N3yによって、つまり、各面S1~S3の構造的属性によって一義的に決定され、入力画像とは無関係である。従って、重み係数W(m,n)は任意の入力画像に対して予め設定可能である。

【0080】
重み係数W(m,n)は、ディスプレイパネル3の各画素(m,n)に対して、以下のステップ1~8の処理を行って、0以上1以下の値が各別に設定される。以下、ステップ1~8の処理対象となる画素(m,n)を対象画素(m,n)と称する。

【0081】
ステップ1では、対象画素(m,n)が、当該対象画素(m,n)から出射された光がマイクロレンズアレイ2内の複数のレンズを通して瞳孔面S1に到達することで、対象画素(m,n)以外の他の画素のノイズ源と見做される特定画素であるか否かを検査し(検査1)、当該対象画素(m,n)が特定画素であると判定された場合、重み係数W(m,n)に0を割り当てる処理を行い、ステップ2以降の処理は行わない。

【0082】
ステップ2~8では、ステップ1で特定画素であると判定されなかった対象画素(m,n)に対し、特定画素の重み係数W(m,n)の値が0であることに起因して仮想画像面S4上においてユーザによって観測されるアーチファクト(ノイズパターン)の発生が抑制されるように、重み係数W(m,n)に、マイクロレンズアレイ2の主面S2とディスプレイパネル3の発光面S3と瞳孔面S1の配置関係(L1、L2)、マイクロレンズアレイ2及びディスプレイパネル3の構造的属性、瞳孔面S1の直径Dp、及び、対象画素(m,n)の位置に応じて生成された0、0より大きく1未満の中間値、1の3種類の補正値を、対象画素(m,n)の位置に応じて全て割り当てる処理を行う。以下、図4~図9を参照して、ステップ1~8の処理内容の具体例を詳細に説明する。図4は、ステップ1~8の処理の流れを簡略的に示すフローチャートである。

【0083】
<ステップ1>
検査1では、図5に示すように、瞳孔中心P1と対象画素(m,n)の中心を結ぶ直線が通過するマイクロレンズアレイ2内の1つのレンズを対象画素(m,n)に対応する対象レンズ2Xとした場合において、対象画素(m,n)から出射され対象レンズ2Xに±x方向及び±y方向に隣接する4つの隣接レンズ2Xa~2Xdの少なくとも1つを通過した光の少なくとも一部が瞳孔面S1を通過する場合、当該対象画素(m,n)を特定画素であると判定する。ところで、当該4つの隣接レンズ2Xa~2Xdを通過した光が、瞳孔面S1を通過しない場合は、対象画素(m,n)から出射され、当該4つの隣接レンズ2Xa~2Xd及び対象レンズ2X以外のレンズを通過した光も、同様に、瞳孔面S1を通過しないと想定し得るため、検査1では、上記4つの隣接レンズ2Xa~2Xdだけを検査対象とする。

【0084】
ここで、対象画素(m,n)の中心と対象レンズ2X及び4つの隣接レンズ2Xa~2Xdの各主点P2X,P2Xa~P2Xdを結ぶ5本の直線が、夫々、仮想画像面S4上で交差する点を、点QX,点QXa~点QXdとする。

【0085】
図5及び図6に示すように、対象画素(m,n)から出射し、対象レンズ2Xを通過する光は、仮想画像面S4上の点QXを頂点とし、対象レンズ2Xの主面S2上の正方形の区画を底面とする四角錐を瞳孔面S1まで延長した場合に、瞳孔面S1を含む平面S1’上の当該延長した四角錐と交差する矩形RXの領域内に到達する。同様に、対象画素(m,n)から出射し、隣接レンズ2Xa~2Xdを夫々通過する光は、仮想画像面S4上の点QXa~QXdを夫々頂点とし、隣接レンズ2Xa~2Xdの主面S2上の正方形の区画を底面とする4つの四角錐を瞳孔面S1まで延長した場合に、瞳孔面S1を含む平面S1’上の当該延長した4つの四角錐と交差する矩形RXa~RXdの領域内に到達する。従って、検査1では、上記4つの矩形RXa~RXdの少なくとも一部が、瞳孔面S1内に存在するか否かを検査し、存在している場合(検査1のYES分岐:図4参照)は、当該対象画素(m,n)を特定画素であると判定し、重み係数W(m,n)を0とする。一方、存在していない場合(検査1のNO分岐:図4参照)は、次のステップ2に移行する。

【0086】
ここで、本実施形態では、上記4つの矩形RXa~RXdの一部が、瞳孔面S1内に存在するか否か検査方法として、以下の2つの検査方法(検査1A,1B)を採用する。尚、以下の説明において、平面S1’上においても、マイクロレンズアレイ2の主面S2、ディスプレイパネル3の発光面S3、及び、仮想画像面S4と同様に、平面S1’の中心(瞳孔面S1の中心)をxy座標系の原点(0,0)とし、右方向を+x方向、左方向を-x方向、上方向を+y方向、下方向を-y方向とする。

【0087】
先ず、簡易な検査方法(検査1A)では、±x方向に隣接する2つの隣接レンズ2Xa,2Xbについて、対応する平面S1’上の2つの矩形RXa,RXbのx軸に垂直な各2辺の瞳孔中心P1に近い側の各1辺のx座標の絶対値が、瞳孔面S1の半径(Dp/2)以下か否かを判定し、半径(Dp/2)以下の場合には、矩形RXa,RXbの一部が、瞳孔面S1内に存在すると判定する。半径(Dp/2)以下でない場合は、同様に、±y方向に隣接する2つの隣接レンズ2Xc,2Xdについて、対応する平面S1’上の2つの矩形RXc,RXdのy軸に垂直な各2辺の瞳孔中心P1に近い側の各1辺のy座標の絶対値が、瞳孔面S1の半径(Dp/2)以下か否かを判定し、半径(Dp/2)以下の場合には、矩形RXc,RXdの一部が、瞳孔面S1内に存在すると判定する。半径(Dp/2)以下でない場合は、当該対象画素(m,n)を特定画素であると判定しない。

【0088】
次に、より厳密な検査方法(検査1B)では、上記平面S1’上の4つの矩形RXa~RXdの各4辺の内、瞳孔中心P1に近い側の各1辺と中心P1間の距離を計算し、4つの矩形RXa~RXdの当該距離の少なくとも何れか1つが瞳孔面S1の半径(Dp/2)以下か否かを判定し、半径(Dp/2)以下の場合には、矩形RXa~RXdの一部が、瞳孔面S1内に存在すると判定する。各1辺と中心P1間の距離の計算は、中心P1から当該各辺に下した垂線の端点が当該各辺内に存在するときは、当該垂線の長さを当該距離とし、当該垂線の端点が当該各辺内に存在しない場合は、当該各辺の両端と中心P1間の長さの短い方を当該距離として行う。

【0089】
<ステップ2>
上記ステップ1で説明した対象画素(m,n)に対応する対象レンズ2Xを特定し、当該対象レンズ2Xを中心として、±x方向及び±y方向に所定数Aの範囲内に存在する当該対象レンズ2Xを含む被検査レンズ2Xk(k=1~B、Bは被検査レンズの総数)の夫々について、下記のステップ3~6の処理を行う。ここで、対象レンズ2Xは、便宜的に、被検査レンズ2Xk(k=1)とする。所定数Aは、瞳孔面S1の直径Dpとレンズの配列間隔s2の比(Dp/s2)に応じて定まる自然数で、例えば、下記の数15で与えられる。また、総数kは、下記の数16で与えられる。一例として、瞳孔面S1の直径Dpが5mmで、レンズの配列間隔s2が1mmの場合、Aは6となり、被検査レンズの総数Bは121となる。

【0090】
[数15]
A=In(Dp/s2)+1
[数16]
B=(2A-1)

【0091】
<ステップ3>
図7に示すように、対象画素(m,n)の中心座標(x3,y3)と対象レンズ2Xの主点P2Xを結ぶ直線が仮想画像面S4と交差する点P4Xの座標値(x4,y4)を算出し、点P4Xと1つの被検査レンズ2Xkの主点P2Xkを結ぶ直線が、ディスプレイパネル3の発光面S3を通過する点P3kの座標値(x3,y3)を算出する。尚、点P4Xは、対象画素(m,n)から出射した光が対象レンズ2Xによって仮想画像面S4上に虚像として観測される対象仮想画素位置に相当する。また、点P3kを、適宜、被検査レンズ2Xkに対応する被検査画素点と称する。そして、点P3kと瞳孔中心P1を結ぶ直線がマイクロレンズアレイ2の主面S2と交差する点が、当該1つの被検査レンズ2Xkの区画内に存在するか否かを検査し(検査2)、区画内に存在する場合(検査2のYES分岐:図4参照)は、次のステップ4に移行し、区画内に存在しない場合(検査2のNO分岐:図4参照)は、以降のステップ4~6の処理を行わずに終了する。この場合、被検査レンズ2Xkが最後の被検査レンズ2Xkであれば(k=B)、ステップ7に移行し、被検査レンズ2Xkが最後の被検査レンズ2Xkでなければ(k≠B)、次の被検査レンズ2Xk+1のステップ3に移行する。

【0092】
<ステップ4>
被検査画素点P3kから出射され、被検査レンズ2Xkに±x方向及び±y方向に隣接する4つの隣接レンズ2Xka~2Xkdを通過した光が瞳孔面S1を通過せずに、瞳孔面S1を含む平面S1’上の瞳孔面S1の外側の外周領域に到達するか否かを検査し(検査3)、当該光が当該外周領域に到達する場合(検査3のYES分岐:図4参照)に、ステップ5において第1変数Ckの計算を行い、ステップ6において第2変数Dkの計算を行う。一方、当該光が瞳孔面S1を通過する場合(検査3のNO分岐:図4参照)は、以降のステップ5及び6の処理は行わず、つまり、第1変数Ckと第2変数Dkの計算を行わずに終了する。この場合、被検査レンズ2Xkが最後の被検査レンズ2Xkであれば(k=B)、ステップ7に移行し、被検査レンズ2Xkが最後の被検査レンズ2Xkでなければ(k≠B)、次の被検査レンズ2Xk+1のステップ3に移行する。

【0093】
ステップ4の1つの被検査レンズ2Xkに対する検査3は、ステップ1の検査1と基本的に同じ処理内容である。ここで、被検査画素点P3kと被検査レンズ2Xk及び4つの隣接レンズ2Xka~2Xkdの各主点P2Xk,P2Xka~P2Xkdを結ぶ5本の直線が、夫々、仮想画像面S4上で交差する点を、点QXk,点QXka~点QXkdとする。尚、点QXkは点P4Xと同じ点である。

【0094】
図8及び図9に示すように、被検査画素点P3kから出射し、被検査レンズ2Xkを通過する光は、仮想画像面S4上の点QXkを頂点とし、対象レンズ2Xkの主面S2k上の正方形の区画を底面とする四角錐を瞳孔面S1まで延長した場合に、瞳孔面S1を含む平面S1’上の当該延長した四角錐と交差する矩形RXkの領域内に到達する。同様に、被検査画素点P3kから出射し、隣接レンズ2Xka~2Xkdを夫々通過する光は、仮想画像面S4上の点QXka~QXdを夫々頂点とし、隣接レンズ2Xka~2Xkdの主面S2上の正方形の区画を底面とする4つの四角錐を瞳孔面S1まで延長した場合に、瞳孔面S1を含む平面S1’上の当該延長した4つの四角錐と交差する矩形RXka~RXkdの領域内に到達する。従って、検査3では、上記4つの矩形RXka~RXkdの全てが、瞳孔面S1の外側の外周領域に存在するか否か(即ち、4つの矩形RXka~RXkdの少なくとも一部が瞳孔面S1内に存在しないか否か)を検査する。

【0095】
ここで、本実施形態では、上記4つの矩形RXka~RXkdの全てが、瞳孔面S1の外側の外周領域に存在するか否か検査方法として、以下の2つの検査方法(検査3A,3B)を採用する。先ず、簡易な検査方法(検査3A)では、±x方向に隣接する2つの隣接レンズ2Xka,2Xkbについて、対応する平面S1’上の2つの矩形RXka,RXkbのx軸に垂直な各2辺の瞳孔中心P1に近い側の各1辺のx座標の絶対値が、瞳孔面S1の半径(Dp/2)以下か否かを判定し、半径(Dp/2)以下の場合には、矩形RXka,RXkbの一部が、瞳孔面S1内に存在すると判定する。半径(Dp/2)以下でない場合は、同様に、±y方向に隣接する2つの隣接レンズ2Xkc,2Xkdについて、対応する平面S1’上の2つの矩形RXkc,RXkdのy軸に垂直な各2辺の瞳孔中心P1に近い側の各1辺のy座標の絶対値が、瞳孔面S1の半径(Dp/2)以下か否かを判定し、半径(Dp/2)以下の場合には、矩形RXkc,RXkdの一部が、瞳孔面S1内に存在すると判定する。半径(Dp/2)以下でない場合は、4つの矩形RXka~RXkdの全てが、瞳孔面S1の外側の外周領域に存在すると判定する。

【0096】
次に、より厳密な検査方法(検査3B)では、上記平面S1’上の4つの矩形RXka~RXkdの各4辺の内、瞳孔中心P1に近い側の各1辺と中心P1間の距離を計算し、4つの矩形RXka~RXkdの当該距離の全てが瞳孔面S1の半径(Dp/2)より大きいか否かを判定し、半径(Dp/2)より大きいの場合には、矩形RXa~RXdの全てが、瞳孔面S1の外側の外部領域に存在すると判定する。各1辺と中心P1間の距離の計算は、中心P1から当該各辺に下した垂線の端点が当該各辺内に存在するときは、当該垂線の長さを当該距離とし、当該垂線の端点が当該各辺内に存在しない場合は、当該各辺の両端と中心P1間の長さの短い方を当該距離として行う。

【0097】
<ステップ5>
ステップ4で検査3Aを使用した場合には、検査3Aで計算した、2つの矩形RXka,RXkbのx軸に垂直な各2辺の瞳孔中心P1に近い側の各1辺のx座標の絶対値と、2つの矩形RXkc,RXkdのy軸に垂直な各2辺の瞳孔中心P1に近い側の各1辺のy座標の絶対値の内の最も小さい値を、4つの矩形RXka~RXkdと瞳孔中心P1の間の距離dkとする。そして、第1変数Ckを、距離dkを瞳孔面S1の半径(Dp/2)で除した値が、所定の基準値(例えば、1.1)より大きい場合は、下記の数17に示す計算式で計算し、距離dkを瞳孔面S1の半径(Dp/2)で除した値が、所定の基準値(例えば、1.1)以下の場合は、下記の数18に示す計算式で計算する。

【0098】
[数17]
Ck=1, 但し、dk/(Dp/2)>1.1
[数18]
Ck=(dk/(Dp/2)-1)×10, 但し、dk/(Dp/2)≦1.1

【0099】
ここで、第1変数Ckが意味するものは、ディスプレイパネル3の発光面S3上の点P3kから出射した光が瞳孔面S1を含む平面S1’上に到達する際に、ステップ1の検査1で排除するような瞳孔面S1との重複は生じていないが、当該重複に極めて近い関係にあるのか、それとも全く重複の危険のない安全な状況であるのかを示している。第1変数Ckは0以上1以下の値を取り、値が1だと安全で、0に近いと重複関係に近くなる。ディスプレイパネル3の画素は、計算上は点として扱っているが、実際は大きさのある面領域であるため、当該近似が計算結果に影響を及ぼす場合がある。そこで、本実施形態では、4つの矩形RXka~RXkdと瞳孔面S1が重複するが否かを0,1の2値で判断するのではなく、重複関係に近いか否かを0~1の間の値で表現している。

【0100】
<ステップ6>
点P4X(点QXk)から出射して被検査レンズ2Xkを通過した光が、瞳孔面S1を含む平面S1’上に到達する矩形領域を計算する。本実施形態の設定では、当該矩形領域は正方形となるため、平面S1’上の当該正方形のy軸に垂直な2辺のx座標(x11k,x12k)と当該正方形のx軸に垂直な2辺のy座標(y11k,y12k)を、下記の数19に示す計算式により算出する。数19中の座標値(x2k,y2k)は、マイクロレンズアレイ2の主面S2上の被検査レンズ2Xkの主点P2Xkのx座標とy座標である。

【0101】
[数19]
x11k=-(x4-(x2k+s2/2)×L2/L3+(x2k+s2/2)
x12k=-(x4-(x2k-s2/2)×L2/L3+(x2k-s2/2)
y11k=-(y4-(y2k+s2/2)×L2/L3+(y2k+s2/2)
y12k=-(y4-(y2k-s2/2)×L2/L3+(y2k-s2/2)

【0102】
上記要領で算出されたx座標(x11k,x12k)とy座標(y11k,y12k)から上記矩形領域の4頂点の座標が分かる。次に、当該矩形領域の計算結果に基づいて、当該矩形領域と瞳孔面S1の重複部分の瞳孔面S1に占める割合(面積比)Rskを計算し、当該面積比Rskとステップ5で算出した第1変数Ckを乗じて第2変数Dkを計算する(下記の数20参照)。

【0103】
[数20]
Dk=Rsk×Ck

【0104】
被検査レンズ2Xkが最後の被検査レンズ2Xkであれば(k=B)、ステップ7に移行し、被検査レンズ2Xkが最後の被検査レンズ2Xkでなければ(k≠B)、次の被検査レンズ2Xk+1のステップ3に移行する。

【0105】
<ステップ7>
上記ステップ3~6で第2変数Dkが計算された被検査レンズ2Xkの全ての第2変数Dkの合計値を第3変数Eとして計算する(下記の数21参照)。尚、数21中、上記ステップ6にまで至らずに第2変数Dkが計算されなかった被検査レンズ2Xkについては、第2変数Dkの値は0としている。尚、数21の計算は、ステップ7で行わずに、ステップ6で第2変数Dkが計算される都度、下記の数22に示す加算を行ってもよい。数22中のEとEk-1は、夫々、被検査レンズ2Xkと被検査レンズ2Xk-1のステップ6の終了時の第3変数Eの値である。

【0106】
[数21]
E=Σk=1~B(Dk)

【0107】
[数22]
=Ek-1+Dk

【0108】
引き続き、被検査レンズ2Xk(k=1)、つまり、対象レンズ2Xに対してステップ5で算出した第1変数Ckを、第3変数Eで除して、暫定的な重み係数W’(m,n)とする(下記の数23参照)。尚、被検査レンズ2Xk(k=1)は、対象レンズ2Xであるので、ステップ3の検査2は当然にパスし、ステップ4に移行する。また、ステップ2に移行した対象画素(m,n)は、ステップ1の検査1において特定画素であると判定されなかったので、ステップ4に移行した被検査レンズ2Xk(k=1)は、当然にステップ4の検査3をパスし、ステップ5において第1変数Ckが計算される。

【0109】
[数23]
W’(m,n)=Ck/E

【0110】
上記ステップ1~7の処理を、全ての対象画素(m,n)に対して繰り返し行った後、次のステップ8に移行する。

【0111】
<ステップ8>
ステップ7で計算した第3変数Eは、可能性として1未満になる場合があるため、暫定的な重み係数W’(m,n)の最大値が1を超える場合がある。そこで、本実施形態では、ステップ1の検査1において特定画素であると判定されなかった対象画素(m,n)の暫定的な重み係数W’(m,n)を、最大値が1となるように正規化して、最終的な重み係数W(m,n)とする(下記の数24参照)。尚、数24中のW’maxは、暫定的な重み係数W’(m,n)の最大値である。

【0112】
[数24]
W(m,n)=W’(m,n)/W’max

【0113】
以上説明したステップ1~8を経て、上記演算処理部7による第3処理において使用される重み係数W(m,n)が得られる。結果として、作成された個々の重み係数W(m,n)は、0、1、0より大きく1未満の中間値の3種類の補正値の何れかとなり、重み係数W(m,n)の全体では、上記3種類の補正値の全てが割り当てられており、重み係数W(m,n)が0の画素(m,n)、重み係数W(m,n)が1の画素(m,n)、及び、重み係数W(m,n)が上記中間値の画素(m,n)が全て存在している。

【0114】
<実施例>
次に、演算処理部7が、上記要領で作成された重み係数W(m,n)を使用して、上記画素値生成処理(第1処理~第3処理)で生成された各画素の画素値DR(m,n),DG(m,n),DB(m,n)の全画素分を備えた出力画像データを、ドライバ装置4を経由してディスプレイパネル3に入力した場合における、ディスプレイパネル3の描画領域に表示される表示画像、当該表示画像がマイクロレンズアレイ2を通して瞳孔面S1に到達した際にユーザが仮想画像面S4で虚像として観察する入力画像の再生画像(網膜画像)のシミュレーション画像、及び、重み係数W(m,n)の画像(重み係数画像)の実施例(実施例1及び2)を、2つの入力画像例(入力画像A及びB)を用いて説明する。尚、実施例1では、入力画像A及びBを使用し、重み係数W(m,n)の作成手順の検査1及び3で、検査1A及び3Aを使用した重み係数W(m,n)を使用している。実施例2では、入力画像Aを使用し、重み係数W(m,n)の作成手順の検査1及び3で、検査1B及び3Bを使用した重み係数W(m,n)を使用している。

【0115】
先ず、実施例1及び2に係る本装置1で想定した入力画像データ(仮想画像面S4)の属性と、マイクロレンズアレイ2及びディスプレイパネル3の構造的属性と、瞳孔面S1の直径Dpを、図10の一覧表に示す。

【0116】
図11に、実施例1及び2に使用した入力画像Aを示す。図12に、実施例1に使用した入力画像Bを示す。入力画像Aは、英文を示す解像度2400×1400の白黒画像であり、入力画像Bは、器に盛られたイチゴを示す解像度1920×1448のグレースケール画像(本来はカラー画像である)。図13及び図14に、実施例1及び実施例2の重み係数W(m,n)の重み係数画像を夫々示す。図15及び図16に、実施例1の入力画像A及びBに対応する表示画像A及びBを示す。図17に、実施例2の入力画像Aに対応する表示画像Aを示す。図18及び図19に、実施例1の入力画像A及びBに対応する網膜画像のシミュレーション画像A及びBを示す。図20に、実施例2の入力画像Aに対応する網膜画像のシミュレーション画像Aを示す。尚、図13~図15、図17、図18及び図20には、各画像の要部を拡大した要部拡大図を追加表示している。尚、各実施例及び各比較例の網膜画像のシミュレーション画像は、対応する入力画像に対して上下及び左右が反転した画像(180度回転した画像)となるが、入力画像との比較を容易にするため、入力画像と同じ向きに180度回転して表示している。

【0117】
次に、実施例1及び2の比較例として、4つの比較例を説明する。比較例1は、上記第3処理において、重み係数W(m,n)を使用しない(つまり、実質的に重み係数W(m,n)の全ての値が1となる)比較例である。比較例2は、重み係数W(m,n)の作成手順のステップ2~8を行わず、ステップ1の検査1において特定画素であると判定された重み係数W(m,n)を0とし、特定画素であると判定されなかった対象画素(m,n)の重み係数W(m,n)を単純に1とした比較例である。比較例3及び4は、重み係数W(m,n)の作成手順のステップ5の第1変数Ckの計算において、数17及び数18の計算式を用いず、dk/(Dp/2)の値に関係なく、第1変数Ckを1に固定して算出した重み係数W(m,n)を使用した比較例である。尚、比較例2では、重み係数W(m,n)の作成手順の検査1で、検査1Aを使用し、比較例3では、重み係数W(m,n)の作成手順の検査1及び3で、検査1A及び3Aを使用した重み係数W(m,n)を使用している。比較例4では、重み係数W(m,n)の作成手順の検査1及び3で、検査1B及び3Bを使用した重み係数W(m,n)を使用している。

【0118】
図21及び図22に、比較例1の入力画像A及びBに対応する表示画像A及びBを示す。図23及び図24に、比較例1の入力画像A及びBに対応する網膜画像のシミュレーション画像A及びBを示す。図25及び図26に、比較例2の入力画像A及びBに対応する表示画像A及びBを示す。図27及び図28に、比較例2の入力画像A及びBに対応する網膜画像のシミュレーション画像A及びBを示す。図29に、比較例3の重み係数W(m,n)の重み係数画像を示す。図30及び図31に、比較例3の入力画像A及びBに対応する表示画像A及びBを示す。図32及び図33に、比較例3の入力画像A及びBに対応する網膜画像のシミュレーション画像A及びBを示す。図34に、比較例4の重み係数W(m,n)の重み係数画像を示す。図35に、比較例4の入力画像Aに対応する表示画像Aを示す。図36に、比較例4の入力画像Aに対応する網膜画像のシミュレーション画像Aを示す。尚、図25、図29、図30、図34及び図35に、各画像の要部を拡大した要部拡大図を追加表示している。

【0119】
重み係数W(m,n)を使用しない比較例1では、図23及び図24に示すように、網膜画像のシミュレーション画像A及びBに、うっすらと画像の別の部分が映り込むというノイズが発生している。これは、光学系に単レンズではなくマイクロレンズアレイ2を使用し、且つ、マイクロレンズアレイ2のレンズの配列間隔S2が1mmであるのに対して瞳孔面S1の直径Dpが5mmと比較的大きいことに起因している。レンズの配列間隔S2に対し瞳孔面S1の直径Dpが相対的に大きくなると、ディスプレイパネル3の1つの画素から出射した光が、複数のレンズを通過して瞳孔面S1内に到達する可能性が高くなり、その場合、当該瞳孔面S1内に到達する光が、他の画素から瞳孔面S1内に到達する光と網膜上で同じ位置に到達すると、当該他の画素に対してノイズ源となる。

【0120】
そこで、本装置1では、重み係数W(m,n)の作成手順のステップ1において、対象画素(m,n)が特定画素であると判定された場合、重み係数W(m,n)に0を割り当てる処理を行っている。比較例2は、当該ステップ1の処理のみを行って作成された重み係数W(m,n)を使用している。図25及び図26に示すように、比較例2の表示画像A及びBでは、重み係数W(m,n)が0の画素が格子状に黒表示となっている。しかし、図27及び図28に示すように、比較例2の網膜画像のシミュレーション画像A及びBでは、比較例1のうっすらと画像の別の部分が映り込むというノイズの発生は解消されたが、表示画像A及びB上の格子状の黒表示部分が濃淡のノイズパターンとして映り込むという別の問題(明るさのむら)が発生している。

【0121】
そこで、本装置1では、重み係数W(m,n)の作成手順のステップ2~8において、ステップ1で特定画素であると判定されなかった対象画素(m,n)に対し、特定画素の重み係数W(m,n)の値が0であることに起因して仮想画像面S4上においてユーザによって観測されるアーチファクト(ノイズパターン)の発生が抑制されるように、重み係数W(m,n)に、マイクロレンズアレイ2の主面S2とディスプレイパネル3の発光面S3と瞳孔面S1の配置関係(L1、L2)、マイクロレンズアレイ2及びディスプレイパネル3の構造的属性、瞳孔面S1の直径Dp、及び、対象画素(m,n)の位置に応じて生成された0、1、及び前記中間値の何れかの補正値を割り当てる処理を行っている。

【0122】
図13に示す実施例1の重み係数画像では、比較例2の格子状の黒表示となる重み係数画像の白表示部分(W(m,n)=1)に対して、上記補正値が割り当てられている。この結果、実施例1の表示画像A及びBは、図15及び図16に示すようになり、実施例1の網膜画像のシミュレーション画像A及びBは、図18及び図19に示すようになる。図18及び図19に示すように、実施例1では、比較例1のうっすらと画像の別の部分が映り込むというノイズの発生、及び、比較例2の格子状の濃淡のノイズパターンの発生の何れもが解消されていることが分かる。

【0123】
上述のように、重み係数W(m,n)の作成手順の検査1及び3で、実施例1では、検査1A及び3Aを使用した重み係数W(m,n)を使用しているのに対して、実施例2では、検査1B及び3Bを使用した重み係数W(m,n)を使用している。図20に示す実施例2の網膜画像のシミュレーション画像Aにより明らかなように、実施例2においても、実施例1と同様、比較例1のうっすらと画像の別の部分が映り込むというノイズの発生、及び、比較例2の格子状の濃淡のノイズパターンの発生の何れもが解消されていることが分かる。但し、図18と図20の要部拡大図を比較すると、何れも、白地部分に極めて薄いドット状のノイズが分散的に確認できるが、その程度の差は、全体図で見れば確認できないレベルである。従って、検査1及び3に、簡易な検査1A及び3Aとより厳密な検査1B及び3Bの何れを使用しても、実用上問題にはならないと考えられる。

【0124】
比較例3は、実施例1の重み係数W(m,n)に対して、第1変数Ckを1に固定して算出した重み係数W(m,n)を使用した比較例である。比較例4は、実施例2の重み係数W(m,n)に対して、第1変数Ckを1に固定して算出した重み係数W(m,n)を使用した比較例である。第1変数Ckを1に固定するか否かの差は、図13と図29に示す実施例1と比較例3の重み係数W(m,n)の重み係数画像の差、及び、図14と図34に示す実施例2と比較例4の重み係数W(m,n)の重み係数画像の差に明確に表れている。当該差により、図32、図33及び図36に示すように、比較例3の網膜画像のシミュレーション画像A及びB、及び、比較例4の網膜画像のシミュレーション画像Aには、比較例1のうっすらと画像の別の部分が映り込むというノイズの発生、及び、比較例2の格子状の濃淡のノイズパターンの発生の何れもが解消されているが、比較例3では、別の極めて細い格子状のノイズパターンが発生し、比較例4では、比較例3のような細い格子状のノイズパターンではないが、ぼやけた薄い格子状のノイズパターンが発生していることが分かる。

【0125】
よって、実施例1及び2と比較例3及び4との比較より、重み係数W(m,n)の作成手順のステップ5における第1変数Ckの計算を行うことの効果が明らかとなった。しかし、瞳孔面S1の直径Dpが5mmより更に小さい場合や、ディスプレイパネル3の画素の配列間隔S3が10μmより更に短くより高解像度のディスプレイパネル3の使用が可能な場合は、第1変数Ckを1に固定しても、比較例3及び4のノイズパターンの程度が、実用上問題にならない程度に抑制される可能性はある。

【0126】
上記実施例1及び2により、画像生成装置5が、外部から受け付けた入力画像データに基づいて、上記ステップ1~8の作成手順を経て作成された重み係数W(m,n)を用いて生成した画像データをディスプレイパネル3上に表示することで、ユーザが、当該入力画像データの高品位な再生画像を仮想画像面S4上において観察できることが明らかとなった。また、重み係数W(m,n)の作成手順は、必ずしも、上記ステップ1~8の処理内容に限定されるものではなく、上記各面S1~S3の配置関係(L1,L2)、瞳孔面S1の直径Dp、マイクロレンズアレイ2の焦点距離f、大きさS2x,S2y、レンズの配列間隔s2、及び、レンズの配列数N2x,N2y、並びに、ディスプレイパネル3の描画領域の大きさR3x,R3y、画素の配列間隔s3、及び、描画領域内の画素の配列数N3x,N3yに応じて、処理精度を緩和させる、また、より高精度化する等の調整が可能である。

【0127】
次に、瞳孔面S1とマイクロレンズアレイ2の主面S2とディスプレイパネル3の発光面S3が互いに平行で、視線軸Zが各面S1~S3の中心を垂直に通過する基本的な配置関係から外れる場合における、第1処理で使用するディスプレイパネル3の描画領域の各画素(m,n)と仮想画像面S4上の入力画像の各入力画素(i,j)の対応関係と、重み係数W(m,n)の作成手順について、簡単に説明する。

【0128】
瞳孔面S1が、マイクロレンズアレイ2の主面S2とディスプレイパネル3の発光面S3に対して平行移動して、視線軸Zが、主面S2と発光面S3の中心からx方向またはy方向またはその両方に平行移動して各面と直交する第1の場合は、第1処理で使用する上記対応関係と重み係数W(m,n)の作成手順の何れに対しても、主面S2と発光面S3のxy座標系の座標値を当該移動量に合わせて補正することで対応可能である。

【0129】
眼球が回転して視線軸Zの方向が変化し、視線軸Zが、主面S2と発光面S3の中心からx方向またはy方向またはその両方に平行移動して各面と斜めに交差する第2の場合は、以下の2種類の対応が必要となる。尚、視線軸Zの方向は、瞳孔中心P1を通過してディスプレイパネル3の発光面S3と直交する基準直線の方向を基準にして決める。1つ目の対応は、第1処理で使用する上記対応関係の補正である。当該対応関係は、視線軸Zの向きには関係なく、瞳孔中心P1が眼球の回転により移動することを考慮すればよい。この場合、x方向とy方向への移動については、第1の場合と同様に、主面S2と発光面S3のxy座標系の座標値を当該移動量に合わせて補正し、z方向への移動については、主面S2と瞳孔中心P1との距離L2を補正することで対応可能である。2つ目の対応は、1つ目の対応と同様の補正を行うとともに、重み係数W(m,n)の作成手順のステップ1、4及び6では、仮想画像面S4上の所定の点から、マイクロレンズアレイ2の主面S2上の所定のレンズの正方形状の区画を底面とする四角錐を瞳孔面S1まで延長した場合に、瞳孔面S1を含む平面S1’上の当該延長した四角錐と交差する断面である矩形(RX,RXa~RXd、RXk,RXka~RXkd等)の各辺、各頂点の位置、或いは、面積等の計算を行ったが、眼球の回転により平面S1’が主面S2と平行な面ではなくなるため、当該四角錐が平面S1’と交差する断面である矩形は、正方形状ではなくなるため、上述の面積等の計算を平面S1の傾斜に応じた複雑な計算式で計算する必要が生じる。但し、当該矩形の平面S1’上での位置や面積の計算が複雑化するだけで、ステップ1、4及び6の処理内容には変更はない。

【0130】
[第2実施形態]
次に、本装置の第2実施形態について、図面を参照して説明する。

【0131】
<ディスプレイ装置の概略構成>
図37に模式的に示すように、第2実施形態の本装置11は、マイクロレンズアレイ12、ディスプレイパネル13、ドライバ装置14、及び、画像生成装置15を備えて構成され、第1実施形態の本装置1に対して部分的な変更を加えた構成となっている。尚、図37では、マイクロレンズアレイ12、ディスプレイパネル13、ドライバ装置14、及び、画像生成装置15を支持または収容してユーザの眼前に固定するための部材等は、種々の形態のものが可能であり、図示していない。

【0132】
マイクロレンズアレイ12は、マイクロレンズアレイ12の各レンズの正方形状の区画に、RGB3原色に対応した3色のカラーフィルタの何れか1つが形成され構成されている。3色のカラーフィルタ以外のマイクロレンズアレイ12は、第1実施形態のマイクロレンズアレイ2と同じ構成である。具体的には、マイクロレンズアレイ12は、各レンズの正方形状の区画の少なくとも一方面側の表面に、上記3色のカラーフィルタの何れか1つが形成された構成、或いは、各レンズが片側のみ凸面の平凸レンズの平面側を対向させた両凸レンズで構成され、2つの平凸レンズの間に上記3色のカラーフィルタの何れか1つを挟持した構成のものを使用する。ここで、3色のカラーフィルタの配置は、例えば、図38に模式的に示すように、x方向及びy方向の夫々に対して、上記3色のカラーフィルタが順番に周期的に配列し、縦横2×2の4区画内に必ず、上記3色のカラーフィルタが全て存在するように構成する。図38の例示では、例えば、クロスハッチで表示した区画、ドットパターンで表示した区画、及び、白抜きで表示した区画が、夫々、赤色(R)のフィルタ、緑色(G)のフィルタ、青色(B)のフィルタに対応している。

【0133】
第1実施形態のディスプレイパネル3は、各画素がRGB3原色に個別に対応した3色の副画素を備えて構成され、カラー表示に対応しているのに対して、ディスプレイパネル13は、斯かる副画素を備えず、カラー表示に対応していない点でディスプレイパネル3と大きく異なる。従って、ディスプレイパネル13は副画素を備えていないので、カラー表示対応のディスプレイパネル3より、容易に高解像度化が図れる点で有利である。

【0134】
マイクロレンズアレイ12とディスプレイパネル13は、上記した以外は、第1実施形態のマイクロレンズアレイ2及びディスプレイパネル3と、個々の構造的属性は同じであるので、第1実施形態と重複する説明は割愛する。また、瞳孔面S1とマイクロレンズアレイ12の主面S2とディスプレイパネル13の発光面S3との間の位置関係も、図2に示す通りであり、第1実施形態で説明した瞳孔面S1とマイクロレンズアレイ2の主面S2とディスプレイパネル3の発光面S3との間の位置関係と同じであるので、重複する説明は割愛するとともに、第1実施形態の説明で使用した記号や計算式は、特に断らない限り、第2実施形態においても、そのまま使用する。

【0135】
ドライバ装置14は、カラー表示非対応のディスプレイパネル13を駆動する半導体集積回路装置であり、ディスプレイパネル13の各画素に対して、画像生成装置15で生成された各画素の画素値を書き込むための制御信号及びデータ信号を、ディスプレイパネル13の電気的仕様に即した所定の電圧値及びタイミングで、各画素に接続する制御信号線及びデータ信号線に印加するように構成されている。ドライバ装置14の具体的な動作内容は、本発明の本旨ではないので、詳細な説明は割愛する。第1実施形態のドライバ装置4との相違点は、ドライバ装置4が、カラー表示対応のディスプレイパネル3を駆動する必要があるのに対して、ドライバ装置14はカラー表示に対応する必要がない点である。尚、ドライバ装置14として、カラー表示対応の第1実施形態のドライバ装置4を使用しても構わない。

【0136】
画像生成装置15は、図37に示すように、入力処理部16、演算処理部17、及び、出力処理部18を備えて構成され、第1実施形態の画像生成装置5と同様に、ハードウェアとしては、マイクロプロセッサ或いはディジタル信号プロセッサ等の演算処理装置を備えて構成される。後述する入力処理部16、演算処理部17、及び、出力処理部18による各種の処理は、演算処理装置が所定のプログラムを実行することによって実行される。

【0137】
入力処理部16は、第1実施形態の入力処理部6と全く同じであるので、第1実施形態と重複する説明は割愛する。

【0138】
演算処理部17は、入力画像を構成する各入力画素の中から、ディスプレイパネル3の1つの画素に対応する1つの入力画素を特定する第1処理と、入力画像データから特定した入力画素の画素値を読み出して入力画素値とする第2処理と、当該入力画素値に、当該1つの画素に対して予め設定された重み係数を乗じて、当該1つの画素の画素値とする第3処理からなる画素値生成処理を、ディスプレイパネル3の各画素に対して各別に行うように構成されている点で、第1実施形態の演算処理部7と基本的に同じである。しかし、マイクロレンズアレイ12とディスプレイパネル13が、上述のように、第1実施形態と構造的に相違するため、上記第1乃至第3処理の処理内容が、当該相違点に対応するために、第1実施形態で説明した処理内容と一部において異なっている。当該異なっている処理内容については後述する。

【0139】
出力処理部18は、カラー表示非対応のディスプレイパネル13の各画素に対して行われた画素値生成処理(第1処理~第3処理)で生成された画素値D(m,n)の全画素分を備えた出力画像データを、ドライバ装置14の電気的仕様に即した形式で、ドライバ装置14に出力する。

【0140】
次に、演算処理部17が行う第1乃至第3処理の第1実施形態と相違する部分を説明する。

【0141】
第1処理では、ディスプレイパネル3の描画領域の各画素(m,n)と仮想画像面S4上の入力画像の各入力画素(i,j)の位置対応関係に加えて、ディスプレイパネル3の描画領域の各画素(m,n)と各入力画素(i,j)のRGB3原色の何れの色と対応しているかの色対応関係が決定される。上記位置対応関係は、第1実施形態の第1処理と同じであるので、重複する説明は割愛する。上記色対応関係は、ディスプレイパネル3の描画領域の1つの画素(m,n)から出射した光がマイクロレンズアレイ12を通過して瞳孔面S1に到達するまでの間に何色のカラーフィルタを通過したかを示すものである。ここで、瞳孔中心P1と当該1つの画素(m,n)の中心を結ぶ直線が通過するマイクロレンズアレイ2内の1つのレンズ(第1実施形態の重み係数W(m,n)の作成手順のステップ1で説明した対象レンズ2Xに相当する)の正方形状の区画に形成されたカラーフィルタの色が、当該1つの画素(m,n)に対応付けられる。

【0142】
後述するように、本装置2においても、第1実施形態で説明した作成手順でほぼ同様に作成された重み係数W(m,n)が使用されるため、1つの画素(m,n)から出射した光が複数のマイクロレンズアレイ12を通過して瞳孔面S1に到達するケース(当該1つの画素(m,n)が特定画素の場合)は、重み係数W(m,n)が0となって、当該画素の発光が阻止されるため、上記色対応関係が問題になることはない。

【0143】
尚、上記位置対応関係と上記色対応関係を、夫々個別にテーブル化して、画像生成装置5に内蔵または外付けの不揮発性の記憶装置19に格納してもよく、また、両対応関係を統合した1つの統合対応関係をテーブル化して、上記不揮発性の記憶装置19に格納してもよい。

【0144】
第2処理では、第1処理において上記位置対応関係で特定された入力画素(i,j)のRGB3原色の各色の画素値の内、上記色対応関係で特定される1色の画素値を、入力処理部6が所定の記憶領域に格納した入力画像データから読み出し、入力画素値とする。

【0145】
第3処理では、第2処理で読み出した入力画素(i,j)のRGB3原色の各色の入力画素値IR(i,j),IG(i,j),IB(i,j)の内の上記色対応関係で特定される1色の画素値に、対応するディスプレイパネル13の画素(m,n)に対して予め設定された重み係数W(m,n)を乗じて、当該画素(m,n)の画素値D(m,n)とする。W(m,n)=0では、当該画素の画素値D(m,n)は0となり、黒色の表示となる。一方、W(m,n)=1では、当該画素の画素値D(m,n)は、対応する入力画素(i,j)の各色の入力画素値IR(i,j),IG(i,j),IB(i,j)の内の上記色対応関係で特定される1色の画素値と同じとなる。尚、重み係数W(m,n)は、第1実施形態と同様、画像生成装置5に内蔵または外付けの不揮発性の記憶装置19(例えば、フラッシュメモリ等の半導体メモリ)に格納されている。

【0146】
次に、第3処理で使用する重み係数W(m,n)の作成手順につき説明する。第2実施形態の本装置11で使用する重み係数W(m,n)の作成手順は、基本的には、第1実施形態で説明したものと同じであるが、上記で説明した第1乃至第3処理における第1実施形態との相違点に対応して、ステップ3の処理に、以下に説明する処理内容(検査4)を追加する。以下、第2実施形態においてステップ3の処理に追加した検査4の処理内容につき説明する。第2実施形態における重み係数W(m,n)の作成手順は、下記の検査4以外は、第1実施形態で説明したものと同じであるので、重複する説明は割愛する。

【0147】
検査4では、対象画素(m,n)に対応する色と、ステップ3において算出した点P3kの座標値(x3,y3)に対応する被検査画素点の画素に対応する色を、第1処理で説明した上記色対応関係に基づいて特定し、両画素の色が一致するか否かを検査する。検査4は、検査2の前後何れで行ってもよい。検査4を先に行う場合、検査4の結果、両画素の色が一致する場合に、検査2の処理を行い、両画素の色が一致しない場合には、検査2の処理、及び、以降のステップ4~6の処理を行わずに終了する。尚、検査4を後に行う場合、検査2の結果、点P3kと瞳孔中心P1を結ぶ直線がマイクロレンズアレイ2の主面S2と交差する点が、当該1つの被検査レンズ2Xkの区画内に存在する場合は、検査4を行い、区画内に存在しない場合は、検査4の処理、及び、以降のステップ4~6の処理を行わずに終了する。そして、後の検査4の結果、両画素の色が一致する場合は、次のステップ4に移行し、両画素の色が一致しない場合には、以降のステップ4~6の処理を行わずに終了する。

【0148】
第2実施形態の本装置11では、カラー表示非対応のディスプレイパネル13を使用して、カラー表示に対応させるために、縦横2×2の4区画内に必ず、上記3色のカラーフィルタが全て存在するように構成している。当該カラー表示に対応するには、第1処理における上記位置対応関係において、1つの入力画素(i,j)に対応するディスプレイパネル13の描画領域の画素(m,n)が3つ以上存在し、当該3つの画素(m,n)の上記色対応関係で決まる各色が、互いに異なり、夫々合わせてRGB3原色の3色となることが必要となる。従って、1つの入力画素(i,j)に対応する仮想画像面S4上の任意の1点を頂点とし、瞳孔面S1を底面とする円錐体がカラーフィルタの設置面と交差する断面内に、上記3色のカラーフィルタの全てが含まれている必要がある。このためには、3色のカラーフィルタの配列構成に加えて、瞳孔面S1の直径Dpをマイクロレンズアレイ12のレンズの配列間隔s2(レンズの大きさ)で除した比は、マイクロレンズアレイ12及びディスプレイパネル13の構造的属性に応じて上記条件が満足されるように設定される所定値以上(例えば、下記の実施例では3)とする必要がある。但し、当該所定値は、用途に応じて要求される画質にも依存するため、ここでは、詳細な説明は省略する。

【0149】
ところで、3色の入力画素値IR(i,j),IG(i,j),IB(i,j)に応じた各色の輝度を、瞳孔面S1を底面とする円錐体がカラーフィルタの設置面と交差する断面内に含まれている3色のカラーフィルタの各面積の逆数の比で合成することで、入力画素(i,j)の色が網膜上で再現されることになるが、第3処理で、3色の入力画素値IR(i,j),IG(i,j),IB(i,j)に乗じる上記色対応関係で特定される3つの画素(m,n)の重み係数W(m,n)の比が、上述の3色のカラーフィルタの各面積の逆数の比に相当している。このことは、後述する実施例3の結果より裏付けられる。

【0150】
ここで、第2実施形態の本装置11では、ディスプレイパネル13の描画領域の3以上の異なる位置の画素(m,n)から出射した無彩色光が、3以上(3つに限定して良いか?)の異なるレンズと3色のカラーフィルタと瞳孔面S1を通過して、網膜上の同じ位置に到達して、3色の光が網膜上の当該同じ位置で合成される。一方、第1実施形態の本装置1では、ディスプレイパネル13の描画領域の1つの画素(m,n)の3色の副画素から出射した3色の光が、1つのレンズと瞳孔面S1を通過して、網膜上の所定の位置に到達して、3色の光が網膜上の当該所定の位置で合成される。しかし、3色の副画素の位置が1つの画素内で分離しているため、網膜上においても3色が僅かに分離している。このため、第2実施形態の本装置11の方が、第1実施形態の本装置1より、カラー表示において高解像度化には有利な構造と言える。

【0151】
<実施例>
次に、演算処理部17が、上記要領で作成された重み係数W(m,n)を使用して、上記画素値生成処理(第1処理~第3処理)で生成された各画素の画素値D(m,n)の全画素分を備えた出力画像データを、ドライバ装置14を経由してディスプレイパネル13に入力した場合における、ディスプレイパネル13の描画領域に表示されるグレースケールの表示画像、当該表示画像がマイクロレンズアレイ12を通して瞳孔面S1に到達した際にユーザが仮想画像面S4で虚像として観察する入力画像の再生カラー画像(網膜画像)のシミュレーション画像、及び、重み係数W(m,n)の画像(重み係数画像)の実施例(実施例3)を、1つの入力画像例(入力画像B)を用いて説明する。尚、実施例3では、第1実施形態の実施例1と同様に、入力画像Bを使用し、重み係数W(m,n)の作成手順の検査1及び3で、検査1A及び3Aを使用した重み係数W(m,n)を使用している。

【0152】
先ず、実施例3に係る本装置11で想定した入力画像データ(仮想画像面S4)の属性と、マイクロレンズアレイ12及びディスプレイパネル13の構造的属性と、瞳孔面S1の直径Dpは、図10に示すように、第1実施形態の実施例1及び2の値から、本装置11のカラー表示対応効果を分かり易くするために、一部を変更している。主たる変更は、瞳孔面S1の直径Dpを5mmから3mmと短くし、マイクロレンズアレイ2の主面S2と瞳孔面S1の離間距離L2を10mmから15mmと長くしている点で、他の変更点は、図10に示す通りである。

【0153】
図39に、実施例3に使用した入力画像B(カラー画像)のRGB3原色の色別に分離した3つの入力画像B-R、入力画像B-G、入力画像B-Bを示す。図40に、実施例3の重み係数W(m,n)の重み係数画像とその要部拡大図を示す。図41に、実施例3の入力画像Bに対応する表示画像Bを示す。図42に、実施例3の入力画像Bに対応する網膜画像のシミュレーション画像BのRGB3原色の色別に分離した3つのシミュレーション画像B-R、シミュレーション画像像B-G、シミュレーション画像B-Bを示す。尚、入力画像B及び網膜画像のシミュレーション画像Bを色別に分離して示す目的は、本願に添付するグレースケールの図面を使用して、カラー表示非対応のディスプレイパネル13を使用する本装置11の色再現性を確認可能にするためである。また、図42に示すシミュレーション画像Bを色別に分離した各画像は、対応する入力画像に対して上下及び左右が反転した画像(180度回転した画像)となるが、入力画像との比較を容易にするため、入力画像と同じ向きに180度回転して表示している。

【0154】
図39の色別に分離した3つの入力画像B-R、入力画像B-G、入力画像B-Bと、図42の色別に分離した3つのシミュレーション画像B-R、シミュレーション画像B-G、シミュレーション画像B-Bを対比すると、各シミュレーション画像の外縁部分で画像の色むらが生じているが、当該外縁部分を除く画面の大部分では、カラーの入力画像が正確に再現されていることが分かる。当然ながら、本来のカラーでの入力画像Bと、カラーで表示されたシミュレーション画像Bを対比しても同様である。

【0155】
実施例3の結果より、カラー表示非対応のディスプレイパネル13を使用しても、マイクロレンズアレイ12の各レンズの正方形状の区画にRGB3原色に対応した3色のカラーフィルタを各別に形成することで、カラー表示可能なディスプレイ装置の実現が図れることが分かる。

【0156】
[第3実施形態]
次に、本装置の第3実施形態について、図面を参照して説明する。

【0157】
<ディスプレイ装置の概略構成>
図43(A)に模式的に示すように、第3実施形態の本装置21は、マイクロレンズアレイ22、ディスプレイパネル23、ドライバ装置24、及び、画像生成装置25を備えて構成され、第1実施形態の本装置1に対して部分的な変更を加えた構成となっている。尚、図43では、マイクロレンズアレイ12、ディスプレイパネル13、ドライバ装置14、及び、画像生成装置15を支持または収容してユーザの眼前に固定するための部材等は、種々の形態のものが可能であり、図示していない。

【0158】
マイクロレンズアレイ22は、第1実施形態のマイクロレンズアレイ2と全く同じ構成のものが利用できる。

【0159】
ディスプレイパネル23は、図43(B)に模式的に示すように、ディスプレイパネルユニット23aを縦方向(y方向)と横方向(x方向)の少なくとも1方向に複数配列して構成されている。ディスプレイパネルユニット23aは、パネルの大きさを除いて、第1実施形態のディスプレイパネル3と同じ構成のものが利用できる。ディスプレイパネル23は、隣接するディスプレイパネルユニット23aの画素アレイ間に、画素の存在しない隙間が生じている点で、第1実施形態のディスプレイパネル3と異なる。

【0160】
マイクロレンズアレイ22とディスプレイパネル23は、上記した以外は、第1実施形態のマイクロレンズアレイ2及びディスプレイパネル3と、個々の構造的属性は同じであるので、第1実施形態と重複する説明は割愛する。また、瞳孔面S1とマイクロレンズアレイ22の主面S2とディスプレイパネル23の発光面S3との間の位置関係も、図2に示す通りであり、第1実施形態で説明した瞳孔面S1とマイクロレンズアレイ2の主面S2とディスプレイパネル3の発光面S3との間の位置関係と同じであるので、重複する説明は割愛するとともに、第1実施形態の説明で使用した記号や計算式は、特に断らない限り、第3実施形態においても、そのまま使用する。

【0161】
ドライバ装置24は、ディスプレイパネル23を駆動する半導体集積回路装置であり、ディスプレイパネル13の各画素に対して、画像生成装置25で生成された各画素の画素値を書き込むための制御信号及びデータ信号を、ディスプレイパネル23の電気的仕様に即した所定の電圧値及びタイミングで、各画素に接続する制御信号線及びデータ信号線に印加するように構成されている。ドライバ装置24は、1台のディスプレイパネルユニット23aを駆動する個別のドライバ装置をディスプレイパネルユニット23aの個数分備えた構成としてもよく、また、1台のドライバ装置24が、複数のディスプレイパネルユニット23aを各別に同時に駆動する構成としてもよい。ドライバ装置24の具体的な動作内容は、本発明の本旨ではないので、詳細な説明は割愛する。

【0162】
画像生成装置25は、図43に示すように、入力処理部26、演算処理部27、及び、出力処理部28を備えて構成され、第1実施形態の画像生成装置5と同様に、ハードウェアとしては、マイクロプロセッサ或いはディジタル信号プロセッサ等の演算処理装置を備えて構成される。後述する入力処理部26、演算処理部27、及び、出力処理部28による各種の処理は、演算処理装置が所定のプログラムを実行することによって実行される。

【0163】
入力処理部26は、第1実施形態の入力処理部6と全く同じであるので、第1実施形態と重複する説明は割愛する。

【0164】
演算処理部27は、入力画像を構成する各入力画素の中から、ディスプレイパネル23の1つの画素に対応する1つの入力画素を特定する第1処理と、入力画像データから特定した入力画素の画素値を読み出して入力画素値とする第2処理と、当該入力画素値に、当該1つの画素に対して予め設定された重み係数を乗じて、当該1つの画素の画素値とする第3処理からなる画素値生成処理を、ディスプレイパネル23の各画素に対して各別に行うように構成されている点で、第1実施形態の演算処理部7と基本的に同じである。

【0165】
ところで、第3処理で使用する重み係数は、第1実施形態においては、ユーザの視点が点ではなく実際は大きさのある瞳孔面S1であることに起因して発生する、ユーザが仮想画像面S4上で観察する入力画像の再生画像内のアーチファクト(ノイズパターン)を抑制するために作成されていた。具体的には、第1実施形態では、比較例1のうっすらと画像の別の部分が映り込むというノイズの発生、比較例2の表示画像A及びB上の格子状の黒表示部分(対象画素(m,n)が特定画素である場合に、重み係数W(m,n)が0となっている部分に相当)が濃淡のノイズパターンとして映り込むという別の問題(明るさのむら)が、第1実施形態の実施例1及び2では解消されていた。

【0166】
ここで、第1実施形態の比較例2における「表示画像A及びB上の格子状の黒表示部分」と、第3実施形態のディスプレイパネル23において、隣接するディスプレイパネルユニット23aの画素アレイ間に、画素の存在しない隙間が生じていることは、連続した「黒表示部分」が生じる点で共通している。つまり、第3実施形態では、第1実施形態で問題視した瞳孔面S1の直径Dpが、比較例1のうっすらと画像の別の部分が映り込むというノイズの発生が顕著に生じない程度に小さい場合であっても、上記「画素の存在しない隙間」によって、比較例2と同様の濃淡のノイズパターンとして映り込むという問題(明るさのむら)が発生し得る。よって、第1実施形態の第3処理において使用した重み係数は、第3実施形態において、上記「画素の存在しない隙間」に起因して生じる明るさのむらの問題の解消に利用することができる。

【0167】
従って、演算処理部27の第1実施形態の演算処理部7との相違点は、第3処理で使用する重み係数W(m,n)の作成手順において、ディスプレイパネルユニット23aの画素アレイ間の隙間を考慮した処理が追加されている点である。尚、重み係数W(m,n)は、第1実施形態と同様に、画像生成装置5に内蔵または外付けの不揮発性の記憶装置29(例えば、フラッシュメモリ等の半導体メモリ)に格納されている。

【0168】
出力処理部28は、ディスプレイパネル23の各画素に対して行われた画素値生成処理(第1処理~第3処理)で生成された各副画素の画素値DR(m,n),DG(m,n),DB(m,n)の全画素分を備えた出力画像データを、ドライバ装置24の構成及び電気的仕様に即した形式で、ドライバ装置24に出力する。

【0169】
次に、第3処理で使用する重み係数W(m,n)の作成手順につき説明する。第3実施形態の本装置21で使用する重み係数W(m,n)の作成手順は、基本的には、第1実施形態で説明したものと同じであるが、ディスプレイパネルユニット23aの画素アレイ間の隙間を考慮して、ステップ3の処理に、以下に説明する処理内容(検査5)を追加し、ステップ5とステップ6の間に、以下に説明する処理内容(ステップ5-1)を追加する。以下、第3実施形態においてステップ3の処理に追加した検査5の処理内容、及び、ステップ5の後に追加したステップ5-1の処理内容つき説明する。第3実施形態における重み係数W(m,n)の作成手順は、下記の検査4及びステップ5-1以外は、第1実施形態で説明したものと同じであるので、重複する説明は割愛する。

【0170】
検査5では、ステップ3において算出した点P3k(被検査画素点)の座標値(x3,y3)が、ディスプレイパネルユニット23aの画素アレイ間の隙間内にあるか否かを検査する。検査5は、検査2の前後何れで行ってもよい。検査5を先に行う場合、検査5の結果、点P3kが上記隙間内にない(つまり、画素アレイ内にある)場合に、検査2の処理を行い、点P3kが上記隙間内にある場合には、検査2の処理、及び、以降のステップ4~6の処理を行わずに終了する。尚、検査5を後に行う場合、検査2の結果、点P3kと瞳孔中心P1を結ぶ直線がマイクロレンズアレイ2の主面S2と交差する点が、当該1つの被検査レンズ2Xkの区画内に存在する場合は、検査5を行い、区画内に存在しない場合は、検査5の処理、及び、以降のステップ4~6の処理を行わずに終了する。そして、後の検査5の結果、点P3kが上記隙間内にない場合は、次のステップ4に移行し、点P3kが上記隙間内にある場合には、以降のステップ4~6の処理を行わずに終了する。

【0171】
ステップ5-1では、第1実施形態のステップ5で算出された第1変数Ckを暫定的な第1変数C’kとし、当該暫定的な第1変数C’kに、下記の数25または数26で与えられる第4変数Fkを乗じた値を第1変数Ckとして(下記の数27参照)、以降のステップ6において使用する。尚、数25及び数26中のd1kは、点P3k(被検査画素点)と上記隙間との間の距離である。

【0172】
[数25]
Fk=5×d1k/s2, 但し、d1k/s2<0.2
[数26]
Fk=1, 但し、d1k/s2≧0.2

【0173】
[数27]
Ck=C’k×Fk

【0174】
ステップ5-1の処理を追加する狙いは、上記隙間に近接する画素をあまり使用しないようにして、近似や誤差による副作用の低減することである。

【0175】
<実施例>
次に、演算処理部27が、上記要領で作成された重み係数W(m,n)を使用して、上記画素値生成処理(第1処理~第3処理)で生成された各画素の画素値D(m,n)の全画素分を備えた出力画像データを、ドライバ装置24を経由してディスプレイパネル23に入力した場合における、ディスプレイパネル23の2枚のディスプレイパネルユニット23aの描画領域に表示される表示画像、当該表示画像がマイクロレンズアレイ22を通して瞳孔面S1に到達した際にユーザが仮想画像面S4で虚像として観察する入力画像の再生カラー画像(網膜画像)のシミュレーション画像、及び、重み係数W(m,n)の画像(重み係数画像)の実施例(実施例4~6)を、1つの入力画像例(入力画像A)を用いて説明する。実施例4~6間の違いは、ディスプレイパネルユニット23aの画素アレイ間の隙間が、順番に3mm、10mm、15mmである点である。尚、実施例4~6では、第1実施形態の実施例1と同様に、入力画像Aを使用し、重み係数W(m,n)の作成手順の検査1及び3で、検査1B及び3Bを使用した重み係数W(m,n)を使用している。

【0176】
先ず、実施例3に係る本装置21で想定した入力画像データ(仮想画像面S4)の属性と、マイクロレンズアレイ22及びディスプレイパネル23の構造的属性と、瞳孔面S1の直径Dpは、図10に示すように、第1実施形態の実施例1及び2の値から、本装置21の上記「画素の存在しない隙間」に起因して生じる明るさのむらの問題の解消効果を分かり易くするために、一部を変更している。主たる変更は、ディスプレイパネル23の構造的属性であり、次に、瞳孔面S1の直径Dpを5mmから3mmと短くし、マイクロレンズアレイ2の主面S2と瞳孔面S1の離間距離L2を10mmから15mmと長くしている点で、他の変更点は、図10に示す通りである。

【0177】
図44に、実施例4~6の重み係数W(m,n)の重み係数画像を夫々示す。図45に、実施例4~6の入力画像A(図11参照)に対応する左右2枚のディスプレイパネルユニット23aの表示画像Aを左右に並べて夫々示す。図46に、実施例4~6の入力画像Aに対応する網膜画像のシミュレーション画像Aを夫々示す。尚、各実施例及び各比較例の網膜画像のシミュレーション画像は、対応する入力画像に対して上下及び左右が反転した画像(180度回転した画像)となるが、入力画像との比較を容易にするため、入力画像と同じ向きに180度回転して表示している。

【0178】
次に、実施例4~6の比較例として、4つの比較例を説明する。比較例5~8は、重み係数W(m,n)の作成手順のステップ2~8を行わず、ステップ1の検査1において特定画素であると判定された重み係数W(m,n)を0とし、特定画素であると判定されなかった対象画素(m,n)の重み係数W(m,n)を単純に1とした比較例である。尚、比較例5~8では、実施例4~6と同様に、重み係数W(m,n)の作成手順の検査1で、検査1Bを使用した重み係数W(m,n)を使用している。

【0179】
図47に、比較例5~8の入力画像A(図11参照)に対応する左右2枚のディスプレイパネルユニット23aの表示画像Aを左右に並べて夫々示す。図48に、比較例5~8の入力画像Aに対応する網膜画像のシミュレーション画像Aを夫々示す。

【0180】
先ず、比較例5~8の結果を検討すると、瞳孔面S1の直径Dpを5mmから3mmと短くした結果、第1実施形態の比較例1及び2で観察された問題は生じていないことが、比較例5(隙間が0mm)のシミュレーション画像A(図48参照)より分かる。しかし、比較例6~8のシミュレーション画像A(図48参照)より、隙間に起因して生じたと考えられる中央部が暗くなるノイズパターンが見られる。

【0181】
これに対して、実施例4~6では、2枚のディスプレイパネルユニット23aの画素アレイ間に、3~15mmの隙間が存在しても、比較例6~8で生じていた中央部が暗くなるノイズパターンの発生は解消されていることが分かる。

【0182】
[別実施形態]
次に、上記第1~第3実施形態の変形例(別実施形態)について説明する。

【0183】
〈1〉上記第1~第3実施形態では、マイクロレンズアレイ2として各レンズが両凸レンズの場合を想定したが、各レンズが片側のみ凸面の平凸レンズのマイクロレンズアレイを使用してもよい。また、マイクロレンズアレイ2として、各レンズが縦方向及び横方向に夫々複数アレイ状に配列して構成され、1つのレンズの占有する区画は正方形状の場合を想定したが、例えば、1つのレンズの占有する区画が正六角形で、ハニカム状に密に配列して構成されていてもよい。

【0184】
〈2〉上記第1~第3実施形態では、瞳孔面S1の直径Dp、視線軸Zがディスプレイパネル3の発光面S3と交差する位置、及び、視線軸Zの方向(以下、「瞳孔面に関するパラメータ」と称する)が一通りで、演算処理部7,17,27による第3処理では、当該瞳孔面に関するパラメータ等に応じて予め設定された1組の重み係数W(m,n)を使用する場合を想定したが、瞳孔面に関するパラメータの1以上が変化する用途では、複数組の当該1以上の瞳孔面に関するパラメータの組み合わせに対して予め対応する重み係数W(m,n)を、記憶装置9,19,29に格納しておき、入力処理部6,16,26が、当該1以上の瞳孔面に関するパラメータを入力情報として受け付けるように構成され、入力処理部6,16,26が受け付け当該入力情報に応じた重み係数W(m,n)を選択して、記憶装置9,19,29から読み出して使用するのも好ましい実施態様である。

【0185】
この場合、上記1以上の瞳孔面に関するパラメータを計測し、その計測結果を入力情報として、画像生成装置5,15,25に出力するセンサを、本装置1,11,21の上記パラメータの計測可能な位置に設けるのも好ましい実施形態である。例えば、当該センサとして、イメージセンサを、ディスプレイパネル3を構成する基板上の画素アレイの周辺部(例えば、4角)に設置し、マイクロレンズアレイ2の4角のレンズを、当該センサの光学系に使用するのも好ましい実施形態である。斯かる4角のセンサから得られた情報から、瞳孔面S1の直径Dp、視線軸Zの方向等の上記パラメータが精度よく取得できる。

【0186】
上記センサを設ける場合、センサの計測結果を入力情報として、画像生成装置5,15,25に出力して、入力処理部6,16,26がそれを受け付け、当該入力情報に応じた重み係数W(m,n)を選択する構成に代えて、画像生成装置5,15,25が、本装置1,11,21に対応した重み係数W(m,n)の生成手順を実行する重み係数生成部を備え、センサから計測結果を入力情報として受け付けてから、演算処理部7,17,27が第3処理で使用する重み係数W(m,n)を生成し、当該使用前に記憶装置9,19,29に格納するようにしてもよい。

【0187】
〈3〉上記第1~第3実施形態では、重み係数W(m,n)は、ディスプレイパネル3の描画領域内の全ての画素(m,n)について導出して、その全画素分を記憶装置9,19,29に格納する態様を説明したが、重み係数W(m,n)は、図13及び図14に示すように、マイクロレンズアレイ2及びディスプレイパネル3の構造的属性に応じた規則性及び周期性を備えているため、全画素分の重み係数W(m,n)を、繰り返し単位となる重み係数W(m,n)部分と、上記規則性及び周期性を関数化した部分で再構成して、データ量を圧縮して、記憶装置9,19,29に格納するようにしてもよい。また、重み係数W(m,n)は、テーブル化して、記憶装置9,19,29に格納する場合を説明したが、数式化できる場合には、数式化したものを記憶装置9,19,29に格納するようにしてもよい。

【0188】
〈4〉上記第1~第3実施形態では、本装置1,11,21は、ドライバ装置4,14,24と画像生成装置5,15,25を夫々個別に備えてなる構成を説明したが、画像生成装置5,15,25の出力処理部8,18,28が、ドライバ装置4,14,24の機能を備え、ドライバ装置4,14,24と画像生成装置5,15,25が一体化した構成であってもよい。

【0189】
〈5〉上記第1~第3実施形態では、図1、図37、図43において、マイクロレンズアレイ2とディスプレイパネル3は各1つのケース、つまり、片眼で使用する形態を例示していたが、当該例示は、本装置の説明の理解を容易にするためものであり、マイクロレンズアレイ2,12,22とディスプレイパネル3,13,23を2組設けて、両眼で使用する形態であってもよい。この場合は、ドライバ装置4,14,24、及び、画像生成装置5,15,25を、2組のマイクロレンズアレイ2,12,22とディスプレイパネル3,13,23に対して共通に1組設けても、或いは、各別に2組設けてもよい。

【0190】
〈6〉上記第2実施形態では、RGB3原色に対応した3色のカラーフィルタは、マイクロレンズアレイ12の各レンズの表面または内部に形成する態様を説明したが、当該3色のカラーフィルタは、マイクロレンズアレイ12ではなく、ディスプレイパネル3の発光面S3の表面に形成してもよい。一例として、瞳孔中心P1を頂点とし、マイクロレンズアレイ12の正方形状の各区画を底辺とする四角錐を、ディスプレイパネル3の発光面S3まで延長した場合に、当該四角錐内の発光面S3上の区画に、上記3色のカラーフィルタを、例えば、図38に例示したパターンで形成するのが好ましい。この場合、1つの入力画素(i,j)に対応する仮想画像面S4上の任意の1点を頂点とし、瞳孔面S1を底面とする円錐体がディスプレイパネル3の発光面S3と交差する断面内に、上記3色のカラーフィルタの全てが含まれている必要がある。

【0191】
〈7〉上記第2及び第3実施形態では、基本的に第1実施形態で説明した重み係数W(m,n)の作成手順(ステップ1~8)を経て作成された重み係数W(m,n)を用いて、演算処理部17,27が第3処理を行う場合を説明した。しかし、第3実施形態の比較例5で説明したように、瞳孔面S1の直径Dpを5mmから3mmと短くした結果、第1実施形態の比較例1及び2で観察されたノイズの問題は生じていない。つまり、瞳孔面S1の直径Dpが3mm程度に小さくできる用途では、重み係数W(m,n)の作成手順として、必ずしも、上記作成手順(ステップ1~8)を経て作成する必要のないことを意味している。

【0192】
従って、第2実施形態では、カラー表示非対応のディスプレイパネル13を使用して、カラー表示に対応させる目的に特化して、3色の入力画素値IR(i,j),IG(i,j),IB(i,j)に応じた各色の輝度を、瞳孔面S1を底面とする円錐体がカラーフィルタの設置面と交差する断面内に含まれている3色のカラーフィルタの各面積の逆数の比で合成するための重み係数W(m,n)を、作成するようにしてもよい。つまり、第1及び第2実施形態で説明した重み係数W(m,n)の作成手順(ステップ1~8)の内、瞳孔面S1の直径Dpに応じて、例えば、ステップ1を省略する、或いは、第1実施形態の比較例3及び4のように、ステップ5の第1変数Ckの計算において、数17及び数18の計算式を用いず、dk/(Dp/2)の値に関係なく、第1変数Ckを1に固定して算出した重み係数W(m,n)を使用する、或いは、その両方を行うようにしてもよい。

【0193】
更に、第3実施形態では、隣接するディスプレイパネルユニット23aの画素アレイ間の画素の存在しない隙間に起因して生じる明るさのむらの問題の解消に特化して、重み係数W(m,n)を、作成するようにしてもよい。つまり、第1及び第3実施形態で説明した重み係数W(m,n)の作成手順(ステップ1~8)の内、瞳孔面S1の直径Dpに応じて、例えば、ステップ1を省略する、或いは、第1実施形態の比較例3及び4のように、ステップ5の第1変数Ckの計算において、数17及び数18の計算式を用いず、dk/(Dp/2)の値に関係なく、第1変数Ckを1に固定して算出した重み係数W(m,n)を使用する、或いは、その両方を行うようにしてもよい。

【0194】
更に、第2実施形態の構成を、第3実施形態の構成を用いて実現することも可能である。
【産業上の利用可能性】
【0195】
本発明のディスプレイ装置は、眼前に装着して使用する眼鏡タイプまたはゴーグルタイプ等のヘッドマウントディスプレイ装置に利用できる。
【符号の説明】
【0196】
1,11,21 : ディスプレイ装置
2,12,22 : マイクロレンズアレイ
3,13,23 : ディスプレイパネル
4,14,24 : ドライバ装置
5,15,25 : 画像生成装置
6,16,26 : 入力処理部
7,17,27 : 演算処理部
8,18,28 : 出力処理部
9,19,29 : 不揮発性の記憶装置
23a : ディスプレイパネルユニット
Dp : 瞳孔面の直径
L1 : マイクロレンズアレイの主面とディスプレイパネルの発光面の離間距離
L2 : マイクロレンズアレイの主面と瞳孔面の離間距離
L3 : マイクロレンズアレイの主面と仮想画像面の離間距離
P1 : 瞳孔面の中心
P2 : レンズの主点
P3 : ディスプレイパネルの発光面の中心
P4 : 仮想画像面の中心
S1 : 瞳孔面
S1’ : 瞳孔面を含む平面
S2 : マイクロレンズアレイの主面
S3 : ディスプレイパネルの発光面
S4 : 仮想画像面
Z1 : 視線軸
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14
【図16】
15
【図17】
16
【図18】
17
【図19】
18
【図20】
19
【図21】
20
【図22】
21
【図23】
22
【図24】
23
【図25】
24
【図26】
25
【図27】
26
【図28】
27
【図29】
28
【図30】
29
【図31】
30
【図32】
31
【図33】
32
【図34】
33
【図35】
34
【図36】
35
【図37】
36
【図38】
37
【図39】
38
【図40】
39
【図41】
40
【図42】
41
【図43】
42
【図44】
43
【図45】
44
【図46】
45
【図47】
46
【図48】
47