TOP > 国内特許検索 > 撮影カメラ、画像表示装置及び画像表示システム > 明細書

明細書 :撮影カメラ、画像表示装置及び画像表示システム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5354253号 (P5354253)
公開番号 特開2010-026332 (P2010-026332A)
登録日 平成25年9月6日(2013.9.6)
発行日 平成25年11月27日(2013.11.27)
公開日 平成22年2月4日(2010.2.4)
発明の名称または考案の名称 撮影カメラ、画像表示装置及び画像表示システム
国際特許分類 G03B  15/00        (2006.01)
G03B  35/08        (2006.01)
H04N  13/02        (2006.01)
FI G03B 15/00 B
G03B 35/08
H04N 13/02
請求項の数または発明の数 9
全頁数 14
出願番号 特願2008-189093 (P2008-189093)
出願日 平成20年7月22日(2008.7.22)
審査請求日 平成23年7月21日(2011.7.21)
特許権者または実用新案権者 【識別番号】301022471
【氏名又は名称】独立行政法人情報通信研究機構
発明者または考案者 【氏名】山本 健詞
【氏名】妹尾 孝憲
【氏名】大井 隆太朗
【氏名】三科 智之
【氏名】奥井 誠人
個別代理人の代理人 【識別番号】100064414、【弁理士】、【氏名又は名称】磯野 道造
【識別番号】100111545、【弁理士】、【氏名又は名称】多田 悦夫
審査官 【審査官】荒井 良子
参考文献・文献 特開2004-336239(JP,A)
特開2006-270488(JP,A)
特開2002-300602(JP,A)
特開2006-191357(JP,A)
特開2001-128071(JP,A)
特開2002-300607(JP,A)
特開2003-179904(JP,A)
特開平11-103473(JP,A)
調査した分野 G03B 15/00
G03B 35/08
H04N 13/02
特許請求の範囲 【請求項1】
複数の要素レンズを同一平面上に配置したレンズアレイを備え、被写体の要素画像群を撮影して前記要素画像群の一部の要素画像を画像表示装置に送信する撮影カメラであって、
前記レンズアレイを介して、前記要素画像群を撮影する撮影素子と、
前記撮影カメラが前記画像表示装置に送信する前記要素画像の位置と数とを示す予め設定された送信要素画像情報を記憶する記憶手段と、
前記撮影素子が撮影した要素画像群を前記要素画像に分解する分解手段と、
前記送信要素画像情報に設定された前記要素画像の位置と数とに基づいて、前記分解手段が分解した要素画像のうち、前記画像表示装置に送信する前記要素画像を選択する選択手段と、
前記選択手段が選択した前記要素画像を前記画像表示装置に送信する送信手段と、を備えることを特徴とする撮影カメラ。
【請求項2】
前記画像表示装置が中継機器を介して前記撮影カメラに複数接続される場合、
前記送信手段は、前記要素画像を前記複数の画像表示装置にマルチキャストで送信することを特徴とする請求項1に記載の撮影カメラ。
【請求項3】
前記送信手段は、前記要素画像を符号化して前記画像表示装置に送信することを特徴とする請求項1又は請求項2に記載の撮影カメラ。
【請求項4】
前記送信手段は、複数の前記要素画像をまとめて符号化して前記画像表示装置に送信することを特徴とする請求項1又は請求項2に記載の撮影カメラ。
【請求項5】
前記記憶手段は、前記要素画像の数が2以上を示す前記送信要素画像情報を記憶し、
前記選択手段は、前記送信要素画像情報に基づいて、2以上の前記要素画像を選択し、
前記送信手段は、前記選択手段が選択した2以上の前記要素画像を前記画像表示装置に送信することを特徴とする請求項1から請求項4のいずれか一項に記載の撮影カメラ。
【請求項6】
前記撮影手段が撮影した要素画像群に、幾何補正及び色補正の少なくとも一方を行う補正手段、をさらに備えることを特徴とする請求項1から請求項5のいずれか一項に記載の撮影カメラ。
【請求項7】
請求項1から請求項6のいずれか一項に記載の撮影カメラから、当該撮影カメラによって撮影された被写体の要素画像群の一部の要素画像を受信する画像表示装置であって、
前記撮影カメラが前記画像表示装置に送信する前記要素画像の位置と数とを示す予め設定された送信要素画像情報を、前記撮影カメラに送信する送信要素画像情報送信手段と、
前記送信要素画像情報に設定された前記要素画像の位置と数とに基づいて前記撮影カメラが選択した前記要素画像を受信し、当該要素画像から表示画像を生成する画像生成手段と、
前記画像生成手段が生成した表示画像を表示する表示手段と、
を備えることを特徴とする画像表示装置。
【請求項8】
前記送信要素画像情報送信手段は、前記要素画像の数が2以上を示す前記送信要素画像情報を前記撮影カメラに送信し、
前記画像生成手段は、前記撮影カメラから2以上の前記要素画像を受信して前記表示画像を生成することを特徴とする請求項7に記載の画像表示装置。
【請求項9】
請求項1から請求項6のいずれか一項に記載の撮影カメラと、
請求項7又は請求項8に記載の画像表示装置と、
を備えることを特徴とする画像表示システム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、レンズアレイを備える撮影カメラが撮影した要素画像を、画像表示装置に送信する技術に関する。
【背景技術】
【0002】
従来から、立体撮影の方法として、被写体の多視点画像を撮影する方法が知られている。この多視点画像の撮影には、複数台の撮影カメラが各視点(画像)を撮影するマルチカメラ、又は、レンズアレイを前面に配置した単一カメラを用いることができる(例えば、特許文献1参照)。特許文献1に記載の単一カメラは、複数のマイクロレンズを平面上に2次元的に配置したマイクロレンズアレイを備えるものである。

【特許文献1】特開2001-128071号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかし、マルチカメラで多視点画像を撮影する場合、必要な視点(画像)のみを表示装置に送信できるが、複数台の撮影カメラが必要となり、撮影装置が大規模化し、その設置や運営に多大な時間や労力が必要となる問題がある。一方、単一カメラで多視点画像を撮影する場合、撮影した画像に全視点(全要素画素)が含まれているため、必要とする視点(要素画素)のみを表示装置に送信することができず、マルチカメラに比べて画像の送信量が多くなるという問題がある。
【0004】
そこで、本発明は、簡易な構成で、画像の送信量を抑えることができる撮影カメラ、画像表示装置及び画像表示システムを提供することを目的とする。
【課題を解決するための手段】
【0005】
前記した課題を解決するため、請求項1に係る撮影カメラは、複数の要素レンズを同一平面上に配置したレンズアレイを備え、被写体の要素画像群を撮影して前記要素画像群の一部の要素画像を画像表示装置に送信する撮影カメラであって、前記レンズアレイを介して、前記要素画像群を撮影する撮影素子と、前記撮影カメラが前記画像表示装置に送信する前記要素画像の位置と数とを示す予め設定された送信要素画像情報を記憶する記憶手段と、前記撮影素子が撮影した要素画像群を前記要素画像に分解する分解手段と、前記送信要素画像情報に設定された前記要素画像の位置と数とに基づいて、前記分解手段が分解した要素画像のうち、前記画像表示装置に送信する前記要素画像を選択する選択手段と、前記選択手段が選択した前記要素画像を前記画像表示装置に送信する送信手段と、を備える構成とした。
【0006】
かかる構成によれば、撮影カメラは、記憶手段によって、被写体を撮影する前に、画像表示装置が必要とする要素画像を示す送信要素画像情報を記憶しておく。この送信要素画像情報は、画像表示装置から送信されても良い。また、撮影カメラは、撮影素子によって、レンズアレイを介して被写体を撮影することで、要素画像で構成される被写体の要素画像群を、1台の撮影カメラで撮影できる。また、撮影カメラは、分解手段によって、撮影素子が撮影した要素画像群を要素画像に分解、例えば、要素画像群を要素レンズの数で等分、要素画像群を予め定めた位置で分解、又は、要素画像群に含まれるマーカを基準に要素画像群を分解し、各要素画像を得ることができる。
【0007】
また、撮影カメラは、選択手段によって、送信要素画像情報に設定された要素画像の位置と数とに基づいて、分解手段が分解した要素画像のうち、画像表示装置が必要とする要素画像のみを選択できる。そして、撮影カメラは、送信手段によって、画像表示装置が必要としない要素画像を送信することなく、画像表示装置が必要とする要素画像のみを画像表示装置に送信できる。
【0008】
また、請求項2に係る撮影カメラは、前記画像表示装置が中継機器を介して前記撮影カメラに複数接続される場合、前記送信手段が、前記要素画像を前記複数の画像表示装置にマルチキャストで送信することを特徴とする。
【0009】
かかる構成によれば、撮影カメラは、送信手段によって、各画像表示装置が必要とする要素画像のみを、各画像表示装置に送信することができる。
【0010】
また、請求項3に係る撮影カメラは、前記送信手段が、前記要素画像を符号化して前記画像表示装置に送信することを特徴とする。
【0011】
かかる構成によれば、撮影カメラは、送信手段によって、例えば、要素画像を動画として送信するときはMPEG(Moving Picture Experts Group)方式、要素画像を静止画として送信するときはJPEG(Joint Photographic Experts Group)方式で要素画像を符号化する。
【0012】
また、請求項4に係る撮影カメラは、前記送信手段が、複数の前記要素画像をまとめて符号化して前記画像表示装置に送信することを特徴とする。
【0013】
かかる構成によれば、撮影カメラは、送信手段によって、例えば、MVC(multi-view video coding)方式で、複数の前記要素画像をまとめて符号化する。このMVC方式は、撮影カメラが撮影した要素画像群の各要素画像が類似することを利用して符号化を行うものである。
【0014】
また、請求項5に係る撮影カメラは、前記記憶手段は、前記要素画像の数が2以上を示す前記送信要素画像情報を記憶し、前記選択手段は、前記送信要素画像情報に基づいて、2以上の前記要素画像を選択し、前記送信手段は、前記選択手段が選択した2以上の前記要素画像を前記画像表示装置に送信することを特徴とする。
【0015】
かかる構成によれば、撮影カメラは、送信手段によって、2以上の要素画像を送信するので、これを受信した画像表示装置において、多視点画像を表示させることができる。
【0016】
また、請求項6に係る撮影カメラは、前記撮影手段が撮影した要素画像群に、幾何補正及び色補正の少なくとも一方を行う補正手段、をさらに備えることを特徴とする。
【0017】
かかる構成によれば、撮影カメラは、補正手段によって、要素画像群に含まれるレンズ歪や色ずれを除去し、歪みの少ない要素画像を送信できる。特に、要素画像群の端に近づく程、レンズ歪や色ずれの影響が大きくなるが、この場合でも、レンズ歪や色ずれを少なくすることができる。
【0018】
また、請求項7に係る画像表示装置は、請求項1から請求項6のいずれか一項に記載の撮影カメラから、当該撮影カメラによって撮影された被写体の要素画像群の一部の要素画像を受信する画像表示装置であって、前記撮影カメラが前記画像表示装置に送信する前記要素画像の位置と数とを示す予め設定された送信要素画像情報を、前記撮影カメラに送信する送信要素画像情報送信手段と、前記送信要素画像情報に設定された前記要素画像の位置と数とに基づいて前記撮影カメラが選択した前記要素画像を受信し、当該要素画像から表示画像を生成する画像生成手段と、前記画像生成手段が生成した表示画像を表示する表示手段と、を備える構成とした。
【0019】
かかる構成によれば、画像表示装置は、送信要素画像情報送信手段によって、撮影カメラが被写体を撮影する前に、画像表示装置が必要とする要素画像を示す送信要素画像情報を、撮影カメラに送信要素画像情報を送信する。また、画像表示装置は、画像生成手段によって、画像表示装置が必要としない要素画像を含む要素画像群を受信することなく、1台の撮影カメラから画像表示装置が必要とする要素画像のみを受信し、この要素画像から表示画像を生成する。そして、画像表示装置は、表示手段によって、画像生成手段が生成した表示画像を表示する。
【0020】
また、請求項8に係る画像表示装置は、前記送信要素画像情報送信手段が、前記要素画像の数が2以上を示す前記送信要素画像情報を前記撮影カメラに送信し、前記画像生成手段が、前記撮影カメラから2以上の前記要素画像を受信して前記表示画像を生成することを特徴とする。
【0021】
かかる構成によれば、画像表示装置は、画像生成手段によって、撮影カメラから2以上の要素画像を受信するので、多視点画像を表示することができる。
【0022】
また、請求項9に係る画像表示システムは、請求項1から請求項5のいずれか一項に記載の撮影カメラと、請求項6又は請求項7に記載の画像表示装置と、を備えることを特徴とする。
【発明の効果】
【0023】
本発明によれば、以下のような優れた効果を奏する。
請求項1,7,9に係る発明によれば、1台の撮影カメラで要素画像群を撮影できると共に、画像表示装置が必要とする要素画像のみを選択して画像表示装置に送信できるため、複数台の撮影カメラで構成される従来のマルチカメラに比べて、簡易な構成とすることができ、画像表示装置が必要としない要素画像を送信する従来の単一カメラに比べて、画像の送信量を抑えることができる。
【0024】
請求項2に係る発明によれば、各画像表示装置が必要とする要素画像のみを、各画像表示装置に送信できるため、画像の送信量をより抑えることができる。
請求項3に係る発明によれば、要素画像を符号化するため、画像の送信量をより抑えることができる。
請求項4に係る発明によれば、複数の要素画像をまとめて符号化するため、符号化効率を高めると共に、画像の送信量をより抑えることができる。
【0025】
請求項5に係る発明によれば、画像表示装置に多視点画像を表示させることができる。
請求項6に係る発明によれば、歪みの少ない要素画像を送信できるため、画像表示装置に高品質な多視点画像を表示させることができる。
請求項8に係る発明によれば、画像表示装置が多視点画像を表示することができる。
【発明を実施するための最良の形態】
【0026】
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段及び部材には同一の符号を付し、説明を省略した。
【0027】
(第1実施形態)
[画像表示システムの概略]
図1は本発明の実施形態に係る画像表示システムの概略を説明する図であり、(a)は画像表示システムの概略図であり、(b)は撮影カメラが撮影した要素画像群を説明する図であり、(c)は撮影カメラが画像表示装置に送信する要素画像を説明する図である。
【0028】
図1(a)に示すように、画像表示システム1は、撮影カメラ2と、画像表示装置(クライアントPC)3とを備える。
撮影カメラ(単一カメラ)2は、レンズアレイ21を前面に有し、被写体Hの要素画像群を撮影するデジタルカメラである(図1では、一部の要素レンズ21aのみ図示)。ここでは、レンズアレイ21は、縦3個×横4個、計12個の要素レンズ21aが同一平面上に配置されたものである。また、撮影カメラ2は、例えば、有線LAN(Local Area Network)、無線LAN、イントラネット等のネットワーク5を介して、画像表示装置3と接続され、その一部の要素画像を画像表示装置3に送信する。
画像表示装置3は、撮影カメラ2から送信された要素画像から表示画像を生成し、これを表示するものである。
【0029】
まず、画像表示装置3は、被写体Hを撮影する前に、ネットワーク5を介して、撮影カメラ2が画像表示装置3に送信する要素画像の位置と数とを示す送信要素画像情報を撮影カメラ2に送信する。ここで、送信要素画像情報は、例えば、要素画像群の中央に位置する2個の要素画像を示すものとする。
【0030】
次に、送信要素画像情報を受信したら、撮影カメラ2は、送信要素画像情報を記憶し、被写体Hを撮影する。前記したように、撮影カメラ2は、12個の要素レンズ21aを備えるため、図1(b)に示すように、12個の要素画像で構成される要素画像群を撮影する。ここで、送信要素画像情報として、要素画像群の中央に位置する2個の要素画像が設定されているため、撮影カメラ2は、図1(c)に示すように、図1(b)の要素画像群のうち、中央に位置する2個の要素画像のみを画像表示装置3に送信する(図1(b)の太枠部分)。
【0031】
つまり、撮影カメラ2が、図1(c)の要素画像を画像表示装置3に送信するため、画像表示システム1は、図1(b)の要素画像群を送信する場合と比べて、画像の送信量を少なくすることができる。
【0032】
[撮影カメラの構成]
図2は、図1の撮影カメラの構成を示すブロック図である。図2に示すように、撮影カメラ2は、記憶手段22と、撮影素子23と、補正手段24と、分解手段25と、選択手段26と、符号化手段(送信手段)27と、送信要素画像情報受信手段28とを備える。なお、図2では、レンズアレイ21の図示を省略した。
【0033】
送信要素画像情報受信手段28は、撮影カメラ2で撮影を行う前に、ネットワーク5を介して、画像表示装置3から送信要素画像情報を受信するものである。
記憶手段22は、送信要素画像情報受信手段28が受信した送信要素画像情報を記憶するものであり、RAM(Random Access Memory)及びHDD(Hard Disk Drive)等で構成される。また、記憶手段22は、要素レンズ21aの数(縦横の数)、要素レンズ21aの大きさ、及び、撮影カメラ2から被写体Hまでの距離等の撮影カメラ2の設置条件を含むパラメータを記憶しても良い。
【0034】
送信要素画像情報は、撮影カメラ2が画像表示装置3に送信する要素画像の位置と数とを示すものである。画像表示装置3が多視点画像を表示するためには、送信要素画像情報は、任意の位置の要素画像の数を2以上、設定する。例えば、自由視点の平面画像を画像表示装置3が表示する場合、送信要素画像情報は、自由視点の平面画像を生成するための要素画像の数を4(4視点分)設定する。なお、送信要素画像情報は、隣接する要素画像を複数設定しても良く、互いに離れた要素画像を複数設定しても良い。
【0035】
また、例えば、左右眼用画像(両眼視差を用いた立体画像)を画像表示装置3が表示する場合、送信要素画像情報は、左眼用画像を生成するための要素画像の数を2(2視点分)、右眼用画像を生成するための要素画像の数を2(2視点分)設定する。なお、送信要素画像情報は、左眼用画像を生成するための要素画像及び右眼用画像を生成するための要素画像として、隣接する位置の要素画像を複数設定しても良く、離れた位置の要素画像を複数設定しても良い。また、送信要素画像情報は、左眼用画像を生成するための要素画像及び右眼用画像を生成するための要素画像として、同一の要素画像を含むように複数設定しても良い。つまり、左眼用画像を生成するための要素画像と右眼用画像を生成するための要素画像とが重複するように、送信要素画像情報において、要素画像の位置が設定される。
【0036】
また、送信要素画像情報は、要素画像群の最左上部の要素画像の基準とし、画像表示装置3に送信する各要素画像の位置を要素画像(x,y)という座標系で表現しても良い(xは要素画像の横方向の位置、yは要素画像の縦方向の位置)。例えば、図1(b)の要素画像群では、最左上部の要素画像の位置は、要素画像(1,1)となり、最右下部の要素画像の位置は、要素画像(4,3)となる。
【0037】
なお、後記するマルチキャスト送信を行う場合、記憶手段22は、マルチキャストで送信を行う画像表示装置3のIP(Internet Protocol)アドレスを有するマルチキャスト情報を記憶しても良い。この場合、マルチキャスト情報は、予め、オペレータによって設定される。
【0038】
撮影素子23は、被写体Hを撮影するものであり、例えば、CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)で構成される。ここで、撮影素子23は、レンズアレイ21を介して被写体Hを撮影するので、レンズアレイ21の各要素レンズ21aに対応する要素画像で構成される被写体Hの要素画像群を撮影できる。
【0039】
補正手段24は、撮影素子23が撮影した要素画像群に、幾何補正及び色補正の少なくとも一方を行うものである。補正手段24は、例えば、レンズアレイ21が撮影素子23に垂直でない場合又はレンズアレイ21の光軸が一致しない場合、要素画像群を拡大、縮小、回転、平行移動させて幾何補正を行う。この幾何補正としては、例えば、アフィン変換、擬似アフィン変換、射影変換、変換マップを利用した変換がある。また、補正手段24は、例えば、要素画像群にたる型歪み等のレンズ歪みがある場合、高次項を利用した変換、変換マップを利用した変換等の幾何補正を行う。
【0040】
また、補正手段24は、要素画像群の撮影状態に応じて、要素画像群の濃度、コントラスト、彩度、色相等の色補正を行っても良い。例えば、補正手段24は、要素画像群のコントラストが低い場合、要素画像群の濃度やコントラストを補正する。また、補正手段24は、例えば、被写体Hが人物又は動物の目が赤く撮影された場合(赤目)、この赤目部分を黒色に補正する色補正を行う。なお、補正手段24は、幾何補正又は色補正の一方のみを行っても良く、幾何補正及び色補正の両方を行っても良い。
【0041】
分解手段25は、撮影素子23が撮影して補正手段24が補正した後の要素画像群を、各要素画像に分解するものである。ここで、分解手段25は、記憶手段22が記憶するパラメータを参照し、要素レンズ21aの数を求めて、要素画像群を要素レンズ21aの数で等分(分解)しても良い。また、分解手段25は、要素画像群において各要素画像が予め定めた位置で撮影されるように撮影カメラ2を設置し、要素画像群を予め定めた位置で分解しても良い。なお、この場合、要素画像群を分解する位置は、撮影カメラ2の設置条件から求めることができる。
【0042】
また、分解手段25は、要素画像群に各要素画像を分解する基準となるマーカが含まれる場合、このマーカを基準として要素画像群を分解すれば良い。図3は図1の分解手段の詳細を説明する図であり、(a)はレンズアレイの一例を示す図であり、(b)はこのレンズアレイを介して撮影された要素画像群を説明する図である。図3(a)に示すように、レンズアレイ21の各要素レンズ21a同士間に、撮影素子23と略垂直な枠21bを設ける。そして、図3(a)のレンズアレイ21を介して被写体Hを撮影した場合、撮影素子23は、図3(b)に示すように、要素レンズ21a同士間に枠21bが格子状で写された要素画像群を撮影する。この場合、分解手段25は、枠21bの色を抽出する処理(例えば、黒色領域抽出)を行って、要素画像群に写された枠21bをマーカとして抽出し、この枠21b(マーカ)を基準に要素画像群を分解する。
【0043】
例えば、図3(a)のレンズアレイ21は、例えば、要素レンズ21aを、縦3個×横4個、計12個、紫外線硬化接着剤で接着したものである。各要素レンズ21aは、例えば、それぞれが枠21bを有し、大きさが縦1mm×横1mmで、材料が透明プラスチック又は石英ガラスである。なお、要素レンズ21aの大きさ、材料及び個数はこれに限定されない。例えば、レンズアレイ21は、1枚の透明プラスチック板又は石英ガラス板の両面に、要素レンズ21aとして、球面レンズを所定の間隔で形成したものでも良い。
【0044】
図2の選択手段26は、記憶手段22が記憶する送信要素画像情報に基づいて、分解手段25が分解した要素画像のうち、画像表示装置3に送信する要素画像を選択するものである。ここで、選択手段26は、送信要素画像情報で2以上の要素画像が設定されている場合、設定された全要素画像を選択する。
【0045】
符号化手段27は、選択手段26が選択した要素画像を画像表示装置3に送信するものである。また、符号化手段27は、例えば、この要素画像を動画として送信するときはMPEG方式で、要素画像を静止画として送信するときはJPEG方式で符号化して画像表示装置3に送信する。なお、符号化手段27が、請求項に記載の送信手段に相当する。
【0046】
また、符号化手段27は、複数の要素画像をまとめて、例えば、MVC方式で符号化して画像表示装置3に送信する。なお、従来では、MVC方式は、マルチカメラで多視点画像を撮影する際、被写体に対して各カメラの撮影アングルが近似するときに各カメラの画像が類似することを利用して符号化を行うものであり、マルチカメラを対象とすると考えられていた。ここで、本発明者らは、撮影カメラ2が撮影した要素画像群に含まれる各要素画像が類似することに着目し、マルチカメラが対象であると考えられるMVC方式を、単一カメラである撮影カメラ2に適用した。
【0047】
なお、図2では、撮影カメラ2は、分解手段25によって、補正手段24が補正した後の要素画像群を各要素画像に分解するものとして説明したが、これに限定されない。例えば、撮影カメラ2は、分解手段25が要素画像群を各要素画像に分解した後、補正手段24が送信要素画像情報を参照して、画像表示装置3に送信する要素画像だけを補正しても良い(不図示)。これによって、撮影カメラ2は、全ての要素画像を補正する必要がなくなり、要素画像の補正処理の演算量を抑制することができる。
【0048】
[画像表示装置の構成]
図4は、図1の画像表示装置の構成を示すブロック図である。図4に示すように、画像表示装置3は、送信要素画像情報送信手段31と、復号化手段32と、画像生成手段33と、表示手段34と、記憶手段35とを備える。
【0049】
送信要素画像情報送信手段31は、撮影カメラ2で撮影を行う前に、ネットワーク5を介して、前記した送信要素画像情報を撮影カメラ2に送信するものである。ここで、送信要素画像情報送信手段31は、撮影カメラ2が被写体Hを撮影する前に送信要素画像情報を撮影カメラ2に送信しておけば良く、その送信タイミング及び送信回数は、特に制限されない。例えば、送信要素画像情報送信手段31は、送信要素画像情報が変更された都度、撮影カメラ2に送信する。また、例えば、送信要素画像情報送信手段31は、オペレータからの指令により、送信要素画像情報を撮影カメラ2に送信する。
【0050】
また、例えば、送信要素画像情報送信手段31は、一定の時間間隔(例えば、1時間毎)に、送信要素画像情報を撮影カメラ2に送信する。さらに、送信要素画像情報送信手段31は、送信要素画像情報の送信が成功したか否かを判定し、この送信が失敗したと判断したときに、送信要素画像情報を撮影カメラ2に再送しても良い。これによって、撮影カメラ2が送信要素画像情報を記憶していない事態を防ぐことができる。なお、送信要素画像情報は、例えば、オペレータによって、予め設定される。
【0051】
復号化手段32は、送信要素画像情報に設定された要素画像の位置と数とに基づいて撮影カメラ2が選択した要素画像を撮影カメラ2から受信するものである。また、復号化手段32は、要素画像がMPEG又はJPEGで符号化されている場合、受信した要素画像を復号化する。
【0052】
画像生成手段33は、復号化手段32が受信した要素画像から表示画像を生成するものである。例えば、撮影カメラ2から右眼用の要素画像(例えば、2視点)と、左眼用の要素画像(例えば、2視点)とを受信した場合、画像生成手段33は、2視点分の右眼用の要素画像を用いて、右目位置での奥行き情報を算出し、この奥行き情報から右目用の表示画像を生成する。そして、画像生成手段33は、右目用の表示画像と同様に、2視点分の左眼用の要素画像を用いて、左目用の表示画像を生成する。さらに、表示手段34が立体画像を表示する場合、画像生成手段33は、復号化手段32が受信した要素画像から被写体Hの3次元座標(縦、横、奥行き)を算出し、この結果を用いて立体画像(表示画像)を生成しても良い。
【0053】
表示手段34は、画像生成手段33が生成した表示画像を表示するものであり、例えば、ブラウン管ディスプレイ、液晶ディスプレイである。また、表示手段34は、画像生成手段33が生成した表示画像を表示するだけでなく、記憶手段35が記憶する表示画像を表示しても良い。
記憶手段35は、画像生成手段33が生成した表示画像、及び、復号化手段32が受信した要素画像を記憶するものであり、図2の記憶手段22と同様にHDD等で構成することができる。
【0054】
[撮影カメラの動作]
図5は、図2の撮影カメラの動作を示すフローチャートである(適宜図2参照)。なお、図5では、予め、画像表示装置3から送信要素画像情報が送信され、これを記憶手段22に記憶しているものとして説明する。
【0055】
まず、撮影カメラ2は、撮影素子23によって、被写体Hの要素画像群を撮影する(ステップS11)。撮影カメラ2は、補正手段24によって、撮影素子23が撮影した要素画像群に、幾何補正及び色補正の少なくとも一方を行う。ここで、撮影カメラ2は、補正手段24によって、要素画像群の撮影状態に応じて、要素画像群の濃度、コントラスト、彩度、色相等の色補正を行う(ステップS12)。
【0056】
ステップS12の処理に続いて、撮影カメラ2は、分解手段25によって、撮影素子23が撮影して補正手段24が補正した後の要素画像群を、各要素画像に分解する。ここで、撮影カメラ2は、分解手段25によって、要素画像群を要素レンズ21aの数で等分(分解)しても良く、要素画像群を予め定めた位置で分解しても良く、又は、要素画像群に写された枠21b(マーカ)を基準として要素画像群を分解しても良い(ステップS13)。
【0057】
ステップS13の処理に続いて、撮影カメラ2は、選択手段26によって、記憶手段22が記憶する送信要素画像情報に基づいて、分解手段25が分解した要素画像のうち、画像表示装置3に送信する要素画像を選択する(ステップS14)。また、撮影カメラ2は、符号化手段27によって、選択手段26が選択した要素画像を画像表示装置3に送信する。ここで、撮影カメラ2は、符号化手段27によって、要素画像をMPEG方式又はJPEG方式で符号化してから送信しても良い。さらに、撮影カメラ2は、符号化手段27によって、複数の要素画像をまとめてMVC方式で符号化して画像表示装置3に送信しても良い(ステップS15)。
【0058】
以上の処理によって、撮影カメラ2は、画像表示装置3が必要とする要素画像のみを画像表示装置3に送信するので、画像の送信量を抑えることができる。
なお、図5では、撮影カメラ2は、ステップS12の処理に続いて、ステップS13の処理を行うこととして説明したが、これに限定されない。例えば、撮影カメラ2は、図5のステップS13の処理と、ステップS12の処理とを入れ替えて動作しても良い(不図示)。
【0059】
[画像表示装置の動作]
図6は、図4の画像表示装置の動作を示すフローチャートである(適宜図4参照)。
画像表示装置3は、送信要素画像情報送信手段31によって、ネットワーク5を介して、前記した送信要素画像情報を撮影カメラ2に送信する(ステップS21)。
【0060】
ステップS21の処理に続いて、画像表示装置3は、復号化手段32によって、送信要素画像情報に応じて撮影カメラ2が選択した要素画像を撮影カメラ2から受信する。ここで、画像表示装置3は、復号化手段32によって、受信した要素画像がMPEG方式又はJPEG方式で符号化されている場合、要素画像をMPEG方式又はJPEG方式で復号化する。また、画像表示装置3は、復号化手段32によって、受信した要素画像がMVC方式で符号化されている場合、要素画像をMVC方式で復号化する。そして、画像表示装置3は、画像生成手段33によって、復号化手段32が受信した要素画像から表示画像を生成する(ステップS22)。
【0061】
ステップS22の処理に続いて、画像表示装置3は、表示手段34によって、画像生成手段33が生成した表示画像を表示する(ステップS23)。
以上の処理によって、画像表示装置3が必要とする要素画像のみを撮影カメラ2から受信して表示画像を表示するので、画像の送信量を抑えることができる。
【0062】
(第2実施形態)
図7は、本発明の第2実施形態に係る画像表示システムの概略を説明する図である。
図7の画像表示システム1aは、1台の撮影カメラ2と2台の画像表示装置3a,3bが、ハブ等の中継機器4を介して、ネットワーク接続されている。ここで、画像表示装置3a,3bを区別しない場合、単に画像表示装置3と記す。なお、撮影カメラ2及び画像表示装置3の各手段は、図2及び図4と同様のものであるため、説明を省略する(適宜図2、図4参照)。
【0063】
以下、撮影カメラ2は、横一列に配置された5個の要素レンズ21aを有するレンズアレイ21を有し、横一列に並ぶ5個の要素画像で構成される要素画像群を撮影する例で説明する。ここで、撮影カメラ2は、送信要素画像情報を画像表示装置3毎に記憶、例えば、5個の要素画像のうち、1番目と2番目の要素画像を画像表示装置3aに送信し、3番目と4番目の要素画像を画像表示装置3bに送信すると記憶しても良い。なお、撮影カメラ2は、異なる位置及び数の要素画像を画像表示装置3a,3bに送信しても良く、同じ位置及び数の要素画像を画像表示装置3a,3bに送信しても良い。
【0064】
図7に示すように、画像表示装置3が中継機器4を介して撮影カメラ2に複数接続される場合、撮影カメラ2は、符号化手段27によって、要素画像を複数の画像表示装置3にマルチキャストで送信する。ここで、マルチキャストで送信とは、撮影カメラ2が、記憶手段22のマルチキャスト情報に設定された画像表示装置3に対して、要素画像をマルチキャストで送信することである。これによって、画像表示システム1aは、撮影カメラ2と中継機器4との間では画像の送信量を全要素画像までに抑えることができ、中継機器4と各画像表示装置3との間では、各画像表示装置3が必要とする要素画像だけを送信するので、画像の送信量を最小限に抑えることができる。
【0065】
なお、本発明の各実施形態では、撮影カメラ2を1台として説明したが、撮影カメラ2を複数台としても良い。この場合、複数の撮影カメラ2に対し、1台の画像表示装置3が接続されても良く、2台以上の画像表示装置3が接続されても良い。
【0066】
なお、本発明の各実施形態では、画像表示装置3を独立した装置として説明したが、一般的なコンピュータを、画像表示装置3の前記した各手段として機能させるプログラムによって動作させることもできる。このプログラムは、通信回線を介して配布しても良く、CD-ROMやフラッシュメモリ等の記録媒体に書き込んで配布しても良い。
【図面の簡単な説明】
【0067】
【図1】本発明の実施形態に係る画像表示システムの概略を説明する図であり、(a)は画像表示システムの概略図であり、(b)は撮影カメラが撮影した要素画像群を説明する図であり、(c)は撮影カメラが画像表示装置に送信する要素画像を説明する図である。
【図2】図1の撮影カメラの構成を示すブロック図である。
【図3】図1の分解手段の詳細を説明する図であり、(a)はレンズアレイの一例を示す図であり、(b)はこのレンズアレイを介して撮影された要素画像群を説明する図である。
【図4】図1の画像表示装置の構成を示すブロック図である。
【図5】図2の撮影カメラの動作を示すフローチャートである。
【図6】図4の画像表示装置の動作を示すフローチャートである。
【図7】本発明の第2実施形態に係る画像表示システムの概略を説明する図である。
【符号の説明】
【0068】
1,1a 画像表示システム
2 撮影カメラ
21 レンズアレイ
21a 要素レンズ
21b 枠
22 記憶手段
23 撮影素子
24 補正手段
25 分解手段
26 選択手段
27 符号化手段(送信手段)
28 送信要素画像情報受信手段
3 画像表示装置
31 送信要素画像情報送信手段
32 復号化手段
33 画像生成手段
34 表示手段
35 記憶手段
4 中継機器
5 ネットワーク
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6