Top > Search of Japanese Patents > STEREOSCOPIC EFFECT PRESENTATION DEVICE AND METHOD, DEFOCUSED IMAGE GENERATION DEVICE AND METHOD, AND PROGRAM > Specification

Specification :(In Japanese)立体感提示装置および方法ならびにぼけ画像生成処理装置,方法およびプログラム

Country (In Japanese)日本国特許庁(JP)
Gazette (In Japanese)特許公報(B2)
Patent Number P5891554
Publication number P2013-047875A
Date of registration Mar 4, 2016
Date of issue Mar 23, 2016
Date of publication of application Mar 7, 2013
Title of the invention, or title of the device (In Japanese)立体感提示装置および方法ならびにぼけ画像生成処理装置,方法およびプログラム
IPC (International Patent Classification) G06T   1/00        (2006.01)
G06T   5/20        (2006.01)
H04N  13/00        (2006.01)
FI (File Index) G06T 1/00 315
G06T 5/20
H04N 13/00 070
Number of claims or invention 12
Total pages 15
Application Number P2011-185700
Date of filing Aug 29, 2011
Date of request for substantive examination Jul 31, 2014
Patentee, or owner of utility model right (In Japanese)【識別番号】304023994
【氏名又は名称】国立大学法人山梨大学
Inventor, or creator of device (In Japanese)【氏名】豊浦 正広
【氏名】柏木 賢治
Representative (In Japanese)【識別番号】100080322、【弁理士】、【氏名又は名称】牛久 健司
【識別番号】100104651、【弁理士】、【氏名又は名称】井上 正
【識別番号】100114786、【弁理士】、【氏名又は名称】高城 貞晶
Examiner (In Japanese)【審査官】岡本 俊威
Document or reference (In Japanese)特開2000-354257(JP,A)
特開2008-039491(JP,A)
特開平09-181966(JP,A)
特開2009-232133(JP,A)
Field of search G06T 1/00
G06T 5/00- 5/50
H04N 13/00-13/04
Scope of claims (In Japanese)【請求項1】
間隔をおいて配置され,対象を同時に撮影してステレオ画像データを出力する左右2台のカメラ,
上記2台のカメラから出力されるステレオ画像データを構成する左右の画像データに基づいて距離画像データを生成する距離画像生成手段,
上記距離画像生成手段により生成された距離画像データを用いて,上記の左または右の画像データに,距離に応じた焦点ぼけを与えてぼけ画像データを生成するぼけ画像生成手段
上記ぼけ画像生成手段によって生成されたぼけ画像データに基づいて対象の画像を表示する表示装置,および
画像を鮮明にする位置として設定された仮想焦点距離と距離画像データが表わす距離との差に指数関数的な変化を与える係数を設定する焦点ぼけ量調整手段を備え,
上記ぼけ画像生成手段は,仮想焦点距離に相当する距離画像データに対して最小の焦点ぼけを与え,距離画像データが表わす距離と上記仮想焦点距離との差が大きくなるほど,上記差に上記焦点ぼけ量調整手段によって設定された係数を作用させて得られるパラメータに応じて焦点ぼけの程度を大きくするものである,
立体感提示装置。
【請求項2】
上記仮想焦点距離を操作者が調整可能に設定するための仮想焦点距離調整手段を備える,請求項1に記載の立体感提示装置。
【請求項3】
上記仮想焦点距離調整手段によって調整された仮想焦点距離を用いるのか,対象のカメラに最も近い部分に仮想焦点距離を設定するのかを選択するぼけ生成基準切替手段をさらに備える,請求項2に記載の立体感提示装置。
【請求項4】
上記表示装置の表示面とは反対側の面に上記2つのカメラが設けられている,請求項1から3のいずれか一項に記載の立体感提示装置。
【請求項5】
上記表示装置がヘッドマウント・タイプのディスプレイ装置であり,上記2台のカメラが上記ディスプレイ装置を装着したときに両眼に相当する箇所に外方を向けて設けられており,さらに上記仮想焦点距離調整手段がヘッドマウント・タイプのディスプレイ装置に設けられている,請求項2に記載の立体感提示装置。
【請求項6】
上記仮想焦点距離調整手段がヘッドマウント・タイプのディスプレイ装置のフレームの部分に設けられている,請求項5に記載の立体感提示装置。
【請求項7】
上記表示装置がヘッドマウント・タイプのディスプレイ装置であり,上記2台のカメラが上記ディスプレイ装置を装着したときに両眼に相当する箇所に外方を向けて設けられており,さらに上記仮想焦点距離調整手段および上記ぼけ生成基準切替手段がヘッドマウント・タイプのディスプレイ装置に設けられている,請求項3に記載の立体感提示装置。
【請求項8】
間隔をおいて配置され,対象を同時に撮影する左右2台のカメラから出力されるステレオ画像データを構成する左右の画像データに基づいて距離画像生成手段により距離画像データを生成し,
上記距離画像生成手段により生成された距離画像データを用いて,ぼけ画像生成手段により,上記の左または右の画像データに,距離に応じた焦点ぼけを与えてぼけ画像データを生成し,この際に上記ぼけ画像生成手段は,画像を鮮明にする位置として設定された仮想焦点距離に相当する距離画像データに対して最小の焦点ぼけを与え,距離画像データが表わす距離と上記仮想焦点距離との差が大きくなるほど,上記差に,焦点ぼけ量調整手段によって設定された指数関数的な変化を与える係数を作用させて得られるパラメータに応じて焦点ぼけの程度を大きくし,そして
上記ぼけ画像生成手段によって生成されたぼけ画像データに基づいて対象の画像を表示装置に表示する,
立体感提示方法。
【請求項9】
間隔をおいて配置され,対象を同時に撮影する左右2台のカメラから出力されるステレオ画像データを構成する左右の画像データに基づいて距離画像データを生成する距離画像生成手段
上記距離画像生成手段により生成された距離画像データを用いて,上記の左または右の画像データに,距離に応じた焦点ぼけを与えてぼけ画像データを生成するぼけ画像生成手段,および
画像を鮮明にする位置として設定された仮想焦点距離と距離画像データが表わす距離との差に指数関数的な変化を与える係数を設定する焦点ぼけ量調整手段を備え,
上記ぼけ画像生成手段は,仮想焦点距離に相当する距離画像データに対して最小の焦点ぼけを与え,距離画像データが表わす距離と上記仮想焦点距離との差が大きくなるほど,上記差に上記焦点ぼけ量調整手段によって設定された係数を作用させて得られるパラメータに応じて焦点ぼけの程度を大きくするものである,
ぼけ画像生成処理装置。
【請求項10】
上記距離画像生成手段は,所与のステレオ画像データを縮小して縮小画像データを得,この縮小画像データに基づいて縮小距離画像データを生成し,この縮小距離画像データを拡大することにより上記距離画像データを得るものである,請求項9に記載のぼけ画像生成処理装置。
【請求項11】
間隔をおいて配置され,対象を同時に撮影する左右2台のカメラから出力されるステレオ画像データを構成する左右の画像データに基づいて距離画像生成手段により距離画像データを生成し,そして
上記距離画像生成手段により生成された距離画像データを用いて,ぼけ画像生成手段により上記の左または右の画像データに,距離に応じた焦点ぼけを与えてぼけ画像データを生成する,この際に,上記ぼけ画像生成手段は,画像を鮮明にする位置として設定された仮想焦点距離に相当する距離画像データに対して最小の焦点ぼけを与え,距離画像データが表わす距離と上記仮想焦点距離との差が大きくなるほど,上記差に,焦点ぼけ量調整手段によって設定された指数関数的な変化を与える係数を作用させて得られるパラメータに応じて焦点ぼけの程度を大きくする,
ぼけ画像生成処理方法。
【請求項12】
間隔をおいて配置され,対象を同時に撮影する左右2台のカメラから出力されるステレオ画像データを構成する左右の画像データに基づいて距離画像生成手段により距離画像データを生成し,そして
上記距離画像生成手段により生成された距離画像データを用いて,ぼけ画像生成手段により上記の左または右の画像データに,距離に応じた焦点ぼけを与えてぼけ画像データを生成するように,この際に上記ぼけ画像生成手段が,画像を鮮明にする位置として設定された仮想焦点距離に相当する距離画像データに対して最小の焦点ぼけを与え,距離画像データが表わす距離と上記仮想焦点距離との差が大きくなるほど,上記差に,焦点ぼけ量調整手段によって設定された指数関数的な変化を与える係数を作用させて得られるパラメータに応じて焦点ぼけの程度を大きくするように,コンピュータを制御する,
コンピュータ・プログラム。
Detailed description of the invention (In Japanese)【技術分野】
【0001】
この発明は立体感提示装置および方法,ならびにぼけ画像生成処理装置,方法およびプログラムに関する。
【背景技術】
【0002】
疾患や外傷などによって片眼の視機能が消失または著しく低下した患者は,立体視などの両眼視機能を失うため,対象物の立体感を得ることが難しい。このことは,対象物の把持や裁縫などの手元の作業を困難にし,重篤な生活の質の低下を来たす。両眼の視機能が良好な健常者は,両眼の視角差を利用して対象を立体的に把握することが可能であるが,片眼では視角差がないため,対象までの距離を知ることが難しく,立体感を得ることが困難となるのである。
【0003】
近年,対象の立体的表示の技術が進み,その成果の一部は立体テレビなどにおいて結実している。立体テレビの多くは立体メガネの使用が必要である。立体メガネを用いないで3次元表示が可能なDFD(Depth-Fused 3-D )方式の3次元表示装置も提案されている(たとえば,特許文献1)。
【0004】
これは観察方向に間隔をおいて複数の表示面を配置し,各表示面上に対象物の2次元像を生成してそれらの輝度またはぼかし度合いを独立に変化させて3次元立体像を表示しようとするものである。
【0005】
他方,画像の焦点ぼけが画像上における距離や対象物の大きさに与える影響についての研究も行なわれている(たとえば非特許文献1)。しかしながらこれは点フィルタや線フィルタを用いて画像に部分的に焦点ぼけを与えてミニチュア・スケール・モデルに見えるかどうかを確認している程度のものである。
【先行技術文献】
【0006】

【特許文献1】特開2006-221128
【0007】

【非特許文献1】Robert T. Held, Emily A. Cooper, James F. O’Brien, and Martin S. Banks. “Using Blur to Affect Perceived Distance and Size”. ACM Transactions on Graphics, 29(2):19:1-16, March 2010.
【0008】
しかしながら,上記の文献に記載のものは片眼で立体感を得るようにすることを目的とするものではなく,そのように工夫されたものでもない。
【発明の開示】
【0009】
この発明は,片眼でも(当然ながら両眼でも)立体感を得ることができる立体感提示装置および方法を提供するものである。
【0010】
この発明はまた,上記立体感提示のためのぼけ画像生成処理装置,方法およびコンピュータ・プログラムを提供するものである。
【0011】
この発明による立体感提示装置は,間隔をおいて配置され,対象を同時に撮影してステレオ画像データを出力する左右2台のカメラ,上記2台のカメラから出力されるステレオ画像データを構成する左右の画像データに基づいて距離画像データを生成する距離画像生成手段,上記距離画像生成手段により生成された距離画像データを用いて,上記の左または右の画像データに,距離に応じた焦点ぼけを与えてぼけ画像データを生成するぼけ画像生成手段,および上記ぼけ画像生成手段によって生成されたぼけ画像データに基づいて対象の画像を表示する表示装置を備えているものである。
【0012】
距離に応じた焦点ぼけを与えるとは,特定の距離の位置を基準として(最も焦点ぼけの小さい位置として),その位置から離れるにしたがって(遠方に,または近い方に)ぼけの程度を大きくしていくものである。したがって,ぼけ画像データに基づいて表示装置に表示される対象の焦点ぼけ画像をみると,そのぼけの程度により遠近を認識することができる。すなわち,片眼でも立体感を得ることが可能となる。
【0013】
好ましくは,焦点ぼけの程度および焦点ぼけの変化の程度の少なくとも一方を設定する焦点ぼけ量調整手段を備える。これにより,最も見やすい焦点ぼけの程度,変化の程度を調整することができる。
【0014】
一実施態様では,上記距離画像データが表わす最小距離に対して最小の焦点ぼけを与え,距離の増大に伴って焦点ぼけの程度を大きくする。これにより,最も近くでは焦点ぼけが殆どなく鮮明な画像となり,遠方にいくほど焦点ぼけが大きくなって,距離が分りやすい。
【0015】
他の実施態様では焦点ぼけが最も小さい鮮明な画像が得られる距離(これを仮想焦点距離という)を任意に設定できるようにする(仮想焦点距離設定手段を設ける)。そして,設定された仮想焦点距離に相当する距離画像データに対して最小の焦点ぼけを与え,距離画像データが表わす距離と上記仮想焦点距離との差が大きくなるほど焦点ぼけの程度を大きくする。最も鮮明に対象部分を見たい距離のところに仮想焦点距離を設定すれば,その距離の位置でのみ画像が鮮明となるから,特定の距離の位置で作業をするような場合に好適である。
【0016】
上記の場合,ぼけ生成基準切替手段を備えると一層好ましい。この切替手段により,仮想焦点距離設定手段をイネーブルとしたときには(選択したときには),仮想焦点距離設定手段によって設定された仮想焦点距離の位置で鮮明な(焦点ぼけの最も小さい)画像が得られ,そこから遠方,近方に離れるにしたがい焦点ぼけ量が増大する。上記切替手段により仮想焦点距離設定手段をディスエーブルとしたときには(選択しないときには),他の適当な距離において(たとえば上記の最小距離において)焦点ぼけが最も小さくなるようする。
【0017】
好ましい実施態様では,上記表示装置の表示面とは反対側の面に上記2つのカメラが設けられる。
【0018】
上記表示装置をヘッドマウント・タイプのディスプレイ装置により実現することができる。この場合に,上記2台のカメラを上記ディスプレイ装置の外面に,それを装着したときに両眼に相当する箇所に外方を向けて設けるとよい。
【0019】
この発明はさらに立体感提示方法を提供している。この方法は,間隔をおいて配置され,対象を同時に撮影する左右2台のカメラから出力されるステレオ画像データを構成する左右の画像データに基づいて距離画像生成手段により距離画像データを生成し,上記距離画像生成手段により生成された距離画像データを用いて,ぼけ画像生成手段により,上記の左または右の画像データに,距離に応じた焦点ぼけを与えてぼけ画像データを生成し,そして上記ぼけ画像生成手段によって生成されたぼけ画像データに基づいて対象の画像を表示装置に表示するものである。
【0020】
この発明はさらにぼけ画像生成処理装置を提供している。この装置は,間隔をおいて配置され,対象を同時に撮影する左右2台のカメラから出力されるステレオ画像データを構成する左右の画像データに基づいて距離画像データを生成する距離画像生成手段,および上記距離画像生成手段により生成された距離画像データを用いて,上記の左または右の画像データに,距離に応じた焦点ぼけを与えてぼけ画像データを生成するぼけ画像生成手段を備えているものである。
【0021】
一実施態様では,上記距離画像生成手段は,所与のステレオ画像データを縮小して縮小画像データを得,この縮小画像データに基づいて縮小距離画像データを生成し,この縮小距離画像データを拡大することにより上記距離画像データを得るものである。これにより,ぼけ画像生成処理の高速化を図ることができる。
【0022】
この発明は,ぼけ画像生成処理方法も提供している。この方法は,間隔をおいて配置され,対象を同時に撮影する左右2台のカメラから出力されるステレオ画像データを構成する左右の画像データに基づいて距離画像生成手段により距離画像データを生成し,そして上記距離画像生成手段により生成された距離画像データを用いて,ぼけ画像生成手段により上記の左または右の画像データに,距離に応じた焦点ぼけを与えてぼけ画像データを生成するものである。
【0023】
この発明はさらに,ぼけ画像データを生成するコンピュータ・プログラムを提供している。このプログラムは,間隔をおいて配置され,対象を同時に撮影する左右2台のカメラから出力されるステレオ画像データを構成する左右の画像データに基づいて距離画像生成手段により距離画像データを生成し,そして上記距離画像生成手段により生成された距離画像データを用いて,ぼけ画像生成手段により上記の左または右の画像データに,距離に応じた焦点ぼけを与えてぼけ画像データを生成するようにコンピュータを制御するものである。
【図面の簡単な説明】
【0024】
【図1】一実施態様における立体感提示装置の電気的構成を示すブロック図である。
【図2】ヘッドマウント・タイプのカメラ・ディスプレイ・ユニットの概略構成を斜視的に表わす。
【図3】ヘッドマウント・タイプのカメラ・ディスプレイ・ユニットの概略構成を側面からみて表わす。
【図4】カメラ・ディスプレイ・ユニットの他の例の概略構成を示す。
【図5】画像処理装置の処理を機能的に示すブロック図である。
【図6】実際のステレオ画像(右)の一例を示す。
【図7】距離画像の一例を示す。
【図8】焦点ぼけ画像の一例を示す。

【実施例】
【0025】
図1は一実施例における立体感提示装置の電気的構成を示している。
【0026】
左右各一台ずつ計2台のカメラ(ステレオカメラ)21,22が設けられている。これらのカメラ21,22は,好ましくは水平方向に適当な間隔を離して,その前方に存在する共通の対象(物)を同時に撮影するように配置されている。同時に撮影するとは,後述するようにカメラから対象までの距離が測定できるように,対象が移動していないとみなすことのできる時間間隔の範囲内において両カメラ21,22が対象を撮影するものであればよい。したがって,対象が静止している場合には,カメラ21と22が対象を撮影する時間がかなり離れていても許容されうる。この場合に,1台のカメラをまずカメラ21の位置に置いて撮影し,次に同じカメラをカメラ22の位置に移動させて撮影し,2つの異なる位置で左右の画像データを得るようにすることが可能である(これも2台のカメラが設けられているということにする)。カメラ21,22は焦点距離が可変のものでも固定のものでもよい。
【0027】
表示装置(ディスプレイ・ユニット。以下,単に「ディスプレイ」という)は符号31と32で示されるように,左右用に2台図示されているが,1台でもよい。
【0028】
好ましくはこれらのカメラ21,22とディスプレイ31,32とは一つのユニットを構成する。これをカメラ・ディスプレイ・ユニット10という。もちろん,カメラ21,22とディスプレイ31,32とを分離して別々の場所に配置してもよい。カメラ・ディスプレイ・ユニット10は,立体感提示装置の利用態様に応じた形態で実現されるが,その具体例については後述する。カメラ・ディスプレイ・ユニット10には,後述する各種パラメータを設定または調整するためスイッチまたはダイヤル11,12,13(調整手段または設定手段)が設けられている。
【0029】
立体感提示装置はさらに画像処理装置40を含む。画像処理装置40は一般的には端末装置またはコンピュータ・システムで実現される。画像処理の高速化のために,好ましくはGPU(Graphics Processing Unit)50が画像処理装置40に設けられる。上述のスイッチまたはダイヤル11,12,13を画像処理装置40に設けてもよい。
【0030】
カメラ21,22が対象を撮像することにより得られる画像データは画像処理装置40に入力する。ディスプレイ31(および32)に画像を表示するための画像データは画像処理装置40から出力され,ディスプレイ31(および32)に与えられる。各種スイッチまたはダイヤル11~13からの信号(またはデータ)は画像処理装置40に与えられる。
【0031】
図2および図3,カメラ・ディスプレイ・ユニットをヘッドマウント・タイプ(または,めがねタイプ)の構成としたものである。このカメラ・ディスプレイ・ユニット10Aは,装着したときに装着者の両眼の前方を覆う形状のフレーム14を有している。カメラ・ディスプレイ・ユニット10Aの構造についての説明の便宜上,装着者を基準として,前,後方向を定める。フレーム14から後方に耳掛け部分15が延びている。フレーム14の前面には,装着者の丁度両眼に相当する位置に2台のカメラ21,22(たとえば,解像度800×600,焦点距離30cm)が前方を撮影するように取付けられている。フレーム14の内側(後面)には,装着者の丁度両眼に相当する位置に(両眼で見ることができるように),ディスプレイ31,32(たとえば,解像度800×600)が設けられている。一方の耳掛け15の外面には,ぼけ生成基準切替スイッチ11,固定焦点位置調整ダイヤル12および焦点ぼけ量の調整ダイヤル13が設けられている。フレームの内側の中央には鼻掛け(図示略)が設けられるなど,このユニット10Aを人間の頭部に装着するのに適した構造になっているのはいうまでもない。図2~図4において,画像処理装置40と接続するための電気信号コード(ケーブル)は図示が省略されている。
【0032】
図4はカメラ・ディスプレイ・ユニットの他の例を示すものである。このカメラ・ディスプレイ・ユニット10Bでは,1つのモニタ・ディスプレイ31がサポート19により支持されている。ディスプレイ31の表示面とは反対側の面には,2つのカメラ21,22が水平方向に適当な間隔(たとえば人間の両眼の平均的な間隔)を置いて設けられている。上述したヘッドマウント・タイプのユニット10Aのみならず,このタイプのユニット10Bにおいても,人間は,カメラ21,22の撮像可能範囲内に対象物Sを位置させ(手で持って),ディスプレイ31の表示を見ながら対象物Sに対して何らかの作業を行うことが可能である。
【0033】
図5は画像処理装置による画像処理を機能ブロック図によって示すものである。この画像処理はコンピュータによって実行されるので,図5がそのプログラムを表わしているということもできる。
【0034】
同時的に撮像した対象を表わす画像データ(R,G,Bデータ)が右,左のカメラ21,22から画像処理装置40に入力する(右,左の入力画像データをImgR_scr,ImgL_scrで表わす)。
【0035】
右,左のカメラ21,22から出力される画像データは一つの対象を撮像することにより得られるものであるから,これらの画像データによって表わされる右,左の画像には互いに対応する点が存在する。これらの対応点を利用した三角計測法に基づいて,後述するように,カメラ21,22(カメラ21,22が位置する平面)から対象までの距離(2台のカメラのレンズ中心を結ぶ直線と対象(の各点)との距離)が算出される(距離画像の生成)。この距離算出のために対応点の検索を容易にするために,入力する画像データに対してステレオ平行化(エピポーラ線の水平化)処理を実行する(ステレオ平行化処理後の右,左の画像データをImgR_u3,ImgL_u3で表わす)(ブロック(手段)41,42(またはステップ41,42))。ステレオ平行化自体は既知の技術であり,画像の回転,並進等により実行される。
【0036】
次に,ステレオ平行化処理後の画像データをグレースケール化する(グレースケール化後の右,左の画像データをそれぞれImgR_u1,ImgL_u1で表わす)(ブロック(手段)またはステップ43,44)。グレースケール化はR,G,B画像データから輝度データを算出することによって行ってもよいし,輝度に近いGデータをそのまま用いてもよい。
【0037】
GPU50によって処理できるように,グレースケール化された画像データを浮動小数点画像データ(これをImgR_f1,ImgL_f1で表わす)に変換する(ブロック(手段)またはステップ45,46)。ステレオ平行化処理後の右の画像データについては4チャンネル浮動小数点画像データ(R,G,B,Α(アルファ))(これをImgR_f4 で表わす)に変換する(ブロック(手段)またはステップ47)。右の画像データに代えて左の画像データを用いてもよい。
【0038】
GPU50における処理の高速化のために,グレースケールの浮動小数点画像データを間引き,平均化等の手法により縮小する(右,左の生成された縮小画像データをそれぞれImgR_f1_s,ImgL_f1_sで表わす)(ブロック(手段)またはステップ51,52)。たとえば,カメラ21,22から出力される解像度800×600の画像データを1/4(400×300)に縮小する。640×480画素の場合には,たとえば320×240の画素に縮小する。
【0039】
これらの右,左の縮小画像データを用いて三角計測法の原理により,対象を構成する各点について距離を求め,この距離データにより構成される距離画像データを生成する(ブロック(手段)またはステップ53)(距離画像データをDiff_f1_s で表わす)。この後,縮小距離画像データを補間,その他の方法により元のサイズに拡大する(ブロック(手段)またはステップ54)(拡大された距離画像データをDiff_f1で表わす)。
【0040】
右の浮動小数点画像データに対して,上のようにして算出された距離画像データを用いて焦点ぼけの処理を実行し,焦点ぼけ画像を生成する(ブロック(手段)またはステップ55)(得られた焦点ぼけ画像データをImgR_f4_blurで表わす)。
【0041】
焦点ぼけ画像生成処理の一例を以下に示す。
【0042】
まず,ぼけ量を決定する変数(パラメータ)σを下式(1) により調整する(σはZの関数)。
【0043】
【数1】
JP0005891554B2_000002t.gif
ここでZは,物体までの距離(mm),
(距離画像データDiff_f1によって与えられる)
Fは,仮想焦点距離(mm)(カメラの焦点距離とは無関係),
α,β,γは,ぼけの変化の程度を決定する係数,
δは,変数σを0にしないための微小な定数(Z=Fのときに,δ=0ならば σ=0となってしまう)である。
一例としては,α=7.5,β=0.8,γ=1.0,δ=0.01である。
【0044】
画像上のある位置xのぼけ画像データIσ(x)(上記のImgR_f4_blur)は次の式(2)にしたがって算出される。ただし,xは座標位置を表わす2次元ベクトルであり,Iσ(x) は上記σを用いて得られる位置xにおける4チャンネル画像データである。
【0045】
【数2】
JP0005891554B2_000003t.gif
ここで,I(xp)は位置xpでの画素値,
d(x,xp)はxとxpとのユークリッド距離,
N(x)はxの近傍の画素の集合を表わす(たとえば,着目点xから距離20画素 以内の画素の集合)。
【0046】
式(2) から分るように,変数σは正規分布の分散を模したものといえるから,焦点ぼけ画像のぼけの変化の度合(滑らかさ)を表わしている。
【0047】
式(1) において,α,γはσのリニアな変化の度合いを示し,βは指数関数的な(急激な)変化の度合いを示している。
【0048】
焦点ぼけ量の調整ダイヤル13は,上記の係数α,βの値を調整するものである(γ,δを固定)。γ,δを調整するダイヤルを設けてもよい。
【0049】
式(1)からZ=Fの位置において変数σが最小となり,式(2)から焦点ぼけ量が最小となることが分る。そして,仮想焦点距離Fの位置から離れるにしたがって焦点ぼけの程度が大きくなる。仮想焦点位置調整ダイヤル12はこの仮想焦点距離Fを調整する(変える)ものである。すなわち,操作者はダイヤル12によってぼけを最小とする距離(画像を鮮明にする位置)を任意に設定することができる。
【0050】
ぼけ生成基準切替スイッチ11は,仮想焦点位置調整ダイヤル12によって調整された仮想焦点距離を用いるのか(固定),対象のカメラに最も近い部分に仮想焦点距離を設定するのか(最近傍)(F=minZ )を選択するものである。仮想焦点距離を最近傍に設定すると,最も手前の画像が鮮明になり,遠ざかるにしたがって焦点ぼけの程度が強くなっていく焦点ぼけ画像がえられる。もっとも,カメラ21,22から出力される原画像は全体にわたってほぼ鮮明であることが前提である。
【0051】
上記の焦点ぼけ画像生成処理は4チャネル(R,G,B,Α)のすべての画像データについて行なわれる。
【0052】
生成された焦点ぼけ画像データは最終的に,表示のために4チャネル8ビット画像データに変換され(ImgR_u4 ),ディスプレイ31,32に与えられる。ディスプレイ31,32には生成された焦点ぼけ画像が表示される。片眼の利用者の場合には,ディスプレイ31,32のうちのいずれか一方に表示すれば足りる。図4に示すカメラ・ディスプレイ・ユニット10Bにおいては1つのディスプレイ31上に焦点ぼけ画像が表示される。
【0053】
図6,図7,図8は実際に得られた画像例を示している。図6,図8はカラー画像であるが,図面上ではグレー画像となっている。
【0054】
図6は右のカメラ21から得られた画像データImgR_scrにより表わされる原画像,図7は図6に示す画像を含む左右の原画像データに基づいて作成された距離画像(データDiff_f1 により表わされる),図8は生成された焦点ぼけ画像(ImgR_u4 により表わされる)をそれぞれ表わしている。図8において,仮想焦点距離は対象のほぼ中心(縦方向の中央)付近に設定されているので,その前後において焦点ぼけが生じ,中央から手前に近づくにつれて,および中央から遠ざかるにつれて焦点ぼけの程度が大きくなっていることが分る。このようにして,焦点ぼけ画像を見ることにより,対象の各部分の遠近が理解できる(画像の三次元表示)。したがって,片眼であっても立体感をもって対象を視認することが可能となる。
【0055】
図6から図8の画像は640×480のステレオ画像から生成したものであり,用いたCPUはIntel Core2Quad 2.83GHz,CPUはNVidia GeForce GTS 250 搭載モデルである。上記ステレオ画像からぼけ画像を生成するために要した時間は,1フレームあたり平均122.6ms (標準偏差1.75ms)であった。
【0056】
疾患や外傷などによって片眼の視機能が消失または著しく低下した患者は,立体視などの両眼視機能を失うため,標的物の立体感を得ることができない。片眼では視角差がないため,標的物までの距離を知ることはできず,立体感を得ることができない。この発明は,上述したように片眼が失明した患者に対して立体感を提示する装置を実現する。この装置は,手元の作業が必要となるときに利用することができる。たとえば,手元の細かい作業をする仕事にある人が疾患や外傷によって片眼の視機能が失われたような場合には,この装置を作業補助器具として用いることで社会復帰できることが期待できる。これは老眼を持つ者が手元の作業に老眼鏡を使うのと似ている。病院やリハビリセンターなどでは,両眼への復帰過程患者へのリハビリ補助器具などへ利用可能である。
【0057】
立体表示技術としては,両眼が使えれば3D(3次元)ディスプレイとして近年確立されてきているものの,片眼が不自由な方についてはこれらの3Dディスプレイは適用できないので,この発明による装置が大変有望な技術となる。
【0058】
この発明のさらなる応用例として,3D動画の2D化(2次元化)がある。3D動画は,両眼への動画を独立に保存されており,ゴーグルなどを通してそれぞれの眼に対する動画を再生することで,立体情報提供を可能にするものである。3Dディスプレイが一般的となり,民生用にも3D動画が提供されるようになってきた。しかし,現存するディスプレイの多くでは2D動画しか表示できず,3D動画を2D動画として再生する要求はこれからもなくなることはないと考える。この発明を適用することにより,3D動画から立体感を持ち合わせた2D動画を生成することができる。
【0059】
この発明は,2チャンネルの両眼画像を1チャンネルに変換する技術であると捉えることもできる。立体情報を1枚の画像で表現することで,立体感を保ったまま,映像の遠隔転送のときのデータ転送量が半分になる。このことは,帯域が小さいネットワークを利用するときや,解像度の大きな画像を転送するときに優位となる。また,物体ごとの距離を表現する情報可視化の効果も得られる。すなわち,立体情報の説明のためにこの画像を提示することで,読者にわかりやすい資料となる。
【0060】
また,電子顕微鏡や天体望遠鏡などを通して見る世界は,通常,人間の眼では立体感を感じることができないが,この発明により提供される技術は距離データから立体感を表現するものであるので,このような世界に立体感を付加して提示することを可能とする。本発明はこのように両眼が正常な者に対する各種の応用も可能である。
【符号の説明】
【0061】
10,10A,10B カメラ・ディスプレイ・ユニット
11 ぼけ生成基準切替スイッチ
12 仮想焦点位置調整ダイヤル
13 焦点ぼけ量調整ダイヤル
21,22 カメラ(ステレオカメラ)
31,32 ディスプレイ
40 画像処理装置
50 GPU
51,52 縮小画像生成処理(手段)
53 距離画像生成処理(手段)
54 画像拡大処理(手段)
55 焦点ぼけ画像生成処理(手段)
Drawing
(In Japanese)【図1】
0
(In Japanese)【図4】
1
(In Japanese)【図5】
2
(In Japanese)【図2】
3
(In Japanese)【図3】
4
(In Japanese)【図6】
5
(In Japanese)【図7】
6
(In Japanese)【図8】
7