Top > Search of Japanese Patents > IMAGING DEVICE AND IMAGING METHOD USING OUT-OF-FOCUS STRUCTURE

IMAGING DEVICE AND IMAGING METHOD USING OUT-OF-FOCUS STRUCTURE

Patent code P07A013100
File No. A0200122
Posted date Feb 15, 2008
Application number P2005-322870
Publication number P2007-128009A
Patent number P4437228
Date of filing Nov 7, 2005
Date of publication of application May 24, 2007
Date of registration Jan 15, 2010
Inventor
  • (In Japanese)児玉 和也
Applicant
  • (In Japanese)大学共同利用機関法人情報・システム研究機構
Title IMAGING DEVICE AND IMAGING METHOD USING OUT-OF-FOCUS STRUCTURE
Abstract PROBLEM TO BE SOLVED: To provide a new imaging device and an imaging method for generating a visual image corresponding to a desired viewing point, aperture diaphragm and focusing from a group of photographed images having an out-of-focus structure with respect to an object.
SOLUTION: A photographed image group gn(X, Y) having an out-of-focus structure with respect to a photographing object Q is integrated and Fourier transformed to form an integral Fourier transform photographed image G(u, v, w). From the integral Fourier transform photographed image G(u, v, w), a frequency component corresponding to a desired viewing point, aperture and focusing is extracted by use of a filter process H(u, v, w) to obtain a selective Fourier transform image A (u, v, w). The selective Fourier transformed image A(u, v, w) is subjected to reverse Fourier transformation and cut out to obtain a visual image an(X, Y) with respect to the photographing object Q corresponding to a desired viewing point, aperture and focusing.
Outline of related art and contending technology (In Japanese)


コンピュータ利用のX線断層撮影の基本手法では、平行X線を人体の周囲に360度回転させて撮影する。これにより、一連の画像中にあらゆる角度からみた情報が蓄積され、これらの情報を基に、任意の方向から見た、複数層の人体断層写真を得ることができる。このように平行透過光を用いて対象物の周囲から撮影すれば、任意の方向から見た任意の断層の合焦点画像を生成できる。
これに対して、物体を透過しないしかも非平行な可視光を用いるカメラによる撮影画像の場合は如何であろうか。



カメラによる撮影画像については、ライトフィールドレンダリング(Light Field Rendering)による画像生成法が知られている。例えば撮影対象を、カメラを2次元平面にアレイ状に並べて、異なる視点から撮影し、2次元×2次元の撮影画像データを取得する。これらのデータに基づいてコンピュータ演算し、カメラ側の任意の視点及び視線方向から見た透視画像を生成できる。



また、発明者は、カメラの撮像面を移動して焦点合わせの異なる撮影画像群を取得し、これに基づいてコンピュータ演算により画像を生成するマルチフォーカスイメージング(Multi Focus Imaging:MFI)を用いて、全焦点画像を生成している。(非特許文献1参照)



また、発明者達は焦点合わせの異なる複数の撮影画像と生成画像とを、ぼけ関数による畳み込みを表す定数を含む恒等式で関係付け、焦点合わせの異なる撮影画像から任意の焦点合わせ画像を生成する方法を提案している。また、相澤達は焦点合わせの異なる複数の撮影画像と生成画像とを、ぼけパラメータを含むフィルタ関数を用いて関係付け、焦点合わせの異なる撮影画像から任意の焦点合わせ画像を生成する方法を提案している。(特許文献1,2参照)



図17にスタンフォード大学で提案されたプレノプティックカメラ(Plenoptic Camera)で撮影された焦点合わせの異なる複数(図17では5枚)の画像を示す。
図18は、プレノプティックカメラについて説明するための図である。2次元空間を例えば4×4の領域に分割してレンズアレイ等を配して多眼カメラのように機能させ(4×4の異なる視点から対象物を見ることと等価である)ている。いわば2次元空間にさらに2次元空間を形成することにより、コンピュータ上で4次元空間が実現されているといえる。したがって、これから3次元のMFI画像をコンピュータ演算により作成することが可能である。すなわち、図17に示すような焦点合わせが異なる画像を生成することが可能である。(非特許文献2参照)



【特許文献1】
特開1999-295826号公報(段落0018~0033、図1)
【特許文献2】
特開2001-223874号公報(段落0023~0097、図1~13)
【非特許文献1】
多数の焦点合わせ画像群の統合的変換処理に基づく画像生成の検討、児玉和也、映像メディア処理シンポジウム第8回シンポジウム資料、p73~74、2003年11月12日~14日
【非特許文献2】
Light Field Photography with aHand-Held Plenoptic Camera Ren Ng(Stanford Univ.)等 [online]、2005年4月[2005年8月24日検索]、インターネット <URL:http://graphics.stanford.edu/papers/lfcamera/>

Field of industrial application (In Japanese)


本発明はイメージング装置及びイメージング方法に関する。詳しくは、撮影対象に関する焦点ぼけ構造を持つ画像群から任意の視点、絞り、焦点合わせに相当する視覚イメージ画像を生成するイメージング装置及びイメージング方法に関する。

Scope of claims (In Japanese)
【請求項1】
 
撮影対象に関して焦点又は視点を変更して撮影された撮影画像群であって、各撮影画像間の焦点ぼけが3次元以上のぼけフィルタにより関連付けられる焦点ぼけ構造を持つ撮影画像群を、一まとまりの画像群として統合し及びフーリエ変換して統合的フーリエ変換撮影画像を形成するフーリエ変換・統合手段と;
前記統合的フーリエ変換撮影画像から任意の視点、絞り、焦点合わせに対応する3次元以上のぼけフィルタを用いてフィルタ処理を行い、前記任意の視点、絞り、焦点合わせに対応する周波数成分を抽出して選択的フーリエ変換画像を形成する周波数成分抽出手段と;
前記選択的フーリエ変換画像を逆フーリエ変換及び切出して、前記任意の視点、絞り、焦点合わせに相当する前記撮影対象に関する視覚イメージ画像を生成する逆フーリエ変換・切出手段とを備え
前記撮影画像群は、撮像空間を表す直交座標系において、光軸方向に等間隔な焦点合わせの異なる複数の撮影画像からなり;
前記フィルタ処理における視点、絞りはレンズ中心のピンホールと異なる視点、絞りを含み、前記フィルタ処理に用いるフィルタは前記視点、絞りを通る光束に対応する;
焦点ぼけ構造を用いるイメージング装置。

【請求項2】
 
前記撮影画像群は、実空間座標(x、y、z)を直交座標(X=fx/z,Y=fy/z,Z=1-f/z、fは焦点距離)に変換した前記撮像空間において、前記光軸方向であるZ方向に焦点合わせの異なる複数の撮影画像からなる;
請求項1に記載の焦点ぼけ構造を用いるイメージング装置。

【請求項3】
 
コンピュータにより実行される方法であって;
撮影対象に関して焦点又は視点を変更して撮影された撮影画像群であって、各撮影画像間の焦点ぼけが3次元以上のぼけフィルタにより関連付けられる焦点ぼけ構造を持つ撮影画像群を取得する画像群取得工程と;
前記画像群取得工程で取得した撮影画像群を、一まとまりの画像群として統合し及びフーリエ変換して統合的フーリエ変換撮影画像を形成するフーリエ変換・統合工程と;
前記統合的フーリエ変換撮影画像から任意の視点、絞り、焦点合わせに対応する3次元以上のぼけフィルタを用いてフィルタ処理を行い、前記任意の視点、絞り、焦点合わせに対応する周波数成分を抽出して選択的フーリエ変換画像を形成する周波数成分抽出工程と;
前記選択的フーリエ変換画像を逆フーリエ変換及び切出して、前記任意の視点、絞り、焦点合わせに相当する前記撮影対象に関する視覚イメージ画像を生成する逆フーリエ変換・切出工程とを備え
前記撮影画像群は、撮像空間を表す直交座標系において、光軸方向に等間隔な焦点合わせの異なる複数の撮影画像からなり;
前記フィルタ処理における視点、絞りはレンズ中心のピンホールと異なる視点、絞りを含み、前記フィルタ処理に用いるフィルタは前記視点、絞りを通る光束に対応する;
焦点ぼけ構造を用いるイメージング方法。

【請求項4】
 
前記撮影画像群は、実空間座標(x、y、z)を直交座標(X=fx/z,Y=fy/z,Z=1-f/z、fは焦点距離)に変換した前記撮像空間において、前記光軸方向であるZ方向に焦点合わせの異なる複数の撮影画像からなる;
請求項3に記載の焦点ぼけ構造を用いるイメージング方法。

【請求項5】
 
請求項3又は請求項4に記載の焦点ぼけ構造を用いるイメージング方法をコンピュータに実行させるためのプログラム。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2005322870thum.jpg
State of application right Registered
(In Japanese)情報・システム研究機構 国立情報学研究所(NII)は、我が国唯一の情報系に特化した研究所です。NIIでは、外部資金による研究成果の社会還元を中心に、技術移転活動に積極的に取り組んでいます。上記の発明にライセンス対象や共同開発対象として関心をお持ちいただいた方は、国立情報学研究所 社会連携推進室までお気軽にお問合せください。


PAGE TOP

close
close
close
close
close
close
close