TOP > 国内特許検索 > 距離画像計測装置 > 明細書

明細書 :距離画像計測装置

発行国 日本国特許庁(JP)
公報種別 再公表特許(A1)
発行日 平成29年12月7日(2017.12.7)
発明の名称または考案の名称 距離画像計測装置
国際特許分類 G01S  17/89        (2006.01)
G01C   3/06        (2006.01)
FI G01S 17/89
G01C 3/06 120Q
G01C 3/06 110B
国際予備審査の請求
全頁数 22
出願番号 特願2017-500669 (P2017-500669)
国際出願番号 PCT/JP2016/054316
国際公開番号 WO2016/133053
国際出願日 平成28年2月15日(2016.2.15)
国際公開日 平成28年8月25日(2016.8.25)
優先権出願番号 2015032121
優先日 平成27年2月20日(2015.2.20)
優先権主張国 日本国(JP)
指定国 AP(BW , GH , GM , KE , LR , LS , MW , MZ , NA , RW , SD , SL , ST , SZ , TZ , UG , ZM , ZW) , EA(AM , AZ , BY , KG , KZ , RU , TJ , TM) , EP(AL , AT , BE , BG , CH , CY , CZ , DE , DK , EE , ES , FI , FR , GB , GR , HR , HU , IE , IS , IT , LT , LU , LV , MC , MK , MT , NL , NO , PL , PT , RO , RS , SE , SI , SK , SM , TR) , OA(BF , BJ , CF , CG , CI , CM , GA , GN , GQ , GW , KM , ML , MR , NE , SN , TD , TG) , AE , AG , AL , AM , AO , AT , AU , AZ , BA , BB , BG , BH , BN , BR , BW , BY , BZ , CA , CH , CL , CN , CO , CR , CU , CZ , DE , DK , DM , DO , DZ , EC , EE , EG , ES , FI , GB , GD , GE , GH , GM , GT , HN , HR , HU , ID , IL , IN , IR , IS , JP , KE , KG , KN , KP , KR , KZ , LA , LC , LK , LR , LS , LU , LY , MA , MD , ME , MG , MK , MN , MW , MX , MY , MZ , NA , NG , NI , NO , NZ , OM , PA , PE , PG , PH , PL , PT , QA , RO , RS , RU , RW , SA , SC , SD , SE , SG , SK , SL , SM , ST , SV , SY , TH , TJ , TM , TN , TR , TT , TZ , UA , UG , US
発明者または考案者 【氏名】香川 景一郎
【氏名】川人 祥二
【氏名】望月 風太
【氏名】安富 啓太
出願人 【識別番号】304023318
【氏名又は名称】国立大学法人静岡大学
個別代理人の代理人 【識別番号】100088155、【弁理士】、【氏名又は名称】長谷川 芳樹
【識別番号】100124800、【弁理士】、【氏名又は名称】諏澤 勇司
審査請求 未請求
テーマコード 2F112
5J084
Fターム 2F112AA00
2F112AD01
2F112FA41
5J084AA05
5J084AD01
5J084AD05
5J084BA02
5J084BA34
5J084BA36
5J084BA40
5J084BA50
5J084BB01
5J084CA03
5J084CA32
5J084CA67
5J084EA04
5J084EA07
5J084EA11
要約 この距離画像計測装置1は、光源2から照射され対象物Oにて反射されたパルス光の入射に応じて当該パルス光を電荷に変換する受光部12、当該受光部12から転送された電荷を蓄積する電荷蓄積部13、当該受光部12から転送された電荷を排出する電荷排出部14、及び、電荷の転送先を制御する複数の制御パターンPに従い、当該受光部12から電荷蓄積部13又は電荷排出部14への電荷の転送を制御するゲート電極15、をそれぞれ有する複数の画素部Xijが配列された撮像素子3と、電荷蓄積部13に蓄積した複数の電荷量Q及び複数の制御パターンPに基づき、光源2から受光部12に至るまでのパルス光の光飛行時間を推定する制御手段4及び信号処理回路5と、を備える。
特許請求の範囲 【請求項1】
対象物にて反射されたパルス光の入射に応じて当該パルス光を電荷に変換する受光部、
前記受光部に接続され、当該受光部から前記電荷が転送されると共に当該電荷を蓄積することで電荷信号を出力する電荷蓄積部、及び、
前記受光部に接続され、前記電荷の転送を制御する所定期間の複数の制御パターンに従い、当該受光部から前記電荷蓄積部への前記電荷の転送を制御するゲート部、
をそれぞれ有する複数の画素部が2次元状に配列された撮像素子と、
前記複数の制御パターンのそれぞれに従い前記ゲート部が前記電荷の転送を制御することで前記電荷蓄積部から出力された複数の前記電荷信号、及び、当該複数の制御パターンに基づき、前記受光部に至るまでの前記パルス光の光飛行時間を推定する処理部と、
を備える距離画像計測装置。
【請求項2】
前記処理部は、前記複数の電荷信号、及び、前記複数の制御パターンから逆問題を解くことで算出される光飛行時間ヒストグラムから前記光飛行時間を推定し、
前記光飛行時間ヒストグラムは、前記受光部から前記電荷蓄積部へ前記電荷が転送されたタイミングの頻度分布に対応している請求項1に記載の距離画像計測装置。
【請求項3】
前記処理部は、前記光飛行時間ヒストグラムのピーク位置から前記光飛行時間を推定する請求項2に記載の距離画像計測装置。
【請求項4】
前記処理部は、前記光飛行時間ヒストグラムのピーク位置の近傍における前記頻度分布の重心から前記光飛行時間を推定する請求項2に記載の距離画像計測装置。
【請求項5】
前記複数の制御パターンは、前記電荷の転送をオン/オフするランダムなパルス状のパターンである請求項1~4のいずれか一項に記載の距離画像計測装置。
【請求項6】
複数の前記撮像素子を有し、
同一の前記撮像素子に含まれる複数の前記ゲート部のそれぞれは、同一の前記制御パターンに従い前記電荷の転送を制御し、
互いに異なる前記撮像素子に含まれる複数の前記ゲート部のそれぞれは、互いに異なる前記複数の制御パターンに従い前記電荷の転送を制御する請求項1~5のいずれか一項に記載の距離画像計測装置。
【請求項7】
複数の前記撮像素子に含まれる複数の前記ゲート部のそれぞれは、同一の前記制御パターンに従い前記電荷の転送を制御し、
前記処理部は、複数の当該撮像素子のそれぞれから出力された複数の前記画素部の前記電荷信号を含む圧縮画像から、ステレオ法によりデプスマップを推定し、
前記処理部は、当該デプスマップから得られる視差情報に基づき前記圧縮画像の視差及び倍率を補正し、補正された複数の前記圧縮画像、及び、複数の前記制御パターンに基づき前記光飛行時間を推定し、
前記処理部は、前記画素部毎に求める距離として、所定距離以上の距離については当該光飛行時間から求まる距離を用いると共に、所定距離未満の距離については前記デプスマップにより得られる距離を用いる請求項6に記載の距離画像計測装置。
【請求項8】
1つの前記撮像素子を有し、
前記画素部は、それぞれ、複数の前記電荷蓄積部を有し、
前記画素部のそれぞれにおいて、前記ゲート部は、互いに異なる前記電荷蓄積部を前記電荷の転送先とする前記複数の制御パターンに順次従い、前記複数の電荷蓄積部への前記電荷の転送を制御する請求項1~5のいずれか一項に記載の距離画像計測装置。
【請求項9】
1つの前記撮像素子を有し、
前記画素部は、それぞれ、複数の前記電荷蓄積部を有し、
前記画素部のそれぞれにおいて、前記ゲート部は、前記電荷の転送先が互いに異なる前記複数の制御パターンを、前記電荷が複数の前記電荷蓄積部へ同時に転送されないように並列的に組み合わせた複合制御パターンに従い、前記電荷の転送を制御する請求項1~5のいずれか一項に記載の距離画像計測装置。
【請求項10】
互いに近接している前記複数の画素部に含まれる複数の前記ゲート部のそれぞれは、互いに異なる前記複数の制御パターンに従い前記電荷の転送を制御し、
前記処理部は、互いに近接している前記複数の画素部の有する前記電荷蓄積部によって出力された前記複数の電荷信号、及び、前記複数の制御パターンに基づき前記光飛行時間を推定する請求項1~5のいずれか一項に記載の距離画像計測装置。
発明の詳細な説明 【技術分野】
【0001】
本発明は、距離画像計測装置に関する。
【背景技術】
【0002】
従来、パルス光を対象物へ照射し、その反射光を検出することによって当該パルス光の光飛行時間を計測する距離画像計測装置が知られている。例えば、特許文献1に記載された距離計測装置では、パルス幅が受光部の応答時間よりも十分短いパルス光を対象物へ照射する照射タイミングが制御され、その照射タイミングを基準とした2種類の位相の制御パルス電圧がゲート電圧に印加される。これにより、受光部においてパルス光の入射に応じて変換された電荷が、電荷蓄積部に変調されて蓄積される。そして、これら2種類の位相の制御パルス電圧によって変調された第1及び第2の電荷が、電荷読出部によって第1及び第2の電気信号として読み出され、算出部によって第1及び第2の電気信号を基に対象物までの距離が算出される。これにより、対象物の距離画像が生成される。
【先行技術文献】
【0003】

【特許文献1】国際公開第2014/181619号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、上述したような距離画像計測器は、例えば自動車の衝突防止・自動運転等を含む各種技術への応用が期待されている。しかしながら、これらの技術へ応用するためには、センサチップ上における電気信号の処理回路の巨大化を抑制しつつ、近距離から長距離までの距離計測レンジの広さと、距離分解能の高さと、を更に向上させることが望まれる。
【0005】
そこで、本発明の一形態は、簡素な処理回路によって、広い距離計測レンジ及び高い距離分解能を両立できる距離画像計測装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一形態に係る距離画像計測装置は、対象物にて反射されたパルス光の入射に応じて当該パルス光を電荷に変換する受光部、受光部に接続され、当該受光部から電荷が転送されると共に当該電荷を蓄積することで電荷信号を出力する電荷蓄積部、及び、受光部に接続され、電荷の転送を制御する所定期間の複数の制御パターンに従い、当該受光部から電荷蓄積部への電荷の転送を制御するゲート部、をそれぞれ有する複数の画素部が2次元状に配列された撮像素子と、複数の制御パターンのそれぞれに従いゲート部が電荷の転送を制御することで電荷蓄積部から出力された複数の電荷信号、及び、当該複数の制御パターンに基づき、受光部に至るまでのパルス光の光飛行時間を推定する処理部と、を備える。
【0007】
本発明の一形態に係る距離画像計測装置によれば、複数の画素部が2次元状に配列された撮像素子において、対象物にて反射されそれぞれの画素部の受光部へ入射したパルス光が電荷に変換される。この電荷は、複数の制御パターンに従い、ゲート部により電荷蓄積部への転送が制御される。電荷蓄積部へ転送された電荷は当該電荷蓄積部に蓄積された後、電荷信号として出力される。そして、処理部によって、電荷蓄積部から出力された複数の電荷信号、及び、複数の制御パターンに基づき、パルス光の光飛行時間が推定される。このように、電荷信号及び制御パターンから圧縮サンプリングにより光飛行時間を推定して距離画像を計測することにより、センサチップ上における電気信号の処理回路の巨大化を抑制できる。また、これによって、高効率の並列処理回路により処理できるため、近距離から長距離までの広い距離計測レンジ、及び、高い距離分解能を両立できる。
【発明の効果】
【0008】
本発明の一形態によれば、簡素な処理回路によって、広い距離計測レンジ及び高い距離分解能を両立できる。
【図面の簡単な説明】
【0009】
【図1】本発明の一形態に係る距離画像計測装置を用いた距離画像計測システムを示す概略構成図である。
【図2】図1の距離画像計測装置に用いられる撮像素子の概略構成を示すブロック図である。
【図3】図2の撮像素子内の画素部の概略構成を示す回路図である。
【図4】第1実施形態に係る距離画像計測装置を用いた距離画像の生成手順を示す概略図である。
【図5】光飛行時間ヒストグラムを示す概略図である。
【図6】第1実施形態の変形例において、複数の撮像素子のそれぞれに対応する制御パターンの一例を示す概略図である。
【図7】第1実施形態の変形例において、距離画像の生成時における距離画像計測装置の動作を示すフローチャートである。
【図8】第2実施形態に係る距離画像計測装置に用いられる画素部を示す概略平面図である。
【図9】第2実施形態における複数の制御パターンの一例を示す概略図である。
【図10】第2実施形態の変形例における複数の制御パターンの一例を示す概略図である。
【図11】第2実施形態の別の変形例における複数の制御パターンの一例を示す概略図である。
【図12】第2実施形態の更に別の変形例における複数の制御パターンの一例を示す概略図である。
【図13】実施例1における圧縮画像及び距離画像を示す図である。
【図14】実施例2における圧縮画像及び距離画像を示す図である。
【発明を実施するための形態】
【0010】
以下、図面を参照しつつ本発明に係る距離画像計測装置の好適な実施形態について詳細に説明する。なお、図面の説明においては、同一又は相当部分には同一符号を付し、重複する説明を省略する。

【0011】
[第1実施形態]
図1は、本発明の一形態に係る距離画像計測装置を用いた距離画像計測システムを示す概略構成図である。図1に示されるように、距離画像計測システム100は、TOF(Time of flight)法を用いて対象物Oの距離画像を生成する装置である。距離画像計測システム100は、距離画像計測装置1と、光源2と、を備えている。光源2は、対象物Oへレーザ光等のパルス光を照射するための装置である。

【0012】
距離画像計測装置1は、撮像素子3と、レンズ20と、制御手段(処理部)4と、信号処理回路(処理部)5と、を備えている。レンズ20は、対象物Oにて反射されたパルス光を集光して撮像素子3へ入射させる。本実施形態では、撮像素子3は複数設けられている。制御手段4は、複数の撮像素子3のそれぞれに対して、当該撮像素子3に適用する制御パターンP(詳細は後述)を出力する。これと共に、制御手段4は、出力した制御パターンPと同期するように、光源2の発光タイミングを制御する。また、制御手段4は、複数の撮像素子3のそれぞれに適用した複数の制御パターンPの情報を信号処理回路5へ出力する。信号処理回路5は、複数の撮像素子3から入力される複数の電荷信号と、制御手段4から入力される複数の制御パターンPと、に基づき、パルス光の光飛行時間を推定する。

【0013】
図2は、図1の距離画像計測装置に用いられる撮像素子の概略構成を示すブロック図である。図2に示されるように、撮像素子3には、複数の画素部Xij(iは1~mの整数、jは1~nの整数)が2次元マトリクス状に配列されており、方形状の撮像領域を構成している。そして、この撮像領域の周辺部には、複数の画素部Xijの水平方向の画素行に沿って水平走査回路(制御手段)6が設けられると共に、複数の画素部Xijの垂直方向の画素列に沿って垂直走査回路(制御手段)7が設けられている。これらの水平走査回路6及び垂直走査回路7にはタイミング発生回路(制御手段)8が接続されている。

【0014】
撮像素子3では、タイミング発生回路8、水平走査回路6及び垂直走査回路7によって撮像素子3内の画素部Xijが順次走査され、画素信号の読み出しや初期化が実行される。すなわち、撮像素子3を垂直走査回路7によって各画素行単位で垂直方向に走査することにより、走査された画素列に含まれる各画素列の画素信号を画素列毎に設けられた垂直信号線によって読み出す構成となっている。各画素列の画素信号の読み出しは、垂直信号線毎に設けられたノイズキャンセル回路(信号処理回路)9、及び出力バッファ回路(信号処理回路)10を経由して出力することにより行われる。さらに、各画素列の画素信号の読み出し時には、水平走査回路6によって画素部Xijの水平方向の走査が行われる。タイミング発生回路8は、上述したような撮像素子3の画素部Xijの垂直走査及び水平走査のタイミングの制御を行うと共に、光源2のパルス光の照射タイミングを基準にした各画素部Xijにおける電荷蓄積及び電荷排出のタイミングの制御を行う。

【0015】
図3は、図2の撮像素子内の画素部の概略構成を示す回路図である。図3に示されるように、画素部Xij内には画素回路として機能する半導体素子11が複数配列されて設けられている。半導体素子11には、受光部12と、電荷蓄積部13と、電荷排出部14と、ゲート電極(ゲート部)15と、がそれぞれ設けられている。受光部12は、半導体素子11に設けられた埋め込みフォトダイオードであり、光源2から照射され対象物Oにて反射されたパルス光の入射に応じて当該パルス光を電荷に変換する。電荷蓄積部13は、受光部12に接続され、受光部12が生成した電荷が受光部12から転送されると共に、この電荷を蓄積する。電荷排出部14は、受光部12に接続され、受光部12が生成した電荷が受光部12から転送されると共に、この電荷を排出する。ゲート電極15は、受光部12に接続され、受光部12と電荷排出部14との間に形成される転送チャネルの電位を制御して、受光部12から電荷蓄積部13又は電荷排出部14への電荷の転送を制御する。

【0016】
ゲート電極15に低電圧を印加した際には、受光部12と電荷排出部14との間に電位障壁が形成される。これにより受光部12と電荷排出部14との間の転送チャネルが閉じられ、パルス光の入射に伴って生成される電荷は全てが電荷蓄積部13に転送される。その一方で、ゲート電極15に高電圧を印加した際には、受光部12と電荷排出部14との間の電位障壁が無くなり電位勾配が形成される。これにより受光部12と電荷排出部14との間の転送チャネルが開かれ、パルス光の入射に伴って生成される電荷は全てが電荷排出部14に転送される。すなわち、ゲート電極15に高電圧を印加した際には、受光部12と電荷排出部14との間の転送チャネルの電荷転送効果の方が、受光部12と電荷蓄積部13との間の電荷転送効果よりも支配的であるため、生成される電荷は全てが電荷排出部14に転送される。このように、ゲート電極15は、受光部12から電荷蓄積部13又は電荷排出部14への電荷の転送を制御するためのバーチャルスイッチ16としての機能も併せ持つ。

【0017】
ゲート電極15は、タイミング発生回路8から印加される制御パルス電圧TDが与えられることにより、複数の制御パターンPに従い電荷の転送先を電荷蓄積部13とするか電荷排出部14とするかの制御を行う(図4参照)。制御パターンPは、電荷の転送先として電荷蓄積部13又は電荷排出部14のいずれかを択一的に指定するようにオン/オフすると共に、所定期間においてその転送先を時間の経過に伴いランダムに変更するパルス状パターンである。また、複数の制御パターンPのそれぞれは、互いに異なるパターンで電荷の転送先を指定する。

【0018】
更に、画素部Xijには、制御パターンPの印加に伴って電荷蓄積部13に蓄積された電荷を電気信号(電荷信号)として読み出す電荷読出回路18が設けられている。この電荷読出回路18は、信号読み出しトランジスタ18aと、スイッチングトランジスタ18bと、リセットトランジスタ18cとを含んで構成されている。信号読み出しトランジスタ18aのゲート電極は電荷蓄積部13に接続され、信号読み出しトランジスタ18aのドレイン電極は電源に接続され、信号読み出しトランジスタ18aのソース電極は、画素選択用のスイッチングトランジスタ18bのドレイン電極に接続されている。スイッチングトランジスタ18bのソース電極は垂直信号線に接続され、スイッチングトランジスタ18bのゲート電極には、画素列の選択用制御信号Sが垂直走査回路7から与えられる。選択用制御信号Sをハイレベルに設定することにより、スイッチングトランジスタ18bが導通され、電荷蓄積部13に蓄積された電荷量Qが信号読み出しトランジスタ18aで増幅され、増幅された電荷量に対応する電位の電気信号が垂直信号線に出力される。リセットトランジスタ18cは、そのソース電極が電荷蓄積部13に接続され、そのドレイン電極は電源に接続され、そのゲート電極には垂直走査回路7からリセット信号Rが与えられる。このリセットトランジスタ18cは、リセット信号Rがハイレベルに設定された際に、電荷蓄積部13に蓄積された電荷を吐き出すことにより電荷蓄積部13をリセットする。

【0019】
距離画像計測装置1は、上述した撮像素子3を複数備えている。これらの撮像素子3は、2次元マトリクス状に配列されており、ここでは垂直方向に3行、水平方向に5列の合計15個の撮像素子3が配列されている。これらの撮像素子3のうち、同一の撮像素子3に含まれるゲート電極15のそれぞれは、同一の制御パターンPに従い電荷の転送を制御する。

【0020】
上記構成に加えて、距離画像計測装置1の信号処理回路5は、算出回路19を備えている(図2参照)。算出回路19は、タイミング発生回路8によるタイミング制御により画素部Xijから読み出された電気信号を基に、対象物Oの距離画像を生成する。具体的には、算出回路19は、複数の制御パターンPのそれぞれに従いゲート電極15が電荷の転送を制御することで電荷蓄積部13から出力された複数の電気信号の示す電荷量Q、及び、これら複数の制御パターンPに基づき、光源2から受光部12に至るまでのパルス光の光飛行時間を画素部Xij毎に推定する。そして、算出回路19は、この光飛行時間に基づき対象物Oの距離画像を生成する。

【0021】
次に、距離画像計測装置1の動作について説明する。図4は、第1実施形態に係る距離画像計測装置を用いた距離画像の生成手順を示す概略図であり、図5は、光飛行時間ヒストグラムを示す概略図である。図4に示されるように、光源2から照射され対象物Oにて反射されたパルス光は、複数(ここでは、15個)の撮像素子3のそれぞれに対応する複数(ここでは、撮像素子3の数に対応して15個)のレンズ20によって集光されて、当該撮像素子3へ入射する。

【0022】
図4においてA1~A15で示される15個の撮像素子3において、同一の撮像素子3に含まれるゲート電極15のそれぞれは、同一の制御パターンPに従い電荷の転送を制御する。また、上記15個の撮像素子3において、異なる撮像素子3に含まれるゲート電極15のそれぞれは、互いに異なる制御パターンPに従い電荷の転送を制御する。

【0023】
ある1つの撮像素子3に着目すると、当該撮像素子3の有する画素部Xijのそれぞれには、対象物Oのうち互いに異なる点にて反射されることで、その点のレンズ20からの距離に応じた光飛行時間のパルス光が入射する。そして、画素部Xijに入射した当該パルス光によって生成された電荷のうち、制御パターンPが電荷の転送先として電荷蓄積部13を指定しているタイミングで生成された電荷のみが、その画素部Xijの電荷蓄積部13に転送され蓄積される。このようにして撮像素子3のそれぞれの画素部Xijの電荷蓄積部13に蓄積された電荷の電荷量Qから、圧縮画像Cが生成される。

【0024】
互いに異なる撮像素子3同士に着目すると、当該撮像素子3同士では対応する制御パターンPが互いに異なる。一例として、図4に示す例では、A1~A15で示される15個の撮像素子3には、それぞれP1~P15で示されるような互いに異なる15パターンの制御パターンPが対応する。このため、それぞれの撮像素子3の複数の電荷蓄積部13に蓄積される電荷の電荷量Qは互いに異なることとなり、生成される圧縮画像Cも互いに異なる。

【0025】
続いて、算出回路19は、上記複数の撮像素子3において圧縮画像Cによって表される複数の電荷量Q、及び、これらの撮像素子3に対応する複数の制御パターンPに基づき時間画像Dを算出し、この時間画像Dに基づきパルス光の光飛行時間を推定する。具体的には、算出回路19は、圧縮画像Cによって表される複数の電荷量Q、及び、複数の制御パターンPから逆問題を解くことで時間画像Dを算出し、この時間画像Dにより求められる光飛行時間ヒストグラムから光飛行時間を推定する。ここで、光飛行時間ヒストグラムは、受光部12から電荷蓄積部13へ電荷が転送された頻度(あるいは、入射するパルス光の光強度)を表す。逆問題を解くという処理については、例えば、Richard G. Braniuk,「Compressive Sensing」,IEEE SIGNAL PROCESSING MAGAZINE,JULY 2007,p.118-120、又は、平林晃,「圧縮センシングの基礎と最近の話題」,システム/制御/情報,2014年,Vol.58,No.10,p.414等の文献において開示された圧縮センシングの方法を用いることが好適である。なお、本実施形態において行っている逆問題を解くという処理では、複数の画素部Xijにおいて、時間変調を行う制御パターンPを用いて時間変調された圧縮画像Cから画像の時間変化である時間画像Dが復元される。これに対し、上記の文献に記載された処理では、単一の画素において、空間変調を行う制御パターンを用いて空間変調した後、電荷量Qを検出し、その検出結果から二次元画像が推定される。このような差異はあるものの、実質的には、上記の文献に記載された処理は本実施形態における処理と同様である。従って、本実施形態では、上記の文献と同一の処理が適用できる。

【0026】
図5の光飛行時間ヒストグラムは、横軸に光飛行時間を示し、縦軸に各時刻における受光部12へのパルス光の入射の頻度(或いは、光強度)を示している。算出回路19は、画素部Xij毎に光飛行時間ヒストグラムを算出し、そのピーク位置pkに対応する横軸の値を、各画素部Xijにおけるパルス光の光飛行時間と推定する。算出回路19は、このようにして推定した画素部Xij毎の光飛行時間から画素部Xij毎の距離を算出し、距離画像を生成する。

【0027】
以上説明した距離画像計測装置1によれば、複数の画素部Xijが2次元状に配列された撮像素子3において、対象物Oにて反射されそれぞれの画素部Xijの受光部12へ入射したパルス光が電荷に変換される。この電荷は、複数の制御パターンPに従い、ゲート電極15により電荷蓄積部13への転送が制御される。電荷蓄積部13へ転送された電荷は当該電荷蓄積部13に蓄積された後、電荷信号として出力される。そして、制御手段4及び信号処理回路5によって、電荷蓄積部13から出力された複数の電荷信号、及び、複数の制御パターンPに基づき、パルス光の光飛行時間が推定される。このように、電荷信号及び制御パターンPから圧縮サンプリングにより光飛行時間を推定して距離画像を計測することにより、センサチップ上における電気信号の処理回路の巨大化を抑制できる。また、これによって、高効率の並列処理回路により処理できるため、近距離から長距離までの広い距離計測レンジ、及び、高い距離分解能を両立できる。

【0028】
ここで、本発明に係る距離画像計測装置1では、制御手段4及び信号処理回路5は、複数の電荷信号、及び、複数の制御パターンPから逆問題を解くことで算出される光飛行時間ヒストグラムから光飛行時間を推定し、光飛行時間ヒストグラムは、受光部12から電荷蓄積部13へ電荷が転送されたタイミングの頻度分布に対応している。このような構成によれば、圧縮サンプリングを好適に行うことができるため、電荷信号及び制御パターンPから光飛行時間を推定して距離画像を計測することを好適に実現できる。

【0029】
また、本発明に係る距離画像計測装置1では、制御手段4及び信号処理回路5は、光飛行時間ヒストグラムのピーク位置pkから光飛行時間を推定する。このような構成によれば、光飛行時間ヒストグラムのピーク位置pkを簡単に計算できるため、処理回路を簡素化することができる。

【0030】
また、本発明に係る距離画像計測装置1では、複数の制御パターンPは、電荷の転送をオン/オフするランダムなパルス状のパターンである。このような構成によれば、制御パターンPを簡単に設定できるため、処理回路を簡素化することができる。

【0031】
次に、第1実施形態の距離画像の生成手順の変形例について図6及び図7を用いて説明する。図6に示されるように、本変形例に係る距離画像計測装置1では、全ての撮像素子3のうち、図6においてA6及びA10で示される水平方向に離れた2つの撮像素子3に含まれる複数のゲート電極15のそれぞれは、図6においてP6で示される同一の制御パターンPに従い電荷の転送を制御する。それ以外の撮像素子3のそれぞれは、異なる制御パターンP1~P5,P7~P14に従い電荷の転送を制御する。これにより、A1~A15で示される15個全ての撮像素子3を用いて15個の圧縮画像Cが取得される(S01)。

【0032】
続いて、制御手段4及び信号処理回路5は、取得した圧縮画像CのうちのA6及びA10の撮像素子3によって取得された2つの圧縮画像Cに基づいて、複眼視差によるデプスマップを推定する。具体的には、制御手段4及び信号処理回路5は、これら2つの撮像素子3から出力された圧縮画像Cから、既存のステレオ法によりデプスマップを推定する(S02)。

【0033】
また、制御手段4及び信号処理回路5は、デプスマップから得られる視差情報に基づき圧縮画像Cの視差及び倍率を補正し、補正された複数の圧縮画像C、及び、複数の制御パターンPに基づき光飛行時間を推定する。電荷信号の補正手法として、具体的には、電荷信号から生成される複数の圧縮画像Cとデプスマップとの対応点を算出し、この対応点を基準としてそれぞれの圧縮画像Cの視差及び倍率について位置合わせの補正を行う。これにより、補正された複数の圧縮画像Cにおいて、特に撮像素子3のレンズ20から比較的近い範囲における視差の影響が低減される(S03)。

【0034】
続いて、制御手段4及び信号処理回路5は、補正された複数の圧縮画像Cによって表される複数の電荷信号、及び、複数の制御パターンPから逆問題を解くことで時間画像Dを算出し、この時間画像Dにより求められる光飛行時間ヒストグラムから光飛行時間を推定する。そして、制御手段4及び信号処理回路5は、推定された画素部Xij毎の光飛行時間から画素部Xij毎の距離を算出し、距離画像を生成する(S04)。

【0035】
一般に、ステレオ法を用いて生成された距離画像では、撮像素子3のレンズ20からの距離が近いほど、視差が大きくなるため分解能が向上する。その結果、撮像素子3のレンズ20から比較的近い範囲では、光飛行時間から求まる距離画像の分解能より、ステレオ法を用いて生成された距離画像の分解能の方が高くなり易い。一方、ステレオ法を用いて生成された距離画像では、撮像素子3のレンズ20からの距離が遠いほど、視差が小さくなるため分解能が相対的に悪化する。その結果、撮像素子3のレンズ20から比較的遠い範囲では、ステレオ法を用いて生成された距離画像の分解能より、光飛行時間から求まる距離画像の分解能の方が高くなり易い。以上により、ステレオ法と光飛行時間とのそれぞれを用いて生成された距離画像を距離の大小によって上記のように使い分けることによって、距離画像の精度を向上できる。

【0036】
そこで、本変形例に係る距離画像計測装置1では、制御手段4及び信号処理回路5は、画素部Xij毎に求める距離として、所定距離以上の距離については当該光飛行時間から求まる距離を用いると共に、所定距離未満の距離についてはデプスマップにより得られる距離を用いて、最終的なデプスマップを生成する(S05)。

【0037】
なお、デプスマップは、通常のステレオ法に限らず、マルチベースラインステレオ法によって推定してもよい。この場合、例えば15個の撮像素子3のうち、3つ以上の複数の撮像素子3に含まれるゲート電極15のそれぞれが、同一の制御パターンPに従い電荷の転送を制御する。このため、互いに異なる制御パターンPが適用される撮像素子3の数は減少するものの、外れ値(すなわち、比較的大きな推定ミス)となる画素部Xijを少なくできるため、結果としてデプスマップの推定精度を向上できる。

【0038】
[第2実施形態]
次に、第2実施形態に係る距離画像計測装置1について説明する。第2実施形態に係る距離画像計測装置1は、1つの撮像素子3を有している点と、画素部Xijの構成と、が第1実施形態と異なっている。すなわち、図8に示されるように、この撮像素子3の有する画素部Xijは、それぞれ、複数(図8に示す例では、3つ)の電荷蓄積部13を有している。この画素部Xijには、受光部12の四隅に3つの電荷蓄積部13及び1つの電荷排出部14がそれぞれ接続されている。また、この画素部Xijには、これらの電荷蓄積部13及び電荷排出部14への電荷の転送をそれぞれ制御する4つのゲート電極15が、電荷蓄積部13又は電荷排出部14と受光部12との間に設けられている。これらの電荷蓄積部13に対応するゲート電極15には、それぞれの電荷蓄積部13を転送先とする互いに異なる制御パターンPに基づく制御パルス電圧TDが与えられる。このように、ゲート電極15は、複数の電荷蓄積部13に対応する互いに異なる複数の制御パターンPに従い、電荷の転送を制御する。

【0039】
図9には、画素部Xijが、それぞれ16個の電荷蓄積部13を有する場合の制御パターンPの一例が示されている。図9に示されるように、画素部Xijのそれぞれにおいて、ゲート電極15は、互いに異なる電荷蓄積部13を電荷の転送先とする複数(ここでは、電荷蓄積部13の数に対応して16個)の制御パターンPに順次従い、電荷の転送を制御する。撮像素子3の有する画素部Xijのそれぞれには、対象物Oのうち互いに異なる点にて反射されることで、その点のレンズ20からの距離に応じた光飛行時間のパルス光が入射する。そして、画素部Xijに入射した当該パルス光によって生成された電荷は、パルス光の入射のタイミングで制御パターンPが電荷の転送先として指定している電荷蓄積部13へ転送され蓄積される。具体的には、図9においてP1~P16で表される16個の制御パターンPのうち、例えばP1で表される制御パターンPが実行されている間は、P1に対応する第1番目の電荷蓄積部13が電荷の転送先となる。P1で表される制御パターンPが完了した後には、P2で表される制御パターンPが実行され、この間は、P2に対応する第2番目の電荷蓄積部13が電荷の転送先となる。以下、P3で表される制御パターンPから、P16で表される制御パターンPまで順次実行されて、1回の繰り返し単位とされる。続いて、この1回の繰り返し単位の制御パターンPが、複数回繰り返して実行される。

【0040】
このように、第2実施形態に係る距離画像計測装置1では、第1実施形態と異なり、1つの撮像素子3において、複数の画素部Xijのそれぞれに接続された複数の電荷蓄積部13に蓄積された電荷の電荷量Qから、圧縮画像Cが生成される。また、この圧縮画像Cは、適用される制御パターンPによって互いに異なる画像が1つの撮像素子3に生成される。

【0041】
続いて、算出回路19は、撮像素子3における上記複数の電荷蓄積部13に蓄積された複数の圧縮画像Cによって表される複数の電荷量Q、及び、これらの複数の制御パターンPに基づき時間画像Dを算出する。算出回路19は、この時間画像Dに基づきパルス光の光飛行時間を推定する。具体的には、算出回路19は、圧縮画像Cによって表される複数の電荷量Q、及び、複数の制御パターンPから逆問題を解くことで時間画像Dを算出し、この時間画像Dにより求められる光飛行時間ヒストグラムから光飛行時間を推定する。そして、算出回路19は、画素部Xij毎に光飛行時間ヒストグラムを算出し、各画素部Xijにおけるパルス光の光飛行時間を推定する。算出回路19は、このようにして推定した画素部Xij毎の光飛行時間から画素部Xij毎の距離を算出し、距離画像を生成する。

【0042】
上記の距離画像計測装置1によれば、1つの撮像素子3を用いた簡素な構成とすることができる。また、複数の電荷蓄積部13に順次電荷の転送を行うことができるため、電荷蓄積部13への電荷の転送を効率良く行うことができる。

【0043】
次に、第2実施形態の変形例について説明する。図10に示されるように、本変形例に係る距離画像計測装置1においては、電荷の転送先が互いに異なる複数の制御パターンPを、電荷が複数の電荷蓄積部13へ同時に転送されないように並列的に組み合わせた制御パターン(以下、複合制御パターンと称する)が実行される。すなわち、画素部Xijのそれぞれにおいて、ゲート電極15は、複合制御パターンに従い電荷の転送を制御する。図10においてG1~G3等で表されるコードは、G1~G3等にそれぞれ対応するいずれの電荷蓄積部13へ電荷が転送されるかを示している。このコードが「1」のとき、対応する電荷蓄積部13へ電荷が転送され、このコードが「0」のとき、対応する電荷蓄積部13へは電荷は転送されない。なお、このコードを制御パターンPとして書き換えたものが、同図に示されるP1~P3である。制御パターンPを組み合わせた複合制御パターンでは複数の電荷蓄積部13へ同時に転送されないことが、同図によって示されている。このような複合制御パターンに従いゲート電極15が電荷の転送を制御する。これにより、当該複合制御パターンには各電荷蓄積部13が転送先となっているタイミングが含まれることから、各電荷蓄積部13にはそれぞれ互いに異なる圧縮画像Cが出力される。

【0044】
上記の距離画像計測装置1によれば、複数の電荷蓄積部13に並行して電荷の転送を行うことができるため、電荷蓄積部13への電荷の転送を効率良く行うことができると共に、電荷の転送に要する時間を短縮できる。

【0045】
次に第2実施形態の別の変形例を説明する。図11に示されるように、本変形例に係る距離画像計測装置1においては、制御手段4及び信号処理回路5は、互いに近接している複数の画素部Xijのいずれかが有する電荷蓄積部13に蓄積した複数の電荷の電荷量Qと、これら複数の制御パターンPと、に基づき光飛行時間を推定する。例えば、図11に示す例では、X1~X16で表される垂直方向に4行、水平方向に4列の合計16個の画素部Xijのそれぞれにおいて、ゲート電極15は、P1~P16で示される互いに異なる制御パターンPに従い電荷の転送を制御する。制御手段4及び信号処理回路5は、16個の画素部Xijのそれぞれの電荷蓄積部13にそれぞれ蓄積した複数の電荷の電荷量Qと、これら複数の制御パターンPと、に基づきパルス光の光飛行時間を推定する。

【0046】
上記の距離画像計測装置1によれば、複数の画素部Xijが仮想的に1つの画素として扱われるため、生成される距離画像の解像度は低下する。しかし、低解像度で明るいレンズ20を用いることができるため、受光部12へ入射するパルス光の光量が少ない場合にも適用が可能となる。このため、対象物Oが比較的遠い場合にも適用できる。

【0047】
なお、本変形例では、必ずしも画素部Xijに複数の電荷蓄積部13が含まれていなくてもよく、1つの電荷蓄積部13のみが含まれていてもよい。

【0048】
次に、第2実施形態の更に別の変形例を説明する。図12に示されるように、本変形例に係る距離画像計測装置1においては、制御手段4及び信号処理回路5は、互いに近接している複数(ここでは、画素部X11,X12,X21,X22等で表される垂直方向に2行、水平方向に2列の合計4つ)の画素部Xijが有する電荷蓄積部13に蓄積した複数の電荷の電荷量Qと、この複数の制御パターンPと、に基づき光飛行時間を推定する。また、これら4つの画素部Xijのそれぞれは、複数(ここでは、4つ)の制御パターンPに順次従い、電荷の転送を制御する。図12において画素部X11に着目すると、各画素部Xijには、複数の電荷蓄積部13(例えば、画素部11においてはZ1~Z4で表される4つの電荷蓄積部13)が設けられている。そして、距離画像計測装置1は、各電荷蓄積部13に対応するP1~P4で表される4パターンの制御パターンPによる制御が実行される。そして、P1~P4で表される4つの制御パターンPのうち、例えばP1で表される制御パターンPによる制御が実行されている間は、P1に対応する第1番目の電荷蓄積部13が電荷の転送先となる。P1で表される制御パターンPが完了した後には、P2で表される制御パターンPが実行され、この間は、P2に対応する第2番目の電荷蓄積部13が電荷の転送先となる。以下、P3で表される制御パターンP、P4で表される制御パターンPまで順次実行されて、1回の繰り返し単位とされる。続いて、この1回の繰り返し単位の制御パターンPが、複数回繰り返して実行される。同様に、画素部X12,X21,X22では、X11と同時期に、それぞれP5~P16で表される制御パターンPのうちの4つがそれぞれ順次実行される。そして、制御手段4及び信号処理回路5は、これら4つの画素部X11,X12,X21,X22のそれぞれにおいて、互いに異なる4つの電荷蓄積部13にそれぞれ蓄積した合計16個の電荷の電荷量Qと、これらに対応する互いに異なる16パターンの制御パターンPと、に基づきパルス光の光飛行時間を推定する。

【0049】
上記の距離画像計測装置1によれば、互いに近接している複数の画素部Xijに含まれる複数のゲート電極15のそれぞれは、互いに異なる複数の制御パターンPに従い電荷の転送を制御し、制御手段4及び信号処理回路5は、互いに近接している複数の画素部Xijの有する電荷蓄積部13によって出力された複数の電荷信号、及び、複数の制御パターンPに基づき光飛行時間を推定する。このような構成によれば、低解像度で明るいレンズ20を用いることができるため、受光部12へ入射するパルス光の光量が少ない場合にも適用が可能となる。このため、対象物Oが比較的遠い場合にも適用できる。

【0050】
次に、上記実施形態の実施例について説明する。図13は、実施例1における圧縮画像及び距離画像を示す図であり、図14は、実施例2における圧縮画像及び距離画像を示す図である。図13に示される実施例1では、第1実施形態に係る距離画像計測装置1において、垂直方向に3行、水平方向に5列の合計15個の撮像素子3を備えた構成とした。そして、対象物Oとレンズ20との距離を35cmとした。このような構成において、光源2から対象物Oに照射し、反射されたパルス光を検出した。

【0051】
図13(a)は、15個の撮像素子3によって取得された圧縮画像Cである。互いに異なる制御パターンPを実行したことにより、検出されたパルス光の輝度が互いに異なっていることが分かる。図13(b)は、図13(a)に示された圧縮画像Cの生成に用いられた電荷蓄積部13に蓄積した電荷の電荷量Qと、対応する制御パターンPと、に基づき生成された時間画像Dを表している。

【0052】
図14に示される実施例2では、実施例1と比較して、対象物Oとレンズ20との距離が110cmと遠くなっている点で条件が相違している。

【0053】
図14(a)は、15個の撮像素子3によって取得された圧縮画像Cである。実施例1における図13(a)と同様に、互いに異なる制御パターンPを実行したことにより、検出されたパルス光の輝度が互いに異なっていることが分かる。図14(b)は、図14(a)に示された圧縮画像Cの生成に用いられた電荷蓄積部13に蓄積した電荷の電荷量Qと、対応する制御パターンPと、に基づき生成された時間画像Dを表している。図13(b)と図14(b)とを比較すると、対象物Oとレンズ20との距離が異なることに起因して、パルス光が撮影されている距離が互いに異なっている。すなわち、光飛行時間に対応する時間画像Dが好適に撮影されていることが示されている。

【0054】
なお、本発明は上述した実施形態に限定されるものではない。例えば、制御手段4及び信号処理回路5は、光飛行時間ヒストグラムのピーク位置pkの近傍における頻度の重心から光飛行時間を推定してもよい。このような構成によれば、光飛行時間ヒストグラムのピーク位置pkを精度よく計算できるため、高い距離分解能を実現できる。

【0055】
ここで、本発明の一形態に係る距離画像計測装置では、処理部は、複数の電荷信号、及び、複数の制御パターンから逆問題を解くことで算出される光飛行時間ヒストグラムから光飛行時間を推定し、光飛行時間ヒストグラムは、受光部から電荷蓄積部へ電荷が転送されたタイミングの頻度分布に対応している。このような構成によれば、圧縮サンプリングを好適に行うことができるため、電荷信号及び制御パターンから光飛行時間を推定して距離画像を計測することを好適に実現できる。

【0056】
また、本発明の一形態に係る距離画像計測装置では、処理部は、光飛行時間ヒストグラムのピーク位置から光飛行時間を推定してもよい。このような構成によれば、光飛行時間ヒストグラムのピーク位置を簡単に計算できるため、処理回路を簡素化することができる。

【0057】
また、本発明の一形態に係る距離画像計測装置では、処理部は、光飛行時間ヒストグラムのピーク位置の近傍における頻度分布の重心から光飛行時間を推定してもよい。このような構成によれば、光飛行時間ヒストグラムのピーク位置を精度よく計算できるため、高い距離分解能を実現できる。

【0058】
また、本発明の一形態に係る距離画像計測装置では、複数の制御パターンは、電荷の転送をオン/オフするランダムなパルス状のパターンとしてもよい。このような構成によれば、制御パターンを簡単に設定できるため、処理回路を簡素化することができる。

【0059】
また、本発明の一形態に係る距離画像計測装置では、複数の撮像素子を有し、同一の撮像素子に含まれる複数のゲート部のそれぞれは、同一の制御パターンに従い電荷の転送を制御し、互いに異なる撮像素子に含まれる複数のゲート部のそれぞれは、互いに異なる複数の制御パターンに従い電荷の転送を制御してもよい。このような構成によれば、複数の撮像素子を用いることで、複数の電荷蓄積部に並行して電荷の転送を行うことができるため、計測時間を短縮できる。

【0060】
また、本発明の一形態に係る距離画像計測装置では、複数の撮像素子に含まれる複数のゲート部のそれぞれは、同一の制御パターンに従い電荷の転送を制御し、処理部は、複数の当該撮像素子のそれぞれから出力された複数の画素部の電荷信号を含む圧縮画像から、ステレオ法によりデプスマップを推定し、処理部は、当該デプスマップから得られる視差情報に基づき圧縮画像の視差及び倍率を補正し、補正された複数の圧縮画像、及び、複数の制御パターンに基づき光飛行時間を推定し、処理部は、画素部毎に求める距離として、所定距離以上の距離については当該光飛行時間から求まる距離を用いると共に、所定距離未満の距離についてはデプスマップにより得られる距離を用いてもよい。一般に、ステレオ法を用いて生成された距離画像では、撮像素子のレンズからの距離が近いほど、視差が大きくなるため分解能が向上する。その結果、撮像素子のレンズから比較的近い範囲では、光飛行時間から求まる距離画像の分解能より、ステレオ法を用いて生成された距離画像の分解能の方が高くなり易い。一方、ステレオ法を用いて生成された距離画像では、撮像素子のレンズからの距離が遠いほど、視差が小さくなるため分解能が相対的に悪化する。その結果、撮像素子のレンズから比較的遠い範囲では、ステレオ法を用いて生成された距離画像の分解能より、光飛行時間から求まる距離画像の分解能の方が高くなり易い。以上により、ステレオ法と光飛行時間とのそれぞれを用いて生成された距離画像を距離の大小によって上記のように使い分けることによって、距離画像の精度を向上できる。

【0061】
また、本発明の一形態に係る距離画像計測装置では、1つの撮像素子を有し、画素部は、それぞれ、複数の電荷蓄積部を有し、画素部のそれぞれにおいて、ゲート部は、互いに異なる電荷蓄積部を電荷の転送先とする複数の制御パターンに順次従い、複数の電荷蓄積部への電荷の転送を制御してもよい。このような構成によれば、1つの撮像素子を用いた簡素な構成とすることができる。また、複数の電荷蓄積部に順次電荷の転送を行うことができるため、電荷蓄積部への電荷の転送を効率良く行うことができる。

【0062】
また、本発明の一形態に係る距離画像計測装置では、1つの撮像素子を有し、画素部は、それぞれ、複数の電荷蓄積部を有し、画素部のそれぞれにおいて、ゲート部は、電荷の転送先が互いに異なる複数の制御パターンを、電荷が複数の電荷蓄積部へ同時に転送されないように並列的に組み合わせた複合制御パターンに従い、電荷の転送を制御してもよい。このような構成によれば、複数の電荷蓄積部に並行して電荷の転送を行うことができるため、電荷蓄積部への電荷の転送を効率良く行うことができると共に、計測時間を短縮できる。

【0063】
また、本発明の一形態に係る距離画像計測装置では、互いに近接している複数の画素部に含まれる複数のゲート部のそれぞれは、互いに異なる複数の制御パターンに従い電荷の転送を制御し、処理部は、互いに近接している複数の画素部の有する電荷蓄積部によって出力された複数の電荷信号、及び、複数の制御パターンに基づき光飛行時間を推定してもよい。このような構成によれば、低解像度で明るいレンズを用いることができるため、受光部へ入射するパルス光の光量が少ない場合にも適用が可能となる。このため、対象物が比較的遠い場合にも適用できる。
【符号の説明】
【0064】
1…距離画像計測装置、2…光源、3…撮像素子、4…制御手段(処理部)、5…信号処理回路(処理部)、12…受光部、13…電荷蓄積部、14…電荷排出部、15…ゲート電極、Xij…画素部、O…対象物、P…制御パターン、Q…電荷量。
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13