Top > Search of Japanese Patents > CALIBRATION DEVICE, TARGET DETECTION DEVICE, AND CALIBRATION METHOD

CALIBRATION DEVICE, TARGET DETECTION DEVICE, AND CALIBRATION METHOD meetings

Patent code P07A012938
File No. 05036AA11
Posted date Jan 18, 2008
Application number P2006-039563
Publication number P2007-218738A
Patent number P4918676
Date of filing Feb 16, 2006
Date of publication of application Aug 30, 2007
Date of registration Feb 10, 2012
Inventor
  • (In Japanese)胡 振程
  • (In Japanese)内村 圭一
Applicant
  • (In Japanese)国立大学法人 熊本大学
Title CALIBRATION DEVICE, TARGET DETECTION DEVICE, AND CALIBRATION METHOD meetings
Abstract PROBLEM TO BE SOLVED: To provide a calibration device capable of matching easily each target by using a target coordinate acquired from a radar and a target coordinate acquired from a camera.
SOLUTION: A control part acquires a three-dimensional coordinate in a radar coordinate system of each target from radar information. The control part extracts a two-dimensional coordinate of each target from a two-dimensional image of a right camera and extracts a two-dimensional coordinate of each target from a two-dimensional image of a left camera, acquires parallax information from each two-dimensional coordinate in a right-camera coordinate system and in a left-camera coordinate system of each target, and converts each two-dimensional coordinate in the right-camera coordinate system and in the left-camera coordinate system of each target into each three-dimensional coordinate in the right-camera coordinate system and in the left-camera coordinate system by using the parallax information. The control part converts the three-dimensional coordinate in the radar coordinate system into each three-dimensional coordinate in the right-camera coordinate system and in the left-camera coordinate system by using the three-dimensional coordinate in the radar coordinate system of each target acquired from the radar information and each three-dimensional coordinate in the right-camera coordinate system and in the left-camera coordinate system of each target acquired from a stereo image.
Outline of related art and contending technology (In Japanese)


近年、自動車やバイクなどの前方走行車や、歩行者、障害物などの物標との衝突を防止する衝突防止装置や、物標との車間距離を一定の範囲内に保つための車間距離制御装置など、自動車やバイクなどの運転の安全性や快適性を高めるための様々な運転支援装置が開発されている。これら運転支援装置では、物標を検知することが極めて重要であり、運転支援装置にはそのような物標を検知するための物標検知装置が搭載されている。物標検知装置は、例えば、レーザ光またはミリ波電磁波などで物標を検知するレーダや、撮影した画像の解析から物標を検知するカメラ、レーダおよびカメラを含んで構成されたセンサフュージョンなどにより構成されている。



ここで、レーダは、一般に、物標との距離や、相対速度を高精度に測定することができるだけでなく、濃霧などの悪天候によって前方の視界が悪い状況であっても、物標の検知が可能であるという利点を有するが、横方向の分解能が低いので物標の境界の検知が容易でなく、また、検知範囲の上下方向の角度が小さいので視野が狭いなどの欠点を有する。カメラは、一般に、平面分解能が高いので物標の境界の検知が容易であり、視野角も広いという利点を有するが、物標との距離や、相対速度の精度があまり高くなく、天候や照明条件の影響を受けやすいので悪天候や、夜間の場合に物標の検知能力が低下しやすいという欠点を有する。他方、センサフュージョンは、レーダおよびカメラの双方の欠点を双方の利点で補うことが可能であり、最近の開発の主流となっている。例えば、特許文献1,2記載の物標検知装置は、1台のレーダと、1台のカメラとを含んで構成されたセンサフュージョンを備えており、レーダによって検知された物標の座標と、カメラによって検知された物標の座標とを利用して物標を検知するようになっている。



【特許文献1】
特開2003-315441号公報
【特許文献2】
特開2003-315442号公報

Field of industrial application (In Japanese)


本発明は、レーダによって検知された座標と、ステレオカメラによって検知された座標とを利用して物標を検知する物標検知装置を校正するための校正装置およびその校正方法に関する。

Scope of claims (In Japanese)
【請求項1】
 
車両前方のレーダ情報を取得するためのレーダと、
車両前方のステレオ画像を取得するための右カメラおよび左カメラを有するステレオカメラと、
前記レーダで取得したレーダ情報、ならびに前記右カメラで取得した2次元画像および前記左カメラで取得した2次元画像からなるステレオ画像を処理するための制御部と、
を備え、
前記制御部は、
前記レーダによって得られたレーダ情報から各物標のレーダ座標系の3次元座標を取得し、前記レーダ情報から取得した各物標のレーダ座標系の3次元座標が一の平面上に分布していない場合には、前記レーダの俯角およびずれ角を用いて、その3次元座標を補正するレーダ側3次元座標取得手段と、
前記右カメラによって得られた2次元画像の中から前記各物標の右カメラ座標系の2次元座標を、前記左カメラによって得られた2次元画像の中から前記各物標の左カメラ座標系の2次元座標をそれぞれ抽出するカメラ側2次元座標取得手段と、
前記各物標の右カメラ座標系の2次元座標および前記各物標の左カメラ座標系の2次元座標から視差情報を取得する視差情報取得手段と、
前記視差情報を用いて、前記各物標の右カメラ座標系の2次元座標および左カメラ座標系の2次元座標を、右カメラ座標系の3次元座標および左カメラ座標系の3次元座標に変換するカメラ側3次元座標取得手段と、
前記レーダ情報に基づいて得られた各物標のレーダ座標系の3次元座標と、前記ステレオ画像に基づいて得られた各物標の右カメラ座標系の3次元座標および左カメラ座標系の3次元座標とを用いて、レーダ座標系の3次元座標を右カメラ座標系の3次元座標および左カメラ座標系の3次元座標に変換するための変換係数を求める変換係数取得手段と
を有し、
前記レーダ側3次元座標取得手段は、前記レーダ情報から取得した各物標のレーダ座標系の3次元座標を最小二乗法を用いて直線近似を行い、それにより得られた各物標の3次元座標を含む第1直線と前記一の平面に垂直に交わる平面において垂直に交わる第2直線を求め、前記第2直線と自動車の車軸とが交わる角度を前記レーダのずれ角として求める
ことを特徴とする校正装置。

【請求項2】
 
前記右カメラおよび左カメラは、互いに等しい高さに配置されている
ことを特徴とする請求項1に記載の校正装置。

【請求項3】
 
車両前方のレーダ情報を取得するためのレーダと、車両前方のステレオ画像を取得するための右カメラおよび左カメラを有するステレオカメラと、前記レーダで取得したレーダ情報、ならびに前記右カメラで取得した2次元画像および前記左カメラで取得した2次元画像からなるステレオ画像を処理するための制御部とを用意し、
前記レーダによって得られたレーダ情報から各物標のレーダ座標系の3次元座標を取得し、
前記右カメラによって得られた2次元画像の中から前記各物標の右カメラ座標系の2次元座標を、前記左カメラによって得られた2次元画像の中から前記各物標の左カメラ座標系の2次元座標をそれぞれ抽出し、
前記各物標の右カメラ座標系の2次元座標および前記各物標の左カメラ座標系の2次元座標から視差情報を取得し、
前記視差情報を用いて、前記各物標の右カメラ座標系の2次元座標および左カメラ座標系の2次元座標を、右カメラ座標系の3次元座標および左カメラ座標系の3次元座標に変換し、
前記レーダ情報に基づいて各物標のレーダ座標系の3次元座標を取得し、前記レーダ情報から取得した各物標のレーダ座標系の3次元座標が一の平面上に分布していない場合には、前記レーダの俯角およびずれ角を用いて、その3次元座標を補正し、
前記補正に際して、レーダ情報から取得した各物標のレーダ座標系の3次元座標を最小二乗法を用いて直線近似を行い、それにより得られた各物標の3次元座標を含む第1直線と前記一の平面に垂直に交わる平面において垂直に交わる第2直線を求め、前記第2直線と自動車の車軸とが交わる角度を前記レーダのずれ角として求め、
前記レーダ情報に基づいて得られた各物標のレーダ座標系の3次元座標と、前記ステレオ画像に基づいて得られた各物標の右カメラ座標系の3次元座標および左カメラ座標系の3次元座標とを用いて、レーダ座標系の3次元座標を右カメラ座標系の3次元座標および左カメラ座標系の3次元座標に変換するための変換係数を求める
ことを特徴とする校正方法。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2006039563thum.jpg
State of application right Registered
Please contact us by E-mail or telephone if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close