Top > Search of Japanese Patents > IMAGE PROCESSING METHOD FOR TARGET EXTRACTION FROM INFRARED IMAGE, TARGET EXTRACTION METHOD, GROUND OBSERVATION METHOD FOR TRACING EXTRACTED TARGET, GUIDANCE METHOD FOR MISSILE AND DEVICE OF THEM > Specification

Specification :(In Japanese)赤外線画像からの目標抽出のための画像処理方法、目標抽出方法、抽出目標を追尾する地上観測方法、飛しょう体の誘導方法及びそれらの装置

Country (In Japanese)日本国特許庁(JP)
Gazette (In Japanese)特許公報(B2)
Patent Number P3502933
Publication number P2003-215226A
Date of registration Dec 19, 2003
Date of issue Mar 2, 2004
Date of publication of application Jul 30, 2003
Title of the invention, or title of the device (In Japanese)赤外線画像からの目標抽出のための画像処理方法、目標抽出方法、抽出目標を追尾する地上観測方法、飛しょう体の誘導方法及びそれらの装置
IPC (International Patent Classification) G01S  3/782     
F41G  7/22      
G01S  3/786     
FI (File Index) G01S 3/782 B
F41G 7/22
G01S 3/786
Number of claims or invention 8
Total pages 12
Application Number P2002-010228
Date of filing Jan 18, 2002
Date of request for substantive examination Jan 18, 2002
Patentee, or owner of utility model right (In Japanese)【識別番号】390014306
【氏名又は名称】防衛庁技術研究本部長
【識別番号】000000974
【氏名又は名称】川崎重工業株式会社
Inventor, or creator of device (In Japanese)【氏名】秋山 晃
【氏名】中野 清志
【氏名】渡邊 孝廣
【氏名】岡崎 正
Representative (In Japanese)【識別番号】100064296、【弁理士】、【氏名又は名称】高 雄次郎
Examiner (In Japanese)【審査官】宮川 哲伸
Document or reference (In Japanese)特開 平9-101138(JP,A)
特開2000-36031(JP,A)
特開 平9-305761(JP,A)
特開2000-275341(JP,A)
特開 平2-56096(JP,A)
Field of search G01S 3/76 - 3/789
F41G 7/22
Scope of claims (In Japanese)【請求項1】
赤外線画像の各画素を画素毎の温度差に注目して温度差がある一定値以下の隣接する画素同士を合わせて幾つかの部品に統合し、統合した部品のうち、抽出すべき目標を想定した大きさ・形状の枠よりも大きな部品を排除することにより、不要な部分を削除することを特徴とする赤外線画像からの目標抽出のための画像処理方法。

【請求項2】
請求項1記載の画像処理方法による画像処理で残った部品から抽出すべき目標を想定した大きさ・形状の枠内に部品が存在する密度が高いところから部品同士を順次結合し、目標の形状を乱す部品を排除して目標に最も近い大きさ・形の目標候補を抽出することを特徴とする目標抽出方法。

【請求項3】
地上観測位置と目標との相対距離を計測し、この相対距離と想定目標サイズ、赤外線画像の1画素当りの角度から目標枠の大きさを演算し、この目標枠により請求項2記載の目標抽出方法により抽出する目標候補の大きさ・形状を決定し、この目標候補の赤外線画像の中でのアドレスを追尾することを特徴とする抽出目標を追尾する地上観測方法。

【請求項4】
地上観測位置から計測した目標の3次元位置と慣性位置演算方法により取得した飛しょう体の3次元位置とにより目標と飛しょう体の相対距離を演算し、この相対距離と想定目標サイズ、赤外線画像の1画素当りの角度から目標枠の大きさを演算し、この目標枠により請求項2記載の目標抽出方法により抽出する目標候補の大きさ・形状を決定し、この目標候補の赤外線画像の中でのアドレスを追尾し、飛しょう体を目標に誘導することを特徴とする飛しょう体の誘導方法。

【請求項5】
目標を撮像する赤外線画像撮像装置と、撮像した赤外線画像のノイズを除去する前処理回路と、温度差がある一定値以下の隣接する画素同士を合わせて幾つかの部品に統合する統合処理回路と、抽出すべき目標を想定した大きさ・形状の枠よりも大きな部品を排除する背景除去回路とより成る画像処理装置。

【請求項6】
請求項5記載の画像処理装置と、この画像処理装置による画像処理で残った部品から抽出すべき目標の大きさと形状を想定した枠内に部品が存在する密度が高いところから部品同士を順次結合し、目標の形状を乱す部品を排除して目標に最も近い大きさ・形の目標候補を抽出する部品統合回路とより成る目標抽出装置。

【請求項7】
請求項6記載の目標抽出装置と、地上観測位置と目標との相対距離を計測する相対距離計測装置と、この相対距離計測装置により計測した相対距離と想定目標サイズ、赤外線画像の1画素当りの角度から目標枠の大きさを演算する目標サイズ演算器とより成り、前記目標サイズ演算器で演算して得た目標枠を前記目標抽出装置の背景除去回路と部品統合回路における想定目標枠として入力するように構成したことを特徴とする地上観測装置。

【請求項8】
請求項6記載の目標抽出装置と、目標の3次元位置を計測する目標計測装置と、飛しょう体の3次元位置を演算する慣性位置演算装置と、目標計測装置により計測した目標の3次元位置と慣性位置演算装置により演算した飛しょう体の3次元位置とにより目標と飛しょう体の相対距離を演算する相対距離演算器と、この相対距離演算器により演算した相対距離と想定目標サイズ、赤外線画像の1画素当りの角度から目標枠の大きさを演算する目標サイズ演算器とより成り、前記目標サイズ演算器で演算して得た目標枠を前記目標抽出装置の背景除去回路と部品統合回路における想定目標枠として入力するように構成されて飛しょう体に搭載されている誘導装置。
Detailed description of the invention (In Japanese)【発明の詳細な説明】

【0001】
【発明の属する技術分野】本発明は、赤外線画像からの目標抽出のための画像処理方法、その画像処理方法により処理した画像から抽出すべき目標を正確に抽出する目標抽出方法、その目標抽出方法により抽出した目標を追尾する地上観測方法、目標を追尾し飛しょう体を目標に誘導する誘導方法、及びそれらの装置に関する。

【0002】
【従来の技術】従来、地表面を背景としてその上にある目標(例えば車両)を赤外線カメラで撮像すると、目標は背景よりも温度が高いことが多いため、ある温度(輝度)以上の部分を目標として抽出する画像処理が一般的に行われていた。これを2値化処理という。図8のaはこの目標抽出のための画像処理方法における原画像、図8のbは2値化処理により抽出した目標(車両)を示す処理画像である。

【0003】
然し乍ら、太陽光等により部分的に暖められた背景が目標(車両)よりも高温になることもしばしばあり、このような状況では目標(車両)以外の背景部分が目標(車両)として誤抽出されるという問題があった。図9のaは太陽光により背景が部分的に加熱された状況における原画像、図9のbは2値化処理により抽出した目標(車両)及び誤抽出された背景を示す処理画像である。

【0004】
また、一部分が背景よりも高温で、別の部分が背景よりも低温である目標(車両)は、2値化処理では目標(車両)全体を抽出することはできず、形状等により抽出した部分が目標(車両)であるか正しく判断できないという問題があった。図10のaは目標(車両)の一部分が背景より高温で、別の部分が背景より低温の場合の原画像、図10のbは2値化処理により抽出した目標(車両)を示す処理画像である。

【0005】
【発明が解決しようとする課題】そこで本発明は、従来の目標と背景の絶対的な温度差に基く目標抽出に代わって、目標と背景の相対的な温度差に基く目標抽出を行って、従来の2値化処理で問題となった、高温な部分背景の誤抽出を無くすと共に目標全体の抽出を正確に行うことにより目標識別精度を向上しようとするものであり、さらに発展させて抽出した目標を追尾できるようにし、その上追尾する目標に飛しょう体を誘導できるようにしようとするものである。

【0006】
【課題を解決するための手段】上記課題を解決するための基本となる本発明による赤外線画像からの目標抽出のための画像処理方法は、赤外線画像の各画素を画素毎の温度差に注目して温度差がある一定値以下の隣接する画素同士を合わせて幾つかの部品に統合し、統合した部品のうち、抽出すべき目標を想定した大きさ・形状の枠よりも大きな部品を排除することにより、不要な部分を削除することを特徴とするものである。

【0007】
本発明の目標抽出方法は、上記の画像処理方法による画像処理で残った部品から抽出すべき目標を想定した大きさ・形状の枠内に部品が存在する密度の高いところから部品同士を順次結合し、目標の形状を乱す部品を排除して目標に最も近い大きさ・形の目標候補を抽出することを特徴とするものである。

【0008】
本発明の抽出目標を追尾する地上観測方法は、地上観測位置と目標との相対距離を計測し、この相対距離と想定目標サイズ、赤外線画像の1画素当りの角度から目標枠の大きさを演算し、この目標枠により前記目標抽出方法により抽出する目標候補の大きさ・形状を決定し、この目標候補の赤外線画像の中でのアドレスを追尾することを特徴とするものである。

【0009】
本発明の誘導方法は、地上観測位置から計測した目標の3次元位置と慣性位置演算方法により取得した飛しょう体の3次元位置とにより目標と飛しょう体との相対距離を演算し、この相対距離と想定目標サイズ、赤外線画像の1画素当りの角度から目標枠の大きさを演算し、この目標枠により前記目標抽出方法により抽出する目標候補の大きさ・形状を決定し、この目標候補の赤外線画像の中でのアドレスを追尾し、飛しょう体を目標に誘導することを特徴とする。

【0010】
前記の赤外線画像からの目標抽出のための画像処理方法を実施するための本発明の画像処理装置は、目標を撮像する赤外線画像撮像装置と、撮像した赤外線画像のノイズを除去する前処理回路と、温度差がある一定値以下の隣接する画素同士を合わせて幾つかの部品に統合する統合処理回路と、抽出すべき目標を想定した大きさ・形状の枠よりも大きな部品を排除する背景除去回路とより成るものである。

【0011】
前記の目標抽出方法を実施するための本発明の目標抽出装置は、前記0010項に記載の画像処理装置と、この画像処理装置による画像処理で残った部品から抽出すべき目標の大きさと形状を想定した枠内に部品が存在する密度が高いところから部品同士を順次結合し、目標の形状を乱す部品を排除して目標に最も近い大きさ・形の目標候補を抽出する部品統合回路とより成るものである。

【0012】
前記の地上観測方法を実施するための本発明の地上観測装置は、前記0011項に記載の目標抽出装置と、地上観測位置と目標との相対距離を計測する相対距離計測装置と、この相対距離計測装置により計測した相対距離と想定目標サイズ、赤外線画像の1画素当りの角度から目標枠の大きさを演算する目標サイズ演算器とより成り、前記目標サイズ演算器で演算して得た目標枠を前記目標抽出装置の背景除去回路と部品統合回路における想定目標枠として入力するように構成したことを特徴とするものである。

【0013】
前記の誘導方法を実施するための本発明の誘導装置は、前記0011項に記載の目標抽出装置と、目標の3次元位置を計測する目標計測装置と、飛しょう体の3次元位置を演算する慣性位置演算装置と、目標計測装置により計測した目標の3次元位置と慣性位置演算装置により演算した飛しょう体の3次元位置とにより目標と飛しょう体の相対距離を演算する相対距離演算器と、この相対距離演算器により演算した相対距離と想定目標サイズ、赤外線画像の1画素当りの角度から目標枠の大きさを演算する目標サイズ演算器とより成り、前記目標サイズ演算器で演算して得た目標枠を前記目標抽出装置の背景除去回路と部品統合回路における想定目標枠として入力するように構成されて飛しょう体に搭載されているものである。

【0014】
【発明の実施の形態】本発明の実施形態を説明する。先ず、本発明の赤外線画像からの目標抽出のための画像処理方法を実施するための画像処理装置について説明すると、この画像処理装置は、図1のブロック図に示すように目標を撮像する赤外線画像撮像装置(赤外線カメラ)1と、撮像した赤外線画像のノイズをメディアンフィルタ等により除去する前処理回路2と、温度差(輝度差)がある一定値以下の隣接する画素同士を合わせて幾つかの部品に統合する統合処理回路3と、抽出すべき目標を想定した大きさ・形状の枠よりも大きな部品を排除する背景除去回路4とより成る。

【0015】
このように構成された画像処理装置5による画像処理方法について説明する。赤外線画像撮像装置(赤外線カメラ)1により目標(本例では車両)を撮像すると、その赤外線画像は車両と背景に温度差(輝度差)があり、材質・加熱条件が類似している部分同士では温度差が小さい。そこで本発明の画像処理方法では、車両を撮像した赤外線画像のノイズを前処理回路2でメディアンフィルタ等により除去した後、図2のaに示す赤外線画像の各画素を画素毎の温度差(輝度差)に注目して、温度差(輝度差)がある一定値以下の隣接する画素同士を合わせて植生や加熱条件が類似した部分を統合する。即ち、隣接する温度差(輝度差)の小さい画素同士を同じ領域として統合し、図2のbに示すように赤外線画像をからの部分に分割した状態となす。そして、統合した領域のうち、抽出すべき目標(本例では車両)を想定した大きさ・形状の長方形の枠よりも大きな部分、図2のbでは背景,,の部分を排除することにより、図2のcのように不要な部分を削除して画像処理を終える。これにより従来の2値化処理で問題となった高温な部分背景の誤抽出が排除される。

【0016】
上記画像処理方法により処理した画像から抽出すべき目標を正確に抽出する本発明の目標抽出方法を実施するための目標抽出装置について説明すると、この目標抽出装置は、図3のブロック図に示すように図1のブロック図に示す画像処理装置5と、この画像処理装置5による画像処理で残った部品から抽出すべき目標の大きさと形状を想定した枠内に部品が存在する密度の高いところから部品同士を順次結合し、目標の形状を乱す部品を排除して目標に最も近い大きさ・形の目標候補を抽出する部品統合回路6とより成る。

【0017】
このように構成された目標抽出装置7による目標抽出方法について説明する。前述の画像処理装置5による赤外線画像の画像処理で残った部品から部品統合回路6により抽出すべき目標(本例では車両)を想定した大きさ・形状(例えば長方形)の枠内に部品が存在する密度の高いところから部品同士を順次結合し、図2のcに示される枠外の目標の形状を乱すやのような部品を排除して図4に示すように目標に最も近い大きさ・形の目標候補を抽出する。部品統合回路6における細部処理内容を図5のa,b,cによって説明すると、a図は赤外線画像の画像処理で残った背景と目標の組合せで、これをb図に示すように抽出すべき目標を想定した大きさの四角形の枠内に部品が存在する密度が高いところから部品同士を結合することにより、四角形の枠内よりはみ出る背景は面積密度にカウントされず、また面積密度の小さい背景は四角形の枠内に抽出されない。その結果c図のように目標と異なる形状を構成する背景を結合することなく正確に目標を抽出することができる。

【0018】
かくして、従来の2値化処理で問題となった高温な部分背景の誤抽出は、赤外線画像の隣接する画素との温度差が少ないもの同士を統合する画像処理により排除される。また、温度差により分割した画素を目標の形状・大きさの枠を基準にしてこの枠内に画素が存在する密度が高いところから画素を結合することにより、目標の中で周囲よりも高温な部分も低温な部分も抽出でき、従来の2値化処理に比べてより正確に目標全体の形状を抽出することができる。

【0019】
次に本発明の抽出目標を追尾する地上観測方法について説明する。この地上観測方法を実施するための地上観測装置は、図6に示すように前記目標抽出装置7と、地上観測位置と目標との相対距離を計測するミリ波レーダ等より成る相対距離計測装置8と、この相対距離計測装置8により計測した相対距離と想定目標サイズ、赤外線画像の1画素当りの角度から目標枠の大きさを演算する目標サイズ演算器9とより成り、前記目標サイズ演算器9で演算して得た目標枠を前記目標抽出装置7の背景除去回路4と部品統合回路6における想定目標枠として入力するように構成したことを特徴とする。

【0020】
このように構成された地上観測装置10により抽出目標を追尾する地上観測方法について説明する。相対距離計測装置8により地上観測位置と目標との相対距離を計測し、この相対距離を目標サイズ演算器9に入力し、相対距離と想定目標サイズ、赤外線画像の1画素当りの角度から目標枠の演算する。この目標枠の演算は次のように行われる。即ち、地上観測装置と目標との相対距離をRG、想定目標サイズをTW(幅)、TH(高さ)、赤外線画像の1画素当りの角度をΔΘp(ピッチ)、ΔΘy(ヨー)とすると、目標枠のピクセル数Wp(ピッチ)、Wy(ヨー)は、以下の式で求められる。
Wp=tan-1(TH/RG)/ΔΘp
Wy=tan-1(TW/RG)/ΔΘy
こうして演算した目標枠は、目標枠を目標抽出装置7の背景除去回路4と部品統合回路6における想定目標枠として入力し、背景除去回路4で想定目標枠よりも大きい部品を排除することにより、不要な部分を削除する画像処理を行い、この画像処理で残った部品から部品統合回路6により想定目標枠内に部品が存在する密度の高いところから部品同士を順次結合し、目標を乱す部品を排除して目標に最も近い大きさ・形の目標を抽出し、この抽出した目標の赤外線画像の中でのアドレスを追尾する。

【0021】
次に本発明の飛しょう体の誘導方法について説明する。この誘導方法を実施するための誘導装置は、飛しょう体に搭載され、図7に示すように前記目標抽出装置7と、目標の3次元位置を計測する目標計測装置11と、飛しょう体の3次元位置を演算する慣性位置演算装置12と、目標の3次元位置と飛しょう体の3次元位置とにより目標と飛しょう体の相対距離を演算する相対距離演算器13と、この相対距離演算器13により演算した相対距離と想定目標サイズ、赤外線画像の1画素当りの角度から目標枠の大きさを演算する目標サイズ演算器14とより成り、前記目標サイズ演算器14で演算して得た目標枠を前記目標抽出装置7の背景除去回路4と部品統合回路6における想定目標枠として入力するように構成したことを特徴とする。

【0022】
このように構成された誘導装置15により飛しょう体を誘導する方法について説明する。目標計測装置11により目標の3次元位置を計測し、また慣性位置演算装置12により飛しょう体の3次元位置を演算する。こうして計測した目標の3次元位置と演算した飛しょう体の3次元位置とを相対距離演算器13に入力して目標と飛しょう体の相対距離を演算した後、この相対距離を目標サイズ演算器14に入力し、相対距離と想定目標サイズ、赤外線画像の1画素当りの角度から目標枠を演算する。この目標枠の演算は次のように行われる。即ち、飛しょう体と目標との相対距離をRM、想定目標サイズをTW(幅)、TH(高さ)、赤外線画像の1画素当りの角度をΔΘp(ピッチ)、ΔΘy(ヨー)とすると、目標枠のピクセル数Wp(ピッチ)、Wy(ヨー)は、以下の式で求められる。
Wp=tan-1(TH/RM)/ΔΘp
Wy=tan-1(TW/RM)/ΔΘy
こうして演算した目標枠は、目標枠を目標抽出装置7の背景除去回路4と部品統合回路6における想定目標枠として入力し、背景除去回路4で想定目標枠よりも大きい部品を排除することにより、不要な部分を削除する画像処理を行い、この画像処理で残った部品から部品統合回路6により想定目標枠内に部品が存在する密度の高いところから部品同士を順次結合し、目標を乱す部品を排除して目標に最も近い大きさ・形の目標を抽出し、この抽出した目標の赤外線画像の中でのアドレスを追尾し、飛しょう体を目標に誘導する。

【0023】
【発明の効果】以上の説明で判るように、本発明の赤外線画像からの目標抽出のための画像処理方法は、赤外線画像における温度差が小さい隣接する画素同士を合わせて幾つかの部品に統合し、統合した部品のうち抽出すべき目標を想定した大きさ・形状の枠よりも大きな部品を排除することにより、不要な部分を削除するので、従来の2値化処理で問題となった高温な部分背景の誤抽出が排除され、目標抽出の向上に寄与できる。また、本発明の目標抽出方法は、上記画像処理方法による画像処理で残った部品から抽出すべき目標を想定した大きさ・形状の枠内に部品が存在する密度の高いところから部品同士を順次結合し、目標の形状を乱す部分を排除して目標に最も近い大きさ・形の目標候補を抽出するので、従来の2値化処理に比べてより正確に目標全体の形状を抽出することができて、後段の形状により目標を識別する目標識別装置に正確な形状を提供することができ、目標識別性能が向上する。さらに、本発明の地上観測方法は、目標と地上観測位置との相対距離を計測して、この相対距離と想定目標サイズと赤外線画像の1画素当りの角度とにより目標枠の大きさを演算し、この目標枠により前記目標抽出方法により抽出する目標候補の大きさ・形状を決定し、この目標候補の赤外線画像の中でのアドレスを追尾するので、地上での目標観測を小型、低廉な装置で精度よく行うことができる。さらにまた、本発明の飛しょう体の誘導方法は、計測した目標の3次元位置と慣性位置演算方法により取得した飛しょう体の3次元位置とにより目標と飛しょう体の相対距離を演算し、この相対距離と想定目標サイズ、赤外線画像の1画素当りの角度から目標枠を演算し、この目標枠により前記目標抽出方法により抽出する目標候補の大きさ・形状を決定し、この目標候補の赤外線画像の中でのアドレスを追尾し、飛しょう体を目標に誘導するので、飛しょう体を小型低廉な装置で精度よく誘導できる。
Drawing
(In Japanese)【図1】
0
(In Japanese)【図2】
1
(In Japanese)【図4】
2
(In Japanese)【図3】
3
(In Japanese)【図8】
4
(In Japanese)【図5】
5
(In Japanese)【図6】
6
(In Japanese)【図7】
7
(In Japanese)【図9】
8
(In Japanese)【図10】
9