TOP > 国内特許検索 > 滑走路画像を用いた位置・姿勢の割出し方法およびその装置 > 明細書

明細書 :滑走路画像を用いた位置・姿勢の割出し方法およびその装置

発行国 日本国特許庁(JP)
公報種別 特許公報(B1)
特許番号 特許第3005682号 (P3005682)
登録日 平成11年11月26日(1999.11.26)
発行日 平成12年1月31日(2000.1.31)
発明の名称または考案の名称 滑走路画像を用いた位置・姿勢の割出し方法およびその装置
国際特許分類 G06T  7/60      
B64D 45/04      
B64D 47/08      
G01C 11/26      
G08G  5/00      
FI G06F 15/70 350H
B64D 45/04
B64D 47/08
G01C 11/26
G08G 5/00
請求項の数または発明の数 6
全頁数 10
出願番号 特願平11-003576 (P1999-003576)
出願日 平成11年1月11日(1999.1.11)
審査請求日 平成11年5月12日(1999.5.12)
特許権者または実用新案権者 【識別番号】391037397
【氏名又は名称】科学技術庁航空宇宙技術研究所長
発明者または考案者 【氏名】佐々 修一
【氏名】二宮 哲次郎
個別代理人の代理人 【識別番号】100110515、【弁理士】、【氏名又は名称】山田 益男 (外2名)
審査官 【審査官】安田 太
参考文献・文献 特開 平7-329894(JP,A)
特開 平7-77431(JP,A)
「コックピット視界画像を用いた運動推定」、第34回航空機シンポジウム、日本航空宇宙学会、1996、p.153-156
調査した分野 G06T 7/60
B64D 45/04
B64D 47/08
G01C 11/26
G08G 5/00
要約 【課題】 地上の対象物画像に基づく精度のよい位置・姿勢情報割出し方式を提供するもので、特に、従来の航空機搭載の位置・姿勢割出し手段と併設することより確実な位置・姿勢情報を得ると共に、他の計器が故障した場合にも信頼性の高い位置・姿勢情報を得ることができる新規な位置・姿勢情報割出し方式を提供すること。
【解決手段】 航空機機首部に取り付けられたカメラにより撮像された滑走路画面上で、水平線画像の傾斜角、消失点の位置および滑走路の両側境界線の2線の傾斜係数を検出し、前記水平線の傾斜角よりバンク角を割出し、前記消失点の座標位置を用い、地球座標と画面座標とのオイラー座標変換式に基づいてヨー角・ピッチ角を割出すと共に、前記滑走路の両側境界線の2線の傾斜係数と航空機のバンク角・ヨー角・ピッチ角の値を用いて地球座標と画面座標とのオイラー座標変換式に基づいて高度情報および滑走路幅方向位置を割出す。
特許請求の範囲 【請求項1】
航空機機首部に取り付けられたカメラにより撮像された滑走路画面上で、水平線画像の傾斜角、消失点の座標位置を検出し、前記水平線画像の傾斜角よりバンク角を割出し、前記消失点の座標位置を用い、地球座標と画面座標とのオイラー座標変換式に基づいてヨー角・ピッチ角を割出す航空機の姿勢割出し方法。

【請求項2】
航空機機首部に取り付けられたカメラにより撮像された滑走路画面上で滑走路の両側境界線2線の傾斜係数を検出し、この値と航空機のバンク角・ヨー角・ピッチ角の値を用いて地球座標と画面座標とのオイラー座標変換式に基づいて高度情報および滑走路幅方向位置を割出す航空機の位置割出し方法。

【請求項3】
航空機機首部に取り付けられたビデオカメラと、カメラの撮影画像を表示する表示手段と、画像を画像メモリに取り込んで各画素の輝度情報を閾値と比較して2値画像を得る手段と、該2値画像の境界位置を抽出して画像上の水平線と滑走路両側境界線を得る手段と、Hough変換手法を用いて水平線と滑走路両側境界線の式を得る手段と、滑走路両側境界線の式の交点から消失点の位置を得る手段と、水平線と滑走路両側境界線の式、消失点の位置の情報から航空機のバンク角、ヨー角・ピッチ角を割出す演算手段とからなる航空機の姿勢割出しシステム。

【請求項4】
航空機機首部に取り付けられたビデオカメラと、カメラの撮影画像を表示する表示手段と、画像を画像メモリに取り込んで各画素の輝度情報を閾値と比較して2値画像を得る手段と、該2値画像の境界位置を抽出して画像上の水平線と滑走路両側境界線を得る手段と、Hough変換手法を用いて水平線と滑走路両側境界線の式を得る手段と、滑走路両側境界線の式の交点から消失点の位置を得る手段と、演算手段とを備え、該演算手段は水平線と滑走路両側境界線の式、消失点の位置の情報から航空機のバンク角、ヨー角・ピッチ角を割出すと共に、その値と滑走路両側境界線画像の方程式の傾斜係数とを用いてオイラーの座標変換式に基づいて高度情報と滑走路幅方向の位置を算出することを特徴とする航空機の位置割出し装置。

【請求項5】
航空機機首部に取り付けられたビデオカメラと、カメラの撮影画像を表示する表示手段と、撮影画像を前記表示手段の画面上で光学軸を中心に回転させる手段と、画面上の指定した位置を二次元座標値として検知する検知手段と、演算手段とを備え、該演算手段は前記検知手段で検知された複数の点を結ぶ直線の方程式を算出すると共に水平線画像の方程式の傾斜係数に基づいてバンク角を算出し、バンク角補正画面上の消失点の縦座標値を-fTanθとしてピッチ角θを算出し、該ピッチ角θの値を用いバンク角補正画面上の消失点の横座標値を-fTanψ/Cosθとしてヨー角ψを算出することを特徴とする航空機の姿勢割出し装置。

【請求項6】
航空機機首部に取り付けられたビデオカメラと、カメラの撮影画像を表示する表示手段と、撮影画像を前記表示手段の画面上で光学軸を中心に回転させる手段と、画面上の指定した位置を二次元座標値として検知する検知手段と、演算手段とを備え、該演算手段は前記検知手段で検知された複数の点を結ぶ直線の方程式を算出すると共に、滑走路両側境界線画像の方程式の傾斜係数を得て、地球座標における該滑走路両側境界線の方程式と航空機のバンク角φ、ピッチ角θ、ヨー角ψの値を用いてオイラーの座標変換式に基づいて高度情報と滑走路幅方向の位置を算出することを特徴とする航空機の位置割出し装置。
発明の詳細な説明 【発明の詳細な説明】

【1】

【発明の属する技術分野】本発明は、航空機等飛行体の位置、姿勢を搭載カメラの滑走路映像情報より割出す方法に関する。

【10】

【数4】
JP0003005682B1_000005t.gif【数5】
JP0003005682B1_000006t.gif【0011】この式(9)より、画面上の水平線の傾きは航空機のバンク角φ(ロール角)に一致することが判る。すなわち前記のような地球座標を設定すると画面上の座標との間の変換オイラー角(ψ,θ,φ)のφがバンク角となっており、画面上の水平線の傾きからこのバンク角を検知することが出来る。また、地球座標の設定条件から、ψは航空機のヨー角にθはピッチ角に相当することになることは容易に理解できよう。

【12】
図3に示す撮像画面において水平線画像は画面座標の' 軸と交差しているが、この水平線画像の式が上記のように式(9)によって表されるので、原点と該交差点との距離は'=0として-fTanθ/Cosφとなる。また原点Oから水平線に下ろした垂線の交差する点をAとすると、該垂線と' 軸とのなす角は図面の幾何学的関係からオイラー角のφとなるので、点OA間の距離は-fTanθとなる。したがって、画面座標上で点OA間の距離を把握すればピッチ角θを算出することが出来る。

【13】
次のステップで上記A点と消失点Bとの距離について検討する。画面座標においてバンク角φを補正して水平線画像を横軸とする新たな座標","を考える。撮影画像を画面上で原点Oを中心に座標系を角度φだけ時計方向に回転させると画面上の水平線は横軸から点OA間の距離-fTanθ分離れた平行線"=-fTanθとなる。消失点Bは水平線上の一点であるから" 座標値はやはり-fTanθとなる。先に消失点の位置座標として(3)(4)式を得ているが、バンク角φを0とすると、(4)式から '=-fTanθ となり、上記水平線の式と符合することが確認できる。同様に(3)式からは '=-fTanψ/Cosθ が得られるが、水平線は横軸と平行の関係にあるから、これが点AB間の距離となる。したがって、画面上の点AB間の距離と先に得たピッチ角θの値から、ヨー角ψを算出することが出来る。以上のことから、画面上の水平線と消失点に関する情報から、航空機の姿勢(φ,θ,ψ)を割出すことが出来ることが理解できよう。

【14】
次に滑走路中央線を基準とした航空機の位置情報と高度情報の割出しについて検討するが、この場合滑走路の幅方向の位置のみに着目するものとし、長手方向位置は問題としない。まず、上記の方法ですでに求めたφ,θ,ψに基づいて画面座標の座標軸を補正する。すると変換後の画面は図4に示すように消失点が原点に合致したものとなる。要するにバンク角φを0とすることで翼が水平の状態とし、ピッチ角θを0とすることで高度0すなわち地上に着地した状態で、かつヨー角ψを0とすることでまっすぐ前方に消失点を捉えた状態に相当する画面となるわけである。(1)(2)式においてφ,θ,ψの値をすべて0とすると、

【15】

【数6】
JP0003005682B1_000007t.gif【0016】今地上(z=0)における滑走路上の位置から見た画像を考えると、図4の如く、消失点を正面に見て該消失点で両境界線が交差する滑走路画面が見えることになる。滑走路右側の境界線はy=dの直線であり、左側の境界線はy=-dであるからそれぞれの画面上での傾きをk,kとすれば上記(12)式から、

【17】

【数7】
JP0003005682B1_000008t.gif【0018】式(15)(16)が得られることで、画像上の滑走路の両境界線の傾きに基づいてy,z座標値、すなわちy座標値は滑走路中心線を基準とした位置情報であり、z座標値は航空機の高度情報ということになるが、これらの値を求めることが出来る。以上のとおり、航空機の機首に据え付けられたカメラにより撮影された画像情報に基づいて、その航空機の姿勢、位置情報を得ることが出来ることが原理上説明できたわけであるが、実施上は、撮影画像にオイラー角補正を施した補正画像をディスプレイ画面上に表示させる作業が容易とはいえない。バンク角φ補正については画像の単純回転で処理できるので単純であるが、ピッチ角、ヨー角に相当するθ角、ψ角補正については三次元処理を施さねばならず、その演算はかなり複雑となってしまう。そのため、画像情報としてはバンク角補正のみを施した画面を用いることが簡便である。

【19】
そこで、該バンク角補正のみを施した画面に基づく位置割出し法について説明する。滑走路の右側境界線の地球座標上の式はz=0で表される平面上でy=dとなる。(1)(2)式を用いてまず右側境界線の画面座標を計算するが、x軸上の位置は問題にしないので、両式からx軸情報を消去する。ここでz=0であり、y=d としてバンク角φを0とした計算となる。

【2】

【従来の技術】従来、航空機に搭載された計器による航空機の位置や姿勢を検知する手段としては、加速度計や速度計、あるいはジャイロ等のデータから割出す方法、GPSや地上からの誘導電波を受けて自らの位置を割出す方法等が知られている。しかし、航空機の機首にカメラを備え、それにより撮像される滑走路等の映像から航空機の位置・姿勢を割り出す本発明のようなものは未だ開発されていなかった。近い技術としては自動車に設置したカメラの映像から、位置情報、姿勢情報、車間距離情報等を得る技術が公知である。しかし路上を走る車両と空中を飛ぶ航空機とでは高度や水平方向に対する傾斜角であるバンク角等が大きな意味を有してくるといった特有の状況があり、簡単に応用できる技術ではなく、特異な解析手法を開発する必要がある。

【20】

【数8】
JP0003005682B1_000009t.gif【0021】バンク角φの補正をかけた画面画像で kとk の具体値を得てこの式(19)(20)に代入してzとyの値を求めることができる。この際z の値は航空機の高度情報となるが、カメラの取付け位置が機首であるので、地上においても0となることはなく、常にある角度を持って上方より滑走路を写すことが出来るので、地上に着地し滑走路上を滑走中でも滑走路両端境界線の検知が可能であり位置割出しが出来る。なお、以上の説明では理解の便のため、バンク角補正を施した画像に基づく演算を説明したが、バンク角補正も施さない元の撮像画像の情報から直接演算によって位置割出しをするには(19)(20)式のk,kを基の画像での滑走路両端境界線の直線の傾きを, として
=Tan{Tan-1 -φ }
=Tan{Tan-1 -φ }
により計算して求めればよい。これは直線の傾きをバンク角分補正する計算である。

【22】

【実施例1】本発明の方法を実施する具体例を示す。基本構成要素としては滑走路画面を撮像するテレビカメラ3、撮像画面を表示する表示手段(ディスプレイ)6、画面上の座標位置を検知する検知手段7、そして所望の演算を実行する演算部8からなる。前述したように、原理的には地球に対して固定的に設定された直交座標であれば任意でよいのであるが、計算等の簡便のためその座標系は、滑走路中心線をx軸とし、そのx軸に直交する水平線をy軸に、そしてその交点を共有する鉛直線をz軸と設定した地球座標系を考える。航空機の機首にビデオカメラ3を前方方向に向けて設置する。このカメラのレンズ中心位置の前記地球座標系で見たときの座標を(x,y,z)とする。今、航空機が図1に示されるように着陸直前であるとした場合、ディスプレイ6の画面には前記ビデオカメラ3により撮像された滑走路画面が図3のように映し出される。

【23】
この状態において、
画像をコンピュータの画像メモリに取り込む。
この画像の各画素輝度情報を適当な閾値と比較を行い、2値画像を得る。
一般画像処理でよく用いる微分処理による画像が明から暗又は暗から明に反転する境界位置を抽出する。この手法によって空と地上の境界線である水平線情報と滑走路と芝生などその周辺との境界である滑走路両側境界線が抽出できる。
Hough変換の手法を用いて、水平線と2本の滑走路両側境界線の式を求め、その線の傾斜値を得る。これにより、まずバンク角φを得る。
2本の滑走路両側境界線の交点から、消失点Bを求める。
水平線と2本の滑走路両側境界線の式並びに傾斜値、および消失点Bの情報が得られたところで、画面上の原点Oは既知であるからこれらのデータより、ピッチ角θとヨー角ψが算出でき、更に、高度と滑走路幅方向の位置情報を算出することが出来る。
この実施例は画像処理の手法を駆使してコンピュータ上で実行する方法並びにそのシステムである。画面上の位置抽出は画像の水平走査と垂直走査のタイミングから各画素の画面上の位置情報を割出すことで得られる。撮影画像は時々刻々変化するものであるためリアルタイムの処理が求められるが、これらの処理を経てデータを得るのに実験室レベルでは1Hz程度の処理速度となっている。この際撮影画像のすべてについて上記の画像処理を施す必要はなく、消失点、水平線、滑走路両側境界線が存在する必要領域をトリミングして実行すれば足りることは容易に理解できよう。

【24】

【実施例2】この実施例はコンピュータ上での画像情報抽出ではなく、位置センサを具備するディスプレイを用いるものである。段落番号[0022]で述べた前記ディスプレイ画面には二次元平面座標を表す十字指標が描かれると共に、画面上には感圧素子がマトリックス状に密に配列された透明な感圧シートが配設されていて、画面上の点をペン等で押圧するとその点の画面座標の値(x'y')が検知される画面座標を検知する検知手段7としての機能を果たすようになっている。

【25】
まず、ディスプレイ画面の滑走路の消失点を含む飛行場の境界水平線lと横軸とのなす角度φ(バンク角)を検出する。分度器を当てて角度を読み取ってもよいが、水平線上の複数点をペンでプロットし、得られる座標値から直線の方程式を演算部8の演算回路で求めてその傾斜角を得る方法を採用することができる。次にディスプレイ上の画像を光学軸上で回転させて前記水平線が画面横軸に平行となるように操作するが、これがバンク角補正に当たる。これは撮像した画面をメモリ上で書き込み走査とは異なる走査方向で読み出すようにする等の手法で容易に実施することが出来る。つまみ等この画像回転のための操作部を前記ディスプレイ装置に設けておくようにする。つまみ操作によりバンク角を補正した画面がディスプレイ上に映し出されたら、画面上の消失点をペンでプロットし、その画面座標値を得る。ここで得られた縦軸座標値が点OA点間の距離-fTanθであるから、これからピッチ角θを演算により求める。また、得られた横軸座標値は点AB間の距離-fTanψ/Cosθであるから、この式に今求めたピッチ角θの具体値を入力して演算しヨー角ψを求める。以上で航空機の姿勢角φ,θ,ψを求めることが出来た。

【26】
続いて航空機の位置割出しの具体的実行法について説明する。バンク角補正画面において、滑走路の両側境界線上の複数点をペンでプロットし、画面座標検知手段7によってよって得た座標値から両直線の画面上の方程式を演算部8の演算回路で求め、その傾斜係数k,kを得る。滑走路の右側境界線の地球座標上の式は z=0平面上のy=d であり、左側境界線の式は 同じz=0平面上のy=-d である。(19)式にここで得た傾斜係数k,kを用いて計算し、高度情報zを得る。同様に(20)式に傾斜係数k,k の具体値を入れて算出し、滑走路幅方向の位置情報を得る。

【27】
上記実施例では位置割出し法としてバンク角補正画面に基づく手法を用いたが、カメラが捕らえた元の撮像画面を用いて行うことも出来るし、さらにピッチ角θとヨー角ψの補正をも加えた画像を得て行うことも出来る。計算式が複雑になるが、コンピュータを駆使すればさして困難なことではない。また、画像上の位置座標情報を得る手段としてマトリックス状に感圧素子が配列されたシートを用いるようにしたが、これに限らずディスプレイ画面上のマウス操作で同様の機能を持たせることもできる。

【28】

【発明の効果】本願発明は航空機の機首に搭載されたカメラによって写された画像を基に、航空機の姿勢・位置を割出す全く新規な航空機用計測器を提供するものであるが、基準となるものが地上の固定物であるため、従来の速度計、加速度計、ジャイロ等の演算で値を時々刻々積算していくもののようなドリフト誤差はなく、正確な測定が可能である。従来の搭載計器と併用して用いれば、より確実な位置・姿勢情報を得ることができると共に、他の計器が故障した場合にも単独で信頼性の高い位置・姿勢情報を得ることができる。機外の位置基準情報を用いる点ではGPSからの電波受信により位置を割出すものと同様であるが、遠方の衛星を基準とするのではなく視認できる距離の滑走路を基準とするので、位置割出し精度は遥かに高いものとなる。また、この方式を採用するシステムとしての構成部材も、格別なものを準備しなくても汎用のもので組み立てられる。ちなみにテレビカメラは汎用製品であるし、既に一般の旅客機には機首に搭載されていて離陸や着陸の際はその映像を旅客に提供している。ディスプレイは、バンク角補正のため画像回転機能を要し、画面の位置座標を検知する機能と、プロット点を結ぶ直線の方程式を割出す機能も必要とされるが、これらの機能を有したものは特殊コンピュータとしては既に存在しており、やはり新たに準備する必要は無い。ただ、本発明特有の画像上の情報を基に座標変換演算を実施して所望の物理量を得る演算手段についてのみ、準備すればシステムの実現ができる。したがって、コストの面でも有利に提供することができる。

【3】

【発明が解決しようとする課題】本発明は、地上の対象物画像に基づく精度のよい位置・姿勢情報割出し方式を提供するもので、特に、従来の航空機搭載の位置・姿勢割出し手段と併設することより確実な位置・姿勢情報を得ると共に、他の計器が故障した場合にも信頼性の高い位置・姿勢情報を得ることができる新規な位置・姿勢情報割出し方式を提供することである。

【4】

【課題を解決するための手段】本発明は、航空機機首部に取り付けられたカメラにより撮像された滑走路画面上で、水平線画像の傾斜角、消失点の位置および滑走路の両側境界線の2線の傾斜係数を検出し、前記水平線の傾斜角よりバンク角を割出し、前記消失点の座標位置を用い、地球座標と画面座標とのオイラー座標変換式に基づいてヨー角・ピッチ角を割出すと共に、前記滑走路の両側境界線の2線の傾斜係数と航空機のバンク角・ヨー角・ピッチ角の値を用いて地球座標と画面座標とのオイラー座標変換式に基づいて高度情報および滑走路幅方向位置を割出す。

【5】

【発明の実施の形態】航空機が滑走路に着陸する直前の様子を図1に示す。機首に据え付けられたカメラ3からは前方に長く延びる滑走路2の画像が一般には図2に示すように見える。本発明は、この映像を画面上の座標系の位置情報として捉え、これに基づいて地上の座標系の位置情報を解析し、航空機自体の位置(厳密には搭載したカメラのレンズ位置)と姿勢を割出すものであるが、この解析を以下に具体的に説明する。まず、ある点の位置を地球座標軸上で把握する。この地球座標系は地球に対して固定された三次元直交座標であればどのように決めてもよいのであるが、この場合、航空工学で一般的に用いられている右手座標系、すなわち滑走路中心線をx軸とし前方向を正、これに直交する水平線方向をy軸とし右方向を正、その交点の鉛直線方向をz軸とし下方向を正とする座標系を想定すると考えやすい。今、航空機の位置を地球座標系で見た座標値を(x,y,zとする。その地球座標系で(x,y,z)で表せる点が移動体座標すなわち航空機の座標系では(x',y',z')と表せるとするならば、両座標系のオイラー角を(ψ,θ,φ)として次の座標変換の関係が成立する。

【6】

【数1】
JP0003005682B1_000002t.gifカメラの焦点距離をfとし、カメラのレンズ中心をピンホールとしたカメラモデルで考えれば、二次元の撮像画面の座標を','で表し、
【数2】
JP0003005682B1_000003t.gif【0007】次に画像中の滑走路に着目すると、滑走路は等しい幅で十分に長い直線状であるが、図2及び図3からも分かるように画像面上では無限遠において交わる2本の傾斜線として捉えられる。この無限遠において交わる点を消失点と呼び、画像面上のこの位置が本発明において重要な検出情報となる。この消失点は地球座標上では無限遠であるのでその位置座標値(x,y,z)の関係ではx≫y,zとなる。したがって、上記(1)(2)式において(y-y)と(z-z)の項は無視することができ、画像面座標では以下のように表すことができる。

【8】

【数3】
JP0003005682B1_000004t.gif【0009】次のステップで水平線画像について考察する。水平線は無限遠における水平方向の直線であるから、滑走路中心線をx軸、x軸に直交する水平線をy軸とし、滑走路中心から鉛直方向のz軸とする地球座標上で捉えると、z=0平面上でx方向無限遠において考えることになる。この水平線画像を先の消失点の場合と同様にピンホールカメラモデルで座標変換を実施すると、水平画像に対応する直線の方程式は画像面上で
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4