TOP > 国内特許検索 > 車両速度推定方法、車両速度推定プログラムおよび車両速度推定システム > 明細書

明細書 :車両速度推定方法、車両速度推定プログラムおよび車両速度推定システム

発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2014-209108 (P2014-209108A)
公開日 平成26年11月6日(2014.11.6)
発明の名称または考案の名称 車両速度推定方法、車両速度推定プログラムおよび車両速度推定システム
国際特許分類 G01P   3/36        (2006.01)
G06T   7/20        (2006.01)
FI G01P 3/36 C
G06T 7/20 B
請求項の数または発明の数 10
出願形態 OL
全頁数 35
出願番号 特願2014-063858 (P2014-063858)
出願日 平成26年3月26日(2014.3.26)
優先権出願番号 2013066347
優先日 平成25年3月27日(2013.3.27)
優先権主張国 日本国(JP)
発明者または考案者 【氏名】酒井 悟
【氏名】吉田 善成
【氏名】西山 翔
【氏名】永井 和幸
【氏名】北野 恭輔
【氏名】塚越 惇
出願人 【識別番号】504180239
【氏名又は名称】国立大学法人信州大学
個別代理人の代理人 【識別番号】100090170、【弁理士】、【氏名又は名称】横沢 志郎
【識別番号】100142619、【弁理士】、【氏名又は名称】河合 徹
【識別番号】100153316、【弁理士】、【氏名又は名称】河口 伸子
審査請求 未請求
テーマコード 5L096
Fターム 5L096AA06
5L096BA04
5L096CA04
5L096FA26
5L096HA02
要約 【課題】画像の特徴量抽出を用いることなく、車両速度を推定可能な汎用性の高い動画像処理に基づく車両速度推定方法を提案すること。
【解決手段】車両速度推定方法は、車両に取り付けたカメラにより撮影した画像を、コンピュータにおいて処理して車両の速度を推定する画像処理工程(ST3)を有する。画像処理工程では、或る時点iで得られた画像行列を、次の時点で得られた画像行列に変化させる写像を表す変換行列Aiを算出し(ST3-1)、算出した変換行列Aiと前回の時点における変換行列との変化量を算出し(ST3-2)、算出した変化量を用いて、当該時点iにおける車両速度を算出する(ST3-3)。
【選択図】図1
特許請求の範囲 【請求項1】
車両に取り付けたカメラで、車両の走行に伴って移動する周囲の画像を取得してコンピュータに取り込む画像取得工程、および、前記コンピュータにおいて取得画像を処理して前記車両の速度を推定する画像処理工程を有し、
前記画像取得工程は、前記取得画像のそれぞれを、各画素の諧調レベルを表す数字が配列された画像行列として取り込み、
前記画像処理工程は、
一つの時点で得られた前記画像行例を、その次の時点で得られた前記画像行列に変化させる写像を表す変換行列を算出する変換行列算出工程、
一つの時点で算出された前記変換行列をその前の時点で算出された前記変換行列と比較して、その変化量を算出する変化量算出工程、および、
前記変化量に基づき一つの時点における前記車両の速度を算出する速度算出工程を備えていることを特徴とする車両速度推定方法。
【請求項2】
前記変化量算出工程では、
一つの時点で算出された前記変換行列をAi、その前の時点で算出された前記変換行列をAi-1とすると、これらの関係を、次式で示すように、べき乗数xを用いて近似し、
Ai≒A(i-1)
前記変換行列のそれぞれを特異値分解して、それらの対称成分の最大特異値σi、σ(i-1)を算出し、前記べき乗数xを、次式で示すように、前記最大特異値の対数比で近似し、
x ≒ logσi/logσ(i-1)
前記べき乗数xの近似値を、前記変化量として算出する請求項1に記載の車両速度推定方法。
【請求項3】
前記コンピュータに、前記変化量と前記車両の速度との相関関係を設定しておき、
前記速度算出工程では、前記相関関係に基づき、算出された前記べき乗数xの近似値から前記車両の速度を算出する請求項2に記載の車両速度推定方法。
【請求項4】
前記相関関係は、前記変化量と前記車両の直進速度との相関関係であり、
前記速度算出工程では、前記べき乗数xの近似値から、前記車両の直進速度を算出する請求項3に記載の車両速度推定方法。
【請求項5】
前記相関関係は、前記変化量と、前記車両が定位置において向きを変える動作を行っている間の速度である旋回速度との相関関係であり、
前記速度算出工程では、前記べき乗数xの近似値から、前記車両の旋回速度を算出する請求項3に記載の車両速度推定方法。
【請求項6】
前記車両に角速度センサを搭載し、
前記変化量と前記車両の直進速度との相関関係を第1相関関係とし、前記変化量と、前記車両が定位置において向きを変える動作を行っている間の速度である旋回速度との相関関係を第2相関関係とすると、前記コンピュータに前記第1相関関係および前記第2相関関係を設定しておき、
前記画像取得工程と並行して、前記車両に搭載した角速度センサによって計測される前記車両の旋回速度を取得し、
前記変換行列算出工程では、
前記車両の一般運動を、前記車両の直進運動と定位置での旋回運動との組み合わせであると見做して、
一つの時点で得られた前記画像行例を、次の時点で得られた前記画像行列に変化させる
写像を表す変換行列Akを、前記直進運動の前記変換行列S、前記旋回運動の前記変換行列Tを用いて、次式で表し、
Ak = Sm(k)n(k)
前記変化量算出工程では、
前記変換行列のそれぞれを特異値分解して、前記変換行列Ak、Sm(k)、Tn(k)の対称成分の最大特異値σ、σ、σをそれぞれ算出し、
前記べき乗数m(k)の値を、次式で示すように、対数比で近似し、
m(k) ≒ (logσ-nlogσ)/logσ
前記角速度センサによって計測される前記旋回速度を用いて、前記第2相関関係に基づき、べき乗数n(k)の値を算出し、
算出した前記べき乗数n(k)の値を上式に代入して、前記べき乗数m(k)の近似値を算出し、
前記速度算出工程では、算出された前記べき乗数m(k)の近似値を用いて、前記第1相関関係に基づき、前記車両の一般運動における直進速度を算出する請求項1に記載の車両速度推定方法。
【請求項7】
車両に搭載したカメラによって撮像される車両の走行に伴って移動する周囲の画像に基づき、前記車両の速度を推定する車両速度推定プログラムであって、
コンピュータに、請求項1ないし5のうちのいずれか一つの項に記載の車両速度推定方法における前記画像取得工程および前記画像処理工程を実行させることを特徴とする車両速度推定プログラム。
【請求項8】
車両に搭載したカメラによって所定のサンプリング周期で撮像された車両の走行に伴って移動する周囲の画像と、車両に搭載した角度速度センサによって計測される車両の旋回速度とに基づき、前記車両の一般運動における直進速度を推定する車両速度推定プログラムであって、
コンピュータに、請求項6に記載の車両速度推定方法における前記画像取得工程および前記画像処理工程を実行させることを特徴とする車両速度推定プログラム。
【請求項9】
車両に取り付けるカメラ、および、前記カメラの撮像画像を取得する画像入力部を備えたコンピュータシステムを有し、
前記コンピュータシステムは、請求項1ないし5のうちのいずれか一つに記載された車両速度推定方法によって前記車両の速度を推定する処理部を備えていることを特徴とする車両速度推定システム。
【請求項10】
車両に取り付けるカメラおよび角速度センサと、前記カメラの撮像画像および前記角速度センサによって測定される前記車両の旋回速度を取得する入力部を備えたコンピュータシステムを有し、
前記コンピュータシステムは、請求項6に記載の車両速度推定方法によって、前記車両の一般運動における直進速度を推定する処理部を備えていることを特徴とする車両速度推定システム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、車両に搭載したカメラから得られる動画像に基づき車両の速度を推定する車両速度推定方法および車両速度推定プログラム、並びに、車両速度推定システムに関する。
【背景技術】
【0002】
現在、国内・海外の自動車メーカが自動ブレーキシステムを開発している。自動ブレーキシステムには車両速度推定技術が重要であり、対人安全性のために不可欠とされるカメラを用いた車両速度推定技術が確立すれば、現在のレーザーを用いた一般車両の速度推定技術の安全性が増強されると期待される。
【0003】
また、国内での少子高齢化の進行等の観点から、農作業のロボット化を実現することが求められており、このためにも、農用無人車両の速度推定技術の確立が重要である。農用無人車両は、一般の自動車とは異なり、圃場、農道といった軟弱な路面を主に走行する。その際、車輪の空転が発生するので、車輪速度センサには誤差が生じてしまう。そこで、車輪速度センサを用いることなく速度を推定する技術の確立が重要視されている。
【0004】
無人車両の速度推定技術としては、レーザーレンジファインダー、カメラ、高精度GPS等の数十万円から数百万円の高価なセンサを用いる方法が知られている。しかしながら、低コスト化が要望される車両の分野、特に、低コストが重要とされる農用車両の分野において、これらの高コストなセンサを用いた速度推定技術を採用することは困難である。
【0005】
ここで、数万円程度の汎用カメラを用いた速度推定技術が研究されている。このような速度推定技術は非特許文献1において提案されており、カメラを下に向けて車体に取付け、カメラの取得画像から路面の凹凸を特徴量として抽出し、抽出した特徴量に基づき車両速度を推定している。
【先行技術文献】
【0006】

【非特許文献1】IEEE/ASME TRANSACTIONS ON MECHATRONICS, VOL.16, NO.3, JUNE 2011, A Kalman Filter-Integrated Optical Flow Method for Velocity Sensing of Mobile Robots
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、カメラ画像から路面の凹凸や模様等の特徴量を抽出して車両速度を推定する従来法は、次のような解決すべき課題がある。
【0008】
すなわち、コンクリート・アスファルト・土などの路面環境の変化は一般に激しい。また、日射量(雨天時・夜間時)などの光源環境の変化も大きい。特に、農道や圃道では一般道に比べて路面の変化が激しい。このような変化に対応して精度良く速度の推定を行うためには、特徴量抽出のためのしきい値を環境変化に応じて変える必要がある。このため、路面環境や光源環境の変化に対する頑健性の点で従来法には問題がある。
【0009】
本発明の課題は、このような点に鑑みて、路面環境・光源環境の変化に影響される凹凸・模様などの特徴量抽出を用いることなく、車両速度を推定可能な汎用性の高い動画像処理に基づく車両速度推定方法、および、当該車両速度推定方法を実行するための車両速度
推定プログラムを提案することにある。また、本発明の課題は、特徴量抽出を用いることなく汎用カメラによって取得される動画像処理に基づく車両速度推定システムを提案することにある。
【課題を解決するための手段】
【0010】
上記の課題を解決するために、本発明の車両速度推定方法は、車両に取り付けたカメラで、車両の走行に伴って移動する周囲の画像を取得してコンピュータに取り込む画像取得工程、および、前記コンピュータにおいて取得画像を処理して前記車両の速度を推定する画像処理工程を含んでいる。
【0011】
画像取得工程は、取得画像のそれぞれを、各画素の諧調レベルを表す数字が配列された行列として取り込む。画像処理工程は、一つの時点で得られた取得画像を表す画像行例を、その次の時点で得られた取得画像を表す画像行列に変化させる写像を表す変換行列を算出する変換行列算出工程、一つの時点で算出された変換行列をその前の時点で算出された変換行列と比較して、その変化量を算出する変化量算出工程、および、変化量に基づき一つの時点における車両の速度を算出する速度算出工程を備えている。
【0012】
カメラの取得画像を表す画像行列は、その画素の色情報(諧調レベルを表す数字)の行列である。車両の移動に伴ってカメラに映る画像の変化(移動)は、その画像行列が変化することを意味する。本発明者等は、ある時点における画像行列を次の時点における画像行列に変化させる写像に着目し、写像の変化量すなわち写像を表す変換行列の変化量と、車両速度との間に所定の対応関係があると推察し、これに基づき、本発明をなすに至った。
【0013】
本発明では、走行する車両画像の変化を行列空間上の変換行列と同一視して、画像の意味(行列要素の数値)を全く考慮することなく、変換行列が有する変化量から車両速度を推定している。特徴量を定義することなく車両速度を推定できるので、路面環境や光源環境の変化が実質的に車両速度の推定精度に影響を及ぼすことがない。よって、路面環境や光源環境の変化に対して頑健性の高い車両速度推定方法を実現できる。特に、本発明の方法は、路面環境等の変化の比較的激しい農用車両の速度推定に用いるのに適している。
【0014】
ここで、写像を表す変換行列は画像行列の時間変化を表す。本発明者等は、変換行列の変化の大きさを求める1つの方法として、次式のべき乗部に着目した。Aiはある時点における変換行列を表し、A(i-1)は前回の時点における変換行列を表す。
【数1】
JP2014209108A_000003t.gif

【0015】
べき乗部xが速度を表していると考察し、 次式のように変換行列の対称成分の最大特異値の対数比をとることでべき乗xを近似した。
【数2】
JP2014209108A_000004t.gif

【0016】
すなわち、本発明では、変化量算出工程において、一つの時点で算出された変換行列と、その前の時点で算出された変換行列との関係を、べき乗数xを用いて近似し、変換行列のそれぞれを特異値分解して、それらの対称成分の最大特異値σi、σ(i-1)を算出し、べき乗数xを最大特異値の対数比で近似し、べき乗数xの近似値を変化量として算出
している。
【0017】
本発明者等の検証によれば、前記変化量に基づき、車両の直進速度を高い精度で推定できることが確認された。
【0018】
また、本発明者等の検証によれば、直進に比べて画像の変化が激しい車両の旋回時においても、前記変化量に基づき、車両が向きを変える動作を行っている間の速度である旋回速度を高い精度で推定できることが確認された。
【0019】
次に、本発明は、車両に搭載したカメラによって取得された車両の走行に伴って移動する周囲の画像に基づき、前記車両の速度を推定する車両速度推定プログラムであって、コンピュータに、上記の車両速度推定方法における前記画像取得工程および前記画像処理工程を実行させることを特徴としている。
【0020】
また、本発明の車両速度推定システムは、車両に搭載したカメラ、および、前記カメラの撮像画像を取得する入力部を備えたコンピュータシステムを有し、前記コンピュータシステムは、上記の車両速度推定方法によって、取得画像を処理して前記車両の速度を推定する処理部を備えていることを特徴としている。
【0021】
一方、本発明の車両の一般運動における直進速度の推定方法は、車両に取り付けたカメラで、車両の走行に伴って移動する周囲の画像を取得してコンピュータに取り込む画像取得工程、および、コンピュータにおいて取得画像を処理して車両の速度を推定する画像処理工程を含む。また、画像取得工程は、前記取得画像のそれぞれを、各画素の諧調レベルを表す数字が配列された画像行列として取り込む。画像処理工程は、一つの時点で得られた画像行例を、その次の時点で得られた画像行列に変化させる写像を表す変換行列を算出する変換行列算出工程、一つの時点で算出された変換強烈をその前の時点で算出された変換行列と比較して、その変化量を算出する変化量算出工程、および、変化量に基づき一つの時点における車両の直進速度を算出する速度算出工程を備えている。
【0022】
さらに、車両に角速度センサを搭載し、上記の変化量と車両の直進速度との相関を表す第1相関関係、および、上記の変化量と車両が定位置において向きを変える動作を行っている間の速度である旋回速度との相関を表す第2相関関係を、それぞれ、コンピュータに設定しておく。また、画像取得工程と並行して、車両に搭載した角速度センサによって計測される車両の旋回速度を取得する。
【0023】
上記の変換行列算出工程では、車両の一般運動を、車両の直進運動と定位置での旋回運動との組み合わせであると見做して、一つの時点で得られた画像行例を、次の時点で得られた画像行列に変化させる写像を表す変換行列Aを、直進運動の変換行列S、旋回運動の変換行列Tを用いて、次式で表す。
= Sm(k)n(k)
【0024】
上記の変化量算出工程では、変換行列のそれぞれを特異値分解して、変換行列A、Sm(k)、Tn(k)の対称成分の最大特異値σ、σ、σをそれぞれ算出し、べき乗数m(k)の値を、次式で示すように、対数比で近似し、
m(k) ≒ (logσ-n(k)logσ)/logσ
角速度センサによって計測される旋回速度を用いて、前記第2相関関係に基づき、べき乗数n(k)の値を算出し、算出したべき乗数n(k)の値を上式に代入して、べき乗数m(k)の近似値を算出する。
【0025】
そして、速度算出工程では、算出されたべき乗数m(k)の近似値を用いて、第1相関
関係に基づき、車両の一般運動における直進速度を算出する。
【0026】
また、本発明は、車両に搭載したカメラによって撮像された車両の走行に伴って移動する周囲の画像と、車両に搭載した角度速度センサによって計測される車両の旋回速度とに基づき、前記車両の一般運動における直進速度を推定する車両速度推定プログラムであって、コンピュータに、上記の車両速度推定方法における画像取得工程および画像処理工程を実行させることを特徴としている。
【0027】
さらに、本発明は、車両に取り付けるカメラおよび角速度センサと、カメラの撮像画像および角速度センサによって測定される車両の旋回速度を取得する入力部を備えたコンピュータシステムを有し、前記コンピュータシステムは、上記の車両速度推定方法によって、車両の一般運動における直進速度を推定する処理部を備えていることを特徴としている。
【0028】
本発明者等は、上記の方法によって、直進運動と旋回運動を含む車両の一般運動における直進速度の推定を精度良く行い得ることを確認した。よって、本発明によれば、特徴量抽出を用いることなく、汎用カメラおよびジャイロセンサを用いた廉価な構成で、車両の一般運動における直進速度を推定可能なシステムを実現できる。
【図面の簡単な説明】
【0029】
【図1】本発明の車両の直進速度の推定方法の処理手順を示す概略フローチャートである。
【図2】直進時の取得画像を示す図である。
【図3】実験に用いた農用車両を示す図および実験装置の概略ブロック図である。
【図4】GPSによる直進速度の計測結果のグラフおよびその平均値を示す表である。
【図5】車両速度推定方法による推定結果のグラフ、実験毎の推定結果の表、および、推定結果とGPS測定結果の相関図である。
【図6】旋回時の取得画像を示す図である。
【図7】左旋回時の低速、中速、高速の旋回速度の推定値のグラフである。
【図8】左旋回時の低速、中速、高速の旋回速度の推定値を纏めて示すグラフである。
【図9】右旋回時の低速、中速、高速の旋回速度の推定値のグラフである。
【図10】右旋回時の低速、中速、高速の旋回速度の推定値を纏めて示すグラフである。
【図11】旋回速度の推定値の平均値を示す表および旋回時のRSDを示す表である。
【図12】左旋回時および右旋回時の方位計の方位角を示すグラフである。
【図13】旋回速度の推定値とGPS、方位計の旋回速度の相関図である。
【図14】GPSの旋回速度、方位計の旋回速度、GPSの旋回速度の相関図における相関係数、および、方位計の旋回速度の相関図における相関係数を示す表である。
【図15】直進時の取得画像および写像を示す説明図である。
【図16】旋回時の取得画像および写像を示す説明図である。
【図17】一般運動時の取得画像および写像を示す説明図である。
【図18】ジャロセンサの計測値から推定値nを算出する手順と、旋回速度および推定値nの相関を示す説明図である。
【図19】一般運動の写像および推定値mを示す説明図である。
【図20】推定値mから直進速度を推定する手順と、推定値mおよび直進速度の相関を示す説明図である。
【図21】実施の形態3の実験機の制御系を示す概略ブロック図である。
【図22】ジャイロセンサによって計測された旋回速度を示すグラフである。
【図23】実験において算出された値mの推定値を示すグラフである。
【図24】実験において算出された直進速度を示すグラフである。
【図25】実験により算出された推定値mと直進速度の相関を示すグラフである。
【発明を実施するための形態】
【0030】
以下に、図面を参照して、本発明を適用した動画像処理に基づく車速推定方法の実施の形態を説明する。以下の実施の形態は本発明を農用車両の車両速度の推定に適用したものであるが、本発明は農用車両以外の車両にも同様に適用可能なことは勿論である。

【0031】
[実施の形態1]
(汎用カメラを用いた農用車両の直進運動における直進速度の推定方法)
実施の形態1の推定方法は、農用車両に搭載した汎用カメラの画像データを行列としてとらえることで、画像から凹凸・模様等の特徴量抽出を用いずに、農用車両の直進運動における直進速度を推定する。図1は直進速度の推定方法の処理手順を示す概略フローチャートである。

【0032】
この図に示すように、直進速度の推定方法は、車両に取り付けたカメラによって、車両の走行に伴って移動する周囲の画像を撮像する工程ST1、撮像を一定のサンプリング周期でコンピュータに取り込む画像取得工程ST2、および、コンピュータにおいて取得画像を処理して車両の直進速度を推定する画像処理工程ST3を有している。画像取得工程ST2では、取得画像のそれぞれを、各画素の諧調レベルを表す数字が配列された画像行列として取り込む。

【0033】
画像処理工程ST3では、一つの時点iで得られた画像行例を、その次の時点で得られた画像行列に変化させる写像を表す変換行列Aiを算出し、(変換行列算出工程ST3-1)、時点iで算出された変換行列Aiをその前の時点(i-1)で算出された変換行列A(i-1)と比較して、その変化量を算出し(変化量算出工程ST3-2)、変化量に基づき時点iにおける車両の直進速度を算出する(速度算出工程ST3-3)。

【0034】
以下に、直進速度の推定方法について詳しく説明する。まず、画像は色情報の行列であり、一般に、各画素が0~255の256諧調レベルを表す数字で表すことができる。車両が直進すると画像が変化する。すなわち、車両に取り付けられ、定まった方向を向く汎用カメラの視野内において、そこに映し出される画像の各画素は、車両の直進に伴って移動する。これに対応して、各画素の諧調レベルの数字から構成される行列も変化する。

【0035】
例えば、図2(a)に示す汎用カメラでとらえた画像を表す画像行列Xは、車両の直進に伴って、図2(b)に示す画像を表す画像行列Xに変化する。また、車両速度が増加すると、図2(a)に示す画像行列Xが図2(c)に示す画像を表す画像行列Xに変化する。画像行列Xを画像行列Xに変化させる写像を表す変換行列をA1、画像行列Xを画像行列Xに変化させる変換行列をA2とする。これらの変換行列A1、A2は行列の時間変化を表すものであり、次式で表すことができる。
A1=X-1
A2=X-1

【0036】
同様に、画像行列Xを画像行列Xに変化させる変換行列をA3とすると、変換行列A3は次式で表すことができる。
A3=X-1

【0037】
本発明者等は、変換行列の変化の大きさを利用することで車両速度を推定できると考えた。或る車両速度における画像行列Xに対する画像行列Xの変化量(変換行列がA1)と、これよりも速い車両速度における画像行列Xに対する画像行列Xの変化量(変換行列がA2)の比較を行った。変化量が増加した場合は加速、減少した場合は減速、同じ場合は一定速度であると考えた。これを、後述のように、実証実験によって確認した。

【0038】
また、変換行列A1、A2の変化の大きさを求める1つの方法として、これらの関係をべき乗で近似できることに着目した。すなわち、次式に示すように、変換行列A2が変換行列A1の何乗であるかを求めることで、変化の大きさを求めることができると考えた。
【数3】
JP2014209108A_000005t.gif

【0039】
べき乗部xを求めるために、それぞれの変換行列A1、A2の対称部分を特異値分解し、次式に示すように、求められた変換行列の対称成分の最大特異値の比で、べき乗部xを近似した。次式において、σ1は変換行列A1の最大特異値であり、σ2は変換行列A2の最大特異値である。
【数4】
JP2014209108A_000006t.gif

【0040】
べき乗部xの値を直進速度の推定値とし、この推定値が車両の実際の直進速度に精度良く対応することを、後述のように実証実験によって確認した。

【0041】
(実証実験)
上記の直進速度の推定方法の有効性を実証するために、次のようにして、直進速度を検出する実証実験を行った。

【0042】
目標となるマーカを用意し、農用車両を無人走行で直進させ、取得した画像データより上記の方法を用いて直進速度を推定した。同時に、GPSを用いた速度計測を行った。1回の走行距離は10[m]とし、走行速度は約0.25[km/h]~1.50[km/h]の間に設定した。

【0043】
図3(a)は実験に使用した農用車両の写真画像である。農用車両1(以下、「UGV1」と呼ぶ。)は、クローラ式農業ロボットであり、本田技研工業株式会社製「HSM980i」を改造し、制御用コンピュータ(Celeron1.6[GHz])2によって無人走行できるものとした。制御用コンピュータ2のOSは実時間化Linux(登録商標)であり、計測周期は0.066[s](15Hz)である。

【0044】
図3(b)は実験装置の制御系を示す概略ブロック図である。実験を行うため、UGV1の前面に汎用カメラ(SONY,DSC-P7)3を取り付けた。汎用カメラ3によって取得した画像データを制御用コンピュータ2の画像ボード4を介して取得するようにした。さらに、GPSによる速度を計測するため、GPS受信機(へミスフィア、ssV-102、計測周期5[Hz])5を、UGV1の上面に配置し、シリアル通信を介して接続した計測用コンピュータ(Windows(登録商標)XP、1.6[GHz])6に取得するようにした。

【0045】
まず、マーカとして、一般的な赤色パイロン(高さ約0.7[m])をUGV1の前方10[m]の地点に設置し、マーカに向かいUGV1を直進させた(図2(a)~図2(c)参照)。走行と同時に汎用カメラ3からの画像データ、GPSの速度計測結果を記録した。走行後、取得した画像データを、数値計算言語MATLAB(登録商標)を用いてプログラム化した本例の方法により、直進速度の推定を行った。また、推定した直進速度とGPSで計測した速度との比較を行った。

【0046】
図4(a)には高速時と低速時のGPSによる直進速度の計測結果を示す。図4(b)には実験毎に平均値をとったものを示す。

【0047】
図5(a)には、本例の方法による直進速度の推定結果(The velocity (B))を示す。図5(b)には、実験毎の推定結果を「The proposed index B」として示す。図5(c)には、本例の方法による直進速度の推定結果と、GPSの計測結果との相関図を示す。

【0048】
(直進速度の推定方法の妥当性)
図5(c)から分かるように、本例の方法の推定結果とGPS測定結果との相関係数(Correlation coefficient B)Rは0.93を達成した。よって、本例の方法の推定結果は妥当であることが確認された。

【0049】
なお、推定値が大きく変化しているところがある。このときに得られた画像を確認したところ、通行人といったUGV1とは異なった動きをする物体が写り込んでおり、これが原因であると考えられる。

【0050】
[実施の形態2]
(汎用カメラを用いた農用車両の旋回運動における旋回速度の推定方法)
実施の形態2の推定方法は、農用車両に搭載した汎用カメラの画像データを行列としてとらえることで、画像から凹凸・模様等の特徴量抽出を用いずに、農用車両が定位置において向きを変える旋回運動を行う場合における旋回速度を推定する。処理手順は実施の形態1の場合と同様である(図1参照)。

【0051】
農用車両を旋回させると、そこに取り付けた汎用カメラの視野内に映し出される画像も旋回に伴って変化し、当該画像を表す画像行列が変化する。例えば、図6(a)に示す画像を表す画像行列Yが、図6(b)に示す画像を表す画像行列Yに変化する。旋回速度を速くした場合には、図6(a)に示す画像行列Yが図6(c)に示す画像を表す画像行列Yに変化する。画像行列Yを画像行列Yに変化させる写像を表す変換行列をA11とし、画像行列Yを画像行列Yに変化させる変換行列をA12とすると、これらは次式で表わされる。
A11=Y-1
A12=Y-1

【0052】
本発明者等は、変換行列の変化の大きさを利用することで、旋回速度を推定できると考えた。或る旋回速度における画像行列Yに対する画像行列Yの変化量(変換行列がA11)と、これよりも速い旋回速度における画像行列Yに対する画像行列Yの変化量(変換行列がA12)の比較を行った。変化量が増加した場合は加速、減少した場合は減速、同じ場合は一定速度であると考えた。これを、後述のように、実証実験によって確認した。

【0053】
また、変換行列A11、A12の変化の大きさを求めるために、これらの関係をべき乗で近似できることに着目した。すなわち、次式に示すように、変換行列A12が変換行列A11の何乗であるかを求めることで、変化の大きさを求めることができると考えた。すなわち、べき乗部の値が速度を表していると考えた。
【数5】
JP2014209108A_000007t.gif

【0054】
べき乗部xを求めるため1つの方法として、それぞれの変換行列A11、A12の対称部分を特異値分解し、次式に示すように、求められた変換行列の対称成分の最大特異値の比で、べき乗部xを近似した。次式において、σ11は変換行列A11の最大特異値であり、σ12は変換行列A12の最大特異値である。
【数6】
JP2014209108A_000008t.gif

【0055】
べき乗部xの値を旋回速度の推定値とし、この推定値が車両の実際の旋回速度に精度良く対応することを、後述のように実証実験によって確認した。

【0056】
(農道実証実験)
農用車両(UGV)を用いて農道実証実験を実施した。農道実証実験では本例の旋回速度の推定方法を用いて、汎用カメラの画像データから旋回速度の推定値を求めた。

【0057】
実験装置の構成は、図3(a)および図3(b)に示す実施の形態1の場合と同様である。

【0058】
汎用カメラ3から、サンプリング周期15[Hz]ごとの画像を制御用コンピュータ2(Linux(登録商標)PC)の画像ボード4を介してオフラインで取得した。低速、中速、高速の3つの速度条件にて左右それぞれ約360[deg]旋回させ、そのうちの約90[deg]の画像を使用した。

【0059】
使用する画像は、図6(a)に示すように、全体の大きさを4等分し右下のみとした。4等分にした理由は、全体の大きさの画像を使用すると、制御用コンピュータ2(Linux(登録商標)PC)の性能の問題でサンプリング周期をはずしてしまうためである。本例の旋回速度の推定方法では画像全体を画像データとみているため、4等分しても結果に影響されないと判断した。また、農道実証実験では周辺に高い建物がなく画像の上半分は空の気象に影響される可能性があると判断し、画像の下半分のみを用いた。画像の下半分を一辺130[pixel]に圧縮して画像データとした。

【0060】
図7(a)、図7(b)および図7(c)には、左旋回のときの低速、中速、高速の旋回速度の推定値を示す。図8には、これらの推定値を纏めて示す。これらの図において、縦軸が旋回速度の推定値xを表している。

【0061】
図9(a)、図9(b)および図9(c)には、右旋回のときの低速、中速、高速の旋回速度の推定値をそれぞれ示す。図10には、これらの推定値を纏めて示す。

【0062】
図11(a)には旋回速度の推定値の平均値を示してあり、図11(b)には相対標準偏差「RSD」を示してある。

【0063】
(旋回速度の推定値の妥当性)
図8、図10、図11(a)に示すように、左旋回および右旋回の何れの場合においても、低速、中速、高速の順で、旋回速度の推定値の平均値は大きくなっており、旋回速度の増減に推定値の増減が対応していることが確認された。

【0064】
また、図11(b)に示すように、左旋回および右旋回の何れの場合においても、RSDは十分小さい値であるので、旋回速度の推定値の妥当性が確認された。

【0065】
なお、図11(b)に示すように、左旋回と右旋回のRSDの値を比較すると、右旋回の値の方が大きく、右旋回の方が旋回速度の推定値のばらつきが大きい。

【0066】
ばらつきの大きな右旋回においては、図9(a)に示すように、旋回速度の推定値が5[sec]付近で大きくなり、8[sec]付近で小さくなった。同様に、図9(b)に示すように、旋回速度の推定値が4[sec]付近で大きくなり、6[sec]付近で小さくなった。図9(c)に示すように、旋回速度の推定値が2[sec]付近で大きくなり、4[sec]付近で小さくなった。旋回速度の推定値が大きかった場所の画像、および、旋回速度の推定値が小さかった場所の画像を確認したところ、これらの画像の部分は、他の画像に比べて一時的に画像変化が激しくなった部分であり、これが影響して、RSDの値が一時的に大きくなったものと考察する。

【0067】
(検証実験)
GPS、方位計の旋回速度を、旋回速度の推定値と比較して検証実験を実施した。

【0068】
GPS、方位計の旋回速度を、旋回速度の推定値と比較して左旋回を正として検証した。UGV1にGPSと方位計を配置し、シリアル通信を介して計測データをWindows(登録商標)PCに取得した。方位計は方位角の一次差分から旋回速度を求めた。図12(a)~図12(f)には、方位計の方位角を示す。

【0069】
図13(a)~図13(d)に、旋回速度の推定値xとGPS、方位計の旋回速度の相関図を示す。図14(a)には、GPSの旋回速度を示し、図14(b)には、方位計の旋回速度を示す。また、図14(c)には、GPSの旋回速度の相関図における低速、中速、高速の3点の相関係数Rを示し、図14(d)には、方位計の旋回速度の相関図における低速、中速、高速の3点の相関係数Rを示す。

【0070】
図13(a)~図13(d)、図14(a)、図14(b)に示すように、左旋回の場合は相関図の傾きが正、右旋回の場合は相関図の傾きが負になった。図14(c)、図14(d)に示すように、GPSの旋回速度に比べて方位計の旋回速度の方が相関係数Rが小さくなった。

【0071】
(旋回速度の推定方法の妥当性)
相関係数Rは1に十分近い値であるので、旋回速度の推定手法の妥当性が農道実証実験から示された。すなわち、画像の変化量が大きいにもかかわらず、直進速度の速度推定手法が適用できることが示された。

【0072】
なお、図13(c)、図13(d)、図14(c)、図14(d)に示すように、方位計の旋回速度の相関係数Rが小さい原因は、図12(a)~図12(f)の方位計の方位角が直線になっていない部分があるため方位計の誤差によるものだと考察する。

【0073】
[実施の形態3]
(汎用カメラを用いた農用車両の一般運動における直進速度の推定方法)
実施の形態3の推定方法は、本発明を、車両、例えば農用車両の一般運動における直進速度の推定に適用したものである。すなわち、実施の形態3の推定方法では、車両の一般運動を、車両の直進運動と定位置での旋回運動との組み合わせであると見做し、車両の一般運動における取得画像を表す画像行列の時間変化を表す写像の変換行列を、実施の形態1において説明した直進運動に起因する変換行列と、実施の形態2において説明した旋回運動に起因する変換行列とを用いて定義する。

【0074】
実際の推定動作においては、車両に搭載したジャイロセンサ(角速度センサ)によって
車両の旋回速度を測定する。測定した旋回速度を用いて、車両の一般運動における変換行列の変化量に含まれる、車両の旋回運動に起因する変換行列の変化量を算出する。算出した変化量を、車両の一般運動における変換行列の変化量から除去し、車両の一般運動の変換行列の変化量に含まれる直進運動に起因する変化量を算出する。この変化量に基づき、車両の一般運動における直進速度を推定する。

【0075】
以下に、実施の形態3の推定方法を詳しく説明する。まず、速度推定の準備として、直進運動および旋回運動の変換行列を決定する。図15に示すように、直進運動において、汎用カメラで取得される画像行列をYからYに変化させる写像を表す変換行列をSとし、次式のように表す。
=Y-1
同様に、図15の画像行列をYからYに変化させる写像を表す変換行列をSとし、次式で示す。
=Y-1
なお、誤差を小さくするために、任意のN番目までの変換行列の平均を直進運動の変換行列とする。
S=(S+S+・・・S)/N

【0076】
旋回運動の変換行列も同様に決定する。図16に示すように、旋回運動における画像行列をYからYに変化させる写像を表す変換行列をTとし、次式のように表す。
=Y-1
同様に、図15の画像行列をYからYに変化させる写像を表す変換行列をTとし、次式で示す。
=Y-1
なお、誤差を小さくするために、任意のN番目までの変換行列の平均を直進運動の変換行列とする。平均の母数Nは試行錯誤的に決定する。
T=(T+T+・・・T)/N

【0077】
次に、一般運動の変換行列を求める。一般運動の変換行列は、直進運動、旋回運動と同様に求めることができる(実施の形態1、実施の形態2参照)。図17において、画像行列Yk-1をYに変化させる写像を表す変換行列をAとし、次式で表す。
=Yk-1-1
同様に、図17において、画像行列YをYk+1に変化させる写像を表す変換行列をAk+1とし、次式で表す。
k+1=Yk+1-1
さらに、一般運動の変換行列を、直進運動の変換行列と旋回運動の変換行列を用いて次式(A)により表す。
=Sm(k)m(k) (A)

【0078】
直進運動の変換行列Sのべき乗数mを直進速度の推定値、旋回運動の変換行列Tのべき乗数nを旋回速度の推定値とし、mの値を求めることで一般運動における直進速度を推定する。nの値は、車両に搭載したジャイロセンサ(角速度センサ)によって計測されたデータを基に、旋回速度の相関係数のグラフを用いて推定する。図18には、旋回速度の相関係数のグラフを示す。

【0079】
一般運動の変換行列を表す上式(A)の両辺の対数比をとるために、各変換行列を特値分解し、それぞれの最大特異値の対数比をとることで、次式に示すように、直進速度の推定値mを近似する(図19参照)。ここで、一般運動の変換行列Aの最大特異値をσ、直進運動の変換行列Sの最大特異値をσ、旋回運動の変換行列Tの最大特異値をσとする。
m(k)≒(logσ-n(k)logσ)/logσ

【0080】
求められた推定値mを基に、直進速度の相関係数のグラフを用いて、直進速度を推定する。図20には、直進速度の相関係数のグラフを示してある。

【0081】
(実証実験)
上記の車両の一般運動における直進速度の推定方法の有効性を実証するために、次のようにして、直進速度を検出する実証実験を行った。

【0082】
実験装置は、Linux(登録商標)OSPCによって無人走行するクローラ式農業ロボット(UGV)である。図21は実験装置の制御系を示す概略ブロック図である。実験装置および制御系は実施の形態1、2の場合(図3)と同様である。図21においては対応する部位には同一の符号を付してある。実験を行うため、UGV1の前面に汎用カメラ3を取り付け、画像を15(Hz)のサンプリング周期で、制御用コンピュータ2の画像ボード(画像入力部)を介して取得した。ここで、本実験装置では、ジャイロセンサ7を実験装置の上部に設置し、旋回速度を測定した。なお、直進速度の推定値が正しいことを検証するために、GPS5を設置した。

【0083】
速度推定に使用する画像は、中央部分を切り取り、さらに、130×130(pixel)に変換したものとした。実験は、無人走行で約20(S)一定の速度で一般運動し、オフラインで速度推定した。速度推定には画像の緑色成分を使用した。

【0084】
図22にはジャイロセンサ7によって計測された旋回速度のグラフを示す。旋回速度は実験開始から約4(s)後に約1.012(deg/s)で一定となった。図23には、推定された直進速度の推定値mのグラフを示す。mの値は、実験開始から約1(s)で一定となり、平均の値は約1.067となった。また、相対標準偏差は約3.41%となり、速度推定の精度が高いことが示された。図24はGPS5より計測された直進速度のフラグを示し、図25には計測された直進速度と直進速度の推定値の関係を表す相関グラフを示す。計測された直進速度は約0.164(m/s)となり、推定された直進速度は約0.169(m/s)となった。また、相関係数は約0.96となった。

【0085】
実証実験の結果、計測された直進速度と、推定された直進速度が非常に近い値をとることから、適切な直進速度の推定ができたものと考えられる。また、相関係数も1に近い値をとることから、本発明の車両の一般運動における直進速度の推定方法の有効性が示された。
【符号の説明】
【0086】
1 農用車両
2 制御用コンピュータ
3 汎用カメラ
4 画像ボード
5 GPS受信機
6 計測用コンピュータ
7 ジャイロセンサ
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14
【図16】
15
【図17】
16
【図18】
17
【図19】
18
【図20】
19
【図21】
20
【図22】
21
【図23】
22
【図24】
23
【図25】
24