TOP > 国内特許検索 > 計測装置 > 明細書

明細書 :計測装置

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4344869号 (P4344869)
登録日 平成21年7月24日(2009.7.24)
発行日 平成21年10月14日(2009.10.14)
発明の名称または考案の名称 計測装置
国際特許分類 G01C  15/00        (2006.01)
G01C  11/00        (2006.01)
G01B  11/24        (2006.01)
G06T   1/00        (2006.01)
G06T  17/50        (2006.01)
G01C  21/00        (2006.01)
FI G01C 15/00 101
G01C 11/00
G01B 11/24 K
G01C 15/00 104Z
G06T 1/00 400A
G06T 17/50
G01C 21/00 Z
請求項の数または発明の数 12
全頁数 67
出願番号 特願2008-558146 (P2008-558146)
出願日 平成20年2月15日(2008.2.15)
国際出願番号 PCT/JP2008/052509
国際公開番号 WO2008/099915
国際公開日 平成20年8月21日(2008.8.21)
優先権出願番号 2007035918
優先日 平成19年2月16日(2007.2.16)
優先権主張国 日本国(JP)
審査請求日 平成20年11月10日(2008.11.10)
特許権者または実用新案権者 【識別番号】000006013
【氏名又は名称】三菱電機株式会社
【識別番号】899000068
【氏名又は名称】学校法人早稲田大学
発明者または考案者 【氏名】瀧口 純一
【氏名】梶原 尚幸
【氏名】島 嘉宏
【氏名】黒崎 隆二郎
【氏名】橋詰 匠
早期審査対象出願または早期審理対象出願 早期審査対象出願
個別代理人の代理人 【識別番号】100099461、【弁理士】、【氏名又は名称】溝井 章司
審査官 【審査官】▲うし▼田 真悟
参考文献・文献 特開2004-348575(JP,A)
特開2005-241609(JP,A)
特開2000-074667(JP,A)
特開2005-337863(JP,A)
特開2004-030226(JP,A)
特開2002-034055(JP,A)
特開2005-077385(JP,A)
調査した分野 G01C 11/00
G01B 11/00-11/30
G01C 3/06
G01C 15/00
G06T 1/00-17/60
G01C 21/00
特許請求の範囲 【請求項1】
カメラから撮像された画像を記憶する画像記憶部と、
レーザ装置により計測した点群から構成されると共に各点群の三次元の位置が既知である点群を三次元点群モデルとして記憶する三次元点群モデル記憶部と、
前記画像記憶部に記憶された画像を解析して、計測対象とする地物が撮像された画像領域を地物画像領域として検出する地物領域検出部と、
前記地物領域検出部により解析された画像と前記三次元点群モデル記憶部に記憶された三次元点群モデルのうち前記画像に対応する三次元点群モデルとを表示装置の画面に重ね合わせて表示して、ユーザが注目する前記画像内の位置であって前記地物領域検出部が検出した前記地物画像領域内の位置を指定することをユーザに促す画像表示部と、
ユーザが指定した前記地物画像領域内の位置を計測画像点として入力装置から入力する計測画像点取得部と、
前記三次元点群モデル記憶部が記憶した前記三次元点群モデルの点群の中から、前記計測画像点取得部が取得した前記計測画像点に対応する対応点を検出する対応点検出部と、
前記対応点検出部が検出した前記対応点の三次元の位置を用いて前記計測画像点取得部が取得した前記計測画像点の三次元の位置を特定する位置算出部と
を備えることを特徴とする計測装置。
【請求項2】
前記対応点検出部は、前記計測画像点により示される画像内の位置に地物領域検出部が検出した地物画像領域内に表示された点群の点が有る場合に、当該点を前記計測画像点に対応する対応点として検出する
ことを特徴とする請求項記載の計測装置。
【請求項3】
前記対応点検出部は、前記計測画像点により示される画像内の位置に地物領域検出部が検出した地物画像領域内に表示された点群の点が無い場合に、前記計測画像点に最も近い点を前記計測画像点に対応する対応点として検出する
ことを特徴とする請求項記載の計測装置。
【請求項4】
前記計測装置は、さらに、
位置算出部が特定した三次元の位置を計測対象とする地物の三次元の位置とし、計測対象とする地物の種別と三次元の位置とを対応させて記憶する結果記憶部
を備えたことを特徴とする請求項1~請求項いずれかに記載の計測装置。
【請求項5】
前記計測装置は、さらに、
前記カメラのカメラ中心から前記計測画像点取得部が入力した計測画像点への方向を示すベクトルを算出するベクトル算出部を備え
前記対応点検出部は、前記対応点として前記計測画像点の近傍1点を前記三次元点群モデルの点群から抽出
前記計測装置は、さらに、
前記対応点検出部が抽出した前記近傍1点を含む特定の平面を算出する近傍平面算出部を備え
前記位置算出部は、前記近傍平面算出部が算出した特定の平面と前記ベクトル算出部が算出したベクトルとの交点を前記計測画像点の三次元の位置として算出す
ことを特徴とする請求項1~請求項4いずれかに記載の計測装置。
【請求項6】
前記計測装置は、さらに、
前記三次元点群モデルの点群を前記画像に対応する前記カメラの撮像面に投影するモデル投影部を備え、
前記近傍抽出部は、前記モデル投影部により前記撮像面に投影された前記三次元点群モデルの点群のうち前記撮像面内で前記計測画像点から最も近い点と前記撮像面の横軸方向で前記計測画像点から最も近い点と前記撮像面の縦軸方向で前記計測画像点から最も近い点とのいずれかの点を前記近傍1点として抽出する
ことを特徴とする請求項記載の計測装置。
【請求項7】
前記近傍平面算出部は、前記計測画像点の前記近傍1点を含む水平面を前記特定の平面として算出する
ことを特徴とする請求項又は請求項記載の計測装置。
【請求項8】
前記近傍平面算出部は、前記計測画像点の前記近傍1点を含む平面であって前記三次元点群モデルに使用されている座標系を示すX-Y-Z座標系でX軸とY軸とZ軸とのいずれかと直交する平面を前記特定の平面として算出する
ことを特徴とする請求項又は請求項記載の計測装置。
【請求項9】
前記計測装置は、さらに、
位置計測の対象とする地物の種別をユーザに指定させ、ユーザにより指定された地物の種別を入力装置から入力する種別入力部を備え、
前記近傍平面算出部は、前記種別入力部により入力された地物の種別に基づいて、前記計測画像点の前記近傍1点の含まれる点群により表される地物の成す面を平面で表して前記特定の平面を算出する
ことを特徴とする請求項又は請求項記載の計測装置。
【請求項10】
前記計測装置は、さらに、
前記カメラのカメラ中心から前記計測画像点取得部が入力した計測画像点への方向を示すベクトルを算出するベクトル算出部と
前記対応点検出部が検出した前記対応点を含む特定の平面を算出する平面算出部とを備え
前記位置算出部は、前記対応点検出部が検出した前記対応点の三次元の位置を前記計測画像点の三次元の位置を示す第1の候補として取得し、前記平面算出部が算出した特定の平面と前記ベクトル算出部が算出したベクトルとの交点を前記計測画像点の三次元の位置を示す第2の候補として算出
前記計測装置は、さらに、
前記位置算出部が得た前記第1の候補と前記第2の候補とを表示装置の画面に表示して、前記第1の候補と前記第2の候補とのいずれかを指定することをユーザに促す位置表示部と、
前記第1の候補と前記第2の候補とのうちユーザが指定した方を前記計測画像点の三次元の位置として記憶する結果記憶部とを備えた
ことを特徴とする請求項1~請求項3いずれかに記載の計測装置。
【請求項11】
前記計測装置は、さらに、
前記カメラのカメラ中心から前記計測画像点取得部が入力した計測画像点への方向を示すベクトルを算出するベクトル算出部と
前記対応点検出部が検出した前記対応点を含む特定の平面を算出する平面算出部と、
計測対象とする地物の種別をユーザに指定させ、ユーザにより指定された地物の種別を入力装置から入力する種別入力部とを備え
前記位置算出部は、前記種別入力部が入力した地物の種別に基づいて、前記対応点検出部が検出した前記対応点と、前記平面算出部が算出した特定の平面と前記ベクトル算出部が算出したベクトルとの交点とのいずれかを前記計測画像点の三次元の位置として特定す
ことを特徴とする請求項1~請求項4いずれかに記載の計測装置。
【請求項12】
前記計測装置は、さらに、
前記三次元点群モデルの各点群が表す地物の種別を判定する地物識別部と
前記カメラ中心から前記計測画像点取得部が入力した計測画像点への方向を示すベクトルを算出するベクトル算出部を備え
前記対応点検出部は、前記対応点として前記計測画像点の近傍3点を前記三次元点群モデルの点群から抽出
前記位置算出部は、前記対応点検出部が抽出した前記計測画像点の近傍3点が成す平面を算出し、算出した平面と前記ベクトル算出部が算出したベクトルとの交点を前記計測画像点の位置として算出す
ことを特徴とする請求項1~請求項4いずれかに記載の計測装置。
発明の詳細な説明 【技術分野】
【0001】
本発明は、例えば、計測装置に関するものである。
【背景技術】
【0002】
近年、カーナビゲーションシステムなどに代表されるGIS(Geographical Information System)とGPS(Global Positioning System)を組み合わせた製品の普及が著しい。また、一方で、GISとGPSによる位置情報をITS(Intelligent Transport Systems)の安全運転へ応用することが期待されており、道路上・道路脇の地物の位置情報は有効な情報であると考えられている。
また一方で、道路周辺の地物の情報を記録した道路管理台帳の高精度化、高度化が望まれている。しかしながら、1/500のスケールでキロポスト、標識、ガードレール、白線などの道路上・道路脇の地物の位置を記録する道路管理台帳の作成には、高い精度を持つ測量を行う必要があるため、GPSと距離・角度を計測するトータルステーションとを用いた静止測量が行われている。また、国道には往復30kmの区間に計測対象となる地物が約2000も存在していることもある。そのため、全国の道路管理台帳の高度化・高精度化には莫大な費用と時間とを要する。
そこで、情報収集時間および費用の縮減を目的としてMMS(Mobile Mapping System)が注目され研究開発が行われている。
【0003】
例えば、白線の位置情報の取得には複数カメラを用いたステレオ視や、カメラパラメータと車両との関係に基づくカメラの設置位置から白線の位置情報を推定する手法が用いられていた。

【非特許文献1】DorotaA.Grejner-Brzezinska and Charles Toth、「High Accuracy Dynamic Highway Mapping Using a GPS/INS/CCD System with On-The-Fly GPS Ambiguity Resolution」、Center for Mapping Department of Civil and Environmental Engineering and Geodetic Science The Ohio State University、Ohio Department of Transportation,District1、September 2004
【非特許文献2】H.Gontran,J,Skaloud,P.-Y.Gilliron、「A MOBILE MAPPING SYSTEM FOR ROAD DATA CAPTURE VIA A SINGLE CAMERA」、[online]、[平成18年2月14日検索]、インターネット<URL:http://topo.epfl.ch/personnes/jsk/Papers/3dopt_hg.pdf
【非特許文献3】G.Manzoni,R.G.Rizzo,C.Robiglio、「MOBLE MAPPING SYSTEMS IN CULTURAL HERITAGES SURVEY」、CIPA 2005 XX International Symposium、26 September-01 October,2005、Torino,Italy
【特許文献1】特開2005-098853号公報
【特許文献2】特開2006-234703号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
これらの手法には以下のような特徴がある。
a)ステレオ視による白線位置検知
(1)2台のカメラで白線位置の取得が可能。
(2)切れ目のない白線の場合、対応点探索の自動化が困難なため、手動による対応点探索が必要。
(3)有効視野角が狭い。
(4)絶対精度が低い。
b)カメラパラメータによる白線位置推定
(1)カメラから道路までの設定距離を一定として計算するため精度が悪い。
(2)精度が車両動揺に左右される。
(3)平坦でない道路では著しく精度が悪化する。
(4)1台のカメラで白線位置の取得が可能。
【0005】
本発明は、例えば、MMSを用いて白線以外の道路上・道路脇の地物の位置を計測することを目的とする。
特に、本発明は走行しながら計測データを取得するMMSでは計測データを取得することが困難なキロポストのような幅細の地物やガラスのような鏡面反射性の地物についても高精度に位置を計測することを目的とする。
また、本発明は、ユーザに所望の地点の計測結果を提供するために、ユーザが計測対象としたい地物を指定することを補助することを目的とする。
さらに、本発明は平坦でない道路においても高精度に地物の位置を計測することを目的とする。
【課題を解決するための手段】
【0006】
本発明の計測装置は、地物が撮像された画像と前記画像に対応すると共に三次元の位置が既知である点群とを表示装置の画面に重ね合わせて表示して、計測対象とする地物の画像内の位置を指定することをユーザに促す画像表示部と、ユーザが指定した画像内の位置を計測画像点として入力装置から入力する計測画像点取得部と、前記点群の中から、前記計測画像点取得部が取得した前記計測画像点に対応する対応点を検出する対応点検出部と、前記対応点検出部が検出した前記対応点の三次元の位置を用いて前記計測画像点取得部が取得した前記計測画像点の三次元の位置を特定する位置算出部とを備える。
【0007】
前記計測装置は、さらに、カメラから撮像された画像を記憶する画像記憶部と、レーザ装置により計測した点群から構成されると共に各点群の三次元の位置が既知である点群を三次元点群モデルとして記憶する三次元点群モデル記憶部とを備え、前記画像表示部は、前記画像記憶部に記憶された画像と三次元点群モデル記憶部に記憶された三次元点群モデルとを表示装置の画面に重ね合わせて表示して、三次元点群モデルの点群の中からユーザが注目する画像内の位置に対応する点を指定することを促し、前記対応点検出部は、前記三次元点群モデル記憶部が記憶した前記三次元点群モデルの点群の中から、前記計測画像点取得部が取得した前記計測画像点に対応する対応点を検出し、前記位置算出部は、前記対応点検出部が検出した前記対応点の三次元の位置を用いて前記計測画像点取得部が取得した前記計測画像点の三次元の位置を特定する。
【0008】
前記計測装置は、さらに、前記画像記憶部に記憶された画像を解析して、計測対象とする地物が撮像された画像領域を地物画像領域として検出する地物領域検出部を備え、前記画像表示部は、地物領域検出部が検出した地物画像領域に対して、画像の位置を指定することをユーザに促す。
【0009】
前記対応点検出部は、前記計測画像点により示される画像内の位置に地物領域検出部が検出した地物画像領域内に表示された点群の点が有る場合に、当該点を前記計測画像点に対応する対応点として検出する。
【0010】
前記対応点検出部は、前記計測画像点により示される画像内の位置に地物領域検出部が検出した地物画像領域内に表示された点群の点が無い場合に、前記計測画像点に最も近い点を前記計測画像点に対応する対応点として検出する。
【0011】
前記計測装置は、さらに、位置算出部が特定した三次元の位置を計測対象とする地物の三次元の位置とし、計測対象とする地物の種別と三次元の位置とを対応させて記憶する結果記憶部を備える。
【0012】
本発明の計測装置は、カメラにより地物が撮像された画像と前記画像に対応すると共に三次元の位置が既知である点群とを表示装置の画面に重ね合わせて表示して、計測対象とする地物の画像内の位置を指定することをユーザに促す画像表示部と、ユーザが指定した画像内の位置を計測画像点として入力装置から入力する計測画像点取得部と、前記カメラのカメラ中心から前記計測画像点取得部が入力した計測画像点への方向を示すベクトルを算出するベクトル算出部と、前記点群の中から、前記計測画像点取得部が取得した前記計測画像点に対応する対応点を検出する対応点検出部と、前記対応点検出部が検出した前記対応点を含む特定の平面を算出する平面算出部と、前記対応点検出部が検出した前記対応点の三次元の位置を前記計測画像点の三次元の位置を示す第1の候補として取得し、前記平面算出部が算出した特定の平面と前記ベクトル算出部が算出したベクトルとの交点を前記計測画像点の三次元の位置を示す第2の候補として算出する位置算出部と、前記位置算出部が得た前記第1の候補と前記第2の候補とを表示装置の画面に表示して、前記第1の候補と前記第2の候補とのいずれかを指定することをユーザに促す位置表示部と、前記第1の候補と前記第2の候補とのうちユーザが指定した方を前記計測画像点の三次元の位置として記憶する結果記憶部とを備える。
【0013】
本発明の計測装置は、カメラにより地物が撮像された画像と前記画像に対応すると共に三次元の位置が既知である点群とを表示装置の画面に重ね合わせて表示して、計測対象とする地物の画像内の位置を指定することをユーザに促す画像表示部と、ユーザが指定した画像内の位置を計測画像点として入力装置から入力する計測画像点取得部と、前記カメラのカメラ中心から前記計測画像点取得部が入力した計測画像点への方向を示すベクトルを算出するベクトル算出部と、前記点群の中から、前記計測画像点取得部が取得した前記計測画像点に対応する対応点を検出する対応点検出部と、前記対応点検出部が検出した前記対応点を含む特定の平面を算出する平面算出部と、計測対象とする地物の種別をユーザに指定させ、ユーザにより指定された地物の種別を入力装置から入力する種別入力部と、前記種別入力部が入力した地物の種別に基づいて、前記対応点検出部が検出した前記対応点と、前記平面算出部が算出した特定の平面と前記ベクトル算出部が算出したベクトルとの交点とのいずれかを前記計測画像点の三次元の位置として特定する位置算出部とを備える。
【0014】
本発明の計測方法は、画像表示部が、地物が撮像された画像と前記画像に対応すると共に三次元の位置が既知である点群とを表示装置の画面に重ね合わせて表示して、計測対象とする地物の画像内の位置を指定することをユーザに促す画像表示処理を行い、計測画像点取得部が、ユーザが指定した画像内の位置を計測画像点として入力装置から入力する計測画像点取得処理を行い、対応点検出部が、前記点群の中から、前記計測画像点取得部が取得した前記計測画像点に対応する対応点を検出する対応点検出処理を行い、位置算出部が、前記対応点検出部が検出した前記対応点の三次元の位置を用いて前記計測画像点取得部が取得した前記計測画像点の三次元の位置を特定し、特定した前記計測画像点の三次元の位置を示す計測位置データを作成する位置算出処理を行う。
【0015】
本発明の計測方法は、画像表示部が、カメラにより地物が撮像された画像と前記画像に対応すると共に三次元の位置が既知である点群とを表示装置の画面に重ね合わせて表示して、計測対象とする地物の画像内の位置を指定することをユーザに促す画像表示処理を行い、計測画像点取得部が、ユーザが指定した画像内の位置を計測画像点として入力装置から入力する計測画像点取得処理を行い、ベクトル算出部が、前記カメラのカメラ中心から前記計測画像点取得部が入力した計測画像点への方向を示すベクトルを算出するベクトル算出処理を行い、対応点検出部が、前記点群の中から、前記計測画像点取得部が取得した前記計測画像点に対応する対応点を検出する対応点検出処理を行い、平面算出部が、前記対応点検出部が検出した前記対応点を含む特定の平面を算出する平面算出処理を行い、位置算出部が、前記対応点検出部が検出した前記対応点の三次元の位置を前記計測画像点の三次元の位置を示す第1の候補として取得し、前記平面算出部が算出した特定の平面と前記ベクトル算出部が算出したベクトルとの交点を前記計測画像点の三次元の位置を示す第2の候補として算出する位置算出処理を行い、位置表示部が、前記位置算出部が得た前記第1の候補と前記第2の候補とを表示装置の画面に表示して、前記第1の候補と前記第2の候補とのいずれかを指定することをユーザに促す位置表示処理を行い、結果記憶部が、前記第1の候補と前記第2の候補とのうちユーザが指定した方を前記計測画像点の三次元の位置を示す計測位置データとして記憶する結果記憶処理を行う。
【0016】
本発明の計測方法は、画像表示部が、カメラにより地物が撮像された画像と前記画像に対応すると共に三次元の位置が既知である点群とを表示装置の画面に重ね合わせて表示して、計測対象とする地物の画像内の位置を指定することをユーザに促す画像表示処理を行い、計測画像点取得部が、ユーザが指定した画像内の位置を計測画像点として入力装置から入力する計測画像点取得処理を行い、ベクトル算出部が、前記カメラのカメラ中心から前記計測画像点取得部が入力した計測画像点への方向を示すベクトルを算出するベクトル算出処理を行い、対応点検出部が、前記点群の中から、前記計測画像点取得部が取得した前記計測画像点に対応する対応点を検出する対応点検出処理を行い、平面算出部が、前記対応点検出部が検出した前記対応点を含む特定の平面を算出する平面算出処理を行い、種別入力部が、計測対象とする地物の種別をユーザに指定させ、ユーザにより指定された地物の種別を入力装置から入力する種別入力処理を行い、位置算出部が、前記種別入力部が入力した地物の種別に基づいて、前記対応点検出部が検出した前記対応点と、前記平面算出部が算出した特定の平面と前記ベクトル算出部が算出したベクトルとの交点とのいずれかを前記計測画像点の三次元の位置として特定し、特定した前記計測画像点の三次元の位置を示す計測位置データを作成する位置算出処理を行う。
【0017】
本発明の計測端末装置は、地物が撮像された画像と前記画像に対応すると共に三次元の位置が既知である点群とを表示装置の画面に重ね合わせて表示して、計測対象とする地物の画像内の位置を指定することをユーザに促す画像表示部と、ユーザが指定した画像内の位置を計測画像点として入力装置から入力し、入力した前記計測画像点を前記計測画像点の三次元の位置を算出する計測サーバ装置に送信する端末側計測画像点取得部と、前記計測サーバ装置から前記計測画像点の三次元の位置を受信し、受信した前記計測画像点の三次元の位置を記憶する結果記憶部とを備える。
【0018】
本発明の計測サーバ装置は、計測端末装置から、地物が撮像された画像内の計測対象とする地物の位置を計測画像点として受信するサーバ側計測画像点取得部と、前記画像に対応すると共に三次元の位置が既知である点群の中から、前記サーバ側計測画像点取得部が取得した前記計測画像点に対応する対応点を検出する対応点検出部と、前記対応点検出部が検出した前記対応点の三次元の位置を用いて前記サーバ側計測画像点取得部が取得した前記計測画像点の三次元の位置を特定し、特定した前記計測画像点の三次元の位置を前記計測端末装置に送信する位置算出部とを備える。
【0019】
本発明の計測端末装置は、地物が撮像された画像を表示装置の画面に表示して、計測対象とする地物の画像内の位置を指定することをユーザに促す画像表示部と、ユーザが指定した画像内の位置を計測画像点として入力装置から入力し、入力した前記計測画像点を前記計測画像点の三次元の位置を算出する計測サーバ装置に送信する端末側計測画像点取得部と、前記計測サーバ装置から前記計測画像点の三次元の位置を受信し、受信した前記計測画像点の三次元の位置を記憶する結果記憶部とを備える。
【0020】
本発明の計測装置は、三次元の位置をそれぞれ示す点群が含まれる三次元点群モデルを記憶する三次元点群モデル記憶部と、カメラから撮像された画像を表示装置に表示して、ユーザに画像内の位置を指定することを促す画像表示部と、ユーザが指定した画像内の位置を計測画像点として入力装置から入力する計測画像点取得部と、前記カメラのカメラ中心から前記計測画像点取得部が入力した計測画像点への方向を示すベクトルを算出するベクトル算出部と、前記計測画像点の近傍1点を前記三次元点群モデルの点群から抽出する近傍抽出部と、前記近傍抽出部が抽出した前記近傍1点を含む特定の平面を算出する近傍平面算出部と、前記近傍平面算出部が算出した平面と前記ベクトル算出部が算出したベクトルとの交点を前記計測画像点の三次元の位置として算出する地物位置算出部とを備える。
【0021】
前記計測装置は、さらに、前記三次元点群モデルの点群を前記画像に対応する前記カメラの撮像面に投影するモデル投影部を備え、前記近傍抽出部は、前記モデル投影部により前記撮像面に投影された前記三次元点群モデルの点群のうち前記撮像面内で前記計測画像点から最も近い点と前記撮像面の横軸方向で前記計測画像点から最も近い点と前記撮像面の縦軸方向で前記計測画像点から最も近い点とのいずれかの点を前記近傍1点として抽出する。
【0022】
前記近傍平面算出部は、前記計測画像点の前記近傍1点を含む水平面を前記特定の平面として算出する。
【0023】
前記近傍平面算出部は、前記計測画像点の前記近傍1点を含む平面であって前記三次元点群モデルに使用されている座標系を示すX-Y-Z座標系でX軸とY軸とZ軸とのいずれかと直交する平面を前記特定の平面として算出する。
【0024】
前記計測装置は、さらに、位置計測の対象とする地物の種別をユーザに指定させ、ユーザにより指定された地物の種別を入力装置から入力する種別入力部を備え、前記近傍平面算出部は、前記種別入力部により入力された地物の種別に基づいて、前記計測画像点の前記近傍1点の含まれる点群により表される地物の成す面を平面で表して前記特定の平面を算出する。
【0025】
本発明の計測方法は、画像表示部が、カメラから撮像された画像を表示装置に表示して、ユーザに画像内の位置を指定することを促す画像表示処理を行い、計測画像点取得部が、ユーザが指定した画像内の位置を計測画像点として入力装置から入力する計測画像点取得処理を行い、ベクトル算出部が、前記カメラのカメラ中心から前記計測画像点取得部が入力した計測画像点への方向を示すベクトルを算出するベクトル算出処理を行い、近傍抽出部が、三次元の位置をそれぞれ示す点群が含まれる三次元点群モデルを記憶する三次元点群モデル記憶部から前記計測画像点の近傍1点を抽出する近傍抽出処理を行い、近傍平面算出部が、前記近傍抽出部が抽出した前記近傍1点を含む特定の平面を算出する近傍平面算出処理を行い、地物位置算出部が、前記近傍平面算出部が算出した特定の平面と前記ベクトル算出部が算出したベクトルとの交点を前記計測画像点の三次元の位置として算出し、算出した前記計測画像点の三次元の位置を示す計測位置データを作成する地物位置算出処理を行う。
【0026】
本発明の計測装置は、カメラから撮像された画像を記憶する画像記憶部と、前記カメラが撮像する撮像箇所をレーザ装置により計測した点群から構成されると共に各点群の位置が判明している三次元点群モデルを記憶する三次元点群モデル記憶部と、前記画像記憶部に記憶された画像を表示装置の画面に表示して、ユーザに画像内の位置を指定することを促す画像表示部と、ユーザが指定した画像内の位置を計測画像点として入力装置から入力する計測画像点取得部と、前記三次元点群モデル記憶部が記憶した前記三次元点群モデルの点群のなかから、前記計測画像点取得部が取得した前記計測画像点に対応する対応点を検出して、検出した前記対応点の位置を用いて前記計測画像点取得部が取得した前記計測画像点の三次元の位置を特定する位置算出部とを備える。
【0027】
前記画像表示部は、前記画像記憶部に記憶された複数の画像を一覧にして前記表示装置の画面に表示してユーザに画像を指定することを促し、ユーザが指定した画像を前記表示装置の画面に表示してユーザに画像内の位置を指定することを促す。
【0028】
前記計測装置は、さらに、前記位置算出部が特定した前記計測画像点の三次元の位置を前記画像表示部が前記画像を表示した前記表示装置の前記画面に表示する結果表示部を備える。
【0029】
前記計測装置は、さらに、位置計測の対象とする地物の種別をユーザに指定させ、ユーザにより指定された地物の種別を入力装置から入力する種別入力部と、前記計測画像点取得部が取得した前記計測画像点と、前記位置算出部が特定した前記計測画像点の三次元の位置と、前記種別入力部が入力した地物の種別とを関連付けて記憶機器に記憶する結果記憶部とを備える。
【0030】
本発明の計測方法は、カメラから撮像された画像を記憶する画像記憶部と、前記カメラが撮像する撮像箇所をレーザ装置により計測した点群から構成されると共に各点群の位置が判明している三次元点群モデルを記憶する三次元点群モデル記憶部とを用いて、画像表示部が、前記画像記憶部に記憶された画像を表示装置の画面に表示して、ユーザに画像内の位置を指定することを促す画像表示処理を行い、計測画像点取得部が、ユーザが指定した画像内の位置を計測画像点として入力装置から入力する計測画像点取得処理を行い、位置算出部が、前記三次元点群モデル記憶部が記憶した前記三次元点群モデルの点群のなかから、前記計測画像点取得部が取得した前記計測画像点に対応する対応点を検出して、検出した前記対応点の位置を用いて前記計測画像点取得部が取得した前記計測画像点の三次元の位置を特定し、特定した前記計測画像点の三次元の位置を示す計測位置データを作成する位置算出処理を行う。
【0031】
本発明の計測プログラムは前記計測方法をコンピュータに実行させる。
【0032】
本発明の計測位置データは前記計測方法により作成されたことを特徴とする。
【0033】
本発明の作図装置は、カメラから撮像された画像を記憶する画像記憶部と、前記カメラが撮像する撮像箇所をレーザ装置により計測した点群から構成されると共に各点群の位置が判明している三次元点群モデルを記憶する三次元点群モデル記憶部と、前記画像記憶部に記憶された画像を表示装置の画面に表示して、ユーザに画像内の位置を指定することを促す画像表示部と、ユーザが指定した画像内の位置を計測画像点として入力装置から入力する計測画像点取得部と、前記三次元点群モデル記憶部が記憶した前記三次元点群モデルの点群のなかから、前記計測画像点取得部が取得した前記計測画像点に対応する対応点を検出して、検出した前記対応点の位置を用いて前記計測画像点取得部が取得した前記計測画像点の三次元の位置を特定する位置算出部と、作成する図の内容を示す作図命令を入力機器から入力し、入力した前記作図命令に基づいて複数の要素を含んだ図を表示装置の画面に描画する描画部と、前記描画部が描画した図に含まれる複数の要素からいずれかの要素をユーザに指定させ、指定された要素に対応する前記計測画像点の三次元の位置を前記位置算出部から取得して、前記描画部が描画した図を表すと共に前記位置算出部が特定した前記計測画像点の三次元の位置をユーザに指定された要素の三次元の位置として示す作図データを作成する作図部とを備える。
【0034】
本発明の作図方法は、カメラから撮像された画像を記憶する画像記憶部と、前記カメラが撮像する撮像箇所をレーザ装置により計測した点群から構成されると共に各点群の位置が判明している三次元点群モデルを記憶する三次元点群モデル記憶部とを用いて、画像表示部が、前記画像記憶部に記憶された画像を表示装置の画面に表示して、ユーザに画像内の位置を指定することを促す画像表示処理を行い、計測画像点取得部が、ユーザが指定した画像内の位置を計測画像点として入力装置から入力する計測画像点取得処理を行い、位置算出部が、前記三次元点群モデル記憶部が記憶した前記三次元点群モデルの点群のなかから、前記計測画像点取得部が取得した前記計測画像点に対応する対応点を検出して、検出した前記対応点の位置を用いて前記計測画像点取得部が取得した前記計測画像点の三次元の位置を特定する位置算出処理を行い、描画部が、作成する図の内容を示す作図命令を入力機器から入力し、入力した前記作図命令に基づいて複数の要素を含んだ図を表示装置の画面に描画する描画処理を行い、作図部が、前記描画部が描画した図に含まれる複数の要素からいずれかの要素をユーザに指定させ、指定された要素に対応する前記計測画像点の三次元の位置を前記位置算出部から取得して、前記描画部が描画した図を表すと共に前記位置算出部が特定した前記計測画像点の三次元の位置をユーザに指定された要素の三次元の位置として示す作図データを作成する作図処理を行う。
【0035】
本発明の作図プログラムは前記作図方法をコンピュータに実行させる。
【0036】
本発明の作図データは前記作図方法により作成されたことを特徴とする。
【0037】
本発明の道路地物計測装置は、走行する車両に設置されたカメラから異なる時刻に撮像された複数の画像に対してモーションステレオ処理を行って静止物の三次元モデルを静止物モデルとして生成するモーションステレオ部と、走行する車両から計測された地物に対する距離と方位とを示す距離方位データに基づいて生成された三次元点群モデルである路面形状モデルと前記モーションステレオ部が生成した静止物モデルとを比較した差分を前記路面形状モデルから除去して前記路面形状モデルから移動体領域を除去した移動体除去モデルを生成する移動体除去部と、前記移動体除去処理部が生成した移動体除去モデルの点群が示す位置と形状とに基づいて各点群が表す静止物の種別を判定する地物識別部と、画像と前記移動体除去モデルと前記地物識別部が判定した静止物の種別との少なくともいずれかを表示装置に表示し、ユーザが位置計測の対象として指定した画像上の位置の情報を計測画像点として入力装置から入力する計測画像点取得部と、カメラ中心から前記計測画像点取得部が入力した計測画像点への方向を示すベクトルを算出するベクトル算出部と、前記計測画像点の近傍3点を前記路面形状モデルの点群から抽出する近傍3点抽出部と、前記近傍3点抽出部が抽出した前記計測画像点の近傍3点が成す平面を算出し、算出した平面と前記ベクトル算出部が算出したベクトルとの交点を前記計測画像点の位置として算出する地物位置算出部とを備えることを特徴とする。
【0038】
本発明の道路地物計測装置は、走行する車両から計測された地物に対する距離と方位とを示す距離方位データに基づいて生成された三次元点群モデルである路面形状モデルの点群が示す位置と形状とに基づいて各点群が表す地物の種別を判定する地物識別部と、画像と前記地物識別部が判定した地物の種別とを表示装置に表示し、ユーザが位置計測の対象として指定した画像上の位置の情報を計測画像点として入力装置から入力する計測画像点取得部と、カメラ中心から前記計測画像点取得部が入力した計測画像点への方向を示すベクトルを算出するベクトル算出部と、前記計測画像点の近傍3点を前記路面形状モデルの点群から抽出する近傍3点抽出部と、前記近傍3点抽出部が抽出した前記計測画像点の近傍3点が成す平面を算出し、算出した平面と前記ベクトル算出部が算出したベクトルとの交点を前記計測画像点の位置として算出する地物位置算出部とを備える。
【0039】
本発明の地物識別装置は、走行する車両に設置されたカメラから異なる時刻に撮像された複数の画像に対してモーションステレオ処理を行って静止物の三次元モデルを静止物モデルとして生成するモーションステレオ部と、走行する車両から計測された地物に対する距離と方位とを示す距離方位データに基づいて生成された三次元点群モデルである路面形状モデルと前記モーションステレオ部が生成した静止物モデルとを比較した差分を前記路面形状モデルから除去して前記路面形状モデルから移動体領域を除去した移動体除去モデルを生成する移動体除去部と、前記移動体除去処理部が生成した移動体除去モデルの点群が示す位置と形状とに基づいて各点群が表す静止物の種別を判定する地物識別部とを備える。
【0040】
本発明の地物識別装置は、走行する車両から計測された地物に対する距離と方位とを示す距離方位データに基づいて生成された三次元点群モデルである路面形状モデルの点群から位置の連続する点群を抽出して前記路面形状モデルの点群をグループ分けするラベリング処理部と、前記ラベリング処理部がグループ分けした各グループについて点群が形成する線分からエッジ部分を判定し、エッジ部分を境界として当該グループをグループ分けするエッジ判定部と、前記エッジ判定部がグループ分けした各グループについて点群が示す位置と形状とに基づいて各グループの点群が表す地物の種別を判定する地物識別部とを備える。
【0041】
前記道路地物計測装置において、前記近傍3点抽出部は、前記計測画像点の最近傍点を算出し、前記路面形状モデルの点群が形成する線分のうち最近傍点を含む第一の線分との間で前記計測画像点を内側に位置させる第二の線分を選択し、前記計測画像点と最近傍点とを結ぶ直線を算出し、第二の線分を形成する点群のうち前記直線の左側において前記直線に最も近い第二の近傍点と前記直線の右側において前記直線に最も近い第三の近傍点とを算出し、最近傍点と第二の近傍点と第三の近傍点とを前記計測画像点の前記近傍3点とする。
【0042】
本発明の道路地物計測方法は、モーションステレオ部が走行する車両に設置されたカメラから異なる時刻に撮像された複数の画像に対してモーションステレオ処理を行って静止物の三次元モデルを静止物モデルとして生成するモーションステレオ処理を行い、移動体除去部が走行する車両から計測された地物に対する距離と方位とを示す距離方位データに基づいて生成された三次元点群モデルである路面形状モデルと前記モーションステレオ部が生成した静止物モデルとを比較した差分を前記路面形状モデルから除去して前記路面形状モデルから移動体領域を除去した移動体除去モデルを生成する移動体除去処理を行い、地物識別部が前記移動体除去処理部が生成した移動体除去モデルの点群が示す位置と形状とに基づいて各点群が表す静止物の種別を判定する地物識別処理を行い、計測画像点取得部が画像と前記移動体除去モデルと前記地物識別部が判定した静止物の種別との少なくともいずれかを表示装置に表示し、ユーザが位置計測の対象として指定した画像上の位置の情報を計測画像点として入力装置から入力する計測画像点取得処理を行い、ベクトル算出部がカメラ中心から前記計測画像点取得部が入力した計測画像点への方向を示すベクトルを算出するベクトル算出処理を行い、近傍3点抽出部が前記計測画像点の近傍3点を前記路面形状モデルの点群から抽出する近傍3点抽出処理を行い、地物位置算出部が前記近傍3点抽出部が抽出した前記計測画像点の近傍3点が成す平面を算出し、算出した平面と前記ベクトル算出部が算出したベクトルとの交点を前記計測画像点の位置として算出する地物位置算出処理を行う。
【0043】
本発明の道路地物計測プログラムは、前記道路地物計測方法をコンピュータに実行させる。
【発明の効果】
【0044】
本発明によれば、例えば、MMSを用いて白線以外の道路上・道路脇の地物の位置を計測することができる。
また本発明は、レーザ点群で表される前記路面形状モデルにおいて、該当地点の近傍3点に基づいて位置を計測することにより、例えば、走行しながらレーザレーダで計測データを取得するMMSでは、レーザビームが当らない可能性のあるキロポストのような幅細の地物やガラスのような鏡面反射性の地物についても高精度に位置を計測することができる。
また、例えば、本発明は、道路上を走行している車両や歩道上の歩行者等の移動物体による目標地物の隠蔽に対して、移動物体のみを前記路面形状モデルから取り除くことができるため、道路や歩道上の移動物体の有無によらず、精度よく地物の位置を計測することができる。
また例えば、本発明は、画像と共に移動体を除去した三次元モデルや静止物の種別を表示することにより、ユーザが計測対象としたい地物を指定することを補助することができる。
【発明を実施するための最良の形態】
【0045】
実施の形態1.
図1は、実施の形態1における道路地物計測システム101のシステム構成および道路地物計測装置100の機能構成を示す図である。
実施の形態1における道路地物計測システム101はオドメトリ装置200、3台のジャイロ210(測位部、姿勢検出部、GPSジャイロの一部)、3台のGPS220(測位部、姿勢検出部、GPSジャイロの一部)、カメラ230(撮像部)、レーザレーダ240(光走査部、レーザスキャナ、LRF[Laser Range Finder])および道路地物計測装置100(計算機)を備える。
【0046】
オドメトリ装置200、3台のジャイロ210、3台のGPS220、カメラ230、レーザレーダ240(それぞれ、計測センサの一例である)は計測台車102(以下、車両とする)の天板103(基台)(図4参照)に搭載される。尚、図5のZ軸+方向が計測台車102の前方に相当する。また、ここでレーザレーダ240の設置位置は、カメラ230と同じ車両前方に設置しても構わない。
オドメトリ装置200はオドメトリ手法を実行し車両の走行距離を示す距離データを算出する。
3台のジャイロ210は車両の3軸方向の傾き(ピッチ角、ロール角、ヨー角)を示す角速度データを算出する。
3台のGPS220は車両の走行位置(座標)を示す測位データを算出する。
オドメトリ装置200とジャイロ210とGPS220とはGPS/デッドレコニング複合演算により車両の位置、姿勢を測定する。
カメラ230は撮影を行い時系列の画像データを出力する。
レーザレーダ240は、車体の前方または後方に設置され、横方向に光軸を振りながらレーザをななめ下方向に照射して、路面までの距離を各方位について示す方位・距離データ(以下、LRFデータとする)を算出する。
【0047】
道路地物計測装置100は距離データ、角速度データ、測位データ、画像データ、方位・距離データに基づいてユーザの指定した地物の位置を算出する。
道路地物計測装置100は車両位置姿勢(3軸)演算部110、カメラ位置姿勢演算部130、カメラLOS演算部140、路面形状モデル生成部150、レーザレーダ位置姿勢演算部160、路面モデル対応点探索部170、地物識別装置300、観測データ入力部191、観測データ記憶部199を備える。
車両位置姿勢(3軸)演算部110は距離データ、角速度データ、測位データに基づいて車両の位置と姿勢(車両位置姿勢)を算出する。
地物識別装置300は画像データに基づいて静止物の3次元モデルを生成し、静止物の3次元モデルと後述するLRFデータに基づく路面形状モデルとを比較して静止物の路面形状モデルを生成する。また、地物識別装置300は路面形状モデルを構成するレーザ計測点群をグループ分けし、レーザ計測点群が形成する形状に基づいて各グループが示す地物の種類を識別する。また、地物識別装置300は画像と静止物の路面形状モデルと地物の種別とを重畳表示してユーザに提供する。そして、地物識別装置300はユーザに指定された地物の画像上の位置を計測画像点として入力する。
カメラ位置姿勢演算部130は車両位置姿勢とカメラ取付オフセットとに基づいてカメラ230の位置と姿勢(カメラ位置姿勢)を算出する。カメラ取付オフセットは車両軸(直交座標)に対するカメラ230の取り付け軸のズレの量を示す。カメラ取付オフセットは図4のカメラ230と天板103との関係に対応する値である。
カメラLOS演算部140(ベクトル算出部の一例)はユーザが画像上で指定した計測画像点とカメラ位置姿勢とに基づいてカメラから計測画像点に向けた視線方向(LOS:Line Of Sight)の角度(LOSベクトル)を算出する。
レーザレーダ位置姿勢演算部160は車両位置姿勢とレーザレーダ取付オフセットとに基づいてレーザレーダ240の位置と姿勢(レーザレーダ位置姿勢)を算出する。レーザレーダ取付オフセットは車両軸(直交座標)に対するレーザレーダ240の取り付け軸のズレの量を示す。レーザレーダ取付オフセットは図4のレーザレーダ240と天板103との関係に対応する値である。
路面形状モデル生成部150は方位・距離データとレーザレーダ位置姿勢とに基づいて車両が走行した平坦でない路面の形状(曲面、傾斜、凹凸など)を示す路面形状モデル(三次元点群モデル)を生成する。
路面モデル対応点探索部170(地物位置算出部の一例)は計測画像点に対するLOSベクトルと路面形状モデルとに基づいてユーザが指定した地物の位置を算出する。路面モデル対応点探索部170は路面の曲面、傾斜、凹凸などを考慮することにより高い精度で地物位置を算出することができる。
距離データ、角速度データ、測位データ、画像データ、方位・距離データを観測データとする。
観測データ入力部191は計測台車102で取得された観測データを入力して観測データ記憶部199に記憶する。
観測データ記憶部199は計測台車102で取得された観測データ、レーザレーダ取付オフセット、カメラ取付オフセットおよび観測データに基づいて生成された各種データを記憶する。道路地物計測装置100が備える各部および地物識別装置300が備える各部は使用するデータを観測データ記憶部199から入力して各種処理を行い、生成したデータを観測データ記憶部199に記憶する。
【0048】
実施の形態1において“道路”とは道路上のみならず撮像範囲内の道路脇、道路周辺を含むものとする。また道路脇、道路周辺には路肩、縁石、歩道などが含まれる。
【0049】
図2は、実施の形態1における道路地物計測装置100、地物識別装置300のハードウェア資源の一例を示す図である。
図2において、道路地物計測装置100、地物識別装置300は、プログラムを実行するCPU911(Central・Processing・Unit、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサともいう)を備えている。CPU911は、バス912を介してROM913、RAM914、通信ボード915、表示装置901、キーボード902、マウス903、FDD904(Flexible・Disk・Drive)、CDD905(コンパクトディスク装置)、プリンタ装置906、スキャナ装置907、マイク908、スピーカー909、磁気ディスク装置920と接続され、これらのハードウェアデバイスを制御する。磁気ディスク装置920の代わりに、光ディスク装置、メモリカード読み書き装置などの記憶装置でもよい。
RAM914は、揮発性メモリの一例である。ROM913、FDD904、CDD905、磁気ディスク装置920の記憶媒体は、不揮発性メモリの一例である。これらは、記憶機器、記憶装置あるいは記憶部の一例である。
通信ボード915、キーボード902、スキャナ装置907、FDD904などは、入力機器、入力装置あるいは入力部の一例である。
また、通信ボード915、表示装置901、プリンタ装置906などは、出力機器、出力装置あるいは出力部の一例である。
【0050】
通信ボード915は、有線または無線で、LAN(Local Area Network)、インターネット、ISDN等のWAN(ワイドエリアネットワーク)、電話回線などの通信網に接続されている。
磁気ディスク装置920には、OS921(オペレーティングシステム)、ウィンドウシステム922、プログラム群923、ファイル群924が記憶されている。プログラム群923のプログラムは、CPU911、OS921、ウィンドウシステム922により実行される。
【0051】
上記プログラム群923には、実施の形態の説明において「~部」、「~手段」として説明する機能を実行するプログラムが記憶されている。プログラムは、CPU911により読み出され実行される。
ファイル群924には、実施の形態の説明において、「~部」や「~手段」の機能を実行した際の「~の判定結果」、「~の計算結果」、「~の処理結果」などの結果データ、「~部」や「~手段」の機能を実行するプログラム間で受け渡しするデータ、その他の情報やデータや信号値や変数値やパラメータが、「~ファイル」や「~データベース」の各項目として記憶されている。「~ファイル」や「~データベース」は、ディスクやメモリなどの記録媒体に記憶される。ディスクやメモリなどの記憶媒体に記憶された情報やデータや信号値や変数値やパラメータは、読み書き回路を介してCPU911によりメインメモリやキャッシュメモリに読み出され、抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示などのCPUの動作に用いられる。抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示・抽出のCPUの動作の間、情報やデータや信号値や変数値やパラメータは、メインメモリやキャッシュメモリやバッファメモリに一時的に記憶される。
また、実施の形態の説明において説明するフローチャートの矢印の部分は主としてデータや信号の入出力を示し、データや信号値は、RAM914のメモリ、FDD904のフレキシブルディスク、CDD905のコンパクトディスク、磁気ディスク装置920の磁気ディスク、その他光ディスク、ミニディスク、DVD(Digital・Versatile・Disc)等の記録媒体に記録される。また、データや信号値は、バス912や信号線やケーブルその他の伝送媒体によりオンライン伝送される。
【0052】
また、実施の形態の説明において「~部」、「~手段」として説明するものは、「~回路」、「~装置」、「~機器」、「手段」であってもよく、また、「~ステップ」、「~手順」、「~処理」であってもよい。すなわち、「~部」、「~手段」として説明するものは、ROM913に記憶されたファームウェアで実現されていても構わない。或いは、ソフトウェアのみ、或いは、素子・デバイス・基板・配線などのハードウェアのみ、或いは、ソフトウェアとハードウェアとの組み合わせ、さらには、ファームウェアとの組み合わせで実施されても構わない。ファームウェアとソフトウェアは、プログラムとして、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD等の記録媒体に記憶される。プログラムはCPU911により読み出され、CPU911により実行される。すなわち、プログラムは、「~部」、「~手段」としてコンピュータを機能させるものである。あるいは、「~部」、「~手段」の手順や方法をコンピュータに実行させるものである。
道路地物計測システム101を構成する「~部」や「~装置」は以下に説明する各処理をCPUを用いて実行する。
【0053】
図3は、実施の形態1における道路地物計測システム101の道路地物位置計測処理の流れを示すフローチャートである。
実施の形態1における道路地物計測システム101の道路地物位置計測処理の流れについて、図3に基づいて以下に説明する。
【0054】
<S101:計測走行>
まず、車両で地物を計測する対象の道路を走行し、走行時にオドメトリ装置200、ジャイロ210、GPS220はそれぞれ計測を行い、車両についての距離データ、角速度データおよび測位データ(以下、GPS/IMU[Inertial Measurement Unit]データとする)を時系列に取得する。また、走行時にカメラ230は撮像して時系列の画像データと各画像の撮像時刻を示す画像時刻データとを取得する。また、走行時にレーザレーダ240は車両の横方向に振りながらレーザを照射して道路上・道路脇(道路周辺)の地物に対する距離と方位とを時系列に示す方位・距離データ(LRFデータ)を取得する。
例えば、LRFデータは地物に対する距離・方位をバイナリ形式で示し、画像データはRAW画像をベイヤー配列で示し、画像時刻データは画像の識別番号と撮像時刻とを対応付けてCSV(Comma Separated Values)形式で示す。
【0055】
<S102:観測データ記憶処理>
次に、道路地物計測装置100において、観測データ入力部191は車両の各計測センサが取得したGPS/IMUデータ(距離データ、角速度データ、測位データ)、画像データ、画像時刻データ、LRFデータ(方位・距離データ)を入力する。そして、観測データ入力部191は圧縮されているデータ(例えば、GPS/IMUデータ、LRFデータ)を解凍し(S102a:データデコード処理)、また、必要であれば特定のデータ(例えば、画像データ、画像時刻データ)をコピー(S102b:画像データコピー処理)して、各データを観測データ記憶部199に記憶する。
例えば、データデコード処理(S102a)によりLRFデータはバイナリ形式からテキスト形式に変換される。
また例えば、画像データコピー処理(S102b)により24bitBMP(ビットマップ)形式の画像データが生成される。
また、観測データ入力部191はカメラ230が設置された車両の天板103に対するカメラ取付オフセットとレーザレーダ240が設置された車両の天板103に対するレーザレーダ取付オフセットとを観測データ記憶部199に記憶する。
【0056】
<S103:測位/複合処理>
次に、道路地物計測装置100において、車両位置姿勢(3軸)演算部110はGPS/IMUデータに基づいてENU座標系における車両の位置および姿勢を算出する。以下、ENU座標系における車両の位置および姿勢を時系列に示すデータを車両位置姿勢データとする。
例えば、車両位置姿勢データは車両のENU座標、回転角(roll)、仰角(pitch)、方位角(yaw)をCSV形式で示す。
【0057】
<S104:デジタイジング処理>
また、地物識別装置300は画像データとLRFデータとに基づいて画像に写る地物を移動体(例えば、車両、歩行者)と静止物(車道、歩道、壁、その他[例えば、キロポスト、標識])とに分類して識別し、画像と共に画像に写る各地物の種類を表示装置に表示する。
そして、地物識別装置300は表示装置に表示した画像と地物の種別情報とに基づいてユーザが指定した位置計測対象の画像上の位置(以下、計測画像点とする)と計測画像点に写る地物の種別(以下、地物種別ID[Identifier]とする)と計測画像点が指定された画像の識別番号(以下、指定画像番号とする)とをキーボード902、マウス903、タッチパネルなどの入力機器から入力する。
例えば、計測画像点はユーザが指定した画像上の2次元の位置(u、v)を示す。
デジタイジング処理(S104)の詳細について後述する。
【0058】
<S105:3Dモデリング処理>
次に、道路地物計測装置100において、路面形状モデル生成部150は、車両位置姿勢データとLRFデータと画像時刻データと指定画像番号とレーザレーダ位置姿勢データとに基づいて、計測画像点が指定された画像に対応するLRFデータの各レーザ計測点をENU座標で表した三次元の路面形状モデルを生成する。
3Dモデリング処理(S105)の詳細について後述する。
【0059】
<S106:地物位置標定処理>
次に、道路地物計測装置100において、カメラLOS演算部140は、車両位置姿勢データと画像データと画像時刻データと指定画像番号とカメラ位置姿勢データと計測画像点とに基づいて、カメラ中心から計測画像点へのLOSベクトルをENU座標系で算出する。
そして、路面モデル対応点探索部170は、路面形状モデルのレーザ計測点群から計測画像点の近傍3点を抽出し、計測画像点へのLOSベクトルと計測画像点の近傍3点が形成する平面との交点のENU座標をユーザが指定した地物の位置として算出する。
地物位置標定処理(S106)の詳細について後述する。
【0060】
以下に、デジタイジング処理(S104)、3Dモデリング処理(S105)、地物位置標定処理(S106)の詳細について説明する。
【0061】
まず、LRFデータ(地物に対する方位・距離データ)から移動体のデータを除去し、残った静止物の種類を識別し、画像に各地物の種別と静止物の路面形状モデルとを重畳して表示装置に表示するデジタイジング処理(S104)について説明する。
地物識別装置300は、デジタイジング処理(S104)により、ユーザが計測したい地物を指定することを補助する。
【0062】
図11は、実施の形態1における地物識別装置300の構成図である。
デジタイジング処理(S104)を実行する地物識別装置300の機能構成について、図11に基づいて以下に説明する。
【0063】
地物識別装置300はモーションステレオ部310、移動体除去部320、地物識別部330および計測画像点取得部340を備える。
また、地物識別装置300は観測データ記憶部199にアクセスして観測データを取得できるものとする。但し、地物識別装置300は観測データ記憶部199に相当する記憶部を備えてもよい。
また、地物識別装置300は路面形状モデル生成部150からLRFデータに基づく路面形状モデルを取得できるものとする。但し、地物識別装置300は路面形状モデル生成部150に相当する処理部を備えてもよい。
【0064】
モーションステレオ部310は、静止物特定部311と静止物モデル生成部312とを備え、画像データに基づいて画像に写る静止物の三次元モデル(以下、静止物モデルとする)を生成する。
静止物特定部311は静止物が写る画像部分を特定する。
静止物モデル生成部312は画像に写る静止物の三次元モデルを生成する。
【0065】
移動体除去部320は、移動体特定部321と移動体除去モデル生成部322とを備え、LRFデータから移動体に対するレーザ計測点群を除去して路面形状モデルを生成する。
移動体特定部321は路面形状モデル中の移動体に対するレーザ計測点群を特定する。
移動体除去モデル生成部322は移動体に対応するレーザ計測点群を除去して路面形状モデルを生成する。
【0066】
地物識別部330は、ラベリング部331とエッジ判定部332と地物判定部333とを備え、路面形状モデルが示す各レーザ計測点に位置した地物の種別を特定する。
ラベリング部331は路面形状モデルの各レーザ計測点群をグループ分けする。
エッジ判定部332はレーザ計測点のグループを細分化する際の境界とするエッジ部分を特定する。
地物判定部333はレーザ計測点の各グループについて地物の種別を特定する。例えば、自車が走行しているグループは“道路”であり、その隣接しているグループは“道路外
“という具合に地物の種別を特定する。
【0067】
計測画像点取得部340は、画像表示部341と画像点入力部342とを備え、ユーザが指定した画像上の位置を示す計測画像点を取得する。
画像表示部341は画像と路面形状モデルと画像に写る地物の種別とを重畳して表示装置に表示する。
画像点入力部342はユーザが指定した画像上の位置を示す計測画像点を入力装置から入力する。
【0068】
図12は、実施の形態1における地物識別装置300のデジタイジング処理(S104)の流れを示すフローチャートである。
実施の形態1における地物識別装置300が実行するデジタイジング処理(S104)の流れについて図12に基づいて説明する。なお、以下に説明するデジタイジング処理(S104)を構成する各処理の詳細については別途説明する。
【0069】
<S201:モーションステレオ処理>
まず、モーションステレオ部310は走行する車両から1台のカメラで撮像した車両前方道路の複数の画像をステレオ視することにより、静止物が写る画像部分を特定し(S201a:静止物特定処理)、特定した画像部分をENU座標系に投影して画像に写る静止物の三次元モデル(以下、静止物モデルとする)を生成する(S201b:静止物モデル生成処理)。
【0070】
<S202:移動体除去処理>
次に、移動体除去部320はモーションステレオ部310が生成した画像に基づく静止物モデルと路面形状モデル生成部150が生成したLRFデータに基づく路面形状モデルとを比較して移動体に対するレーザ計測点群を特定し(S202a:移動体特定処理)、移動体に対するレーザ計測点群を除去して静止物モデルを生成する(S202b:移動体除去モデル生成処理)。
【0071】
<S203:地物識別処理>
次に、地物識別部330は移動体除去部320が生成した移動体を除去した路面形状モデルが示すレーザ計測点群をグループ分けし(S203a:ラベリング処理)、レーザ計測点群が表す線分のエッジ部分を特定し(S203b:エッジ判定処理)、レーザ計測点のグループをエッジを境界とするグループに細分化し、グループ毎に各レーザ計測点に位置した地物の種別を特定する(S203c:地物判定処理)。
【0072】
<S204:計測画像点取得処理>
次に、計測画像点取得部340は、移動体除去部320が生成した移動体を除去した路面形状モデルをカメラ230の撮像面に投影し、画像と移動体を除去した路面形状モデルと地物識別部330が特定した地物の種別とを重畳して表示装置に表示する(S204a:画像表示処理)。
そして、計測画像点取得部340は、ユーザが指定した画像上の位置(計測画像点)と計測画像点に写る地物の種別(地物種別ID)と計測画像点が指定された画像の識別番号(指定画像番号)とをキーボード902、マウス903、タッチパネルなどの入力機器から入力する(S204b:画像点入力処理)。
【0073】
ここで、モーションステレオ部310が実行するモーションステレオ処理(S201)の詳細について以下に説明する。
【0074】
LRF(レーザレーダ240)で取得したLRFデータ(方位・距離データ)に基づく3次元データは高密度、高精度である路面形状モデルを表し、道路地物計測装置100ではこの路面形状モデルを用いて地物の位置を高精度に計測する。しかし、道路には通常、歩行者や対向車といったような移動体が多数存在するため、路面形状モデルには静止物を隠蔽する移動体のレーザ計測点が多数含まれる。そのため、静止物を測量対象にしたい場合、静止物を隠蔽する移動体の存在は計測に用いるレーザ計測点の誤抽出および計測結果精度の低下の原因となる。
【0075】
図13は、トラックがポールを隠蔽していないときの路面形状モデルを示す。
図14は、トラックがポールを隠蔽しているときの路面形状モデルを示す。
図13と図14とは、それぞれ別の視点で同一のトラックとポールとに対するLRFデータを三次元モデルに投影したものである。図13ではトラックとポールとが別々になっているためポールのレーザ計測点群が判別できるが、図14ではトラックによってポールの点群が隠れてしまっている。このため、図14の状態においてポールの位置を計測する場合、路面形状モデルからポールの点群を正しく選択することができず、大きな計測誤差が発生することも考えられる。
【0076】
そこで、地物識別装置300は、モーションステレオ処理(S201)において、1台のカメラ230で撮像した複数の時系列画像を用いたモーションステレオ法により、静止物の3次元モデルを生成する。そして、地物識別装置300は、移動体除去処理(S202)において、画像に基づく静止物モデルとの比較により、LRFデータに基づく路面形状モデルから移動体領域のレーザ計測点群の抽出および除去を実行する。
【0077】
1台のカメラ230で撮像した複数の時系列画像を用いたモーションステレオ法は、カメラ230の動きは既知で撮像対象物は静止しているということを前提にした作動原理である。このため、地物識別装置300はモーションステレオ法を用いることにより静止物体のみを表す3次元モデルを画像に基づいて生成することが可能である。
そして、このモーションステレオ法で得た静止物モデルを用いてLRFデータに基づく路上形状モデルのレーザ計測点群から移動体に対するレーザ計測点群のみを除去することができる。
【0078】
モーションステレオ法のアルゴリズムに関する文献として“安藤伸吾他、屋外環境下で用いる自律移動システムに関する研究(第37報ODV/GPS/INS複合モーションステレオ視のベースライン最適選択による距離推定精度向上)、ロボディクス・メカトロニクス講演会(神戸)、2005”がある。
【0079】
図15は、実施の形態1におけるモーションステレオ処理(S201)の流れを示すフローチャートである。
地物識別装置300においてモーションステレオ部310が実行するモーションステレオ処理(S201)について、図15に基づいて以下に説明する。
【0080】
第1のエピポーラ線算出処理(S301)~双方向マッチング処理(S303)が画像上に写る静止物を特定する静止物特定処理(S201a)に相当し、距離画像三次元復元処理(S304)~視体積交差法ボクセル削除処理(S306)が画像に基づいて静止物モデルを生成する静止物モデル生成処理(S201b)に相当する。
【0081】
<S301:第1のエピポーラ線算出処理>
まず、静止物特定部311は画像上の任意点に対して、カメラ位置姿勢演算部130によるカメラ位置姿勢に基づいてエピポーラ線を算出する。
【0082】
図16は、実施の形態1におけるエピポーラ線Lの算出方法を示す図である。
静止物特定部311が用いるエピポーラ線Lの算出方法について、図16に基づいて以下に説明する。
【0083】
まず、静止物特定部311は観測データ記憶部199から時刻Tに撮像された画像Aと時刻Tに撮像された画像Bとを入力する(S301a)。
次に、静止物特定部311は、図16に示すように、各画像について撮像時のカメラ中心とカメラ中心から焦点距離離れた撮像面を示す画像(画像平面)とで三角錐を形成するように三次元空間を設定する(S301b)。
次に、静止物特定部311は、画像平面Aのカメラ中心Cと画像平面A上の特徴点Pと画像平面Bのカメラ中心Cとが成す面dを含む平面として、エピポーラ平面Dを算出する(S301c)。
【0084】
エピポーラ平面Dは以下の式20で表される。
ここで、カメラ中心点C1の座標を(E、N、U)とし、設定した三次元空間における特徴点Pの座標(以下、三次元リアル空間座標とする)を(Ep1、Np1、Up1)とし、カメラ中心Cの座標を(E、N、U)とする。
【0085】
【数1】
JP0004344869B2_000002t.gif

【0086】
そして、静止物特定部311は、エピポーラ平面Dと画像平面Bとの交線を含む線として、エピポーラ線Lを算出する(S302d)。
【0087】
ここで、図16において、画像平面Aに特徴点Pとして撮像された計測対象点Poutが静止している場合、計測対象点Poutは常にエピポーラ平面D上に存在し、計測対象点Poutの画像平面B上の撮像点である対応点Pはエピポーラ線L上に存在する。
【0088】
図17は、移動後の計測対象点PT2の対応点Pがエピポーラ線L上に存在しないことを示す図である。
一方、カメラも計測対象点Pも移動する場合、図17に示すように、移動前(時刻T)の計測対象点PT1を示す画像平面A上の特徴点Pに基づいて設定されるエピポーラ線L上に、移動後(時刻T)の計測対象点PT2に対応する画像平面B上の対応点Pは存在しない。図17に示すように、もし、計測対象点Pが移動しなければ、計測対象点PT1に対応する画像平面B上の対応点P1’はエピポーラ線L上に存在する。
【0089】
つまり、移動体はエピポーラ線上に載らないため、エピポーラ線上に対応点が存在する計測対象点は静止物体を示し、エピポーラ線上の対応点探索を行えば静止物体のみを抽出することができる。
【0090】
図15において、第1の対応点探索処理(S302)について説明する。
【0091】
<S302:第1の対応点探索処理>
静止物特定部311は、以下のようにして、エピポーラ線上を探索し、画像平面A上の特徴点Pに対応する画像平面B上の対応点Pを求める。
【0092】
まず、静止物特定部311は画像Aにおける特徴点Pの画素の色情報と画像Bにおけるエピポーラ線L上の各画素の色情報とを比較する(S302a)。
そして、静止物特定部311は特徴点Pの画素と色情報が対応するエピポーラ線L上の画素を特徴点Pに対する対応点Pとして特定する(S302b)。
このとき、静止物特定部311はカラーエッジの微分値やRGB値が特徴点Pと一致または類似(値の差が特定の範囲内)する対応点Pを特定する。また、静止物特定部311はウインドウマッチングにより対応点Pを特定する。
【0093】
<S303:双方向マッチング処理>
次に、静止物特定部311は画像平面Bの対応点Pに基づいて画像平面Aにエピポーラ線Lを設定し、画像平面Bの対応点Pに対応するエピポーラ線L上の対応点Pを特定し、画像平面Aの特徴点Pと対応点Pとの位置関係に基づいて対応点Pを特定する。
【0094】
静止物特定部311は、画像平面Aの特徴点Pに対応する画像平面B上の対応点Pの探索のみを行う片方向マッチングではなく、画像平面Bで探索された対応点Pに対応する画像平面A上の対応点Pの探索を行い、特徴点Pと対応点Pとを比較することにより対応点Pの正否を判定する双方向マッチングを行うことにより、対応点Pの探索精度の向上を図っている。尚、双方向マッチング処理に関する文献として、“瀧口純一、二組のミラーを持つ反射型全周撮像器のステレオ視による高精度な距離画像生成、日本機械学会論文集(C編)69巻680号(2003-4)“がある。
【0095】
そこで、静止物特定部311は、第1のエピポーラ線算出処理(S301)と同様に、画像平面Bのカメラ中心点Cと画像平面B上の対応点Pと画像平面Aのカメラ中心点Cとが成す面dを含む平面として、エピポーラ平面Dを算出し、エピポーラ平面Dと画像平面Aとの交線を含む線として、エピポーラ線Lを算出する(S303a)。
次に、静止物特定部311は、第1の対応点探索処理(S302)と同様に、画像Bにおける対応点Pの画素の色情報と画像Aにおけるエピポーラ線L上の各画素の色情報とを比較し、対応点Pの画素と色情報が対応するエピポーラ線L上の画素を対応点Pに対する対応点Pとして特定する(S303b)。
そして、静止物特定部311は、画像平面A上の特徴点Pの位置と対応点Pの位置とを比較し、特徴点Pと対応点Pとの距離が所定の範囲内である場合に対応点Pを特徴点Pに対する正しい対応点として特定し、特徴点Pと対応点Pとの距離が所定の範囲内でない場合に対応点Pを削除する(S303c)。
【0096】
図15において、画像三次元復元処理(S304)について説明する。
【0097】
<S304:画像三次元復元処理>
次に、静止物モデル生成部312は、以下のようにして特徴点Pとして画像Aに撮像された計測対象点Poutの三次元座標を算出することにより、画像Aに写る静止物について三次元モデルを生成する。
【0098】
まず、静止物モデル生成部312は画像平面Aについてカメラ中心Cから特徴点Pへの方向を示すLOSベクトルVと画像平面Bについてカメラ中心Cから対応点Pへの方向を示すLOSベクトルVとを算出する(S304a)。
そして、静止物モデル生成部312はLOSベクトルVとLOSベクトルVとの交点が示す三次元座標を計測対象点Poutの三次元座標として算出する(S304b)。
また、静止物モデル生成部312は計測対象点Poutの色情報として画像A上の特徴点Pの画素の色情報を設定する(S304c)。
ここで算出した計測対象点Poutの三次元座標は、カメラ中心Cと画像平面Aとが三角錐を形成するように設定した三次元リアル空間における座標値である。
【0099】
ここで、第1のエピポーラ線算出処理(S301)~画像三次元復元処理(S304)は各画像の組み合わせについて各画素を特徴点にして実行される。
つまり、これまでの処理により、全画像の全画素について静止物か移動体かの特定がなされ、静止物を示す画素については三次元座標と色情報とが特定されている。そして、全画像に対して三次元座標と色情報とを示す点群データで表した静止物モデルが生成されている。この静止物モデルは前記三次元リアル空間上のモデルである。
【0100】
図15において、ボクセル空間投票処理(S305)について説明する。
【0101】
<S305:ボクセル空間投票処理>
次に、静止物モデル生成部312は、以下のように静止物モデルをボクセル空間に投票して、誤抽出された移動体部分を削除する。
【0102】
まず、静止物モデル生成部312は複数のボクセルから成るボクセル空間を前記三次元リアル空間上に設定する(S305a)。
次に、静止物モデル生成部312は静止物モデルを構成する各点について三次元座標に基づいて当該点が位置するボクセルを特定し、特定したボクセルに投票する(S305b)。
次に、静止物モデル生成部312は各ボクセルの点密度を算出し、算出した点密度が閾値より小さいボクセルをボクセル空間から削除する(S305c)。
【0103】
図18は、実施の形態1におけるボクセル空間投票処理(S305)のイメージ図である。
図18は、設定されたボクセル空間(1)と静止物モデルを投票後のボクセル空間(2)と低密度ボクセルを削除後の高密度ボクセルのみで構成された処理後のボクセル空間(3)とを示している。
【0104】
前記の画像三次元復元処理(S304)で生成された静止物モデルには画像の色精度や第1の対応点探索処理(S302)における対応点の判定に用いる色情報の閾値の適否や双方向マッチング処理(S303)における対応点の判定に用いる距離の閾値の適否などの影響により、誤って特定された移動体についての対応点(以下、エラー点とする)が含まれる場合がある。
そこで、静止物モデル生成部312は、このボクセル空間処理(S305)により、静止物モデルからエラー点を除去する。ボクセル空間投票の際に、移動体が位置するボクセルは点密度が低くなるため除去される。
【0105】
図15において、視体積交差法ボクセル削除処理(S306)について説明する。
【0106】
<S306:視体積交差法ボクセル削除処理>
静止物モデル生成部312は視体積交差法により静止物モデルからエラー部分を削除する。
【0107】
これまでの処理において、画像のステレオ視により得られた静止物モデルは、ステレオ演算過程のミスマッチングやオクルージョンの影響により、誤差を含んだモデルとなっている。対応点の微小なミスマッチングによるモデル誤差はボクセル空間投票処理(S305)において低密度ボクセルが削除されることにより低減されているが、エラー点が集中してボクセル内密度が高くなった場合などボクセル空間投票処理(S305)では誤差を取り除くことができない可能性もある。
そこで、静止物モデル生成部312は、以下のように、ボクセル空間投票処理(S305)により得られたボクセル空間に対して視体積交差法を適用してボクセル空間内のエラー部分を削除する。
【0108】
まず、静止物モデル生成部312は、ボクセル空間投票処理(S305)で得られたボクセル空間を形成する各ボクセルについて、複数の画像平面に当該ボクセルを投影する(S306a)。
次に、静止物モデル生成部312は当該ボクセルの色情報と当該ボクセルが投影された画素の色情報とを比較する(S306b)。
ここで、ボクセルの色情報はボクセルに含まれる静止物モデルの点の色情報とする。
そして、静止物モデル生成部312は色情報が対応しない場合に当該ボクセルをボクセル空間から削除する(S306c)。
【0109】
つまり、視体積交差法とは三次元空間の個々の点を各画像平面に投影したとき、すべてのシルエットの内部に投影される点は対象の内部の点として残し、それ以外は対象の外部の点として除去する手法である。
【0110】
図19は、実施の形態1における視体積交差法を示す図である。
図19において、静止物モデルを表すボクセル集合(ボクセル空間)が存在している。
視体積交差法では以下のような処理がなされる。
(1)あるボクセルAが画像Aに投影されたときのピクセルAの色情報を取得する。
(2)ここでボクセルAの色情報とピクセルAの色情報とを比較し、色情報が同一または類似の場合、ボクセルAは存在すると仮想する。
(3)さらに、ボクセルAが画像Aとは視点の異なる画像Bに投影されたときのピクセルBの色情報を取得する。
(4)このとき、ボクセルAの色情報とピクセルBの色情報とを比較し、色情報が非類似の場合、ボクセルAを実環境上に存在しないものとして削除する。
以上の処理を時系列の複数画像間において行う。
【0111】
ここで、図12において、移動体除去部320が実行する移動体除去処理(S202)について説明する。
【0112】
前述のように、モーションステレオ法により画像データから得た三次元モデルでは静止物体のみを三次元化している。
そこで、移動体特定部321はこの画像データに基づいて得られた三次元モデル(静止物モデル)とLRFデータに基づいて得られた三次元モデル(路面形状モデル)とを入力し、比較し、差分を抽出することにより、差分領域を移動体の領域として路面形状モデルから抽出する(S202a:移動体特定処理)。
そして、移動体除去モデル生成部322は、移動体特定部321が抽出した領域だけを路面形状モデルから除去することにより、静止物を表す路面形状モデルを生成する。
移動体特定処理(S202a)において、三次元モデルの差分比較は、各三次元モデルを構成する点ごとに行ってもよいし、計算時間の短縮を図るために、各三次元モデルを構成する各点をボクセル空間に投票してボクセル単位で行ってもよい。
【0113】
次に、図12において、地物識別部330が実行する地物識別処理(S203)について説明する。
【0114】
道路地物計測装置100では、ユーザが画像上で指定した任意の点(計測画像点)に近接する3点を路面形状モデルのレーザ計測点群から選択し、その3点が成す平面と計測画像点に対するLOSベクトルとの交点の座標を位置計測結果として出力する。
図20は、ユーザの指定した地物を誤認識しやすい箇所の画像である。
例えば、図20のような画像に対してユーザが計測画像点を指定した場合、道路地物計測装置100はユーザの意図する計測画像点とは異なる点に対して路面形状モデルの3点を選択することがある。
例えば、図20において、ユーザがガードレールの奥にあるポール部分を計測画像点として指定した場合、道路地物計測装置100は誤ってガードレール部分のレーザ計測点群を選択する可能性がある。
そこで、地物識別部330はユーザに示すために路面形状モデルが示す各地物の種類を識別する。これにより、ユーザは計測したい地物部分を計測画像点として正確に指定することができ、道路地物計測装置100は正確に指定された計測画像点に基づいて路面形状モデルから正しい近傍3点を抽出して精度の高い計測結果を出力することができる。
また、道路地物計測装置100は道路面上の点が計測画像点として指定された場合に精度の高い計測結果を出力することができる。そこで、地物の種類を示すことにより、指定しようとしている点が道路面上なのか道路面よりも高い位置にあるのかをユーザに判断させることができ、道路地物計測装置100が高い計測結果を出力することができる。
【0115】
図21は、実施の形態1における地物識別処理(S203)を示す図である。
地物識別部330が実行する地物識別処理(S203)について、図21に基づいて以下に説明する。
図21は、車両からレーザレーダ240を横方向に一度振って取得したLRFデータに基づく路面形状モデルの例を示している。これは、丁度道路を進行方向に対して垂直方向に輪切りにした場合の道路断面に相当する。本例では、第1グループAは、自車が走行する車道であり、エッジ位置は、道路と歩道の境界である、路肩であり、第1グループBは歩道、第1グループCは壁面、そして第2グループはポール等である。
【0116】
地物識別部330において、ラベリング部331は移動体除去部320が生成した移動体を除去した路面形状モデル(以下、移動体除去モデルとする)が示すレーザ計測点群をグループ分けする(S203a:ラベリング処理)。
このとき、ラベリング部331は車両が走行した位置の三次元座標を有するレーザ計測点とそのレーザ計測点から三次元座標値が連続するレーザ計測点群とを第1グループとし、それ以外のレーザ計測点群を第2グループとする。
次に、エッジ判定部332は第1グループのレーザ計測点群が表す線分において角度変化が閾値以上である部分をエッジ部分として特定する(S203b:エッジ判定処理)。
そして、地物判定部333はエッジ部分を境界として第1グループのレーザ計測点群を複数のグループに細分化し、グループ毎に各レーザ計測点に位置した地物の種別を特定する(S203c:地物判定処理)。
このとき、地物判定部333は第1グループのレーザ計測点群を車両が走行した位置に対応する第1グループAと第1グループAから特定の範囲に収まる高さに位置する縦横方向に連続する第1グループBと縦方向に連続する第1グループCとにグループ分けする。
また、地物判定部333は第1グループAを「車道」、第1グループBを「歩道」、第1グループCを「壁面」、第2グループを「その他(ポール、キロポスト、標識など)」として識別する。
【0117】
ここまで説明した図12に示すデジタイジング処理(S104)の別形態として、地物識別装置300は路面形状モデルから移動体を除去しなくても構わない。つまり、デジタイジング処理(S104)においてモーションステレオ処理(S201)および移動体除去処理(202)を実行しなくても構わない。
【0118】
この場合、地物識別部330は例えば図22に示すアルゴリズムで地物識別処理(S203)を実行する。
またこの場合、地物識別部330は路面形状モデル生成部150に相当する処理部を備える。ここでは、路面形状モデル生成部150に相当する処理部を3Dモデル生成部334(図示省略)とする。
【0119】
図22は、実施の形態1における地物識別処理(S203)の流れを示すフローチャートである。
図22において、ラベリング部331は観測データ記憶部199からLRFデータを入力し、LRFデータが示す距離・方位から得た二次元距離情報に対してラベリングを行い、LRFデータを車道と連続する第1グループとその他の地物を表す第2グループとにグループ分けする(S203a:ラベリング処理)。
このとき、ラベリング部331は、車両の真下に位置するレーザ計測点は必ず車道であるということを利用して、LRFデータを車道と連続した点群の第1グループとそれ以外の第2グループとに分ける。ここで、車両の真下に位置するレーザ計測点とは車両の進行方向に相当する90[deg]を方位とする距離データのことである。
次に、エッジ判定部332は車道と連続した点群である第1グループからエッジを抽出する(S203b:エッジ判定処理)。
次に、地物判定部333はエッジに基づいて第1グループを歩道、車道、壁面に分類分けする(S203c:地物判定処理)。
そして、3Dモデル生成部334は観測データ記憶部199から車両位置姿勢データおよびレーザレーダ位置姿勢データを入力し、車両の位置・姿勢およびレーザレーダ240の位置・姿勢に基づいてLRFデータを三次元アフィン変換し、三次元の点群で表される路面形状モデルを生成する(S203d:3Dモデル生成処理)。
【0120】
次に、図12において、計測画像点取得部340が実行する計測画像点取得処理(S204)について説明する。
計測画像点取得部340は地物識別部330が識別した車道面と歩道面と壁面とその他の地物との種別についてユーザへの通知を行い(S204a:画像表示処理)、ユーザが指定した計測画像点を入力する(S204b:画像点入力処理)。
ユーザに地物の種別を通知する具体的な通知方法には、ユーザが指定した選択領域について“車道”、“歩道”、“壁面”、“その他の地物”という属性を表示する方法がある。
また、移動体除去部320が生成した移動体除去モデルまたは路面形状モデルをカメラ230の撮像面に投影し、画像と移動体除去モデル(または路面形状モデル)と地物の種別とを重畳して表示装置に表示してもよい。また、移動体除去モデル(または路面形状モデル)と地物の種別とのいずれかを画像に重畳させて表示してもよい。また、表示は重畳ではなく、上下・左右など並べて形で行ってもよい。地物の種別は、移動体除去モデル(または路面形状モデル)のレーザ計測点群に対応しているため、移動体除去モデル(または路面形状モデル)に対応する位置に表示することで画像に重畳させることができる。また、除去した移動体領域について路面形状モデルと地物の種別(移動体)との少なくともいずれかを画像に重畳させてもよい。
さらに、移動体除去モデルを地物の種別に応じて色分け表示してもよい。
移動体除去モデルをカメラ230の撮像面に投影して画像に重畳表示する方法は、後述する3Dモデリング処理(S105)における処理方法と同様である。
【0121】
ここで、図3における3Dモデリング処理(S105)について、図23に基づいて以下に説明する。
図23は、実施の形態1における3Dモデリング処理(S105)の流れを示すフローチャートである。
【0122】
<S401:車両・レーザ同期データ作成処理>
まず、路面形状モデル生成部150は車両位置姿勢データとLRFデータ(方位・距離データ)とを同期させた車両・レーザ同期データを生成する。
【0123】
<S402:レーザ・カメラ同期データ作成処理>
また、路面形状モデル生成部150はLRFデータと画像時刻データとを同期させたレーザ・カメラ同期データを生成する。
【0124】
<S403:対応LRFデータ抽出処理>
次に、路面形状モデル生成部150は、ユーザが計測画像点を指定した画像(以下、指定画像とする)を識別する指定画像番号に基づいて、レーザ・カメラ同期データから指定画像と同期するLRFデータ(以下、対応LRFデータとする)を抽出する。
【0125】
<S404:三次元アフィン変換処理>
そして、路面形状モデル生成部150は、車両・レーザ同期データから対応LRFデータと同期する車両の位置・姿勢を抽出し、車両の位置・姿勢とレーザレーダの位置・姿勢とに基づいて対応LRFデータを三次元アフィン変換する。三次元アフィン変換により、路面形状モデル生成部150は、計測画像点が指定された画像に対応するレーザ計測点群をENU座標で表した路面形状モデルを生成する。
【0126】
ここで、三次元アフィン変換処理(S404)の詳細について説明する。
LRFデータから得られたレーザ計測点の三次元座標を(x,y0,)とおくとLRFデータのレーザ計測点群は以下の式1、式2によって車両位置に対する三次元座標(x,y,z)へ変換される。また、車両の上に搭載される天板103と、LRF(レーザレーダ240)、カメラ230の位置関係を図4および図5に示す。
【0127】
【数2】
JP0004344869B2_000003t.gif

【0128】
は、レーザレーダ240のレーザスキャン面の高さであり、ここではレーザレーダ240の基準をスキャン面にとっているため0である。
【0129】
次に、車両の位置・姿勢を考慮し、式3、式4を用いた変換によりENU座標系の路面形状モデルを取得する。ここで、路面形状モデル上の点を(Nlrf,Ulrf,Elrf)とする。
【0130】
【数3】
JP0004344869B2_000004t.gif

【0131】
これらに基づいて作成したENU座標の点群として表される路面形状モデルについて図6、図7および図8に示す。
例えば、図7では路面形状モデルの三次元点群データ(路肩)において左側に位置する歩道(段差部分)と右側の道路との境目が見て取れる。
また、図9に示す光学画像を三次元点群データで表わした図8では道路に沿った斜面の形状(道路断面形状)が見て取れる。
【0132】
次に、図3における地物位置標定処理(S106)について説明する。
【0133】
図24は、実施の形態1における地物位置標定処理(S106)における地物位置の算出方法を示す図である。
実施の形態1における地物位置の算出方法の概要について図24に基づいて以下に説明する。
【0134】
地物位置標定処理(S106)では、カメラ中心から画像平面上の計測画像点へのLOSベクトルと、路面形状モデルを画像平面に投影した際に計測画像点に近接する3点(P1’、P2’、P3’)に対応する投影前の3点(P1、P2、P3)が成す平面(路面モデル対応面)との交点のENU座標を地物位置として算出する。
【0135】
図25は、実施の形態1における地物位置標定処理(S106)の流れを示すフローチャートである。
【0136】
<S501:車両・カメラ同期データ作成処理>
まず、カメラLOS演算部140は、車両位置姿勢データと画像時刻データとを同期させた車両・カメラ同期データを生成する。
【0137】
<S502:3Dモデル投影処理>
次に、路面モデル対応点探索部170のモデル投影部172は車両・カメラ同期データから指定画像と同期する車両の位置・姿勢を抽出し、車両の位置・姿勢およびカメラの位置・姿勢に基づいて路面形状モデルを画像平面に投影する。そして、画像と路面形状モデルとを重畳して表示装置に表示する。
【0138】
ここで、モデル投影部172が実行する3Dモデル投影処理(S502)の詳細について説明する。
モデル投影部172は路面形状モデルをカメラの画像平面に対し投影変換する。
カメラ座標系に対する路面形状モデルの点群データの位置(xcam,ycam,zcam)は以下の式5、式6で表わされる。
【0139】
【数4】
JP0004344869B2_000005t.gif

【0140】
次に、これらの点とカメラ中心(xcam0,ycam0,zcam0)のなす直線は以下の式7、式8、式9および式10で表わされる。
【0141】
【数5】
JP0004344869B2_000006t.gif

【0142】
またこのとき、画像平面はカメラ230を理想的なピンホールカメラと仮定すると焦点距離fを用いて以下の式11で表される。
z=f ・・・(式11)
【0143】
この画像平面と直線との交点が路面形状モデルのレーザ計測点を画像へ投影した点である。
投影変換を行った画像を図10に示す。図からもわかるように投影変換された点と画像とのマッチングがしっかりと取れていることがわかる。例えば、投影変換した点が表す段差と画像が示す路面の段差とが一致していることが図から分かる。
【0144】
次に、図25において近傍3点抽出処理(S503)について説明する。
路面モデル対応点探索部170の近傍抽出部171は路面形状モデルのレーザ計測点群から計測画像点の近傍3点を抽出する。
図26は、実施の形態1における近傍3点抽出処理(S503)の流れ示すフローチャートである。
図27は、実施の形態1における近傍3点抽出処理(S503)を示す図である。
路面モデル対応点探索部170の近傍抽出部171が実行する近傍3点抽出処理(S503)の詳細について、図26、図27に基づいて以下に説明する。
【0145】
図26、図27において、近傍抽出部171は画像平面に投影した路面形状モデルのレーザ計測点群から計測画像点Pinの最近傍点P1を算出する(S601)。
次に、近傍抽出部171は、最近傍点P1を含むスキャンラインS2の前後のスキャンラインS1、S3から、スキャンラインS2との間で計測画像点Pinを内部に含むスキャンラインS3を選択する(S602)。
次に、近傍抽出部171は最近傍点P1と計測画像点Pinとを結ぶ直線Lを算出する(S603)。
そして、近傍抽出部171は、選択したスキャンラインS3において、直線Lの右側において直線Lに最も近い点P2、直線Lの左側において直線Lに最も近い点P3を算出し、算出した最近傍点P1、点P2、点P3に対応する画像平面投影前の点を計測画像点Pinの近傍3点として出力する(S604)。
【0146】
スキャンラインとはレーザレーダ240が横方向に一回振りながらレーザを照射して取得したレーザ計測点群であり、一つのスキャンラインのレーザ計測点群は線分を形成する。
【0147】
近傍3点抽出処理(S503)において抽出した計測画像点の近傍3点をP1(xp1、yp1、zp1)、P1(xp2、yp2、zp2)、P3(xp3、yp3、zp3)とすると、計測画像点の近傍3点が成す3次元空間の面(路面モデル対応面)の方程式は以下の式12で表される。
【0148】
【数6】
JP0004344869B2_000007t.gif

【0149】
次に、図25においてLOS計算処理(S504)について説明する。
【0150】
<S504:LOS計算処理>
カメラLOS演算部140は車両・カメラ同期データから指定画像と同期する車両の位置・姿勢を抽出し、車両の位置・姿勢とカメラの位置・姿勢とに基づいて計測画像点と指定画像のカメラ中心とのENU座標を算出し、カメラ中心から計測画像点へのLOSベクトルをENU座標系で算出する。
【0151】
ここで、計測画像点が示す画像上の位置を(U,V)とすると、以下の式13、式14および式15を用いてENU座標における計測画像点(N,U,E)が求められる。
【0152】
【数7】
JP0004344869B2_000008t.gif

【0153】
ここで、U_SIZEはカメラの水平CCD(Charge Coupled Devices)画素サイズで、例えば、NTSC(National Television
Standards Committee)カメラでは640[pixel]、V_SIZEは垂直CCD画素サイズで同様に480[pixel]、(U,V)は画像面上の計測画像点の位置、Pixel_SIZEは画素の大きさで正方形のCCD素子を例にとると数十[μm]である。
【0154】
そして、この計測画像点(N,U,E)とカメラ中心を通るLOSベクトルは以下の式16、式17、式18および式19で表される。
【0155】
【数8】
JP0004344869B2_000009t.gif

【0156】
次に、図25において交点計算処理(S505)について説明する。
【0157】
<S505:交点計算処理>
路面モデル対応点探索部170は近傍3点抽出処理(S503)で抽出した近傍3点が成す平面とLOS計算処理(S504)で算出されたLOSベクトルとの交点のENU座標をユーザが指定した計測画像点に写る地物の位置として算出する。
【0158】
つまり、路面モデル対応点探索部170は式12で表される近傍3点が成す平面と式16~式19で表されるLOSベクトルとの交点を地物位置(x,y,z)として算出する。
【0159】
実施の形態2.
実施の形態2では、実施の形態1で説明した道路地物位置計測処理中の画像表示処理(S204a)において画像表示部341が表示する道路地物計測画面400について説明する。
【0160】
図28は、実施の形態2における道路地物計測システム101のシステム構成および道路地物計測装置B500の機能構成を示す図である。
道路地物計測装置B500は、実施の形態1で説明した道路地物計測装置100から車両位置姿勢(3軸)演算部110、路面形状モデル生成部150、レーザレーダ位置姿勢演算部160および地物識別装置300の一部(モーションステレオ部310、移動体除去部320、地物識別部330)を外部に除いた装置である。
【0161】
車両位置姿勢(3軸)演算部110により算出された車両位置姿勢、カメラ取付オフセット、路面形状モデル生成部150により生成された路面形状モデル、カメラ230により取得された画像データ、地物識別部330により特定された地物種別などのデータは、観測データ記憶部B598に記憶され、観測データ記憶部B598から道路地物計測装置B500に入力され、観測データ記憶部199に記憶される。ハードディスクドライブ、DVD、USBメモリなどの物理的な記憶媒体は観測データ記憶部B598の一例である。また、観測データ記憶部B598から道路地物計測装置B500への各データの入力は、記憶媒体からの直接読み込みにより行われたり、インターネットやLAN(ローカルエリアネットワーク)等のネットワークを介した通信により行われたりする。
【0162】
画像表示部341は、OS921(またはブラウザ)の機能を用いて、カメラ230により撮影された画像(以下、撮影画像401という)や路面モデル対応点探索部170により算出された地物位置などを表示装置901に表示する。
画像点入力部342は、OS921(またはブラウザ)の機能を用いて、ユーザがマウス903やキーボード902などの入力機器を用いて指定した情報(例えば、計測画像点)を入力する。
路面モデル対応点探索部170は、計測画像点に対応する三次元座標値として算出した地物位置を計測位置データ記憶部599に記憶する。また、路面モデル対応点探索部170は、地物位置と対応付けて、計測画像点、計測画像点の指定がなされた撮影画像401を識別する指定画像番号および計測画像点で指し示される地物の種類を識別する地物種別を計測位置データ記憶部599に記憶する。以下、対応付けて記憶された地物位置、計測画像点、指定画像番号および地物種別を計測位置データという。
【0163】
図29は、実施の形態2における道路地物計測画面400を示す図である。
画像表示部341は、実施の形態1で説明した画像表示処理(S204a)において、図29に示すような道路地物計測画面400を道路地物計測装置B500として機能するパーソナルコンピュータの表示装置901に表示する。道路地物計測画面400は、ユーザに計測画像点の指定を促し、ユーザに計測結果(地物位置)を提供するユーザインタフェース(マンマシンインタフェース)となる。
【0164】
以下に、道路地物計測画面400の構成要素および画像表示部341の動作について図29に基づいて説明する。
【0165】
道路地物計測画面400には撮影画像401が含まれる。
さらに、道路地物計測画面400には、指定画像番号411、計測画像点412および地物位置414それぞれを示すテキストボックスが含まれる。
さらに、道路地物計測画面400には、地物種別の一覧を示す種別リストボックス417が含まれる。
さらに、道路地物計測画面400には、地物位置414の算出要求時に押下される計算要求ボタン415および計測位置データの保存要求時に押下される保存要求ボタン416が含まれる。
道路地物計測画面400は画像表示部341により表示装置901に表示される。
【0166】
画像表示部341はユーザに選択された撮影画像401を道路地物計測画面400上に表示する。
【0167】
例えば、画像表示部341は、道路地物計測画面400の表示前に、ユーザに撮影画像401の選択を促す画像選択画面を表示装置901に表示する。例えば、画像選択画面は、各撮影画像401の画像番号のリスト表示であったり、各撮影画像401のサムネイル(縮小画像)の一覧表示であったりする。画像表示部341は、表示装置901の画面に収まらない画像番号のリストやサムネイルの一覧をユーザのマウス操作に応じてスクロールさせて表示する。ユーザは、マウス903を用いて、画像選択画面に表示された複数の撮影画像401のうちから所望の画像を1つ選択する。そして、画像表示部341はユーザに選択された撮影画像401(画像データ)を観測データ記憶部199から取得し、道路地物計測画面400上に表示する。また、画像表示部341はユーザに選択された撮影画像401の画像番号を指定画像番号411として道路地物計測画面400のテキストボックスに表示する。
【0168】
また例えば、ユーザはキーボード902を用いて道路地物計測画面400の指定画像番号411のテキストボックスに画像番号を入力して所望の撮影画像401を指定してもよい。画像表示部341は指定画像番号411のテキストボックスに入力された画像番号で識別される撮影画像401(画像データ)を観測データ記憶部199から取得し、道路地物計測画面400上に表示する。
【0169】
図29では、画像番号「nnnnn」で識別される撮影画像401が表示されている。表示された撮影画像401には2車線の車道405と車道405の両側に設けられている歩道404とが写っている。車道405には中央線406と2本の白線407とが引かれている。また、画面の右側に写っている歩道404には道路標識408および電柱409が立設され、画面の左側に写っている歩道404にはkmポスト403(キロポスト)が立設されている。
【0170】
画像表示部341はユーザに指定された計測画像点412を道路地物計測画面400上に表示する。
【0171】
例えば、ユーザはマウス903を動かしてマウスカーソル402を撮影画像401上の所望の位置に移動させ、マウス903をクリックして計測画像点412を指定する。画像表示部341はマウス903をクリックされたときにマウスカーソル402により指し示されている撮影画像401上での座標(U、V)を計測画像点412として道路地物計測画面400上に表示する。
【0172】
また例えば、ユーザはキーボード902を用いて道路地物計測画面400のテキストボックスに撮影画像401上の所望の座標を計測画像点412として入力してもよい。
【0173】
画像表示部341は、種別リストボックス417内でユーザに指定された地物種別413を明示する。
例えば、ユーザは種別リストボックス417に示される複数の地物種別の中から計測画像点412に対応する地物種別を一つ選び、選んだ地物種別413上にマウスカーソル402を移動させ、マウス903をクリックして地物種別413を指定する。画像表示部341は指定された地物種別413の背景色を変更する。
図29では、「左側白線左エッジ」、「左側白線右エッジ」、「右側白線左エッジ」、「右側白線右エッジ」、「規制標識(青○)」、「規制標識(赤○)」、「警戒標識(黄△)」、「指示標識(青□)」、「横断標識(青△)」、「案内標識(緑□)」などから、「kmポスト」が地物種別413として指定されている。
【0174】
また例えば、地物種別413は、種別リストボックス417内で選択されず、別途用意されたテキストボックス内にユーザによりキーボード902から直接入力されても構わない。
【0175】
画像表示部341は路面モデル対応点探索部170により算出された地物位置414を道路地物計測画面400上に表示する。
【0176】
例えば、ユーザは、指定した計測画像点412に対応する地物位置414を得たい場合、マウス903を動かしてマウスカーソル402を計算要求ボタン415上に移動させ、マウス903をクリックして計算要求ボタン415を押下する。計算要求ボタン415が押下された場合、画像点入力部342は指定画像番号411、計測画像点412および地物種別413をOS921またはブラウザから入力する。そして、画像点入力部342は、計測画像点412をカメラLOS演算部140と計測位置データ記憶部599とに出力し、指定画像番号411をカメラLOS演算部140と路面モデル対応点探索部170と計測位置データ記憶部599とに出力し、地物種別413を計測位置データ記憶部599に出力する。そして、路面モデル対応点探索部170は計測画像点412に対応する地物位置414を地物位置標定処理(S106)で算出する。また、画像表示部341は路面モデル対応点探索部170により算出された地物位置414を道路地物計測画面400上に表示する。
【0177】
また、ユーザは、地物位置414を含む計測位置データを保存したい場合、マウス903を動かしてマウスカーソル402を保存要求ボタン416上に移動させ、マウス903をクリックして保存要求ボタン416を押下する。保存要求ボタン416が押下された場合、計測位置データ記憶部599は地物位置414、指定画像番号411、計測画像点412および地物種別413を紐付けして計測位置データとして記憶する。紐付け(対応付け)とは、各データが記憶された記憶領域のアドレスを関連付けることである。
【0178】
つまり、画像表示部341は、観測データ記憶部199に格納されている時系列の画像データのうち、ユーザのマウス操作によるスクロール選択により指定された画像データを、道路地物計測装置B500として機能するパーソナルコンピュータの画面(道路地物計測画面400)(以下、PC画面とする)上に表示させる。
また、画像点入力部342は、ユーザのマウス操作で指定された計測画像点412、PC画面上でマウス操作によりスクロール選択された画像の指定画像番号411、地物の種別を示す地物ID(地物種別413)を取得する。
また、路面モデル対応点探索部170は、撮像時刻で関連付けされた車両位置姿勢角のデータ、カメラ取付オフセットおよび路面形状モデルなどの観測データ記憶部199に格納されているデータと計測画像点412と指定画像番号411とに基づいて地物位置414(アウトプットデータ)を算出する。
そして、画像表示部341は地物位置414をPC画面上に表示し、計測位置データ記憶部599は地物位置414と計測画像点412と指定画像番号411と地物種別413とを関連付けて計測位置データとして格納する。
画像表示部341は、「aaaの座標は(x、y、z)である」というように、地物種別413および地物位置414を用いた文章で計測結果を表示してもよい。「aaa」には地物種別413が設定され、「x、y、z」には地物位置414が設定される。
【0179】
実施の形態2において、以下のような計測装置について説明した。
計測装置(例えば、道路地物計測装置B500)は画像記憶部(観測データ記憶部199)、三次元点群モデル記憶部(観測データ記憶部199)、画像表示部、計測画像点取得部(画像点入力部342)および位置算出部(路面モデル対応点探索部170)を備える。
【0180】
画像記憶部は、カメラ230から撮像された画像(撮影画像401)を記憶する。
三次元点群モデル記憶部は、前記カメラが撮像する撮像箇所をレーザ装置により計測した点群から構成されると共に各点群の位置が判明している三次元点群モデル(路面形状モデル)を記憶する。
画像表示部は、前記画像記憶部に記憶された画像を表示装置の画面に表示して、ユーザに画像内の位置を指定することを促す。画像内の位置とは、画像平面の画素の2次元座標位置(u、v)のことである。
計測画像点取得部は、ユーザが指定した画像内の位置を計測画像点として入力装置から入力する。
位置算出部は、前記三次元点群モデル記憶部が記憶した前記三次元点群モデルの点群のなかから、前記計測画像点取得部が取得した前記計測画像点に対応する対応点(近傍点)を検出して、検出した前記対応点の位置を用いて前記計測画像点取得部が取得した前記計測画像点の三次元の位置(地物位置414)を特定する。
【0181】
また、前記画像表示部は、前記画像記憶部に記憶された複数の画像を一覧にして前記表示装置の画面に表示してユーザに画像を指定することを促し、ユーザが指定した画像を前記表示装置の画面に表示してユーザに画像内の位置を指定することを促す。
【0182】
さらに、前記計測装置は、前記位置算出部が特定した前記計測画像点の位置を前記画像表示部が前記画像を表示した前記表示装置の前記画面に表示する結果表示部(画像表示部341)を備える。
【0183】
さらに、前記計測装置は、位置計測の対象とする地物の種別をユーザに指定させ、ユーザにより指定された地物の種別を入力装置から入力する種別入力部(画像点入力部)を備える。
さらに、前記計測装置は、前記計測画像点取得部が取得した前記計測画像点と、前記位置算出部が特定した前記計測画像点の位置と、前記種別入力部が入力した地物の種別とを関連付けて記憶機器に記憶する結果記憶部(計測位置データ記憶部599)を備える。
【0184】
上記の計測装置(例えば、道路地物計測装置B500)によれば、作業者が計測したい現地に実際に行き、計測点ごとに測量を行うという従来の測量作業が不要となり、車両の走行中に得られた自動計測データを用いて、PC画面上でのクリックのみで測量が可能となる。このため、上記の計測装置は測量に関わる様々な産業において大きな効果を得られる。例えば、測量作業の時間や経費を大幅に削減することができる。また例えば、従来、作業者が計測点の測量結果を紙などに記入していたが、上記の計測装置では自動でPCのハードディスクに測量結果(地物位置)が格納されるため、転記ミスがなく、測量結果の信頼性が向上する。
【0185】
実施の形態3.
実施の形態3では、路面モデル対応点探索部170が実行する地物位置標定処理(S106)について説明する。
以下、実施の形態1と異なる事項を主に説明し、説明を省略する事項については実施の形態1と同様とする。
【0186】
図30は、実施の形態3における路面モデル対応点探索部170の機能構成を示す図である。
【0187】
図30に示すように、路面モデル対応点探索部170は近傍抽出部171、モデル投影部172、近傍平面算出部173および地物位置算出部174を備える。
【0188】
モデル投影部172は、実施の形態1で説明したように、路面形状モデルの点群を画像平面に投影する。
近傍抽出部171は、モデル投影部172により画像平面に投影された路面形状モデルの点群から計測画像点の近傍1点を抽出する。
近傍平面算出部173は、近傍抽出部171が抽出した近傍1点を含む特定の平面(近傍平面)を算出する。
地物位置算出部174は、近傍平面算出部173が算出した特定の平面とカメラLOS演算部140(ベクトル算出部)が算出したLOSベクトルとの交点を地物位置(計測画像点の三次元位置)として算出する。
【0189】
図31は、実施の形態3における地物位置標定処理(S106)の流れを示すフローチャートであり、実施の形態1の図25に対応する図である。
図31に示すように、実施の形態3における地物位置標定処理(S106)では、実施の形態1での近傍3点抽出処理(S503)の代わりに、近傍抽出処理(S503B1)および近傍平面算出処理(S503B2)が実行される。その他の処理は実施の形態1と同じである。
【0190】
図32は、実施の形態3における地物位置標定処理(S106)における地物位置の算出方法を示す図であり、実施の形態1の図24に対応する図である。
近傍抽出処理(S503B1)および近傍平面算出処理(S503B2)について、図32に基づいて以下に説明する。
【0191】
ここで、路面形状モデルのレーザ計測点群(図32の黒丸)は、3Dモデル投影処理(S502)においてモデル投影部172により画像平面(カメラ230の撮像面)に投影されている。
【0192】
近傍抽出処理(S503B1)において、近傍抽出部171は、画像平面上で計測画像点に近いレーザ計測点を近傍点P1として特定する。例えば、近傍点P1は、画像平面上で計測画像点に最も近いレーザ計測点、画像平面の横軸方向で計測画像点に最も近いレーザ計測点または画像平面の縦軸方向で計測画像点に最も近いレーザ計測点である。また例えば、近傍点P1は、画像平面上で計測画像点から所定の範囲内に投影された複数のレーザ計測点のうちのいずれか1点である。
【0193】
図32では、近傍点P1を画像平面に投影した点を「P1’」で示している。また、近傍点P1の三次元座標はENU座標系において(x、y、z)を示すものとする。
【0194】
そして、近傍平面算出処理(S503B2)において、近傍平面算出部173は、近傍点P1と同じ高さ(U座標軸方向)の水平面(U=z)を近傍平面として算出する。近傍平面は近傍点P1を含む水平面であり、U座標軸と直交する平面である。
【0195】
近傍平面算出処理(S503B2)の後、地物位置算出部174は、、近傍平面算出処理(S503B2)で算出された近傍平面とLOS計算処理(S504)で算出されたカメラ中心から計測画像点に向かうLOSベクトルとの交点(x、y、z)を地物位置414として算出する(交点計算処理[S505])。
【0196】
近傍平面算出部173により算出される近傍平面は、計測画像点412として指定された地物の位置する路面(歩道404や車道405)を表している。これは、路面が極端に傾斜していないため、近傍点P1と計測画像点に対応する地物との間では路面をほぼ水平とみなすことができるためである。このため、近傍点P1を含んだ水平な近傍平面と計測画像点のLOSベクトルとの交点を、計測画像点412に対応する地物の路面上での位置とみなすことができる。
【0197】
計測対象の地物が路面ではなく略垂直な壁面に位置するような場合などにおいて、近傍平面は、N座標軸またはE座標軸に直交する垂直面として算出されてもよい。
【0198】
また、計測対象の地物が路面ではなく山の斜面に位置するような場合などにおいて、近傍平面は、山の斜面と同じ傾きを有する平面として算出されてもよい。
【0199】
近傍平面を水平面、垂直面または斜面のいずれで表すかは、地物識別部330により判定された地物種別のうち近傍点P1の含まれる点群により表される地物の地物種別に基づいて、地物識別部330が当該地物の成す面を特定し、その面のタイプを判定して決定してもよい。
【0200】
また、実施の形態1の近傍3点抽出処理(S503)において、近傍点P1のE座標軸の値に所定値nを加えた値(x+n、y、z)を近傍点P2の座標値とし、近傍点P1のN座標軸の値に所定値nを加えた値(x、y+n、z)を近傍点P3の座標値としてもよい。近傍3点抽出処理(S503)の後、交点計算処理(S505)において、地物位置算出部174は近傍点P1、近傍点P2および近傍点P3を含んだ平面と計測画像点のLOSベクトルとの交点を地物位置414として算出する。近傍点P1、近傍点P2および近傍点P3を含んだ平面は近傍平面に相当する。
【0201】
実施の形態3において、以下のような計測装置について説明した。
計測装置(例えば、道路地物計測装置100)は計測画像点取得部(画像点入力部342)、ベクトル算出部(カメラLOS演算部140)、近傍抽出部171、近傍平面算出部173および地物位置算出部174を備える。
【0202】
計測画像点取得部は、カメラから撮像された画像を表示装置に表示し、ユーザが位置計測の対象として指定した画像内の位置を計測画像点として入力装置から入力する。
ベクトル算出部は、前記カメラのカメラ中心から前記計測画像点取得部が入力した計測画像点への方向を示すベクトル(LOSベクトル)を算出する。
近傍抽出部171は、前記計測画像点の近傍1点(少なくとも1点又は1点のみ)を前記三次元点群モデルの点群から抽出する。
近傍平面算出部173は、前記近傍抽出部171が抽出した前記近傍1点を含む特定の平面(近傍平面)を算出する。
地物位置算出部174は、前記近傍平面算出部173が算出した特定の平面と前記ベクトル算出部が算出したベクトルとの交点を前記計測画像点の三次元の位置(地物位置)として算出する。
【0203】
前記計測装置は、さらに、前記三次元点群モデルの点群を前記画像に対応する前記カメラの撮像面に投影するモデル投影部172を備える。
そして、前記近傍抽出部171は、前記モデル投影部172により前記撮像面に投影された前記三次元点群モデルの点群のうち前記撮像面内で前記計測画像点から最も近い点と前記撮像面の横軸方向で前記計測画像点から最も近い点と前記撮像面の縦軸方向で前記計測画像点から最も近い点とのいずれかの点を前記近傍1点として抽出する。
【0204】
前記近傍平面算出部173は、前記計測画像点の前記近傍1点を含む水平面を前記特定の平面として算出する。
【0205】
前記近傍平面算出部173は、前記計測画像点の前記近傍1点を含む平面であって前記三次元点群モデルに使用されている座標系を示すX-Y-Z座標系(例えば、ENU座標系)でX軸(E軸)とY軸(N軸)とZ軸(U軸)とのいずれかと直交する平面を前記特定の平面として算出する。
【0206】
前記計測装置は、さらに、位置計測の対象とする地物の種別をユーザに指定させ、ユーザにより指定された地物の種別を入力装置から入力する種別入力部(画像点入力部342)を備える。
前記近傍平面算出部173は、前記種別入力部により入力された地物の種別に基づいて、前記計測画像点の前記近傍1点の含まれる点群により表される地物の成す面を平面で表して前記特定の平面を算出する。
【0207】
実施の形態2で説明した道路地物計測装置B500における路面モデル対応点探索部170が近傍3点抽出処理(S503)の代わりに近傍抽出処理(S503B1)および近傍平面算出処理(S503B2)を実行しても良い。
【0208】
道路地物計測システム101および道路地物計測装置100(または、道路地物計測装置B500)は、実施の形態1~実施の形態3で説明した各事項を全て組み合わせて選択的に動作させてもよい。
【0209】
実施の形態1~実施の形態3では、以下のような道路地物計測システム101について説明した。
道路地物計測システム101は、3次元地物位置計測台車(MMS、計測台車102)により取得した道路周辺の方位・距離データ(3次元点群データ、路面形状モデル)および画像データ(撮影画像401)を用いて、道路周辺地物の位置を計測する。
道路地物計測システム101は、端末画面(道路地物計測画面400)内に表示される画像データ(撮影画像401)について、地物の位置をクリックすることで得られる2次元表示点(計測画像点412)を3次元点群データに対応付けることにより、道路周辺地物の3次元位置を端末画面内で計測する。
例えば、計測台車102においてカメラ230が道路を撮像して道路の画像データを取得し、レーザレーダ240が道路周辺の地物に対する方位・距離データを取得する。また、路面形状モデル生成部150は画像に撮像された静止物の三次元モデルを生成し、静止物の三次元モデルと方位・距離データに基づく路面形状モデルとを比較して静止物のみを示す路面形状モデルを生成する。そして、路面モデル対応点探索部170はカメラ230で撮像した道路画像上でマウスなどにより指定された地物の位置を路面形状モデルの点群データに対応付け、カメラ230の視線ベクトルに基づいて指定点の3次元位置を計測する。
【0210】
実施の形態4.
実施の形態2で説明した道路地物計測装置B500を組み込んだCAD装置600(CAD:Computer Aided Design)について説明する。
例えば、CAD装置600は道路を製図し、製図された道路を表す道路データ(作図データ)を生成する。道路管理台帳やカーナビゲーションシステムで用いられる地図は道路データ(作図データ)の一例である。
以下、実施の形態2と異なる事項について主に説明し、説明を省略する事項については実施の形態2と同様であるものとする。
【0211】
図33は、実施の形態4における道路地物計測システム101のシステム構成およびCAD装置600の機能構成を示す図である。
図33において、CAD装置600は、実施の形態2で説明した道路地物計測装置B500の構成に加えて、製図部610とCAD記憶部699とを備える。例えば、CAD装置600は、道路管理台帳用付図作成用のCADである。
製図部610(描画部)はCADの機能を実行する。例えば、製図部610は、作成する図の内容を示す作図命令を入力機器から入力し、入力した前記作図命令に基づいて複数の要素を含んだ図をCPUを用いて表示装置901の画面に描画する(描画処理)。
また、製図部610(作図部)は、描画した図に含まれる複数の要素からいずれかの要素をユーザに指定させ、指定された要素に対応する地物位置(計測画像点の三次元の位置)を路面モデル対応点探索部170(位置算出部)から取得して、描画した図を表すと共に地物位置をユーザに指定された要素の三次元の位置として示す作図データ(例えば、道路データ)をCPUを用いて作成する(作図処理)。
CAD記憶部699は製図部610により作成された作図データを記憶機器を用いて記憶する。
【0212】
図34は、実施の形態4におけるCAD画面620を示す図である。
製図部610および画像表示部341は図34に示すようなCAD画面620をCAD装置600の表示装置901に表示する。例えば、CAD画面620は道路管理台帳用付図作成用のCADの画面である。
【0213】
以下に、CAD画面620の構成要素について図34に基づいて説明する。
【0214】
CAD画面620には図形ツールバー621、道路図622、計測画面表示ボタン623、保存要求ボタン624および道路地物計測画面400が含まれる。
図形ツールバー621は直線、曲線、円、多角形、矢印などの複数の図形の種類を示し、ユーザに描画する図形の種類の指定を促す図形描画用のツールバーである。
道路図622はユーザの指定に基づいて描画された図である。
計測画面表示ボタン623は道路地物計測画面400(実施の形態2参照)の表示要求時に押下されるボタンである。
保存要求ボタン624は道路図622の保存要求時に押下されるボタンである。
道路地物計測画面400は計測画面表示ボタン623が押下されたときに道路図622と並べられて又は道路図622に重畳されて表示される。但し、道路地物計測画面400は予め表示されていてもよい。
CAD画面620は製図部610および画像表示部341により表示装置901に表示される。
【0215】
次に、CAD画面620を表示する製図部610および画像表示部341の動作について説明する。
【0216】
例えば、ユーザはマウス903を動かしてマウスカーソル402を図形ツールバー621上の所望の図形の種類が示された部分に移動させ、マウス903をクリックして描画する図形の種類を指定する。製図部610は指定された種類の図形をCAD画面620に描画する。また、ユーザはマウス903を動かしてマウスカーソル402を操作し、CAD画面620に表示された図形の移動、拡大・縮小、変形などの図形操作を指定する。製図部610はCAD画面620に表示した図形を指定された図形操作に従って再描画する。ユーザはこれらの指定を繰り返して複数の図形が組み合わされた道路図622を作成する。道路図622には道路近辺に点在する地物(kmポスト625、道路標識626など)を表す複数の図形(要素)が含まれる。ユーザによる図形の種類の指定や図形操作の指定は、作成する図の内容を示す作図命令の一例である。
【0217】
さらに、ユーザは、道路図622に示されている地物に実物が位置している三次元座標を設定したい場合、マウス903を動かしてマウスカーソル402を計測画面表示ボタン623上に移動させ、マウス903をクリックして計測画面表示ボタン623を押下する。計測画面表示ボタン623が押下された場合、画像表示部341は道路地物計測画面400を表示する。
以下、ユーザが道路図622のkmポスト625に三次元座標を設定したい場合について説明する。
【0218】
次に、ユーザは道路図622に対応する撮影画像401を指定し、画像表示部341は指定された撮影画像401を地物道路地物計測画面400に表示する。次に、ユーザは撮影画像401に映っている複数の地物のうちからkmポスト403を目視で特定し、kmポスト403の表示部分をマウス903で指定する。また、ユーザは種別リストボックス417から「kmポスト」を地物種別413としてマウス903で指定する。そして、ユーザは計算要求ボタン415をマウス903で押下し、路面モデル対応点探索部170は指定されたkmポスト403の三次元座標(地物位置)を算出する。
【0219】
そして、ユーザはマウス903を動かしてマウスカーソル402を道路図622のkmポスト625上に移動させ、マウス903をクリックしてkmポスト625を路面モデル対応点探索部170により算出された三次元座標に対応する地物として指定する。製図部610は、指定された図形(kmポスト625)に対応付けて、路面モデル対応点探索部170により算出された三次元座標とユーザに指定された地物種別413とを道路図622に設定する。三次元座標および地物種別413はCAD画面620に表示されてもよいし、表示されなくてもよい。
【0220】
さらに、ユーザは、道路図622を表す道路データを保存したい場合、マウス903を動かしてマウスカーソル402を保存要求ボタン624上に移動させ、マウス903をクリックして保存要求ボタン624を押下する。保存要求ボタンが押下された場合、製図部610は道路図622を表す道路データを作成し、作成した道路データをCAD記憶部699に記憶する。道路データには、路面モデル対応点探索部170により算出された三次元座標がkmポスト625の三次元座標として設定されている。また、道路データには、ユーザに指定された地物種別413がkmポスト625の種別として設定されている。
つまり、製図部610はCADの機能により作成した道路図622に、実施の形態2で説明した道路地物計測装置B500の機能で得られた地物位置および地物種別413を設定して道路データを作成する。
【0221】
実施の形態4により、道路図622を製図しながら道路図622に設定する三次元座標を算出することができるため、道路管理台帳やカーナビゲーション用の地図などの道路データを容易に作成することができる。
【0222】
実施の形態5.
実施の形態5では、近傍平面を算出せずに地物位置を特定する形態について説明する。
以下、実施の形態1~実施の形態4と異なる事項について主に説明し、説明を省略する事項については実施の形態1~実施の形態4と同様であるものとする。
【0223】
図35は、実施の形態5における道路地物計測装置C700の機能構成を示す図である。
実施の形態5における道路地物計測装置C700の機能構成について、図35に基づいて以下に説明する。
【0224】
道路地物計測装置C(計測装置の一例)は、各実施の形態で説明した道路地物計測装置100、道路地物計測装置B500およびCAD装置600に相当する。
【0225】
道路地物計測装置Cは、画像表示部341、画像点入力部342、路面モデル対応点探索部170、画像記憶部708、三次元点群モデル記憶部709、計測位置データ記憶部599および表示装置901を備え、画像に映る地物のうち、ユーザに指定された地物について三次元の座標を地物位置として計測する。
【0226】
路面モデル対応点探索部170は、近傍抽出部171、モデル投影部172および地物位置算出部174を備える。
近傍抽出部171およびモデル投影部172は、各実施の形態で説明した機能を有する。
また、地物位置算出部174は、各実施の形態で路面モデル対応点探索部170の処理として説明した地物位置を算出する処理(位置算出処理)を実行する機能を有する。
【0227】
画像表示部341、画像点入力部342および計測位置データ記憶部599は、実施の形態2や実施の形態4で説明した機能を有する。
また、画像記憶部708および三次元点群モデル記憶部709は、各実施の形態における観測データ記憶部199に相当する。
【0228】
画像記憶部708には、カメラ230で撮像された画像が記憶されている。
三次元点群モデル記憶部709には、路面形状モデル(三次元点群モデル)が記憶されている。
画像と路面形状モデルとは、互いに、同一の場所を示すデータ同士が対応付けられて記憶されている。つまり、対応付けられた画像と路面形状モデルの点群とは同一の場所を示している。
【0229】
画像表示部341は、地物が撮像された画像と前記画像に対応すると共に三次元の位置が既知である点群とを表示装置901の画面に重ね合わせて表示して、計測対象とする地物の画像内の位置を指定することをユーザに促す。
例えば、画像表示部341は、画像記憶部708に記憶された画像と三次元点群モデル記憶部709に記憶された路面形状モデル(三次元点群モデル)とを表示装置901の画面に重ね合わせて表示して、路面形状モデルの点群の中からユーザが注目する画像内の位置に対応する点を指定することを促す。
【0230】
画像点入力部342(計測画像点取得部)は、ユーザが指定した画像内の位置(画像平面の画素の2次元座標位置(u、v))を計測画像点として入力装置から入力する。
【0231】
近傍抽出部171(対応点検出部)は、前記点群の中から、画像点入力部342が入力した前記計測画像点に対応する対応点を検出する。
例えば、近傍抽出部171は、三次元点群モデル記憶部709が記憶した路面形状モデルの点群の中から、画像点入力部342が入力した前記計測画像点に対応する対応点を検出する。
対応点とは、例えば、画像平面の画素の2次元座標における同一座標点、最も距離が近い座標点または近傍の座標点に投影された路面形状モデルの点である。以下、対応点を近傍点という。
【0232】
地物位置算出部174(位置算出部)は、近傍抽出部171が検出した前記対応点の三次元の位置を用いて画像点入力部342が取得した前記計測画像点の三次元の位置を特定する。
【0233】
計測位置データ記憶部599(結果記憶部)は、地物位置算出部174が特定した三次元の位置を計測対象とする地物の三次元の位置とし、計測対象とする地物の種別と三次元の位置とを対応させて記憶する。
【0234】
画像記憶部708は、カメラ230から撮像された画像を記憶する。
三次元点群モデル記憶部709は、レーザ装置により計測した点群から構成されると共に各点群の三次元の位置が既知である点群を三次元点群モデルとして記憶する。
【0235】
モデル投影部172は、三次元点群モデル記憶部709に記憶された路面形状モデルを画像表示部341に表示された画像の画像平面に投影する。モデル投影部172により画像平面に投影された路面形状モデルの点群(以下、投影点群という)は、画像表示部341により画像に重畳されて表示装置901に表示される。
【0236】
図36は、実施の形態5における計測方法を示すフローチャートである。
実施の形態5における計測方法について、図36に基づいて以下に説明する。
【0237】
<S1111:画像表示処理A>
まず、画像表示部341はユーザに指定された画像を表示装置901に表示する。
例えば、画像表示部341は、実施の形態2で説明したように、画像記憶部708に記憶されている画像の一覧として画像番号のリストや画像のサムネイルの一覧を表示装置901に表示する。そして、画像表示部341は、表示された画像の一覧の中からユーザに指定された画像を画像記憶部708から取得し、取得した画像を撮影画像401として道路地物計測画面400(実施の形態2参照)を表示装置901に表示する。
【0238】
<S1112:点群投影処理>
次に、モデル投影部172は、路面形状モデルを画像平面に投影する。
このとき、モデル投影部172は、画像表示処理A(S1111)で表示された画像(以下、撮影画像401という)の撮影時刻および撮影位置に対応する路面形状モデルを三次元点群モデル記憶部709から取得し、取得した路面形状モデルを撮影画像401の画像平面に投影する。路面形状モデルの画像平面への投影は、実施の形態1で説明した「3Dモデル投影処理(S502)」で行われる。
以下、画像平面に投影された路面形状モデルの点群を「投影点群」という。
【0239】
<S1113:画像表示処理B>
次に、画像表示部341は、投影点群を画像に重畳して表示装置901に表示する。
【0240】
図37は、実施の形態5における道路地物計測画面400を示す図である。
画像表示処理B(S1113)において、画像表示部341は、図37に示すように、撮影画像401に投影点群を重ねて表示する。道路地物計測画面400および撮影画像401は画像表示処理A(S1111)において画像表示部341により表示装置901に表示されたものである。撮影画像401内の複数の黒点は点群投影処理(S1112)で撮影画像401の画像平面に投影された投影点群を示している。a点421a、b点421b、c点421c、d点421dなどは投影点群を構成する投影点421である。
【0241】
a点421aはkmポスト403の中段に位置し、b点421bはkmポスト403の左奥の歩道404に位置し、c点421cはkmポスト403の右奥の歩道404に位置し、d点421dはkmポスト403の上段に位置している。
a点421aおよびd点421dは、kmポスト403で反射して得られたレーザ計測点を示すため、kmポスト403の緯度および経度を正しく示す。kmポスト403の高さを下端(歩道404との接地点)で求める場合、a点421aの方が下方に位置するためd点421dより正確な高さを示す。
b点421bおよびc点421cは、歩道404で反射して得られたレーザ計測点を示すため、kmポスト403の3次元座標を示さない。b点421bとc点421cとでは、c点421cの方がb点421bよりkmポスト403に近いため、c点421cの方がb点421bよりkmポスト403の3次元座標に近い値を示す。
【0242】
<S1120:計測画像点取得処理、種別入力処理>
次に、画像点入力部342は、計測画像点412、地物種別413および指定画像番号411をマウス903やFDD904などの入力機器からOS921を介して入力する。画像点入力部342により入力された計測画像点412、地物種別413および指定画像番号411は後述する結果記憶処理(S1150)において地物位置414と共に計測位置データ記憶部599に記憶される。
例えば、画像点入力部342は、実施の形態2で説明したように、ユーザによりマウス903がクリックされたときにマウスカーソル402が指し示している画像内での2次元座標(uv座標)を計測画像点412として入力し、入力した計測画像点412を道路地物計測画面400に表示する。
また例えば、画像点入力部342は、実施の形態2で説明したように、マウス903のクリックにより種別リストボックス417内でユーザに指定された種別を地物種別413として入力し、指定された地物種別413部分の背景色を変化させる。
また、指定画像番号411は、道路地物計測画面400に表示されている撮影画像401の識別番号である。
【0243】
図37において、ユーザは、撮影画像401に映っているkmポスト403が現実に位置している三次元座標(特に、緯度および経度)を計測したい場合、kmポスト403に重なって表示されているa点421aをマウスカーソル402で指定する。但し、a点421aは小さいため、ユーザはマウスカーソル402で必ずしもa点421aを指定することができず、計測画像点412とa点421aとは異なるuv座標を示すことになる。
例えば、各投影点421は、1ドット(ピクセル、画素)で示される。
【0244】
また、画像表示部341は計測画像点取得処理(S1120)においてユーザに指定された計測画像点412の画素を他の画素と区別して表示する。例えば、画像表示部341は、計測画像点412を示す画素(および、計測画像点412の周囲の画素)をブリンクしたり、色を変えたりする。
これにより、ユーザは計測対象の地物に重なって表示されている投影点421(例えば、a点421a)を計測画像点412として指定できるまでマウス903の操作を繰り返すこともできる。
【0245】
<S1130:対応点検出処理>
次に、近傍抽出部171は、計測画像点412の近傍点(対応点)を投影点群から抽出する。
このとき、近傍抽出部171は、撮影画像401内でuv座標が計測画像点412に最も近い投影点421(対応点の一例)を投影点群の中から近傍点として特定する。
例えば、図37に示すように、ユーザは計測画像点取得処理(S1120)においてマウスカーソル402でa点421aから少しずれた画素を計測画像点412として指定した場合、近傍点はa点421aとなる。また、計測画像点取得処理(S1120)においてa点421aが投影されている画素そのものが計測画像点412として指定された場合も、a点421aを近傍点とする。
【0246】
また、画像表示部341は対応点検出処理(S1130)において近傍抽出部171により抽出された投影点421を他の投影点421と区別して表示する。例えば、画像表示部341は、特定された投影点421(図37のa点421a)をブリンクしたり、色を変えたり、大きくしたりする。
【0247】
<S1140:位置算出処理>
次に、地物位置算出部174は、近傍点の三次元の位置を地物位置414として取得する。
ユーザは、計測画像点412の三次元の位置を計測したい場合、マウス903を操作して道路地物計測画面400の計算要求ボタン415(図37参照)を押下する。
計算要求ボタン415が押下された場合、地物位置算出部174は、対応点検出処理(S1130)において抽出された近傍点に対応するレーザ計測点を三次元点群モデル記憶部709に記憶されている路面形状モデルの点群から抽出し、抽出したレーザ計測点が示す3次元座標を地物位置414として取得する。
【0248】
また、画像表示部341は、位置算出処理(S1140)で取得された地物位置414を図37に示すように道路地物計測画面400に表示する。
【0249】
<S1150:結果記憶処理>
そして、計測位置データ記憶部599は、地物位置414、計測画像点412、指定画像番号411および地物種別413を記憶する。
ユーザは、地物位置414を記憶したい場合、マウス903を操作して道路地物計測画面400の保存要求ボタン416(図37参照)を押下する。
保存要求ボタン416が押下された場合、計測位置データ記憶部599は、計測画像点取得処理/種別入力処理(S1120)において入力された指定画像番号411、計測画像点412および地物種別413と位置算出処理(S1140)で取得された地物位置414とを対応付けて計測位置データとして記憶する。
【0250】
上記のように、道路地物計測装置C700は、撮影画像401と投影点群とを重ねて表示することにより、ユーザに計測対象の地物を表すレーザ計測点を指定させ、計測対象の地物が現実に位置している3次元座標を計測することができる。ユーザは、道路地物計測装置C700を用いることにより、現地で測量をしなくても、PCの画面上でマウス903を操作することにより地物の3次元座標を計測することができる。
上記の道路地物計測装置C700は、実施の形態4と同様に、CAD機能(製図部610)を備えてCAD装置600として使用されてもよい。
【0251】
実施の形態6.
実施の形態6では、画像から地物を検出し、検出した地物の三次元の位置を計測する形態について説明する。
以下、実施の形態5と異なる事項について主に説明し、説明を省略する事項については実施の形態5と同様であるものとする。
【0252】
図38は、実施の形態6における道路地物計測装置C700の機能構成を示す図である。
実施の形態6における道路地物計測装置C700の機能構成について、図38に基づいて以下に説明する。
【0253】
実施の形態6における道路地物計測装置C700は、実施の形態5で説明した道路地物計測装置C700に地物領域検出部701が加わったものである。
【0254】
地物領域検出部701は、画像記憶部708に記憶された画像を解析して、計測対象とする地物が撮像された画像領域を地物画像領域として検出する。
【0255】
画像表示部341は、地物領域検出部701が検出した地物画像領域に対して、画像の位置を指定することをユーザに促す。
近傍抽出部171(対応点検出部)は、計測画像点により示される画像内の位置に地物領域検出部701が検出した地物画像領域内に表示された点群の点が有る場合に、当該点を計測画像点に対応する対応点として検出する。
また、近傍抽出部171は、計測画像点により示される画像内の位置に地物領域検出部701が検出した地物画像領域内に表示された点群の点が無い場合に、計測画像点に最も近い点を計測画像点に対応する対応点として検出する。
【0256】
図39は、実施の形態6における計測方法を示すフローチャートである。
実施の形態6における計測方法について、図39に基づいて以下に説明する。
【0257】
実施の形態6における計測方法は、実施の形態5で説明した計測方法に地物領域検出処理(S1213)が加わったものである。
実施の形態6において画像表示処理A(S1211)~結果記憶処理(S1250)(地物領域検出処理[S1213]を除く)は、実施の形態5における画像表示処理A(S1111)~結果記憶処理(S1150)と同様である。
以下に、地物領域検出処理(S1213)および画像表示処理B(S1214)について説明する。
【0258】
<S1213:地物領域検出処理>
地物領域検出部701は、画像表示処理A(S1211)においてユーザに指定された画像を画像処理し、ユーザに指定された画像から計測対象の候補となる地物が映っている部分を地物画像領域として検出する。
例えば、形および色により特定の地物が表された地物パターンが予め記憶部(例えば、画像記憶部708)に記憶されており、地物領域検出部701は画像と地物パターンとをパターンマッチングして地物パターンに当てはまる画像内の領域を地物画像領域として特定する。例えば、地物パターンには、規制標識を表す青い円形や赤い円形、警戒標識を表す黄色い三角形、指示標識を表す青い四角形、横断標識を表す青い三角形、案内標識を表す緑の四角形、白線を表す白い直線などがある。
規制標識、警戒標識、指示標識、横断標識および案内標識はそれぞれ道路標識の一種である。白線は道路標示の一種である。
【0259】
図40は、実施の形態6における道路地物計測画面400を示す図である。
例えば、地物領域検出部701は、図40において撮影画像401内のkmポスト403が映っている領域を地物画像領域として検出する。
【0260】
<S1214:画像表示処理B>
画像表示部341は、実施の形態5と同じく投影点群を画像に重畳して表示すると共に、地物領域検出処理(S1213)により検出された地物画像領域を画像内に示す。
例えば、画像表示部341は、地物画像領域を指し示すようにマーク(例えば、矢印や枠線)を表示する。
例えば、画像表示部341は、図40において撮影画像401内のkmポスト403が映っている領域を指し示すようにマーク(図示省略)を表示する。
【0261】
これにより、道路地物計測装置C700は、ユーザが画像内から計測対象とすべき地物を見つけ出すことを補助したり、ユーザが画像内から計測対象を見落とすことにより生じる地物の計測漏れを減らしたりすることができる。
【0262】
地物領域検出処理(S1213)で検出された地物画像領域は、対応点検出処理(S1230)で利用することもできる。
以下に、対応点検出処理(S1230)における地物画像領域の利用方法について説明する。
【0263】
図40において、ユーザがkmポスト403の三次元座標を計測するために、kmポスト403に重なって表示されているa点421aやd点421d(の近傍)を計測画像点412として指定せず、kmポスト403の上端部分のA点412Aを計測画像点412として指定したものとする。
この場合、対応点検出処理(S1230)では、A点412Aに最も近い投影点421であるe点421eが抽出されることになる。e点421eはkmポスト403に重なって表示されている投影点421ではない。
つまり、e点421eに対応するレーザ計測点は、kmポスト403で反射して取得された点ではなく、kmポスト403の背後の遠く離れた歩道404上の一点で反射して取得された点である。従って、e点421eに対応するレーザ計測点は、kmポスト403の3次元座標ではなく、kmポスト403から遠く離れた歩道404上の一点の3次元座標を示す。
【0264】
また、図40において、ユーザがkmポスト403の下端部分のB点412Bを計測画像点412として指定した場合、対応点検出処理(S1230)ではkmポスト403に重なって表示されていないc点421cが抽出される。
しかし、c点421cに対応するレーザ計測点は、kmポスト403が設置されている地点の近くにおいて歩道404から反射して取得された点であるため、kmポスト403の3次元座標に近い値を示す。レーザ計測点はレーザレーダ240により高密度(例えば、数cm間隔)で取得されるため、c点421cに対応するレーザ計測点をkmポスト403の3次元座標としても、誤差は小さい。
【0265】
そこで、計測画像点取得処理(S1220)において計測画像点412が地物画像領域内(または地物画像領域から所定の範囲内)で指定された場合、対応点検出処理(S1230)において、近傍抽出部171は、地物画像領域内に投影された投影点421のうち、計測画像点412に最も近い投影点421(対応点の一例)を抽出する。
【0266】
つまり、近傍抽出部171は、地物画像領域内に投影された投影点が有る場合、地物画像領域内に投影された投影点を計測画像点に対応する対応点(近傍点)として検出する。
【0267】
例えば、図40において、kmポスト403の映っている領域が地物画像領域として検出されているものとする。このとき、A点412Aに対して、全ての投影点421のうち最も近いe点421eはkmポスト403(地物画像領域)内に表示されていないことを理由に抽出されない。そして、近傍抽出部171は、kmポスト403に重なって表示されている投影点421(a点421a、d点421d)のうちA点412Aに最も近いd点421dを抽出する。
【0268】
しかし、計測画像点取得処理(S1220)において計測画像点412が地物画像領域内で指定されたが地物画像領域内に投影された投影点421が存在しない場合、対応点検出処理(S1230)において、近傍抽出部171は、地物画像領域外に投影された投影点421の中から計測画像点412に最も近い投影点421(対応点の一例)を抽出する。
【0269】
つまり、近傍抽出部171は、地物画像領域内に投影された投影点が無い場合、計測画像点に最も近い投影点を計測画像点に対応する対応点(近傍点)として検出する。
【0270】
例えば、図40において、白線407のエッジ424(白線407のふちの線)が地物画像領域であり、エッジ424上に投影点421が無い場合、近傍抽出部171は、計測画像点を示すx点423に対して、最も近い投影点であるf点421fを抽出する。
【0271】
また、計測画像点取得処理(S1220)において計測画像点412が地物画像領域の下端部分の所定の範囲422内(地物画像領域内または地物画像領域外)で指定された場合、近傍抽出部171は、全ての投影点421のうち計測画像点412に最も近い投影点421(対応点の一例)を抽出してもよい。
【0272】
例えば、図40において、近傍抽出部171は、地物画像領域として検出されたkmポスト403の下端部分の所定の範囲422内に位置するB点412Bが指定された場合、全ての投影点421のうち最も近いc点421cを抽出する。c点421cはkmポスト403に重なって表示されていないが、最も近い投影点421として抽出される。
【0273】
地物画像領域を対応点検出処理(S1230)で利用することにより、道路地物計測装置C700は、計測画像点412がユーザに誤って指定された場合でも、最適な投影点421を抽出し、地物の3次元座標を高精度に計測することができる。
【0274】
実施の形態7.
実施の形態7では、計測画像点の近傍点を地物位置の第1の候補として取得すると共に近傍平面と計測画像点に対するLOSベクトルとの交点を地物位置の第2の候補として算出し、第1の候補と第2の候補とのいずれかを地物位置として特定する形態について説明する。
以下、実施の形態6と異なる事項について主に説明し、説明を省略する事項については実施の形態6と同様であるものとする。
【0275】
図41は、実施の形態7における道路地物計測装置C700の機能構成を示す図である。
実施の形態7における道路地物計測装置C700の機能構成について、図41に基づいて以下に説明する。
【0276】
実施の形態7における道路地物計測装置C700は、実施の形態6で説明した道路地物計測装置C700にカメラLOS演算部140および近傍平面算出部173を加えたものである。
カメラLOS演算部1401(ベクトル算出部)は、カメラ230のカメラ中心から計測画像点への方向を示すLOSベクトルを算出する。
近傍平面算出部173(平面算出部)は、近傍抽出部171(対応点検出部)が検出した近傍点(対応点)を含む特定の平面を算出する。
【0277】
地物位置算出部174(位置算出部)は、近傍抽出部171(対応点検出部)が検出した近傍点の三次元の位置を計測画像点の三次元の位置を示す第1の候補として取得する。また、地物位置算出部174は、近傍平面算出部173が算出した特定の平面とカメラLOS演算部140が算出したLOSベクトルとの交点を計測画像点の三次元の位置を示す第2の候補として算出する。
画像表示部341(位置表示部)は、地物位置算出部174が得た第1の候補と第2の候補とを表示装置901の画面に表示して、第1の候補と第2の候補とのいずれかを指定することをユーザに促す。
計測位置データ記憶部599(結果記憶部)は、第1の候補と第2の候補とのうちユーザが指定した方を計測画像点の三次元の位置(地物位置)として記憶する。
【0278】
図42は、実施の形態7における計測方法を示すフローチャートである。
実施の形態7における計測方法について、図42に基づいて以下に説明する。
【0279】
実施の形態7における計測方法は、実施の形態6で説明した計測方法に平面算出処理(S1351)、ベクトル算出処理(S1352)、位置算出処理B(S1353)および位置表示処理(S1360)を加えたものである。
実施の形態7における画像表示処理A(S1311)~対応点検出処理(S1330)、位置算出処理A(S1340)および結果記憶処理(S1370)は、実施の形態6における画像表示処理A(S1211)~対応点検出処理(S1230)、位置算出処理(S1240)および結果記憶処理(S1250)と同様である。
以下、平面算出処理(S1351)、ベクトル算出処理(S1352)、位置算出処理B(S1353)および位置表示処理(S1360)について説明する。
【0280】
<S1351:平面算出処理>
近傍平面算出部173は、対応点検出処理(S1330)において抽出された近傍点を含む特定の平面を近傍平面として算出する。
例えば、近傍平面算出部173は、近傍点を含む水平面を近傍平面として算出する。
平面算出処理(S1351)は、実施の形態3で説明した近傍平面算出処理(S503B)と同じである。
【0281】
<S1352:ベクトル算出処理>
カメラLOS演算部140は、計測画像点取得処理(S1320)において入力された計測画像点に対するカメラ230のLOSベクトルを画像表示処理A(S1311)で表示された画像が撮像されたときのカメラ230の姿勢角に基づいて算出する。画像点入力部342からカメラLOS演算部140へは、計測画像点取得処理(S1320)において入力された計測画像点と画像表示処理A(S1311)で表示された画像を識別する指定画像番号が出力される。カメラLOS演算部140は画像点入力部342から出力された指定画像番号に基づいて画像が撮像された時刻を特定し、特定した時刻におけるカメラ230の姿勢角を取得する。
平面算出処理(S1352)は、実施の形態1で説明したLOS計算処理(S504)と同じである。
【0282】
<S1353:位置算出処理B>
次に、地物位置算出部174は、平面算出処理(S1351)で算出された近傍平面とベクトル算出処理(S1352)で算出されたLOSベクトルとの交点を地物位置の第2の候補として算出する。
位置算出処理B(S1353)による地物位置の第2の候補の算出方法は、実施の形態3で説明した交点計算処理(S505)による地物位置の算出方法と同じである。
【0283】
なお、位置算出処理A(S1340)で取得された近傍点の3次元座標は、地物位置の第1の候補である。
【0284】
<S1360:位置表示処理>
次に、画像表示部341は、位置算出処理A(S1340)で取得された地物位置の第1の候補と位置算出処理B(S1353)で算出された地物位置の第2の候補とを表示装置901に表示する。
【0285】
図43は、実施の形態7における道路地物計測画面400を示す図である。
例えば、画像表示部341は、位置表示処理(S1360)において、図43に示すように、地物位置の第1の候補(地物位置414a)と地物位置の第2の候補(地物位置414b)とを道路地物計測画面400に表示する。
ここで、道路地物計測画面400には、地物位置414aと地物位置414bとのいずれかユーザに指定させるための選択リストボックス420が含まれる。ユーザは選択リストボックス420で地物位置414aと地物位置414bとのいずれかを地物位置として指定する。例えば、図43では、「地物位置1」として表示されている地物位置414a(第1の候補)が指定されている。
そして、保存要求ボタン416が押下されたとき、計測位置データ記憶部599は、結果記憶処理(S1370)において、選択リストボックス420で指定されている地物位置を計測画像点412、指定画像番号411および地物種別413と対応付けて計測位置データとして記憶する。
【0286】
地物位置として第1の候補と第2の候補とのいずれかを指定する際、ユーザは、例えば、計測対象の地物の種別に応じて判断する。
【0287】
例えば、図43において、kmポスト403(支柱)のように幅のある地物(レーザ計測点の取得密度に比べて幅が広い面状の地物)の位置を計測したい場合、ユーザは、実施の形態5で説明したように地物に重なって表示されている投影点421(例えば、a点421a)を計測画像点として指定することで正確な地物位置(第1の候補)を得ることができる。
しかし、白線407のエッジ424(白線407のふちの線)のように幅のない地物(レーザ計測点の取得密度に比べて幅が狭い線状の地物)の位置を計測したい場合、地物に重なって表示されている投影点421が存在するとは限らないため、ユーザは、投影点421の無い地物上の一点(一画素)(例えば、x点423)を計測画像点として指定することになる。このため、計測画像点に最も近い投影点421(例えば、f点421f)に対応するレーザ計測点の3次元座標を地物位置(第1の候補)とする位置算出処理A(S1340)では、位置算出処理B(S1353)で算出される地物位置(第2の候補)より高い精度の地物位置が得られるとは限らない。
【0288】
そこで、ユーザは、計測対象の地物に重なって表示されている投影点421を計測画像点412として指定できた場合、位置算出処理A(S1340)で取得された地物位置(第1の候補)を示す「地物位置1」を選択リストボックス420で指定するとよい。
また、ユーザは、投影点421の無い地物上の一点を計測画像点412として指定した場合、位置算出処理B(S1353)で算出された地物位置(第2の候補)を示す「地物位置2」を選択リストボックス420で指定するとよい。
位置算出処理B(S1353)では、計測画像点に対するLOSベクトルに基づいて地物位置(第2の候補)を算出しているため、地物上に投影点421が無い場合でも高い精度の地物位置(第2の候補)が得られる。
【0289】
上記のように、ユーザは、位置を計測したい地物の種別や地物に重なって表示されている投影点421の有無に応じて、異なる方法(位置算出処理A[S1340]、位置算出処理B[S1353])で特定された複数の地物位置から、より高い精度を示す地物位置を選択することができる。
【0290】
実施の形態8.
実施の形態8では、ユーザによる選択を要さずに、地物位置の第1の候補と第2の候補とのうち精度の高い方を地物位置として特定する形態について説明する。
以下、実施の形態7と異なる事項について主に説明し、説明を省略する事項については実施の形態7と同様であるものとする。
【0291】
図44は、実施の形態8における計測方法を示すフローチャートである。
実施の形態8における計測方法について、図44に基づいて以下に説明する。
【0292】
実施の形態8における計測方法は、実施の形態7で説明した計測方法の位置表示処理(S1360)のに代わりに、位置算出処理C(S1360B)を実行する。
以下に、位置算出処理C(S1360B)について説明する。
【0293】
<S1360B:位置算出処理C>
地物位置算出部174は、種別入力処理(S1320)において入力された地物種別に基づいて、位置算出処理A(S1340)で取得された地物位置(第1の候補)と位置算出処理B(S1353)で算出された地物位置(第2の候補)とのいずれかを地物位置として特定する。
【0294】
実施の形態7で説明したように、通常、計測対象の地物に重なって表示されている投影点421が計測画像点412として指定された場合、位置算出処理A(S1340)で取得された地物位置(第1の候補)の方が、位置算出処理B(S1353)で算出された地物位置(第2の候補)より高い精度を示す。また、計測対象の地物に重なって表示されている投影点421が存在しない場合、位置算出処理B(S1353)で算出された地物位置(第2の候補)の方が、位置算出処理A(S1340)で取得された地物位置(第1の候補)より高い精度を示す。
【0295】
また、kmポスト、各種の道路標識など、幅のある地物が計測対象である場合、通常、計測対象の地物に重なって表示される投影点421が存在する。また、白線のエッジなど、幅のない地物が計測対象である場合、計測対象の地物に重なって表示される投影点421が存在しない場合がある。
【0296】
そこで、地物位置算出部174は、位置算出処理C(S1360B)において、地物種別413が幅のある地物を示す場合、位置算出処理A(S1340)で取得された地物位置(第1の候補)を選択する。また、地物位置算出部174は、地物種別413が幅のない地物を示す場合、位置算出処理B(S1353)で算出された地物位置(第2の候補)を選択する。
【0297】
結果記憶処理(S1370)において、計測位置データ記憶部599は、位置算出処理C(S1360B)において選択(特定)された地物位置を計測画像点412、指定画像番号411および地物種別413と対応付けて計測位置データとして記憶する。
【0298】
上記のように、道路地物計測画面400は、ユーザに選択させることなく、第1の候補と第2の候補とのうち、より精度が高い方を地物位置として特定することができる。
【0299】
実施の形態9.
実施の形態2~8では、計測装置(例えば、道路地物計測装置、あるいはCAD装置600)は、画像記憶部(観測データ記憶部199)、三次元点群モデル記憶部(観測データ記憶部199)、画像表示部341、計測画像点取得部(画像点入力部342)および位置算出部(路面モデル対応点探索部170)を備えている。そして、位置算出部は、前記三次元点群モデル記憶部が記憶した前記三次元点群モデルの点群のなかから、前記計測画像点取得部が取得した前記計測画像点に対応する対応点を検出して、検出した前記対応点の位置を用いて前記計測画像部が取得した前記計測画像点の三次元の位置を特定した。
【0300】
実施の形態9では、ユーザ端末(計測端末装置)が1)計測画像点取得部、2)画像表示部を備え、サーバ(計測サーバ装置)が3)画像記憶部、4)三次元点群モデル記憶部、5)位置算出部を備える形態について説明する。
ユーザ端末は計測画像点の情報をサーバに送信し、サーバは受信した計測画像点の三次元位置(地物位置)を特定してユーザ端末に送信する。
以下、実施の形態1~実施の形態8と異なる事項について主に説明し、説明を省略する事項について実施の形態1~実施の形態8と同様であるものとする。
【0301】
図45は、実施の形態9における計測サーバ装置710と計測端末装置720との機能構成を示す図である。
図45において、計測端末装置720(以下、ユーザ端末という)と計測サーバ装置710(以下、サーバという)とはインターネット940を介して通信を行う。
サーバ(計測サーバ装置710)は、Webサーバとして、インターネット940に接続するユーザ端末に地物位置を計測する機能を提供する。
ユーザ端末(計測端末装置720)は、Webブラウザを用いてサーバにアクセスし、計測画像点に対応する地物位置の計測をサーバに要求し、計測された地物位置をサーバから受信することにより、計測画像点に対応する地物位置を得る。
【0302】
但し、サーバとユーザ端末とはインターネット940以外の通信網(例えば、LAN)で接続されていても構わないし、サーバはWebサーバでなくても構わないし、ユーザ端末はサーバにアクセスするためにWebブラウザを用いなくても構わない。
【0303】
図45において、他の実施の形態で説明した構成と同様の構成には同一符号が付されている。
また、サーバ側画像点入力部342sとユーザ側画像点入力部342uとは、他の実施の形態で説明した画像点入力部342に対応する構成である。
【0304】
図46は、実施の形態9における計測方法を示すフローチャートである。
実施の形態9における計測方法について、図46に基づいて以下に説明する。
【0305】
<S1411:画像提示処理>
サーバ(計測サーバ装置)の画像提示部711は、ブロードバンドによるデータ通信により、3)画像記憶部708に記憶された画像と、4)三次元点群モデル記憶部709に記憶された路面形状モデルとを、ユーザ端末に送信する。このとき、ユーザ端末に送信される路面形状モデルは、一緒に送信された画像に対してモデル投影部172により投影された投影点群である。また、画像のみがユーザ端末に送信され、投影点群はユーザ端末に送信されなくても構わない。
【0306】
<S1412:画像表示処理>
ユーザ端末(計測端末装置)において、2)画像表示部341は、ユーザ端末のディスプレイ(表示装置901)に、サーバから送信された画像と投影点群とを重畳させた計測画面を表示する。例えば、画像表示部341は、道路地物計測画面400(図37)やCAD画面620(図34)を計測画面として、画像と投影点群とを重畳させて表示する。
ユーザの選択により、画像と投影点群との重畳表示と画像のみの表示とを切り替えてもよい。
画像表示部341は、サーバからユーザ端末に提供されるプログラムであってもよい。この場合、画像表示部341は、予め、サーバからダウンロードされ、ユーザ端末にインストールされているものとする。
画像表示処理(S1412)は、例えば、画像表示処理A(S1111)および画像表示処理B(S1113)に相当する。
【0307】
<S1421:端末側計測画像点取得処理>
ユーザは、ユーザ端末にて、マウスやライトペン等の入力装置で、計測画面の画像内の点(画素)を計測画像点としてクリックする。ユーザ端末は、クリックされたポイントに基づいて、ユーザ側画像点入力部342u((1)計測画像点取得部)により計測画像点を取得し、計測画像点をサーバに送信する。
また、ユーザ側画像点入力部342uは、計測画像点と共に、画像の識別番号を送信してもよい。また、ユーザ側画像点入力部342uは、種別入力処理(S1120)と同様にして地物種別を入力し、計測画像点と地物種別とをサーバに送信しても構わない。
<S1422:サーバ側計測画像点取得処理>
サーバでは、サーバ側画像点入力部342sが計測画像点をユーザ端末から受信する。
端末側計測画像点取得処理(S1421)とサーバ側計測画像点取得処理(S1422)とは、例えば、計測画像点取得処理(S1120)に相当する。
【0308】
<S1430:対応点検出処理>
サーバにおいて、近傍抽出部171は、対応点検出処理(S1130)と同様に、計測画像点の近傍点を投影点群から抽出する。
【0309】
<S1440:位置算出処理>
サーバにおいて、地物位置算出部174は、位置算出処理(S1140)と同様に、近傍点の三次元の位置を地物位置として三次元点群モデル記憶部709から取得し、地物位置をユーザ端末に送信する。
【0310】
<S1450:結果記憶処理>
ユーザ端末において、画像表示部341はサーバから送信された地物位置を計測画面に表示し、計測位置データ記憶部599はサーバから送信された地物位置を計測画像点、地物種別および画像番号と対応付けて計測位置データとして記憶する。
結果記憶処理(S1450)は、例えば、結果記憶処理(S1150)に相当する。
【0311】
画像提示処理(S1411)におけるサーバからユーザ端末への画像(および、投影点群)の提示方法は、どのような方法であっても構わない。
例えば、サーバが画像番号のリストや画像のサムネイルの一覧などの画像一覧をユーザ端末に送信し、画像一覧からユーザにより選択された画像の要求をユーザ端末がサーバに送信し、要求された画像をサーバがユーザ端末に送信してもよい。
また例えば、サーバからユーザ端末に全ての画像が送信され、全ての画像がユーザ端末に記憶されても構わない。
また例えば、サーバは全画像を縦横(上下左右)に並べ、または、前後に重ね合わせて配置した場合を仮定して全画像の配置情報を生成し、一つ(または、複数)の画像Aをユーザ端末に送信する。また、ユーザ端末は、サーバから送信された画像Aを画像選択画面に表示する。また、ユーザはマウスを操作して画像選択画面内のマウスカーソルを動かし、ユーザ端末はマウスの操作情報をサーバに送信する。例えば、マウスの操作は、画像選択画面を上下左右にスクロールする操作であったり、画像選択画面に表示された画像をめくり上げる操作であったりする。そして、サーバは、マウス操作に応じて、配置情報において画像Aの上下左右または前後に配置された画像Bをユーザ端末に送信し、ユーザ端末はサーバから送信された画像Bをマウス操作に合わせて画像選択画面に表示する。例えば、ユーザ端末は、画像選択画面のスクロールに合わせて、縦横に並ぶ画像Aと画像Bとをスクロールさせて表示する。また例えば、ユーザ端末は、画像Aがめくり上げられ、画像Bが画像Aの下から表れるような表示をする。
つまり、非常に高速なブロードバンド環境において、ユーザが計測画面をスクロールするとスクロール情報がサーバ側に送られ、サーバはスクロールされた移動先の画像(例えば、表示されている画像をめくった先の画像)を、その都度、ユーザ端末に送る。
但し、サーバは、スクロールに応じてその都度、画像を送るようなことをせずに、表示対象の画像と共に表示対象の画像の前後(または、上下左右)に配置された画像をユーザ端末に送信したり、始めに全ての画像をユーザ端末に送信したりしてもよい。ユーザ端末は送信された画像を記憶部に記憶しておく。これにより、サーバからユーザ端末への画像の送信回数を減らすことができる。
【0312】
実施の形態9は、他の実施の形態と組み合わせてもよい。
例えば、サーバは、近傍平面算出部173とカメラLOS演算部140とを備えてもよい。この場合、近傍平面算出部173は平面算出処理(S1351)と同様に近傍点を含む近傍平面を算出し、カメラLOS演算部140はベクトル算出処理(S1352)と同様にLOSベクトルを算出する。そして、地物位置算出部174は近傍平面とLOSベクトルとの交点を地物位置として算出する。
また例えば、サーバは地物領域検出部701を備えてもよい。この場合、地物領域検出部701は地物領域検出処理(S1213)と同様に画像から地物画像領域を検出し、画像提示部711はユーザ端末に画像と共に地物画像領域を送信する。そして、ユーザ端末の画像表示部341は画像表示処理B(S1214)と同様に画像と地物画像領域とを表示する。
【0313】
実施の形態9により、インターネット940を通じて、複数のユーザ端末で画像に映る地物の三次元座標を特定する作業を同時に行うことが可能となる。
また、サーバを自ら所有しないユーザであったも、ユーザ端末を用いて画像に映る地物の三次元座標を特定することが可能となり、利便性が向上する。
【0314】
各実施の形態において、モーションステレオ処理(S201)および移動体除去処理(S202)は実行されなくてもよい。つまり、路面形状モデルに移動体を示すレーザ計測点群が含まれていても構わない。
【0315】
また、各実施の形態において、地物識別処理(S203)は実行されなくても構わない。つまり、路面形状モデルのレーザ計測点群は地物種別毎にグループ分けされなくても構わない。
【図面の簡単な説明】
【0316】
【図1】実施の形態1における道路地物計測システム101のシステム構成および道路地物計測装置100の機能構成を示す図。
【図2】実施の形態1における道路地物計測装置100、地物識別装置300のハードウェア資源の一例を示す図。
【図3】実施の形態1における道路地物計測システム101の道路地物位置計測処理の流れを示すフローチャート。
【図4】実施の形態1における車両位置とLRF、カメラ230の位置関係図。
【図5】実施の形態1における車両位置とLRF、カメラ230の位置関係図。
【図6】実施の形態1における路面形状モデルを示す図。
【図7】実施の形態1における路面形状モデルを示す図。
【図8】実施の形態1における路面形状モデルを示す図。
【図9】図8に対応する光学画像。
【図10】実施の形態1における投影変換を行った画像。
【図11】実施の形態1における地物識別装置300の構成図。
【図12】実施の形態1における地物識別装置300のデジタイジング処理(S104)の流れを示すフローチャート。
【図13】トラックがポールを隠蔽していないときの路面形状モデル。
【図14】トラックがポールを隠蔽しているときの路面形状モデル。
【図15】実施の形態1におけるモーションステレオ処理(S201)の流れを示すフローチャート。
【図16】実施の形態1におけるエピポーラ線L1の算出方法を示す図。
【図17】移動後の計測対象点PT2の対応点Pがエピポーラ線L上に存在しないことを示す図。
【図18】実施の形態1におけるボクセル空間投票処理(S305)のイメージ図。
【図19】実施の形態1における視体積交差法を示す図。
【図20】ユーザの指定した地物を誤認識しやすい箇所の画像。
【図21】実施の形態1における地物識別処理(S203)を示す図。
【図22】実施の形態1における地物識別処理(S203)の流れを示すフローチャート。
【図23】実施の形態1における3Dモデリング処理(S105)の流れを示すフローチャート。
【図24】実施の形態1における地物位置標定処理(S106)における地物位置の算出方法を示す図。
【図25】実施の形態1における地物位置標定処理(S106)の流れを示すフローチャート。
【図26】実施の形態1における近傍3点抽出処理(S503)の流れ示すフローチャート。
【図27】実施の形態1における近傍3点抽出処理(S503)を示す図。
【図28】実施の形態2における道路地物計測システム101のシステム構成および道路地物計測装置B500の機能構成を示す図。
【図29】実施の形態2における道路地物計測画面400を示す図。
【図30】実施の形態3における路面モデル対応点探索部170の機能構成を示す図。
【図31】実施の形態3における地物位置標定処理(S106)の流れを示すフローチャート。
【図32】実施の形態3における地物位置標定処理(S106)における地物位置の算出方法を示す図。
【図33】実施の形態4における道路地物計測システム101のシステム構成およびCAD装置600の機能構成を示す図。
【図34】実施の形態4におけるCAD画面620を示す図。
【図35】実施の形態5における道路地物計測装置C700の機能構成を示す図。
【図36】実施の形態5における計測方法を示すフローチャート。
【図37】実施の形態5における道路地物計測画像道路地物計測画面400を示す図。
【図38】実施の形態6における道路地物計測装置C700の機能構成を示す図。
【図39】実施の形態6における計測方法を示すフローチャート。
【図40】実施の形態6における道路地物計測画面400を示す図。
【図41】実施の形態7における道路地物計測装置C700の機能構成を示す図。
【図42】実施の形態7における計測方法を示すフローチャート。
【図43】実施の形態7における道路地物計測画面400を示す図。
【図44】実施の形態8における計測方法を示すフローチャート。
【図45】実施の形態9における計測サーバ装置710と計測端末装置720との機能構成を示す図。
【図46】実施の形態9における計測方法を示すフローチャート。
【符号の説明】
【0317】
100 道路地物計測装置、101 道路地物計測システム、102 計測台車、103 天板、110 車両位置姿勢(3軸)演算部、120 白線認識処理部、130 カメラ位置姿勢演算部、140 カメラLOS演算部、150 路面形状モデル生成部、160 レーザレーダ位置姿勢演算部、170 路面モデル対応点探索部、171 近傍抽出部、172 モデル投影部、173 近傍平面算出部、174 地物位置算出部、180 白線位置演算部、191 観測データ入力部、199 観測データ記憶部、200 オドメトリ装置、210 ジャイロ、220 GPS、230 カメラ、240 レーザレーダ、300 地物識別装置、310 モーションステレオ部、311 静止物特定部、312 静止物モデル生成部、320 移動体除去部、321 移動体特定部、322 移動体除去モデル生成部、330 地物識別部、331 ラベリング部、332 エッジ判定部、333 地物判定部、340 計測画像点取得部、341 画像表示部、342 画像点入力部、342s サーバ側画像点入力部、342u ユーザ側画像点入力部、400 道路地物計測画面、401 撮影画像、402 マウスカーソル、403 kmポスト、404 歩道、405 車道、406 中央線、407 白線、408 道路標識、409 電柱、411 指定画像番号、412 計測画像点、412A A点、412B B点、413 地物種別、414,414a,414b 地物位置、415 計算要求ボタン、416 保存要求ボタン、417 種別リストボックス、418 縁石、420 選択リストボックス、421 投影点、421a a点、421b b点、421c c点、421d d点、421e e点、421f f点、422 所定の範囲、423 x点、424 エッジ、500 道路地物計測装置B、598 観測データ記憶部B、599 計測位置データ記憶部、600 CAD装置、610 製図部、620 CAD画面、621 図形ツールバー、622 道路図、623 計測画面表示ボタン、624 保存要求ボタン、625 kmポスト、699 CAD記憶部、700 道路地物計測装置C、701 地物領域検出部、708 画像記憶部、709 三次元点群モデル記憶部、710 計測サーバ装置、711 画像提示部、720 計測端末装置、901 表示装置、902 キーボード、903 マウス、904 FDD、905 CDD、906 プリンタ装置、907 スキャナ装置、908 マイク、909 スピーカー、911 CPU、912 バス、913 ROM、914 RAM、915 通信ボード、920 磁気ディスク装置、921 OS、922 ウィンドウシステム、923 プログラム群、924 ファイル群、940 インターネット。
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14
【図16】
15
【図17】
16
【図19】
17
【図20】
18
【図21】
19
【図22】
20
【図23】
21
【図24】
22
【図25】
23
【図26】
24
【図27】
25
【図28】
26
【図29】
27
【図30】
28
【図31】
29
【図32】
30
【図33】
31
【図34】
32
【図35】
33
【図36】
34
【図37】
35
【図38】
36
【図39】
37
【図40】
38
【図41】
39
【図42】
40
【図43】
41
【図44】
42
【図45】
43
【図46】
44
【図18】
45