Top > Search of International Patents > METHOD FOR DISPLAYING MOVABLE-BODY NAVIGATION INFORMATION AND DEVICE FOR DISPLAYING MOVABLE-BODY NAVIGATION INFORMATION

METHOD FOR DISPLAYING MOVABLE-BODY NAVIGATION INFORMATION AND DEVICE FOR DISPLAYING MOVABLE-BODY NAVIGATION INFORMATION

Foreign code F060001543
File No. F060001543
Posted date Apr 2, 2007
Country WIPO
International application number 2005JP017715
International publication number WO 2006/035755
Date of international filing Sep 27, 2005
Date of international publication Apr 6, 2006
Priority data
  • P2004-282190 (Sep 28, 2004) JP
Title METHOD FOR DISPLAYING MOVABLE-BODY NAVIGATION INFORMATION AND DEVICE FOR DISPLAYING MOVABLE-BODY NAVIGATION INFORMATION
Abstract A device for displaying movable-body navigation information, with which a driver canintuitively and accurately recognize a corresponding relationship between navigationinformation and an actually taken image or a really viewed scene and in which visibilityof an attention-required image, such as an actually taken image of a walker ora construction site of a road, in an actually taken image is not hindered by an imageof the navigation information. An image data creation section (405) checks roadshape data and a road shape model against each other to estimate attitude data,and also the image data creation section creates video (image) data for accuratelycombining an image of navigation information and displaying the result at anappropriate position in an actually taken image (or in real scene) of a road thatis ahead of a movable body, and displays the combined image as a three-dimensionalicon etc. The display based on the video data is performed by an image display section(5).
Scope of claims (In Japanese)
【請求項1】移動体の現在位置を検出すると共に前記移動体の進行方向の道路を含んだ景観を被写体とした実写映像を前記移動体に設置された車載カメラによって撮影するプロセスと、検出された前記移動体の現在位置に対応した前記移動体の運行に関するナビゲート情報を、予め道路地図データと関連付けて記憶されていたナビゲート情報の中から読み出すプロセスと、前記移動体の現在位置と前記道路地図データとに基づいて、前記現在位置から撮影されることが想定される道路に関する道路形状モデルを生成するプロセスと、前記実写映像から前記景観中に含まれる道路に関する画像データである道路形状データを抽出するプロセスと、前記道路形状モデルのデータと前記道路形状データとを照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定し、前記姿勢データに基づいて、前記移動体の現在位置に対応して読み出されたナビゲート情報の前記撮影された実写映像における表示位置を決定するプロセスと、前記撮影された実写映像の前記決定された位置に、前記読み出されたナビゲート情報をユーザーによって設定された表示寸法および色調で合成した画像を表示するプロセスとを備えたことを特徴とする移動体ナビゲート情報表示方法。

【請求項2】移動体の現在位置を検出すると共に前記移動体の進行方向の道路を含んだ景観を被写体とした実写映像を前記移動体に設置された車載カメラによって撮影するプロセスと、検出された前記移動体の現在位置に対応した前記移動体の運行に関するナビゲート情報を、予め道路地図データと関連付けて記憶されていたナビゲート情報の中から読み出すプロセスと、前記移動体の現在位置と前記道路地図データとに基づいて、前記現在位置から撮影されることが想定される道路に関する道路形状モデルを生成するプロセスと、前記実写映像から前記景観中に含まれる道路に関する画像データである道路形状データを抽出するプロセスと、前記道路形状モデルのデータと前記道路形状データとを照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定し、前記姿勢データに基づいて、前記移動体の現在位置に対応して読み出されたナビゲート情報の前記撮影された実写映像における表示位置を決定するプロセスと、前記ナビゲート情報について、表示の必要性の緊急度に応じて、警告情報と誘導情報と付加情報との3種類の分類を予め定義し、その各分類に対して優先順位を予め定めておき、前記ナビゲート情報が前記分類のうちのどれに該当するかを判別し、前記分類に対応した順序に従って、前記ナビゲート情報を、前記撮影された実写映像の前記決定された位置に合成して表示するプロセスとを備えたことを特徴とする移動体ナビゲート情報表示方法。

【請求項3】前記警告情報以外のナビゲート情報については、前記実写映像の中の警告対象物に対する前記移動体の現在位置が所定の距離内に入って以降に表示することを特徴とする請求の範囲第2項記載の移動体ナビゲート情報表示方法。

【請求項4】移動体の現在位置を検出すると共に前記移動体の進行方向の道路を含んだ景観を被写体とした実写映像を前記移動体に設置された車載カメラによって撮影するプロセスと、検出された前記移動体の現在位置に対応した前記移動体の運行に関するナビゲート情報を、予め道路地図データと関連付けて記憶されていたナビゲート情報の中から読み出すプロセスと、前記移動体の現在位置と前記道路地図データとに基づいて、前記現在位置から撮影されることが想定される道路に関する道路形状モデルを生成するプロセスと、前記実写映像から前記景観中に含まれる道路に関する画像データである道路形状データを抽出するプロセスと、前記道路形状モデルのデータと前記道路形状データとを照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定し、前記姿勢データに基づいて、前記移動体の現在位置に対応して読み出されたナビゲート情報の前記撮影された実写映像における表示位置を決定するプロセスと、前記撮影された実写映像の前記決定された位置に、前記読み出されたナビゲート情報を合成した画像を表示するプロセスであって、前記ナビゲート情報のうち、走行方向案内のためのグラフィック表示以外のナビゲート情報については、前記実写映像における仮想消失点または仮想地平線よりも下の領域には表示せず、前記仮想消失点または前記仮想地平線よりも上の領域に表示するプロセスと、を備えたことを特徴とする移動体ナビゲート情報表示方法。

【請求項5】移動体の現在位置を検出すると共に前記移動体の進行方向の道路を含んだ景観を被写体とした実写映像を前記移動体に設置された車載カメラによって撮影するプロセスと、検出された前記移動体の現在位置に対応した前記移動体の運行に関するナビゲート情報を、予め道路地図データと関連付けて記憶されていたナビゲート情報の中から読み出すプロセスと、前記移動体の現在位置と前記道路地図データとに基づいて、前記現在位置から撮影されることが想定される道路に関する道路形状モデルを生成するプロセスと、前記実写映像から前記景観中に含まれる道路に関する画像データである道路形状データを抽出するプロセスと、前記道路形状モデルのデータと前記道路形状データとを照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定し、前記姿勢データに基づいて、前記移動体の現在位置に対応して読み出されたナビゲート情報の前記撮影された実写映像における表示位置を決定するプロセスと、前記読み出されたナビゲート情報を、垂直軸または水平軸を中心に回転する3次元アイコンとして、前記撮影された実写映像の前記決定された位置に合成して表示するプロセスとを備えたことを特徴とする移動体ナビゲート情報表示方法。

【請求項6】前記回転する3次元アイコンが、一画面内に複数個表示される場合には、それら複数個の3次元アイコンのそれぞれを、互いに異なった位相または回転速度で回転させて表示することを特徴とする請求の範囲第5項記載の移動体ナビゲート情報表示方法。

【請求項7】移動体の現在位置を検出すると共に前記移動体の進行方向の道路を含んだ景観を被写体とした実写映像を前記移動体に設置された車載カメラによって撮影するプロセスと、検出された前記移動体の現在位置に対応した前記移動体の運行に関するナビゲート情報を、予め道路地図データと関連付けて記憶されていたナビゲート情報の中から読み出すプロセスと、前記移動体の現在位置と前記道路地図データとに基づいて、前記現在位置から撮影されることが想定される道路に関する道路形状モデルを生成するプロセスと、前記実写映像から前記景観中に含まれる道路に関する画像データである道路形状データを抽出するプロセスと、前記道路形状モデルのデータと前記道路形状データとを照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定し、前記姿勢データに基づいて、前記移動体の現在位置に対応して読み出されたナビゲート情報の前記撮影された実写映像における表示位置を決定するプロセスと、前記撮影された実写映像の前記決定された位置に前記読み出されたナビゲート情報の画像を、前記実写映像が透けて視認されるような半透明アイコンとして表示するプロセスとを備えたことを特徴とする移動体ナビゲート情報表示方法。

【請求項8】移動体の現在位置を検出すると共に前記移動体の進行方向の道路を含んだ景観を被写体とした実写映像を前記移動体に設置された車載カメラによって撮影するプロセスと、検出された前記移動体の現在位置に対応した前記移動体の運行に関するナビゲート情報を、予め道路地図データと関連付けて記憶されていたナビゲート情報の中から読み出すプロセスと、前記移動体の現在位置と前記道路地図データとに基づいて、前記現在位置から撮影されることが想定される道路に関する道路形状モデルを生成するプロセスと、前記実写映像から前記景観中に含まれる道路に関する画像データである道路形状データを抽出するプロセスと、前記道路形状モデルのデータと前記道路形状データとを照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定し、前記姿勢データに基づいて、前記移動体の現在位置に対応して読み出されたナビゲート情報の前記撮影された実写映像における表示位置を決定するプロセスと、前記撮影された実写映像の前記決定された位置に前記読み出されたナビゲート情報を合成した画像を表示するプロセスであって、前記ナビゲート情報のうちの文字情報については、前記実写映像の外側に予め設けられた表示領域に表示するプロセスとを備えたことを特徴とする移動体ナビゲート情報表示方法。

【請求項9】前記道路形状データを遠近法的な2次元特徴空間の画像データに変換すると共に前記道路形状モデルのデータを前記遠近法的な2次元特徴空間の画像データに変換し、前記2次元特徴空間で前記道路形状データと前記道路形状モデルのデータとを2次元データどうしで照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定することを特徴とする請求の範囲第1項ないし第8項のいずれか1項に記載の移動体ナビゲート情報表示方法。

【請求項10】道路形状モデルを生成するにあたり、曲線道路における走行路面の片勾配は当該曲線道路の水平曲率に対応して変化するように設定されているという道路構造を考慮したモデリングを行って、多車線道路の道路形状モデルを生成することを特徴とする請求の範囲第9項記載の移動体ナビゲート情報表示方法。

【請求項11】道路ルックアップテーブル(RSL)を用いて、前記実写映像から前記景観中に含まれる道路白線の存在確率を求めてRSL値を算出し、そのRSL値による評価値が最大になるように前記姿勢データを求めることで、前記道路形状モデルのデータと前記道路形状データとの照合を行うことを特徴とする請求の範囲第9項記載の移動体ナビゲート情報表示方法。

【請求項12】前記ナビゲート情報は、当該移動体の目的地に到着するまでの道順に関する進路案内、自車位置、自車が走行中の車線、前記進路案内または前記自車位置を当該移動体の運転者が確認するに当たっての目印となる建物のうち、少なくともいずれか一つであることを特徴とする請求の範囲第9項記載の移動体ナビゲート情報表示方法。

【請求項13】移動体の現在位置を検出する現在位置検出手段と、前記移動体の進行方向の道路を含んだ景観を被写体とした実写映像を前記移動体に設置された車載カメラによって撮影する撮像手段と、前記移動体の検出された現在位置に対応した前記移動体の運行に関するナビゲート情報を、予め道路地図データと関連付けて記憶されていたナビゲート情報の中から読み出し、前記移動体の現在位置と前記道路地図データとに基づいて、前記現在位置から撮影されることが想定される道路に関する道路形状モデルを生成し、前記実写映像から前記景観中に含まれる道路に関する画像データである道路形状データを抽出し、前記道路形状モデルのデータと前記道路形状データとを照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定し、前記姿勢データに基づいて、前記移動体の現在位置に対応して読み出されたナビゲート情報の前記撮影された実写映像における表示位置を決定し、前記撮影された実写映像の前記決定された位置に、前記読み出されたナビゲート情報を、ユーザーによって設定された表示寸法および色調で表示される画像として合成してなる画像を表示するためのデータを出力するデータ処理手段と、前記データ処理手段から出力されたデータに基づいて、前記撮影された実写映像の前記決定された位置に、前記読み出されたナビゲート情報を、ユーザーによって設定された表示寸法および色調で表示される画像として合成して表示する画像表示手段とを備えたことを特徴とする移動体ナビゲート情報表示装置。

【請求項14】移動体の現在位置を検出する現在位置検出手段と、前記移動体の進行方向の道路を含んだ景観を被写体とした実写映像を前記移動体に設置された車載カメラによって撮影する撮像手段と、前記移動体の検出された現在位置に対応した前記移動体の運行に関するナビゲート情報を、予め道路地図データと関連付けて記憶されていたナビゲート情報の中から読み出し、前記移動体の現在位置と前記道路地図データとに基づいて、前記現在位置から撮影されることが想定される道路に関する道路形状モデルを生成し、前記実写映像から前記景観中に含まれる道路に関する画像データである道路形状データを抽出し、前記道路形状モデルのデータと前記道路形状データとを照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定し、前記姿勢データに基づいて、前記移動体の現在位置に対応して読み出されたナビゲート情報の前記撮影された実写映像における表示位置を決定し、前記ナビゲート情報について、表示の必要性の緊急度に応じて、警告情報と誘導情報と付加情報との3種類の分類を予め定義し、その各分類に対して優先順位を予め定めておき、前記ナビゲート情報が前記分類のうちのどれに該当するかを判別し、前記分類に対応した順序に従って、前記撮影された実写映像の前記決定された位置に前記ナビゲート情報を画像として合成して表示するためのデータを出力するデータ処理手段と、前記データ処理手段から出力されたデータに基づいて、前記撮影された実写映像の前記決定された位置に、前記読み出されたナビゲート情報の画像を、前記分類に対応した順序に従って合成して表示する画像表示手段とを備えたことを特徴とする移動体ナビゲート情報表示装置。

【請求項15】前記データ処理手段は、前記警告情報以外のナビゲート情報については、前記実写映像の中の警告対象物に対する前記移動体の現在位置が所定の距離内に入って以降に表示するためのデータを出力することを特徴とする請求の範囲第14項記載の移動体ナビゲート情報表示装置。

【請求項16】移動体の現在位置を検出する現在位置検出手段と、前記移動体の進行方向の道路を含んだ景観を被写体とした実写映像を前記移動体に設置された車載カメラによって撮影する撮像手段と、前記移動体の検出された現在位置に対応した前記移動体の運行に関するナビゲート情報を、予め道路地図データと関連付けて記憶されていたナビゲート情報の中から読み出し、前記移動体の現在位置と前記道路地図データとに基づいて、前記現在位置から撮影されることが想定される道路に関する道路形状モデルを生成し、前記実写映像から前記景観中に含まれる道路に関する画像データである道路形状データを抽出し、前記道路形状モデルのデータと前記道路形状データとを照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定し、前記姿勢データに基づいて、前記移動体の現在位置に対応して読み出されたナビゲート情報の前記撮影された実写映像における表示位置を決定し、前記ナビゲート情報のうち、走行方向案内のためのグラフィック表示以外のナビゲート情報については、前記実写映像における仮想消失点または仮想地平線よりも下の領域には表示せず、前記仮想消失点または前記仮想地平線よりも上の領域に合成して表示するためのデータを出力するデータ処理手段と、前記データ処理手段から出力されたデータに基づいて、前記撮影された実写映像の前記決定された位置に、前記読み出されたナビゲート情報を合成して表示する画像表示手段とを備えたことを特徴とする移動体ナビゲート情報表示装置。

【請求項17】移動体の現在位置を検出する現在位置検出手段と、前記移動体の進行方向の道路を含んだ景観を被写体とした実写映像を前記移動体に設置された車載カメラによって撮影する撮像手段と、前記移動体の検出された現在位置に対応した前記移動体の運行に関するナビゲート情報を、予め道路地図データと関連付けて記憶されていたナビゲート情報の中から読み出し、前記移動体の現在位置と前記道路地図データとに基づいて、前記現在位置から撮影されることが想定される道路に関する道路形状モデルを生成し、前記実写映像から前記景観中に含まれる道路に関する画像データである道路形状データを抽出し、前記道路形状モデルのデータと前記道路形状データとを照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定し、前記姿勢データに基づいて、前記移動体の現在位置に対応して読み出されたナビゲート情報の前記撮影された実写映像における表示位置を決定し、前記撮影された実写映像の前記決定された位置に、前記読み出されたナビゲート情報を垂直軸または水平軸を中心に回転する3次元アイコンとして合成してなる画像を表示するためのデータを出力するデータ処理手段と、前記データ処理手段から出力されたデータに基づいて、前記撮影された実写映像の前記決定された位置に、前記読み出されたナビゲート情報を、垂直軸または水平軸を中心に回転する3次元アイコンとして合成して表示する画像表示手段とを備えたことを特徴とする移動体ナビゲート情報表示装置。

【請求項18】前記データ処理手段は、前記回転する3次元アイコンが一画面内に複数個表示される場合には、それら複数個の3次元アイコンのそれぞれを、互いに異なった位相または回転速度で回転させて表示するためのデータを出力することを特徴とする請求の範囲第17項記載の移動体ナビゲート情報表示装置。

【請求項19】移動体の現在位置を検出する現在位置検出手段と、前記移動体の進行方向の道路を含んだ景観を被写体とした実写映像を前記移動体に設置された車載カメラによって撮影する撮像手段と、前記移動体の検出された現在位置に対応した前記移動体の運行に関するナビゲート情報を、予め道路地図データと関連付けて記憶されていたナビゲート情報の中から読み出し、前記移動体の現在位置と前記道路地図データとに基づいて、前記現在位置から撮影されることが想定される道路に関する道路形状モデルを生成し、前記実写映像から前記景観中に含まれる道路に関する画像データである道路形状データを抽出し、前記道路形状モデルのデータと前記道路形状データとを照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定し、前記姿勢データに基づいて、前記移動体の現在位置に対応して読み出されたナビゲート情報の前記撮影された実写映像における表示位置を決定し、前記撮影された実写映像の前記決定された位置に、前記読み出されたナビゲート情報を、半透明で表示される画像として合成してなる画像として表示するためのデータを出力するデータ処理手段と、前記データ処理手段から出力されたデータに基づいて、前記撮影された実写映像の前記決定された位置に、前記読み出されたナビゲート情報を、半透明で表示される画像として合成して表示する画像表示手段とを備えたことを特徴とする移動体ナビゲート情報表示装置。

【請求項20】移動体の現在位置を検出する現在位置検出手段と、前記移動体の進行方向の道路を含んだ景観を被写体とした実写映像を前記移動体に設置された車載カメラによって撮影する撮像手段と、前記移動体の検出された現在位置に対応した前記移動体の運行に関するナビゲート情報を、予め道路地図データと関連付けて記憶されていたナビゲート情報の中から読み出し、前記移動体の現在位置と前記道路地図データとに基づいて、前記現在位置から撮影されることが想定される道路に関する道路形状モデルを生成し、前記実写映像から前記景観中に含まれる道路に関する画像データである道路形状データを抽出し、前記道路形状モデルのデータと前記道路形状データとを照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定し、前記姿勢データに基づいて、前記移動体の現在位置に対応して読み出されたナビゲート情報の前記撮影された実写映像における表示位置を決定し、前記撮影された実写映像の前記決定された位置に前記読み出されたナビゲート情報を合成して表示すると共に、前記ナビゲート情報のうちの文字情報については前記実写映像内ではなく前記実写映像の外側に予め設けられた表示領域に表示するためのデータを出力するデータ処理手段と、前記データ処理手段から出力されたデータに基づいて、前記撮影された実写映像の前記決定された位置に前記読み出されたナビゲート情報を合成して表示すると共に、前記ナビゲート情報のうちの文字情報については前記実写映像内ではなく前記実写映像の外側に予め設けられた表示領域に表示する画像表示手段とを備えたことを特徴とする移動体ナビゲート情報表示装置。

【請求項21】前記データ処理手段が、前記道路形状データを遠近法的な2次元特徴空間の画像データに変換すると共に前記道路形状モデルのデータを前記遠近法的な2次元特徴空間の画像データに変換し、前記2次元特徴空間で前記道路形状データと前記道路形状モデルのデータとを2次元データどうしで照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定することを特徴とする請求の範囲第13項ないし第20項のいずれか1項に記載の移動体ナビゲート情報表示装置。

【請求項22】前記データ処理手段が、道路形状モデルを生成するにあたり、曲線道路における走行路面の片勾配は当該曲線道路の水平曲率に対応して変化するように設定されているという道路構造を考慮したモデリングを行って、多車線道路の道路形状モデルを生成することを特徴とする請求の範囲第21項記載の移動体ナビゲート情報表示装置。

【請求項23】前記データ処理手段が、前記道路形状モデルのデータと前記道路形状データとを照合するにあたり、道路ルックアップテーブル(RSL)を用いて、前記実写映像から前記景観中に含まれる道路白線の存在確率を求めてRSL値を算出し、そのRSL値による評価値が最大になるように前記姿勢データを求めることで、前記照合を行うことを特徴とする請求の範囲第21項記載の移動体ナビゲート情報表示装置。

【請求項24】前記ナビゲート情報は、当該移動体の目的地に到着するまでの道順に関する進路案内、自車位置、自車が走行中の車線、前記進路案内または前記自車位置を当該移動体の運転者が確認するに当たっての目印となる建物のうち、少なくともいずれか一つであることを特徴とする請求の範囲第21項記載の移動体ナビゲート情報表示装置。
  • Applicant
  • ※All designated countries except for US in the data before July 2012
  • National University Corporation Kumamoto University
  • Inventor
  • Hu, Zhencheng
  • Uchimura, Keiichi
IPC(International Patent Classification)
Specified countries AE AG AL AM AT AU AZ BA BB BE BF BG BJ BR BW BY BZ CA CF CG CH CI CM CN CO CR CU CY CZ DE DK DM DZ EC EE EG ES FI FR GA GB GD GE GH GM GN GQ GR GW HR HU ID IE IL IN IS IT JP KE KG KM KP KR KZ LC LK LR LS LT LU LV LY MA MC MD MG MK ML MN MR MW MX MZ NA NE NG NI NL NO NZ OM PG PH PL PT RO RU SC SD SE SG SI SK SL SM SN SY SZ TD TG TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW
Please contact us by E-mail or telephone if you have any interests on this patent.

PAGE TOP

close
close
close
close
close
close