TOP > 国内特許検索 > 情報端末、位置推定方法、および位置推定プログラム > 明細書

明細書 :情報端末、位置推定方法、および位置推定プログラム

発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2017-173001 (P2017-173001A)
公開日 平成29年9月28日(2017.9.28)
発明の名称または考案の名称 情報端末、位置推定方法、および位置推定プログラム
国際特許分類 G01C  21/28        (2006.01)
G09B  29/10        (2006.01)
G01C  21/16        (2006.01)
G01C  21/26        (2006.01)
G06T   7/60        (2017.01)
FI G01C 21/28
G09B 29/10 A
G01C 21/16
G01C 21/26 P
G06T 7/60 300A
請求項の数または発明の数 16
出願形態 OL
全頁数 26
出願番号 特願2016-056139 (P2016-056139)
出願日 平成28年3月18日(2016.3.18)
発明者または考案者 【氏名】菅谷 至寛
【氏名】外崎 健人
【氏名】大町 真一郎
【氏名】宮崎 智
出願人 【識別番号】504157024
【氏名又は名称】国立大学法人東北大学
個別代理人の代理人 【識別番号】110001461、【氏名又は名称】特許業務法人きさ特許商標事務所
審査請求 未請求
テーマコード 2C032
2F129
5L096
Fターム 2C032HB22
2C032HC24
2C032HD03
2F129AA02
2F129BB03
2F129BB05
2F129BB08
2F129BB21
2F129BB22
2F129BB26
2F129BB56
2F129CC15
2F129EE09
2F129EE65
2F129EE78
2F129FF12
2F129GG17
2F129HH02
2F129HH12
2F129HH20
2F129HH21
5L096AA02
5L096AA06
5L096CA02
5L096DA01
5L096FA02
5L096FA06
5L096GA02
5L096GA34
要約 【課題】縮尺、方位を含まない地図データを用いても、自装置の位置を正確に推定することが可能な情報端末等を提供する。
【解決手段】情報端末は、環境情報をセンサ情報として出力するセンサと、ユーザが通行する通路領域を含む複数の領域を有する地図データを表示する表示部と、ユーザの操作に応じた信号を出力する操作部と、地図データ上での自装置の位置を推定する位置推定部を有するとともに、推定位置の表示を地図データに重畳させて表示部に表示させる制御部とを備え、位置推定部は、センサ情報に基づき、地図データ上での自装置の現在位置を推定するためのDR情報を出力し、DR情報、および操作部を介して入力された地図データ上での位置を示す情報に基づき、地図データの縮尺に関する情報および方位に関する情報を取得し、DR情報、縮尺に関する情報および方位に関する情報に基づき、自装置が移動する位置を推定する。
【選択図】図4
特許請求の範囲 【請求項1】
環境情報を取得し、センサ情報として出力するセンサと、
ユーザが通行する領域である通路領域および該通路領域とは異なる非通路領域を含む複数の領域を有する地図データを表示する表示部と、
ユーザの操作に応じた操作信号を出力する操作部と、
前記地図データ上での自装置の位置を推定する位置推定部を有するとともに、前記推定された自装置の位置を示す表示を前記地図データに重畳させて前記表示部に表示させる制御部と
を備え、
前記位置推定部は、
前記センサから出力された前記センサ情報に基づき、前記地図データ上での自装置の現在位置を推定するためのデッドレコニング情報を出力し、
前記デッドレコニング情報、および前記操作部を介して入力された前記地図データ上での位置を示す情報に基づき、前記地図データの縮尺に関する情報および方位に関する情報を取得し、
前記デッドレコニング情報、前記縮尺に関する情報および前記方位に関する情報に基づき、自装置が移動する位置を推定する
ことを特徴とする情報端末。
【請求項2】
前記位置推定部は、
前記センサ情報に基づき、前記デッドレコニング情報を出力するデッドレコニング処理部と、
前記デッドレコニング情報に基づき、前記操作部を介して入力された前記地図データ上での位置の周囲に、前記地図データ上での位置を示す座標に関する情報、前記地図データの縮尺に関する情報、および方位に関する情報を少なくとも含む状態を有する複数の粒子を初期値として配置する粒子初期化部と、
前記デッドレコニング情報に基づき、配置された前記複数の粒子が自装置の移動に応じて移動する位置を推定し、推定した前記位置に前記複数の粒子を移動させる予測計算部と、
移動した前記複数の粒子のうち、前記非通路領域に移動した粒子を除外する尤度計算部と、
前記尤度計算部の処理によって残った複数の粒子に基づき、現在位置を推定する位置計算部と、
前記尤度計算部の処理によって残った複数の粒子に基づき、前記初期値の複数の粒子と同数の粒子を、該粒子が有する前記状態に含まれる前記座標に関する情報が示す前記地図データ上での位置に再配置するリサンプリング部と
を有し、
前記予測計算部は、
前記リサンプリング部によって再配置された複数の粒子を、次回の処理の初期値として用いる
ことを特徴とする請求項1に記載の情報端末。
【請求項3】
前記デッドレコニング処理部は、
前記センサ情報に基づき、自装置が移動したことを示すステップイベントを検出し、
前記ステップイベントが検出される毎に、前記ステップイベントの回数、前記ステップイベント毎の移動距離、および自装置の進行方向を前記デッドレコニング情報として出力し、
前記粒子初期化部は、
前記デッドレコニング情報と、前記操作部を介して入力された前記地図データ上での2点の座標情報とに基づき、初期値の前記複数の粒子のそれぞれにおける前記地図データ上での座標、縮尺および方位を算出し、
前記予測計算部は、
前記デッドレコニング情報と、配置されている前記複数の粒子の状態を示す情報とに基づき、前記複数の粒子を前記ステップイベント検出後に移動させる際の前記複数の粒子の座標、縮尺および方位を算出する
ことを特徴とする請求項2に記載の情報端末。
【請求項4】
前記尤度計算部は、
前記通路領域の座標情報と、移動した前記複数の粒子の座標情報とに基づき、前記粒子が前記非通路領域に位置する場合に、前記粒子を除外する
ことを特徴とする請求項2または3に記載の情報端末。
【請求項5】
前記リサンプリング部は、
前記尤度計算部の処理によって残った複数の粒子から1つの粒子をランダムに選択するとともに、選択された粒子を複製して再配置する処理を、再配置された粒子の数が前記初期値の複数の粒子と同数となるまで行い、
前記残った複数の粒子を破棄する
ことを特徴とする請求項2~4のいずれか一項に記載の情報端末。
【請求項6】
前記地図データとしての画像データを取得する画像データ取得部
をさらに備え、
前記制御部は、
前記画像データから通路領域を推定する画像解析部
をさらに有し、
前記画像解析部は、
前記画像データから、該画像データ中のエッジを検出するエッジ検出処理部と、
前記画像データ中の画像を複数の領域に分割し、それぞれの領域を形成する画素の画素値を共通の画素値に変換した領域分割画像データを生成する領域分割処理部と、
前記エッジおよび前記領域分割画像データに基づき、該領域分割画像データ中のそれぞれの領域のうち、同一領域とすべき複数の領域を統合し、統合された前記複数の領域を形成する画素に対して、画素値に応じて共通の領域を形成する画素であることを示す同一のラベルを付与し、前記同一のラベルが付与された複数の画素で形成された複数のラベリング領域を有するラベリング画像データを生成するラベリング処理部と、
前記ラベリング画像データに含まれる前記複数のラベリング領域から前記通路領域を推定し、該通路領域を示す情報を含む画像情報を生成する通路領域推定部と
を有する
ことを特徴とする請求項1~5のいずれか一項に記載の情報端末。
【請求項7】
地図データとしての画像データを取得する画像データ取得部と、
前記画像データから通路領域を推定する画像解析部と
を備え、
前記画像解析部は、
前記画像データから、該画像データ中のエッジを検出するエッジ検出処理部と、
前記画像データ中の画像を複数の領域に分割し、それぞれの領域を形成する画素の画素値を共通の画素値に変換した領域分割画像データを生成する領域分割処理部と、
前記エッジおよび前記領域分割画像データに基づき、該領域分割画像データ中のそれぞれの領域のうち、同一領域とすべき複数の領域を統合し、統合された前記複数の領域を形成する画素に対して、画素値に応じて共通の領域を形成する画素であることを示す同一のラベルを付与し、前記同一のラベルが付与された複数の画素で形成された複数のラベリング領域を有するラベリング画像データを生成するラベリング処理部と、
前記ラベリング画像データに含まれる前記複数のラベリング領域からユーザが通行する領域である通路領域を推定し、該通路領域を示す情報を含む画像情報を生成する通路領域推定部と
を有する
ことを特徴とする情報端末。
【請求項8】
前記通路領域推定部は、
前記ラベリング画像データに含まれる前記複数のラベリング領域のうち、面積が最大となる第1の領域と、面積が前記第1の領域に次いで大きい第2の領域とを抽出し、
抽出された前記第1の領域および前記第2の領域における面積と、画素値の平均値と、前記第1の領域および前記第2の領域のそれぞれを囲み、すべての辺において前記第1の領域または前記第2の領域の一部と接する外接矩形の面積とのうち少なくとも1つを比較した結果に基づき、前記第1の領域および前記第2の領域の少なくとも一方のラベリング領域を前記通路領域として推定する
ことを特徴とする請求項6または7に記載の情報端末。
【請求項9】
前記通路領域推定部は、
前記第1の領域の面積を示す値が前記第2の領域の面積を示す値に予め設定された係数を乗算した値よりも大きい場合に、前記第1の領域を前記通路領域として推定する
ことを特徴とする請求項8に記載の情報端末。
【請求項10】
前記通路領域推定部は、
前記第1の領域の面積を示す値が前記第2の領域の面積を示す値に予め設定された係数を乗算した値以下であり、
前記第1の領域の画素値の平均値と、前記第2の領域の画素値の平均値との差分値が予め設定された値よりも小さい場合に、前記第1の領域および前記第2の領域を前記通路領域として推定する
ことを特徴とする請求項8または9に記載の情報端末。
【請求項11】
前記通路領域推定部は、
前記第1の領域の面積を示す値が前記第2の領域の面積を示す値に予め設定された係数を乗算した値以下であり、
前記第1の領域の画素値の平均値と、前記第2の領域の画素値の平均値との差分値が予め設定された値以上であり、
前記第1の領域を囲む外接矩形の面積を示す値が前記第2の領域を囲む外接矩形の面積を示す値よりも大きい場合に、前記第1の領域を前記通路領域として推定する
ことを特徴とする請求項8~10のいずれか一項に記載の情報端末。
【請求項12】
前記通路領域推定部は、
前記第1の領域の面積を示す値が前記第2の領域の面積を示す値に予め設定された係数を乗算した値以下であり、
前記第1の領域の画素値の平均値と、前記第2の領域の画素値の平均値との差分値が予め設定された値以上であり、
前記第1の領域を囲む外接矩形の面積を示す値が前記第2の領域を囲む外接矩形の面積を示す値以下である場合に、前記第2の領域を前記通路領域として推定する
ことを特徴とする請求項8~10のいずれか一項に記載の情報端末。
【請求項13】
前記画像データ取得部は、
地図を撮像して得られる撮像信号に基づき、前記画像データを取得する撮像部である
ことを特徴とする請求項6~12のいずれか一項に記載の情報端末。
【請求項14】
前記制御部は、
前記操作部を介して前記地図データ上での目的地が入力された場合に、現在地から入力された前記目的地までの経路を前記地図データ上に表示させ、自装置を前記目的地まで案内する案内機能を有する
ことを特徴とする請求項1~13のいずれか一項に記載の情報端末。
【請求項15】
環境情報を取得するセンサからのセンサ情報に基づき、ユーザが通行する通路領域および該通路領域とは異なる非通路領域を含む複数の領域を有する地図データ上での自装置の現在位置を推定するためのデッドレコニング情報を出力するデッドレコニング処理ステップと、
前記デッドレコニング情報に基づき、ユーザの操作に応じて入力された前記地図データ上での位置の周囲に、前記地図データ上での位置を示す座標に関する情報、前記地図データの縮尺に関する情報、および方位に関する情報を少なくとも含む状態を有する複数の粒子を初期値として配置する粒子初期化ステップと、
配置した前記複数の粒子が自装置の移動に応じて移動する位置を前記デッドレコニング情報に基づき推定し、推定した前記位置に前記複数の粒子を移動させる予測計算ステップと、
移動した前記複数の粒子のうち、前記地図データに含まれる前記非通路領域に移動した粒子を除外する尤度計算ステップと、
前記尤度計算ステップの処理によって残った複数の粒子に基づき、現在位置を推定する位置計算ステップと、
前記尤度計算ステップの処理によって残った複数の粒子に基づき、前記初期値の複数の粒子と同数の粒子を、該粒子が有する前記状態に含まれる前記座標に関する情報が示す前記地図データ上での位置に再配置するリサンプリングステップと
を有し、
前記予測計算ステップは、
前記リサンプリングステップの処理によって再配置された複数の粒子を、次回の処理の初期値として用いる
ことを特徴とする位置推定方法。
【請求項16】
コンピュータに、
環境情報を取得するセンサからのセンサ情報に基づき、ユーザが通行する通路領域および該通路領域とは異なる非通路領域を含む複数の領域を有する地図データ上での自装置の現在位置を推定するためのデッドレコニング情報を出力するデッドレコニング処理ステップと、
前記デッドレコニング情報に基づき、ユーザの操作に応じて入力された前記地図データ上での位置の周囲に、前記地図データ上での位置を示す座標に関する情報、前記地図データの縮尺に関する情報、および方位に関する情報を少なくとも含む状態を有する複数の粒子を初期値として配置する粒子初期化ステップと、
配置した前記複数の粒子が自装置の移動に応じて移動する位置を前記デッドレコニング情報に基づき推定し、推定した前記位置に前記複数の粒子を移動させる予測計算ステップと、
移動した前記複数の粒子のうち、前記地図データに含まれる前記非通路領域に移動した粒子を除外する尤度計算ステップと、
前記尤度計算ステップの処理によって残った複数の粒子に基づき、現在位置を推定する位置計算ステップと、
前記尤度計算ステップの処理によって残った複数の粒子に基づき、前記初期値の複数の粒子と同数の粒子を、該粒子が有する前記状態に含まれる前記座標に関する情報が示す前記地図データ上での位置に再配置するリサンプリングステップと
前記リサンプリングステップの処理によって再配置された複数の粒子を、前記予測計算ステップにおける次回の処理の初期値として用いるステップと
を実行させることを特徴とする位置推定プログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、移動した際の自装置の位置を推定する情報端末、位置推定方法、および位置推定プログラムに関する。
【背景技術】
【0002】
従来から、歩行者であるユーザを目的地まで案内する歩行者ナビゲーションシステムがスマートフォン等の情報端末に搭載され、広く利用されている。このような歩行者ナビゲーションシステムでは、GPS(Global Positioning System)から受信するGPS信号に含まれている位置情報により、情報端末の位置を測位し、地図データ上に表示させる。
【0003】
しかしながら、歩行者ナビゲーションシステムは、GPS信号を受信可能な場所においては、高精度に情報端末の位置を測位することができるが、例えば屋内などのGPS信号が受信できない場所では、情報端末の位置を正確に推定することができない。
【0004】
そのため、最近では、様々な手法を用いて屋内での情報端末の位置を推定する方法が提案され、実用化されている。例えば、Wi-Fi(Wireless Fidelity)(登録商標、以下省略)のアクセスポイント、BLE(Bluetooth(登録商標) Low Energy)技術を用いたビーコン等の機器が屋内に設置されている場合には、これらを利用することにより、屋内であっても情報端末の位置を正確に推定することができる。
【0005】
しかしながら、Wi-Fiアクセスポイント等の機器を屋内に設置して情報端末の位置推定に利用する場合には、事前にデータベースを構築しておく必要があることもあり、設置コストおよび管理コストがかかってしまう。また、Wi-Fiアクセスポイント等の機器をすべての屋内に設置することは非常に困難であるため、利用できる場所が制限されてしまう。
【0006】
そこで、このような特別な機器を設置することなく、情報端末に搭載されている各種センサ等を用いて自装置の位置を推定する方法が提案されている(例えば、非特許文献1および非特許文献2参照)。
【先行技術文献】
【0007】

【非特許文献1】W.Hang and Y.Han,"SmartPDR:Smartphone-Based Pedestrian Dead Reckoning for Indoor Localization," IEEE Sensor Journal,Vol.15,pp2906-2916,no.5,May 2015
【非特許文献2】O.Woodman and R.Harle,"Pedestrian Localisation for Indoor Environments," in Proc.10th Int.Conf.UbiComp,2008,pp114-123.
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、従来の方法では、縮尺および方位を示す情報を含む正確な地図データを用いることを前提としている。そのため、縮尺および方位が不明な不正確な地図データを用いた場合には、情報端末の位置を正確に推定することができないという問題点があった。
【0009】
そこで、本発明の目的は、上記従来の技術における問題点に鑑みてなされたものであって、縮尺および方位に関する情報を含まない地図データを用いた場合であっても、自装置の位置を正確に推定することが可能な情報端末、位置推定方法、および位置推定プログラムを提供することにある。
【課題を解決するための手段】
【0010】
本発明に係る情報端末は、環境情報を取得し、センサ情報として出力するセンサと、ユーザが通行する領域である通路領域および該通路領域とは異なる非通路領域を含む複数の領域を有する地図データを表示する表示部と、ユーザの操作に応じた操作信号を出力する操作部と、前記地図データ上での自装置の位置を推定する位置推定部を有するとともに、前記推定された自装置の位置を示す表示を前記地図データに重畳させて前記表示部に表示させる制御部とを備え、前記位置推定部は、前記センサから出力された前記センサ情報に基づき、前記地図データ上での自装置の現在位置を推定するためのデッドレコニング情報を出力し、前記デッドレコニング情報、および前記操作部を介して入力された前記地図データ上での位置を示す情報に基づき、前記地図データの縮尺に関する情報および方位に関する情報を取得し、前記デッドレコニング情報、前記縮尺に関する情報および前記方位に関する情報に基づき、自装置が移動する位置を推定するものである。
【0011】
また、本発明に係る情報端末は、地図データとしての画像データを取得する画像データ取得部と、前記画像データから通路領域を推定する画像解析部とを備え、前記画像解析部は、前記画像データから、該画像データ中のエッジを検出するエッジ検出処理部と、前記画像データ中の画像を複数の領域に分割し、それぞれの領域を形成する画素の画素値を共通の画素値に変換した領域分割画像データを生成する領域分割処理部と、前記エッジおよび前記領域分割画像データに基づき、該領域分割画像データ中のそれぞれの領域のうち、同一領域とすべき複数の領域を統合し、統合された前記複数の領域を形成する画素に対して、画素値に応じて共通の領域を形成する画素であることを示す同一のラベルを付与し、前記同一のラベルが付与された複数の画素で形成された複数のラベリング領域を有するラベリング画像データを生成するラベリング処理部と、前記ラベリング画像データに含まれる前記複数のラベリング領域からユーザが通行する領域である通路領域を推定し、該通路領域を示す情報を含む画像情報を生成する通路領域推定部とを有するものである。
【発明の効果】
【0012】
以上のように、本発明によれば、地図データの縮尺および方位に関する情報を取得し、取得した縮尺および方位の情報に基づき、自装置が移動する位置を推定するため、縮尺および方位に関する情報を含まない地図データを用いた場合であっても、自装置の位置を正確に推定することが可能になる。
【図面の簡単な説明】
【0013】
【図1】実施の形態1について説明するための概略図である。
【図2】実施の形態1に係る情報端末の構成の一例を示すブロック図である。
【図3】図2の画像解析部の構成の一例を示すブロック図である。
【図4】図2の位置推定部の構成の一例を示すブロック図である。
【図5】図3のエッジ検出処理部で生成されるエッジ画像データについて説明するための概略図である。
【図6】図3の領域分割処理部で生成される領域分割画像データについて説明するための概略図である。
【図7】図3のラベリング処理部で行われるラベリング処理について説明するための概略図である。
【図8】図3の通路領域推定部で行われる通路領域推定処理の流れの一例を示すフローチャートである。
【図9】図4の粒子初期化部で行われる粒子初期化処理について説明するための概略図である。
【図10】実施の形態1に係る位置推定処理について説明するための概略図である。
【発明を実施するための形態】
【0014】
実施の形態1.
以下、本発明の実施の形態1に係る情報端末について説明する。
本実施の形態1では、情報端末に設けられたカメラ等の撮像装置を用いて撮像して得られる画像データである地図データ、または予め取得した地図データを用い、この地図データ上における情報端末の現在位置を推定して情報端末に表示させる。

【0015】
概略的には、情報端末は、この情報端末に一般的に搭載されている各種センサの検出結果に基づき、地図データ上での自装置の現在位置を推定するための情報であるデッドレコニング情報(詳細は後述する)を出力する。
そして、情報端末は、このデッドレコニング情報と、ユーザによって入力された地図データ上での位置を示す情報とに基づき、地図データの縮尺および方位に関する情報を取得し、これらの情報とデッドレコニング情報とに基づき、情報端末が移動する位置を推定する。

【0016】
図1は、本実施の形態1について説明するための概略図である。
図1に示すように、本実施の形態1では、例えばユーザが携帯する情報端末の撮像装置によって施設に設置されている図1(a)に示すような案内図等を撮像する。この場合、情報端末には、図1(b)に示すように、撮像によって得られた画像データである屋内地図データ上に、この情報端末の推定した現在位置(以下、「推定現在位置」と適宜称する)を重畳させて表示することができる。
なお、図1(b)に示す例では、推定した現在位置の履歴を残した状態で表示されているが、これに限らず、例えば現時点での推定現在位置のみを表示させるようにしてもよい。

【0017】
また、本実施の形態1においては、主に、複数の店舗が収容された施設内の様子を示す画像データを屋内地図データとして扱う。この屋内地図データは、例えば、施設内に設置された案内板等の屋内地図を撮像したものであり、このような施設において、各店舗と店舗の間に設けられた通路とを含むデータとする。

【0018】
[情報端末の構成]
図2は、本実施の形態1に係る情報端末1の構成の一例を示すブロック図である。
情報端末1は、例えば、携帯電話、スマートフォン、タブレット、PDA(Personal Digital Assistant)等の、各種情報の表示、再生および記録が可能であり、ユーザが移動する際に、共に移動可能な端末である。
図2に示すように、情報端末1は、画像データ取得部としての撮像部2、画像信号処理部3、表示部4、操作部5、加速度センサ6、地磁気センサ7、ジャイロセンサ8、記憶部9および制御部10を備えている。なお、図2に示す例では、本実施の形態1の特徴に関連する部分についてのみ図示し、それ以外の部分については、図示を省略する。

【0019】
撮像部2は、例えばCCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の撮像素子に受光された光を撮像信号に変換し、サンプリングおよびノイズ除去等の処理を行うことによって撮像信号を出力する。
この例において、撮像部2は、被写体として施設内に設けられた屋内地図を撮像する。

【0020】
画像信号処理部3は、撮像信号に対してAGC(Auto Gain Control)処理、ホワイトバランス処理、γ(ガンマ)補正、色調補正、シャープネス補正等の信号処理を行うとともに、この撮像信号を、例えば輝度信号と色差信号とからなる画像データに変換する。

【0021】
表示部4は、例えばLCD(Liquid Crystal Display)、有機EL(Electro Luminescence)等によって構成され、画像信号処理部3から供給された画像データを表示可能な形式に変換して表示する。表示部4としては、例えば、LCDまたは有機EL上にタッチセンサを有するタッチパネルが積層されたタッチパネルディスプレイを用いることができる。

【0022】
操作部5は、この情報端末1を操作するために用いられる各種の操作子が設けられ、各操作子に対する操作に応じた操作信号を出力する。操作部5には、例えば、電源のONおよびOFFを切り替える電源キー、撮影モードや再生モードといった情報端末1における動作モードを切り替えるモード切替キー等が設けられている。これらの各種キーは、例えば、情報端末1の筐体にハードウェアキーとして設けるようにしてもよいし、表示部4がタッチパネルディスプレイの場合には、各種キーがソフトウェアキーとして表示部4に表示されるようにしてもよい。

【0023】
加速度センサ6、地磁気センサ7およびジャイロセンサ8は、情報端末1に入力される各種の環境情報を取得するためのセンサである。
加速度センサ6は、例えば、この情報端末1のローカル座標系(LCS;Local Coordinate System)における表示部4での表示画面の法線方向を示すz軸方向と、当該表示画面の横方向を示すx軸方向と、当該表示画面の縦方向を示すy軸方向との3方向の加速度を検出し、センサ情報として出力する。
地磁気センサ7は、ローカル座標系におけるx軸方向、y軸方向およびz軸方向の3方向の地磁気の強さを検出し、センサ情報として出力する。
ジャイロセンサ8は、ローカル座標系における角速度を検出し、センサ情報として出力する。

【0024】
記憶部9は、例えばフラッシュメモリ、HDD(Hard Disc Drive)等で構成され、後述する制御部10の制御に基づき、撮像部2によって撮像された画像データ等を記憶する。なお、記憶部9としては、これに限らず、例えば外部に設けられたUSB(Universal Serial Bus)メモリ、SD(Secure Digital)メモリカード等のフラッシュメモリを用いることもできる。

【0025】
制御部10は、図示しないRAM(Random Access Memory)をワークメモリとして用い、図示しないROM(Read Only Memory)に予め記憶されたプログラムに従い、この情報端末1の全体の動作を制御する。

【0026】
また、制御部10は、画像解析部20および位置推定部30を備えている。
画像解析部20は、入力された画像データを構成する複数の画素のうち、画素の色を示す画素値が同等である画素によってブロックを形成する処理を行う。これにより、例えば屋内地図データを画像データとして用いた場合に、施設内の同一店舗および通路を示す領域がそれぞれ同一のブロックとして形成され、施設内の店舗および通路の位置関係を取得することができる。そして、本実施の形態1における画像解析部20は、これらのブロック化された領域から、ユーザが通行する領域である通路領域を推定し、推定した通路領域を示す通路情報を含む画像情報を生成する。
なお、「画素値が同等である」とは、比較する複数の画素における画素値が予め設定された範囲内である場合のことをいう。

【0027】
位置推定部30は、デッドレコニングおよび粒子フィルタを用いて、画像データ上での情報端末1の現在位置を推定する処理を行う。
デッドレコニングは、加速度センサ6、地磁気センサ7およびジャイロセンサ8などによって得られるセンサ情報に基づき、情報端末1の位置を推定する手法である。
粒子フィルタは、現在位置として推定された範囲内に、後述する算出方法を用いて得られる状態を有する、情報端末1の位置を推定するためのモデルとしての複数の粒子を配置し、配置されたそれぞれの粒子を情報端末1の移動に応じて移動させることによって、情報端末1の位置を推定する手法である。

【0028】
制御部10は、位置推定部30で推定された現在位置を示す表示を、画像信号処理部3から出力された画像データ上に重畳させ、得られた画像データを、画像信号処理部3を介して表示部4に表示させる。

【0029】
制御部10は、例えばマイクロコンピュータ、CPU(Central Processing Unit)などの演算装置上で実行されるソフトウェア、上述した画像解析部20および位置推定部30における処理を実現する回路デバイスなどのハードウェア等で構成される。

【0030】
(画像解析部)
図3は、図2の画像解析部20の構成の一例を示すブロック図である。
図3に示すように、画像解析部20は、エッジ検出処理部21、領域分割処理部22、ラベリング処理部23および通路領域推定部24を備えている。なお、各部における処理の詳細については、後述する。

【0031】
エッジ検出処理部21は、入力された画像データに対してエッジ検出処理を行い、画像データを構成する複数の画素のうち隣接する画素との間で画素値が大きく変化している部分、すなわち変化点を示すエッジを検出する。そして、エッジ検出処理部21は、検出されたエッジを画像化したエッジ画像データを生成して出力する。

【0032】
領域分割処理部22は、入力された画像データに対して領域分割処理を行い、画像データ中の複数の画素で一つの領域を形成し、同一領域を構成する画素の画素値を共通の画素値に変換する。これにより、領域分割処理部22は、画像データを複数の領域に分割した領域分割画像データを生成して出力する。

【0033】
ラベリング処理部23は、エッジ画像データおよび領域分割画像データに基づき、領域分割画像データ中の各領域のうち同一領域とすべき複数の領域を統合し、この領域内の画素に対して同一のラベルを付与するラベリング処理を行う。そして、ラベリング処理部23は、同一のラベルが付与された複数の画素で形成される複数のラベリング領域を有するラベリング画像データを生成して出力する。
ここで、ラベルとは、1つのラベリング領域を形成する複数の画素が、互いに共通する領域であるラベリング領域を形成する画素であることを示す情報のことをいう。また、ラベリング画像データには、それぞれのラベリング領域に関するラベリング情報が含まれている。

【0034】
通路領域推定部24は、ラベリング処理部23から出力されたラベリング画像データに基づき、ラベリング画像データ中のラベリング領域の中から、通路領域を示すラベルを推定する通路領域推定処理を行う。そして、通路領域推定部24は、通路領域を示す通路情報を含む画像情報を出力する。

【0035】
(位置推定部)
図4は、図2の位置推定部30の構成の一例を示すブロック図である。
図4に示すように、位置推定部30は、デッドレコニングに対応するDR(Dead Reckoning)処理部31と、粒子フィルタに対応する粒子初期化部32、予測計算部33、尤度計算部34、リサンプリング部35および位置計算部36とを備えている。なお、各部における処理の詳細については、後述する。

【0036】
DR処理部31は、加速度センサ6、地磁気センサ7およびジャイロセンサ8などによって得られるセンサ情報に基づき、画像データ上での情報端末1の現在位置を推定するためのデッドレコニング情報(以下、「DR情報」と適宜称する)を取得するDR処理を行う。このDR処理部31においてDR処理を行う場合には、例えば、スマートPDR(Smartphone-Based Pedestrian Dead Reckoning)と称する手法を用いる。

【0037】
スマートPDRは、情報端末1として例えばスマートフォンを用いた場合に、このスマートフォンに一般的に搭載されている機能および演算装置を用いて情報端末1の位置を推定する手法である。具体的には、スマートPDR処理では、スマートフォンに一般的に搭載されている加速度センサ6、地磁気センサ7およびジャイロセンサ8などを用いる。そして、スマートPDR処理では、これらの各種センサによって得られるセンサ情報に基づき、情報端末1を携帯するユーザの歩数を示すステップイベント回数、ユーザの進行方向、1ステップあたりの移動距離であるユーザの歩幅を検出または推定する。すなわち、スマートPDR処理では、情報端末1を携帯するユーザがどの方向にどれだけ移動したのかを示すDR情報を1歩毎に出力する。
なお、以下の説明では、「情報端末1(ユーザ)の移動」を「ステップイベント」と称し、例えば、「ユーザが1歩だけ歩いたことを検出する」ことを、「1ステップイベントを検出する」のように記載するものとする。

【0038】
粒子初期化部32は、DR処理部31から出力されるDR情報に基づき、情報端末1の最初の位置を示す位置情報と、次に移動した際の位置を示す位置情報とを取得し、現在位置に対して配置すべき複数の粒子を初期化して配置する粒子初期化処理を行う。

【0039】
予測計算部33は、DR処理部31から出力されるDR情報に基づき、1ステップイベントが検出される毎に、粒子初期化部32または後述するリサンプリング部35における処理によって配置されている複数の粒子が移動する位置を推定する予測計算処理を行う。そして、予測計算部33は、予測計算処理による推定結果に応じて配置されている複数の粒子を移動させる。

【0040】
尤度計算部34は、画像解析部20から出力された画像情報に含まれる通路情報に基づき、予測計算部33による予測計算処理の結果に応じて移動した複数の粒子の尤度を算出する尤度計算処理を行い、尤度の低い粒子、すなわち複数の粒子のうち適切に移動しなかった粒子を除外する。

【0041】
リサンプリング部35は、尤度計算部34での尤度計算処理によって残った複数の粒子の中から1つの粒子だけをランダムに選択し、選択した粒子を複製して再配置する処理を予め設定された回数だけ行うリサンプリング処理を行う。そして、リサンプリング部35は、複製された複数の粒子を予測計算部33に出力するとともに、リサンプリング処理で用いた、尤度計算処理によって残った複数の粒子を破棄する。

【0042】
位置計算部36は、尤度計算部34での尤度計算処理によって残った複数の粒子の位置および方位を含む状態を示す情報に基づき、情報端末1の推定現在位置を決定する。

【0043】
なお、上述では、図2~図4に示す情報端末1の各部がそれぞれハードウェアで構成されるように説明したが、これはこの例に限定されない。すなわち、情報端末1における画像信号処理部3、制御部10、画像解析部20および位置推定部30、ならびに、画像解析部20および位置推定部30が有する各部の全てまたは一部を、CPU上でプログラムを実行させることで構成することも可能である。
プログラムは、情報端末1が有する図示しないROMに予め記憶させておいてもよいし、SDメモリカードといった記録媒体に記録された状態で提供されてもよい。インターネットなどの通信ネットワークを介してプログラムを提供することもできる。提供されたプログラムは、情報端末1が有する図示されない記憶部9などに記憶され、CPUに読み込まれて実行される。

【0044】
[情報端末における各種処理]
次に、画像解析部20の各部で行われる処理について説明する。
ここでは、エッジ検出処理部21におけるエッジ検出処理、領域分割処理部22における領域分割処理、ラベリング処理部23におけるラベリング処理、および通路領域推定部24における通路領域推定処理について説明する。

【0045】
(エッジ検出処理)
エッジ検出処理を行う場合には、例えば、従来から知られているキャニー法を用いる。
キャニー法は、入力された画像データを平滑化した画像データに基づきDoG(Difference of Gaussian)画像データを生成し、このDoG画像に対して細線化処理を行う。そして、細線化処理が行われた画像データに対するヒステリシス閾値処理により、DoG画像データ中に残ったエッジ部分候補のうち、まとめられるものを1つに連結することによってエッジ画像データを生成するという手法である。これにより、エッジ部分の画素値が例えば「255」であり、それ以外の部分の画素値が例えば「0」であるエッジ画像データ、すなわちエッジ部分のみが白画素で構成され、それ以外の部分が黒画素で構成されたエッジ画像データを生成することができる。

【0046】
なお、エッジ検出処理の方法は、上述したキャニー法を用いる場合に限られない。例えば、入力画像データからエッジを抽出することができれば、これ以外の方法を用いてもよい。

【0047】
図5は、図3のエッジ検出処理部21で生成されるエッジ画像データについて説明するための概略図である。
エッジ検出処理部21は、図5(a)に示す入力画像データに対してエッジ検出処理を行うことにより、図5(b)に示すエッジ画像データを生成する。このエッジ画像データにおいて、エッジとして検出された画素は、例えば画素値が「255」の白画素となる。また、それ以外の画素は、例えば画素値が「0」の黒画素となる。

【0048】
(領域分割処理)
領域分割処理を行う場合には、例えば、従来から知られている平均値シフト法(Mean Shift法)を用いるが、これに限らず、入力画像データから複数の分割領域を形成することができれば、平均値シフト法以外の方法を用いてもよい。

【0049】
図6は、図3の領域分割処理部22で生成される領域分割画像データについて説明するための概略図である。
領域分割処理部22は、図6(a)に示す入力画像データに対して領域分割処理を行うことにより、図6(b)に示すような、領域毎に同一の画素値を有する画素からなる複数の分割領域が形成された領域分割画像データを生成する。

【0050】
(ラベリング処理)
図7は、図3のラベリング処理部23で行われるラベリング処理について説明するための概略図である。
ラベリング処理は、エッジ画像データおよび領域分割画像データに基づき行われ、領域分割画像データ中の複数に分割されたそれぞれの領域において、同一の領域と判断された領域内の画素に対して同一のラベルを付与する。

【0051】
具体的には、ラベリング処理では、まず、領域分割画像データに対して左上の画素からラスタスキャンし、ラベルが付与されていない画素(以下、「注目画素」と適宜称する)の探索を行う。
次に、注目画素を検出した場合には、領域分割処理によって得られる画素値等の画素に関する情報に基づき、この注目画素の上下左右に隣接する4つの画素(以下、「4近傍画素」と適宜称する)を調査する。そして、調査した4近傍画素中に、注目画素の画素値と同一または近い画素値を有する対象画素が存在した場合には、この対象画素に付与されたラベルと同一のラベルを注目画素に付与する。

【0052】
ここで、注目画素および対象画素の画素値が近いか否かは、例えば、2つの画素におけるRGB色空間上での各成分R(Red)、G(Green)およびB(Blue)の画素値の差分と、予め設定された距離dとを、以下の式(1)に基づいて比較することによって判断する。なお、式(1)における「i」および「k」は、画像データ中の画素の横方向の座標を示す。また、「j」および「l」は、縦方向の座標を示す。すなわち、例えばR(i,j)は、座標(i,j)の画素におけるR成分の画素値を示す。

【0053】
【数1】
JP2017173001A_000003t.gif

【0054】
2つの画素におけるR、GおよびBの各成分の画素値の差分が式(1)を満足する場合には、注目画素および対象画素の色が同一または近いと判断し、対象画素に付与されたラベルと同一のラベルを注目画素に付与する。

【0055】
なお、注目画素に対する4近傍画素を調査する際には、エッジ画像データを参照し、エッジ画像中のエッジを形成しているエッジ画素の座標に対応する座標上の画素を、調査の対象から除外する。すなわち、注目画素に対する4近傍画素中にエッジ画素が含まれる場合、このエッジ画素の画素値については考慮しないようにする。これは、エッジ画素によって形成されたエッジが分割された各領域の境界を示すためである。

【0056】
このようにして領域分割画像データ中のすべての画素に対してラベルを付与することにより、図7(c)に示すように、分割されたラベリング領域毎に異なるラベルを付与することができる。
また、画素値が近い画素に対して同一のラベルを付与することにより、本来同一の領域とされるべきであるにもかかわらず分割されてしまっていた領域同士を、同一のラベリング領域とすることができる。

【0057】
(通路領域推定処理)
通路領域推定処理では、ラベリング処理によってラベルが付与されたそれぞれのラベリング領域のうち、どのラベリング領域が通路領域であるのかを推定する。
ここでは、通路領域推定処理について説明する前に、まず、施設内の通路がどのようなものであるのかについて説明する。

【0058】
通常、複数の店舗が収容された施設においては、ユーザが店舗間を自由に行き来できるように通路が設けられている。そして、このような通路は、以下に示すような第1~第3の特徴を有しているものと推定することができる。

【0059】
第1の特徴は、通路の「面積」である。
上述したように、通路は、ユーザが店舗間を自由に行き来できるようにするために設けられている。そのため、通路は、施設内の各店舗に必ず隣接するように設けられており、また、ほとんどの通路が連続した領域を形成している。従って、通路領域は、各店舗等の領域よりも大きいものと考えることができる。

【0060】
第2の特徴は、施設内に設置された案内板における通路の「色」である。
通常の案内板では、施設内に複数の通路が設けられている場合でも、同一の色を用いて複数の通路を表示することが多い。そのため、例えば、案内板に基づく画像データ中に、面積の大きさの差が小さい2つの領域が存在している場合で、これら2つの領域の色の差が小さいときには、両方の領域がともに通路領域であると考えることができる。

【0061】
第3の特徴は、「通路を囲む矩形の面積」である。
第1の特徴でも説明したように、通路は、施設内の各店舗に必ず隣接するように設けられている。また、このような通路は、通常、施設全体に行き渡るように設けられている。そのため、通路領域全体を囲むような矩形を考えた場合、この面積は、店舗等のそれぞれの領域を囲むような矩形の面積よりも大きいものと考えることができる。
このとき設定される矩形は、通路領域の「最大横長さ」および「最大縦長さ」によって定義することができる。「最大横長さ」は、通路領域における画像座標系でのx軸方向の最大座標値および最小座標値の差によって得ることができる。また、「最大縦長さ」は、当該通路領域における画像座標系でのy軸方向の最大座標値および最小座標値の差によって得ることができる。なお、このように定義された矩形は、すべての辺において通路領域の一部と接するため、以下の説明では、「通路を囲む矩形」を「外接矩形」と適宜称するものとする。

【0062】
そこで、本実施の形態1では、ラベルが付与された各ラベリング領域において、上述した第1~第3の特徴を順次比較することにより、画像データ中の通路領域を推定する。

【0063】
図8は、図3の通路領域推定部24で行われる通路領域推定処理の流れの一例を示すフローチャートである。
まず、ステップS1において、通路領域推定部24は、領域毎にラベルが付与されたラベリング画像データから、面積が最大となる第1のラベリング領域Lと、この第1のラベリング領域Lの次に面積が大きい第2のラベリング領域Lを抽出する。

【0064】
次に、通路領域推定部24は、第1のラベリング領域Lの面積を示す画素数と、第2のラベリング領域Lの面積を示す画素数に予め設定された係数αを乗じた値とを比較し、式(2)を満足するか否かを判断する(ステップS2)。ここでは、上述した第1の特徴についての判断を行う。なお、式(2)における「L」および「L」は、第1のラベリング領域Lおよび第2のラベリング領域Lの画素数を示す。また、係数αは、1より大きい値とする。

【0065】
【数2】
JP2017173001A_000004t.gif

【0066】
式(2)を満足すると判断した場合(ステップS2;Yes)、通路領域推定部24は、第1のラベリング領域Lが通路領域であると判断し、第1のラベリング領域Lが通路領域であることを示す通路情報を含む画像情報を出力する(ステップS3)。
一方、式(2)を満足しないと判断した場合(ステップS2;No)には、処理がステップS4に移行する。

【0067】
次に、通路領域推定部24は、第1のラベリング領域Lおよび第2のラベリング領域Lの色について、式(3)を満足するか否かを判断する(ステップS4)。ここでは、上述した第2の特徴についての判断を行う。なお、式(3)における「L」および「L」は、第1のラベリング領域Lおよび第2のラベリング領域L内のすべての画素における画素値の平均を示す。

【0068】
【数3】
JP2017173001A_000005t.gif

【0069】
式(3)を満足すると判断した場合(ステップS4;Yes)、通路領域推定部24は、第1のラベリング領域Lおよび第2のラベリング領域Lが通路領域であると判断し、第1のラベリング領域Lおよび第2のラベリング領域Lが通路領域であることを示す通路情報を含む画像情報を出力する(ステップS5)。
一方、式(3)を満足しないと判断した場合(ステップS4;No)には、処理がステップS6に移行する。

【0070】
ステップS6において、通路領域推定部24は、第1のラベリング領域Lおよび第2のラベリング領域Lのそれぞれを囲む外接矩形の面積を示す画素数を比較し、式(4)を満足するか否かを判断する。ここでは、上述した第3の特徴についての判断を行う。なお、式(4)における「L」は、第1のラベリング領域Lを囲む外接矩形の領域における画素数を示す。また、「L」は、第2のラベリング領域Lを囲む外接矩形の領域における画素数を示す。

【0071】
【数4】
JP2017173001A_000006t.gif

【0072】
式(4)を満足すると判断した場合(ステップS6;Yes)、通路領域推定部24は、第1のラベリング領域Lが通路領域であると判断し、第1のラベリング領域Lが通路領域であることを示す通路情報を含む画像情報を出力する(ステップS7)。
一方、式(4)を満足しないと判断した場合(ステップS6;No)、通路領域推定部24は、第2のラベリング領域Lが通路領域であると判断し、第2のラベリング領域Lが通路領域であることを示す通路情報を含む画像情報を出力する(ステップS8)。

【0073】
次に、位置推定部30で行われる位置推定処理について説明する。
なお、ここでは、位置推定部30を構成する粒子初期化部32、予測計算部33、尤度計算部34、リサンプリング部35および位置計算部36のそれぞれで行われる処理を含む全体的な処理を総称して「位置推定処理」と称する。

【0074】
(粒子の状態)
まず、各部で行われる処理を説明する前に、位置推定処理を行う際に用いられる粒子について説明する。
位置推定部30では、上述したように粒子フィルタを用い、現在位置と推定された範囲内に複数の粒子を配置する。また、位置推定部30は、配置された複数の粒子を情報端末1の移動に応じて移動させることにより、移動後の現在位置を推定する。

【0075】
DR処理部31におけるスマートPDR処理によってk番目のステップイベントが検出された場合、複数の粒子のそれぞれは、式(5)に示す状態sを有している。
なお、式(5)において、「x」および「y」は、画像座標系(ICS;Image Coordinate System)における粒子の位置である座標を示す。また、「mpp(meter per pixel)」は、1画素あたりのグローバル座標系(GCS;Global Coordinate System)における距離、すなわち画像データである屋内地図データの縮尺を示す。「θ」は、画像座標系におけるx軸方向をグローバル座標系に変換した際の方位を示す。

【0076】
【数5】
JP2017173001A_000007t.gif

【0077】
本実施の形態1では、式(5)のように示される粒子の状態に含まれる各種の情報を用いることにより、情報端末1の位置を推定する。

【0078】
次に、粒子初期化部32における粒子初期化処理、予測計算部33における予測計算処理、尤度計算部34における尤度計算処理、リサンプリング部35におけるリサンプリング処理、および位置計算部36における位置計算処理について説明する。

【0079】
(粒子初期化処理)
位置推定部30で行われる位置推定処理を最初に行う際には、屋内地図データ上での情報端末1の初期位置が不明である。そこで、この粒子初期化処理では、情報端末1の初期位置を推定し、この初期位置に対応する、予め設定された数の複数の粒子を配置するための処理を行う。
ここで、複数の粒子のうちi番目の粒子における初期状態s(i)は、上述した式(5)に基づき、式(6)のように示すことができる。なお、粒子の初期状態を示す各種の値に付された「(i)」は、その値がi番目の粒子のものであることを示す。

【0080】
【数6】
JP2017173001A_000008t.gif

【0081】
粒子初期化処理は、例えばユーザによって情報端末1の現在位置が指定されることによって行われる。具体的には、まず、ユーザが情報端末1の表示部4に表示された屋内地図データ上の2点をタップすることにより、情報端末1の現在位置が指定される。ここで、「タップ」とは、ユーザが指等を表示部4に接触させることをいう。

【0082】
まず、本実施の形態1における位置推定を行う際には、情報端末1の表示部4に表示された屋内地図データ上の現在位置に対応する位置がユーザによってタップされる。その後、ユーザが任意の歩数だけ移動した際に、移動先の現在位置に対応する屋内地図データ上の位置がタップされる。

【0083】
図9は、図4の粒子初期化部32で行われる粒子初期化処理について説明するための概略図である。
ユーザによってタップされた屋内地図データ上の2つ地点におけるそれぞれの座標は、図9のように示すことができるが、タップされた地点は、実際の地点からずれている可能性がある。そのため、n点目のタップの際に実際の地点に位置する確率Pは、このようなずれをガウス分布Nのエラーモデルとした場合に、式(7)に基づき算出することができる。なお、式(7)における「σtap」は、ガウス分布Nの分散を示す。

【0084】
【数7】
JP2017173001A_000009t.gif

【0085】
そして、タップされた2点間の距離ltapおよび方位θtapは、式(8)に基づき算出することができる。

【0086】
【数8】
JP2017173001A_000010t.gif

【0087】
一方、1点目をタップしてから2点目をタップするまでの間に、k´回のステップイベントが検出された場合、情報端末1がグローバル座標系におけるx軸方向およびy軸方向に移動した距離は、式(9)に基づき算出することができる。なお、式(9)における「l」は、s回目のステップにおける歩幅を示す。また、「h」は、s回目のステップにおける進行方向を示す。これらの値は、スマートPDR処理によって得られるDR情報に基づいて取得することができる。

【0088】
【数9】
JP2017173001A_000011t.gif

【0089】
また、1点目をタップしてから2点目をタップするまでの間に、実際に情報端末1が移動した距離lmoveおよび方位θmoveは、式(9)を用いて式(10)に基づき算出することができる。なお、この距離lmoveおよび方位θmoveは、DR処理部31におけるスマートPDR処理によって算出される。

【0090】
【数10】
JP2017173001A_000012t.gif

【0091】
従って、式(6)に示すi番目の粒子における初期状態sは、式(7)~式(10)に基づき、式(11)のように算出することができる。これにより、初期位置での縮尺および方位に関する情報を取得することができる。
なお、式(11)において、i番目の粒子における初期状態の座標x(i)およびy(i)は、2点目にタップされた際の画像座標系での座標(xtap,2ICS(i),ytap,2ICS(i))に基づき算出される。この座標(xtap,2ICS(i),ytap,2ICS(i))は、2点目をタップした際の画像座標系での座標(xtap,2ICS´,ytap,2ICS´)の値に、式(7)を用いてノイズを付加することによって算出することができる。また、距離ltap(i)および方位θtap(i)は、式(7)によってノイズが付加された画像座標系でのタップ地点の座標(xtap,1ICS(i),ytap,1ICS(i))および(xtap,2ICS(i),ytap,2ICS(i))に基づき、式(8)を用いて算出することができる。

【0092】
【数11】
JP2017173001A_000013t.gif

【0093】
粒子初期化処理では、このようにして得られる算出結果に基づき、初期状態の粒子を配置する。そして、粒子初期化処理では、式(11)による計算を複数回行うことによって複数の粒子の状態を算出し、算出結果に応じた位置に複数の粒子を配置する。このときの複数の粒子は、2点目にタップされた位置の周囲に配置されることになる。

【0094】
(予測計算処理)
予測計算処理は、情報端末1が移動した場合に、初期値として配置されている複数の粒子の移動先を推定する処理である。この処理は、例えばユーザが1歩歩く毎に行われる。
具体的には、予測計算部33は、スマートPDR処理によってステップイベントが検出されると、このスマートPDR処理によって得られるDR情報に基づき、ステップイベント後におけるそれぞれの粒子の状態を算出して推定する。そして、予測計算部33は、推定結果に応じた位置にそれぞれの粒子を配置する。

【0095】
例えば、k回目のステップイベント後におけるi番目の粒子の状態は、式(12)で表すことができる。

【0096】
【数12】
JP2017173001A_000014t.gif

【0097】
また、式(12)にける各値は、式(13)に基づき算出することができる。なお、式(13)において、縮尺mpp(i)および方位θ(i)には、ガウス分布Nをノイズとしてそれぞれの値に加算している。これにより、複数の粒子のそれぞれが、次に移動する際に、互いに異なる距離および方向に移動することになる。

【0098】
【数13】
JP2017173001A_000015t.gif

【0099】
このようにして、予測計算処理では、すべての粒子に対する状態を算出し、算出結果に応じた位置に複数の粒子を移動させる。

【0100】
(尤度計算処理)
尤度計算処理は、予測計算処理の結果に応じて移動した粒子に対して尤度を設定するための処理である。
例えば、ユーザが施設内を移動する場合には、通常、通路を移動するので、ユーザが携帯している情報端末1も通路領域内を移動することになる。そのため、予測計算処理による推定結果に基づいて移動した複数の粒子のうち、屋内地図データ中の通路領域以外の非通路領域に移動したり、壁などの領域を通過したりする粒子は、推定結果として適切ではない。
そこで、この尤度計算処理では、画像解析部20によって得られた画像情報に含まれる通路情報に基づき、予測計算処理の推定結果に応じて移動した複数の粒子のうち、適切でない移動を行う粒子を除外する処理を行う。

【0101】
粒子に対して尤度を設定する場合には、例えば、それぞれの粒子に対して重み付けを行う。情報端末1が通路領域から外れないと仮定した場合に、複数の粒子のうちi番目の粒子に対する重みw(i)は、式(14)で算出することができる。このような重み付けは、例えば、配置されている複数の粒子のそれぞれの座標情報と、通路領域の座標情報とを比較し、粒子が通路領域内に位置するか否かを判断することによって行われる。なお、式(14)における値「M」は、この処理によって除外されなかった粒子の数を示す。

【0102】
【数14】
JP2017173001A_000016t.gif

【0103】
このように、通路領域外に配置された粒子に対して値が「0」となる重みw(i)を付加することにより、適切でない動作をした粒子を、位置推定処理から除外することができる。

【0104】
なお、この例では、除外されなかった複数の粒子に対して付加される重みw(i)の値を一様としているが、これに限らず、例えば粒子毎に異なる値の重みw(i)を付加してもよい。具体的には、例えば、動きが実際の情報端末1の動きにより近い粒子に対して、他の粒子よりも値の大きい重みw(i)を付加する。これにより、位置推定の精度をより向上させることができる。

【0105】
(リサンプリング処理)
リサンプリング処理は、尤度計算処理によって除外されなかった粒子に基づき、初期値として配置された複数の粒子と同数の粒子を再配置する処理である。
このリサンプリング処理では、まず、残った複数の粒子から1つの粒子だけを選択し、選択した粒子を複製する。そして、複製された粒子を、この粒子が有する状態に含まれる座標情報が示す屋内地図データ上での位置に再配置する。このとき、粒子の選択は、尤度分布に基づき行われ、例えば、それぞれに付加された重みw(i)の値が大きい粒子ほど、選択される可能性が高くなる。ただし、この例では、残った粒子に対する重みの値が一様であるため、選択される粒子はランダムとなる。

【0106】
次に、リサンプリング処理では、上述したような1つの粒子だけを選択するとともに、選択された粒子を複製して再配置する処理を、再配置された粒子の数が粒子初期化処理によって配置された粒子の数と同数となるまで繰り返す。これにより、残った粒子を利用して、最初に配置された粒子数と同数の粒子を得ることができる。そして、予め設定された数の粒子が再配置されると、複製に利用した、尤度計算処理によって残った粒子を破棄する。

【0107】
このようにして得られた複数の粒子は、予測計算部33に対して出力され、次のステップイベントが発生した際の予測計算処理における粒子の初期値として用いられる。

【0108】
(位置計算処理)
位置計算処理は、情報端末1の推定現在位置を決定するための処理である。
この位置計算処理は、尤度計算処理によって残った複数の粒子の位置および方位を含む状態を示す情報に基づき、例えば配置されているそれぞれの粒子の平均または重心の位置および方位を推定現在位置として決定する。

【0109】
[位置推定処理による動作]
図10は、実施の形態1に係る位置推定処理について説明するための概略図である。
まず、図10(a)に示すように、予測計算部33の予測計算処理により、実際の現在位置に対する現在位置の範囲Rが推定されているものとする。この場合には、図10(b)に示すように、範囲R内に複数の粒子sが配置されている。

【0110】
次に、図10(c)に示すように、情報端末1を携帯しているユーザが移動する。このとき、スマートPDR処理によってステップイベントが検出される毎に、予測計算部33の予測計算処理により、配置されているそれぞれの粒子sの移動距離および方位が推定される。そして、図10(d)に示すように、それぞれの粒子sが推定結果に基づいて移動する。
次に、尤度計算部34における尤度計算処理により、それぞれの粒子sに対して尤度を設定し、図10(e)に示すように、適切でない動きによって移動した粒子sを除外する。この例では、通路間の壁に相当する領域を通過した粒子sが、適切でない動きを行ったと判断され、除外される。

【0111】
最後に、リサンプリング部35におけるリサンプリング処理により、図10(f)に示すように、残ったすべての粒子sを利用して、粒子初期化処理によって配置された粒子の数と同数の複数の粒子sを再配置する。

【0112】
以上のように、本実施の形態1に係る情報端末1は、環境情報を取得し、センサ情報として出力するセンサと、ユーザが通行する領域である通路領域および通路領域とは異なる非通路領域を含む複数の領域を有する地図データを表示する表示部4と、ユーザの操作に応じた操作信号を出力する操作部5と、地図データ上での自装置の位置を推定する位置推定部30を有するとともに、推定された自装置の位置を示す表示を地図データに重畳させて表示部4に表示させる制御部10とを備えている。また、位置推定部30は、センサから出力されたセンサ情報に基づき、地図データ上での自装置の現在位置を推定するためのDR情報を出力し、DR情報、および操作部5を介して入力された地図データ上での位置を示す情報に基づき、地図データの縮尺に関する情報および方位に関する情報を取得し、DR情報、縮尺に関する情報および方位に関する情報に基づき、自装置が移動する位置を推定する。

【0113】
このように、本実施の形態1では、各種センサからのセンサ情報に基づき得られるDR情報を用いて、地図データの縮尺および方位に関する情報を取得し、取得した縮尺および方位に関する情報に基づき、情報端末1の位置を推定する。そのため、縮尺および方位が不明な屋内地図データを用いて情報端末1の位置を推定する場合であっても、地図データの縮尺および方位に関する情報を取得することができ、情報端末1の位置を正確に推定することができる。

【0114】
また、位置推定部30は、DR情報に基づき、操作部5を介して入力された地図データ上での位置の周囲に、座標に関する情報、縮尺に関する情報、および方位に関する情報を少なくとも含む状態を有する複数の粒子を初期値として配置する粒子初期化部32と、DR情報に基づき、配置された複数の粒子が自装置の移動に応じて移動する位置を推定して移動させる予測計算部33と、移動した複数の粒子のうち、非通路領域に移動した粒子を除外する尤度計算部34と、尤度計算部34の処理によって残った複数の粒子に基づき、現在位置を推定する位置計算部36と、尤度計算部34の処理によって残った複数の粒子に基づき、初期値の複数の粒子と同数の粒子を、粒子の状態に含まれる座標に関する情報が示す位置に再配置するリサンプリング部35とを有し、予測計算部33は、リサンプリング部35によって再配置された複数の粒子を次回の処理の初期値として用いている。

【0115】
このように、本実施の形態1では、DR処理部31からのDR情報に基づき、縮尺および方位に関する情報を含む状態を有する複数の粒子を初期値として配置し、この複数の粒子に基づき、情報端末1の移動に応じて複数の粒子を移動させる。そのため、縮尺および方位が不明な屋内地図データを用いて情報端末1の位置を推定する場合であっても、情報端末1の位置を正確に推定することができる。

【0116】
さらに、本実施の形態1に係る情報端末1は、地図データとしての画像データを取得する画像データ取得部としての撮像部2と、画像データから通路領域を推定する画像解析部20とを備えている。また、画像解析部20は、画像データから、画像データ中のエッジを検出するエッジ検出処理部21と、画像データ中の画像を複数の領域に分割し、それぞれの領域を形成する画素の画素値を共通の画素値に変換した領域分割画像データを生成する領域分割処理部22と、エッジおよび領域分割画像データに基づき、領域分割画像データ中のそれぞれの領域のうち、同一領域とすべき複数の領域を統合し、統合された複数の領域を形成する画素に対して同一のラベルを付与し、同一のラベルが付与された複数の画素で形成された複数のラベリング領域を有するラベリング画像データを生成するラベリング処理部23と、ラベリング画像データに含まれる複数のラベリング領域からユーザが通行する領域である通路領域を推定し、通路領域を示す情報を含む画像情報を生成する通路領域推定部24とを有している。

【0117】
このように、本実施の形態1では、施設の案内板等を撮像して得られる画像データを地図データとして取得し、取得した画像データからエッジを検出するとともに、画像データ中の領域を分割した領域分割画像データを生成する。そして、エッジおよび領域分割画像データに基づきラベリング画像データを生成し、付与されたラベルが異なる領域同士の面積等の状態を比較し、通路領域を推定する。そのため、正確な地図データがない場合であっても、通路領域を容易に推定することができる。

【0118】
以上、本実施の形態1について説明したが、本発明は、上述した実施の形態1に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
本実施の形態1では、施設に設けられた案内板等の屋内地図を撮像して得られる画像データを屋内地図データとして取得した場合を例にとって説明したが、実施例としてはこの例に限られない。例えば、通路領域を推定する際に使用する屋内地図データは、予め取得した地図データを用いてもよい。このような地図データは、縮尺および方位を示す情報を含まない屋内地図データであってもよく、また、画像データでなくてもよい。

【0119】
また、本実施の形態1では、画像データ取得部として撮像部2を用いて地図データとしての画像データを取得するように説明したが、これに限らず、例えばインターネット等を介して地図データを取得してもよい。

【0120】
さらに、本実施の形態1では、位置推定部30で用いられるデッドレコニングとしてスマートPDRを適用したが、これに限らず、他のPDRを適用してもよい。また、本実施の形態1におけるDR情報に相当する情報を得られる方法であれば、Wi-Fiなどの他の方法を用いてもよい。

【0121】
さらにまた、本実施の形態1では、施設等の屋内における位置を推定する場合を例にとって説明したが、これに限らず、屋外、特にGPSによる位置情報を受信できない場所などにおいても、適用可能である。

【0122】
また、本実施の形態1では、地図データ上に情報端末1の現在位置を推定して表示する場合について説明したが、例えば、このように推定した位置の情報を用いて、情報端末1と共に移動するユーザを、指定された目的地まで案内するようにしてもよい。例えば、このような案内機能は、ユーザによって指定された目的地に情報端末1を案内するための案内機能部を制御部10に設けることによって実現可能である。

【0123】
この場合、制御部10の案内機能部は、推定された現在位置からユーザが操作部5を操作することによって入力された目的地までの経路を探索する。そして、制御部10は、探索の結果得られた経路を地図データ上に重畳して表示部4に表示させる。情報端末1と共に移動するユーザは、表示部4に表示された経路に沿って移動することにより、入力した目的地まで容易に移動することができる。なお、ユーザが経路に沿って移動する際には、例えば音声による案内を行ってもよい。このような音声による案内は、情報端末1にスピーカ等の音声出力部を設けることによって実現可能である。
【符号の説明】
【0124】
1 情報端末、2 撮像部、3 画像信号処理部、4 表示部、5 操作部、6 加速度センサ、7 地磁気センサ、8 ジャイロセンサ、9 記憶部、10 制御部、20 画像解析部、21 エッジ検出処理部、22 領域分割処理部、23 ラベリング処理部、24 通路領域推定部、30 位置推定部、31 DR処理部、32 粒子初期化部、33 予測計算部、34 尤度計算部、35 リサンプリング部、36 位置計算部。
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9