Top > Search of Japanese Patents > THREE-DIMENSIONAL OBJECT SHAPE ESTIMATION DEVICE > Specification

Specification :(In Japanese)三次元被写体形状推定装置

Country (In Japanese)日本国特許庁(JP)
Gazette (In Japanese)特許公報(B2)
Patent Number P6652253
Publication number P2017-130008A
Date of registration Jan 27, 2020
Date of issue Feb 19, 2020
Date of publication of application Jul 27, 2017
Title of the invention, or title of the device (In Japanese)三次元被写体形状推定装置
IPC (International Patent Classification) G06T   1/00        (2006.01)
G06T   7/00        (2017.01)
G06T   7/60        (2017.01)
G01C  11/06        (2006.01)
G01C  15/00        (2006.01)
FI (File Index) G06T 1/00 315
G06T 7/00 C
G06T 1/00 500B
G06T 7/60 150
G01C 11/06
G01C 15/00 102C
Number of claims or invention 3
Total pages 13
Application Number P2016-008446
Date of filing Jan 20, 2016
Date of request for substantive examination Jan 17, 2019
Patentee, or owner of utility model right (In Japanese)【識別番号】504171134
【氏名又は名称】国立大学法人 筑波大学
Inventor, or creator of device (In Japanese)【氏名】北原 格
【氏名】川村 洋平
【氏名】ジャン ヒョンドゥ
【氏名】トパル エルカン
Representative (In Japanese)【識別番号】110000925、【氏名又は名称】特許業務法人信友国際特許事務所
Examiner (In Japanese)【審査官】新井 則和
Document or reference (In Japanese)特開2007-17406(JP,A)
特開2015-59754(JP,A)
特開2006-119005(JP,A)
Field of search G06T 1/00
G01C 11/06
G01C 15/00
G06T 7/00
G06T 7/60
Scope of claims (In Japanese)【請求項1】
所定の撮影対象を第一の撮影ポイントにて撮影した画像データを含む第一画像ファイルと、前記撮影対象を前記第一の撮影ポイントとは異なる第二の撮影ポイントにて撮影した画像データを含む第二画像ファイルとを含む画像ファイル群を読み込み、前記画像ファイル群における画像データからそれぞれ特徴点を抽出し、前記画像ファイル群における前記特徴点の二次元座標情報よりなる特徴点データを出力する特徴点抽出部と、
前記特徴点データを読み込み、前記画像ファイル群を構成する画像ファイルの数に一致するカメラの数と、前記特徴点データに存在する全ての特徴点の数と、仮想三次元空間内における前記カメラの位置を表す情報と、前記仮想三次元空間内における前記特徴点の位置を表す情報とを有する相対三次元特徴データを出力するフォトグラメトリー処理部と、
前記相対三次元特徴データに含まれる、前記第一画像ファイル及び前記第二画像ファイルに紐付けられる前記カメラの位置を表す情報に対し、前記第一の撮影ポイントと前記第二の撮影ポイントとの間の距離を与えて演算処理を行うことで、前記仮想三次元空間を絶対距離にて定められる三次元空間に変換するデータ変換処理部と
を具備する三次元被写体形状推定装置。
【請求項2】
前記データ変換処理部に与えられる、前記第一の撮影ポイントと前記第二の撮影ポイントとの間の距離は、前記第一の撮影ポイントにおける緯度及び経度と、前記第二の撮影ポイントにおける緯度及び経度から導き出される、
請求項1に記載の三次元被写体形状推定装置。
【請求項3】
前記データ変換処理部に与えられる、前記第一の撮影ポイントと前記第二の撮影ポイントとの間の距離は、前記第一の撮影ポイントと前記第二の撮影ポイントとの間の距離を実測した結果である、
請求項1に記載の三次元被写体形状推定装置。


Detailed description of the invention (In Japanese)【技術分野】
【0001】
本発明は、三次元被写体形状推定装置に関する。
【背景技術】
【0002】
自然災害や土木施工、あるいは鉱山等の現場では、日々繰り返される測量がもっとも重要なタスクである。そして、現場では測量の技術改良が強く望まれている。
一般的な測量はレーザースキャニングが利用されているが、機材が高価な上に取り扱いが難しいという短所がある。また、レーザースキャニングによって得られるデータは点データであるので、現場の全体像を把握する用途には不十分である。したがって、今日の現場では多くの場合、レーザースキャニングと写真撮影が併用されている。
【0003】
一方、近年の画像処理技術及びコンピュータ処理速度の向上により、フォトグラメトリーが注目を集め始めている。フォトグラメトリー技術は、様々な角度から撮影した写真から、その画像や位置を精密にデータ化し、そこからリアルな三次元オブジェクトを再現する技術である。
なお、非特許文献1には、本発明において使用するフォトグラメトリー技術を実現するオープンソースソフトウェアが開示されている。
【先行技術文献】
【0004】

【非特許文献1】「Bundler: Structure from Motion (SfM) for Unordered Image Collections」Noah Snavely[2015年12月24日検索]、インターネット<URL:http://www.cs.cornell.edu/~snavely/bundler/>
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記の非特許文献1に開示されている技術を含め、現在、インターネットで入手可能なフォトグラメトリー技術のプログラムは、実世界中でのサイズが既知である建造物等を撮影した写真を対象に処理を行うように作られているため、撮影対象のサイズを再現することについては重要視されていない。
しかしながら、測量の現場では撮影対象の実世界中でのサイズこそが重要な情報である。そのため、一部の現場では、フォトグラメトリー技術を導入する際、撮影対象となる空間に、実世界中でのサイズが既知の基準物体を設置し、それと撮影対象を一緒に撮影することで、被写体の実世界中でのサイズを把握することが行われている。しかし、撮影対象となる空間が極めて広範囲な場合、基準物体の設置が困難となり、被写体の実世界中でのサイズを把握することが困難であった。
【0006】
また、レーザースキャニングによって被写体の実世界中でのサイズを別途計測し、それを用いてフォトグラメトリー技術で生成した被写体オブジェクトの実世界中でのサイズを算出する(スケーリングパラメータを求める)手法も提案されている。しかし、フォトグラメトリー技術の最大の利点はカメラのみで被写体の三次元オブジェクトを生成できるという手軽さと低コストであり、レーザースキャニングの導入はその手軽さを大幅に損ねてしまう。
【0007】
本発明はかかる点に鑑みてなされたものであり、極めて容易かつ安価な手法で、フォトグラメトリー技術で生成された実世界中でのサイズが未知の被写体の三次元オブジェクトに実世界中でのサイズを導入できる、三次元被写体形状推定装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
上記課題を解決するために、本発明の三次元被写体形状推定装置は、所定の撮影対象を第一の撮影ポイントにて撮影した画像データを含む第一画像ファイルと、撮影対象を第一の撮影ポイントとは異なる第二の撮影ポイントにて撮影した画像データを含む第二画像ファイルとを含む画像ファイル群を読み込み、画像ファイル群における画像データからそれぞれ特徴点を抽出し、画像ファイル群における特徴点の二次元座標情報よりなる特徴点データを出力する特徴点抽出部と、特徴点データを読み込み、画像ファイル群を構成する画像ファイルの数に一致するカメラの数と、特徴点データに存在する全ての特徴点の数と、仮想三次元空間内におけるカメラの位置を表す情報と、仮想三次元空間内における特徴点の位置を表す情報とを有する相対三次元特徴データを出力するフォトグラメトリー処理部とを具備する。データ変換処理部は、相対三次元特徴データに含まれる、第一画像ファイル及び第二画像ファイルに紐付けられるカメラの位置を表す情報に対し、第一の撮影ポイントと第二の撮影ポイントとの間の距離を与えて演算処理を行うことで、仮想三次元空間を絶対距離にて定められる三次元空間に変換する。
【発明の効果】
【0009】
本発明によれば、極めて容易な手法で、実世界中でのサイズが未知のフォトグラメトリー技術に実世界中でのサイズを導入できる、三次元被写体形状推定装置を提供することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【0010】
【図1】本発明の実施形態の例である三次元被写体形状推定装置に供給するための画像データを作成する手順の概要を示す概略図である。
【図2】画像ファイルを作成する第一の手順と、第一の手順で作成された画像ファイルを示す概略図である。
【図3】画像ファイルを作成する第二の手順と、第二の手順で作成された画像ファイルを示す概略図である。
【図4】携帯型無線端末と情報処理装置のハードウェア構成を示すブロック図である。
【図5】情報処理装置のソフトウェア機能を示すブロック図である。
【図6】別の形態における情報処理装置の、ソフトウェア機能を示すブロック図である。
【図7】別の形態における情報処理装置の、ソフトウェア機能を示すブロック図である。
【図8】絶対距離が与えられる前の、オブジェクトが表示部に表示されている例を示す概略図と、第一の手順または第二の手順で、絶対位置が与えられた状態の、オブジェクトが表示部に表示されている例を示す概略図と、第一の手順で、絶対位置に加え、カメラの緯度、経度、高度が与えられた状態の、オブジェクトが表示部に表示されている例を示す概略図である。
【発明を実施するための形態】
【0011】
本発明の実施形態に係る三次元被写体形状推定装置は、フォトグラメトリー技術として、非特許文献1に開示されているSFM(Structure from Motion)という技術を用いる。SFMは仮想三次元空間内に推定した三次元オブジェクトを再現する技術であるが、そのオブジェクトには実世界中でのサイズが未知である。三次元被写体形状推定装置は、最低2個の画像ファイルを撮影したカメラの相対距離情報をこの三次元オブジェクトに与えることで、オブジェクトの大きさを算出する。

【0012】
[全体構成]
図1は、本発明の実施形態の例である三次元被写体形状推定装置に供給するための画像ファイルを作成する手順の概要を示す概略図である。
撮影者101は、撮影対象の現場102を、最低2箇所以上の撮影ポイントからデジタルカメラにて撮影することで、現場102の画像ファイルを作成する。今日、撮像素子を内蔵するスマートフォン等の携帯型無線端末103が普及しているので、これを使用することもできる。但し、撮影の際、最低限、2箇所の撮影ポイント間の距離を取得する必要がある。望ましくは、2箇所の撮影ポイントの緯度、経度、高度が判っているとなおよい。
図1では、撮影者101は、第一撮影ポイントP104、第二撮影ポイントP105、そして第三撮影ポイントP106にて、現場102を撮影し、画像ファイルを取得している。その際、第一撮影ポイントP104と第二撮影ポイントP105の間の距離を取得するか、あるいは第一撮影ポイントP104と第二撮影ポイントP105の緯度、経度、高度を取得する。

【0013】
図2Aは、画像ファイルを作成する第一の手順を示す概略図である。
図2Aにおいて、撮影者101は第一撮影ポイントP104で携帯型無線端末103を用いて撮影対象の現場102を撮影すると共に、携帯型無線端末103に内蔵されているGPS受信部410(図4A参照)を稼働させて、第一撮影ポイントP104の緯度、経度及び高度を取得する。
更に、撮影者101は第二撮影ポイントP105においても、第一撮影ポイントP104と同様に携帯型無線端末103を用いて撮影対象の現場102を撮影すると共に、携帯型無線端末103に内蔵されているGPS受信部410を稼働させて、第一撮影ポイントP104の緯度、経度及び高度を取得する。
撮影者101は、第三撮影ポイントP106においては、携帯型無線端末103を用いて撮影対象の現場102を撮影するが、その際、携帯型無線端末103に内蔵されているGPS受信部410を稼働させる必要はない。

【0014】
図2Bは、第一の手順で作成された画像ファイルを示す概略図である。
周知のJPEGフォーマットである第一画像ファイル201には、第一撮影ポイントP104にて撮影した画像データと共に、周知のEXIF(Exchangeable image file format)に従って、GPS受信部410で取得した、第一撮影ポイントP104の緯度、経度、高度情報が記録されている。
第二画像ファイル202には、第二撮影ポイントP105にて撮影した画像データと共に、EXIFに従って、GPS受信部410で取得した、第二撮影ポイントP105の緯度、経度、高度情報が記録されている。
第三画像ファイル203には、第三撮影ポイントP106にて撮影した画像データが記録されている。
なお、緯度、経度、高度情報はEXIFの他、XMP(Extensible Metadata Platform)を用いたり、あるいは画像ファイルとは別にテキストファイル等で画像ファイルのファイル名と紐付けて記録してもよい。勿論、画像ファイルフォーマットもJPEGに限らない。

【0015】
図3Aは、画像ファイルを作成する第二の手順を示す概略図である。
図3Aにおいて、撮影者101は第一撮影ポイントP104で携帯型無線端末103を用いて撮影対象の現場102を撮影する。
次に、撮影者101はロープ等の相対距離把握具305を用いて、第一撮影ポイントP104から一定の距離だけ離れた第二撮影ポイントP105を定める。そして、第二撮影ポイントP105においても第一撮影ポイントP104と同様に携帯型無線端末103を用いて撮影対象の現場102を撮影する。
撮影者101は、第三撮影ポイントP106においては、携帯型無線端末103を用いて撮影対象の現場102を撮影するが、その際、相対距離把握具305を用いて第三撮影ポイントP106を定める必要はない。任意の場所を第三撮影ポイントP106として定めて撮影してよい。

【0016】
図3Bは、第二の手順で作成された画像ファイルと付加情報を示す概略図である。
周知のJPEGフォーマットである第一画像ファイル301には、第一撮影ポイントP104にて撮影した画像データが記録されている。
同様に、第二画像ファイル302には、第二撮影ポイントP105にて撮影した画像データが、第三画像ファイル303には、第三撮影ポイントP106にて撮影した画像データが記録されている。
これら画像ファイルとは別に、テキストファイル304が別途設けられる。このテキストファイル304には、第一画像ファイル301のファイル名と、第二画像ファイル302のファイル名と、第一撮影ポイントP104と第二撮影ポイントP105との間の距離、すなわち相対距離把握具305の長さが記録されている。相対距離把握具305の長さは、例えば1mである。

【0017】
[ハードウェア]
図4Aは、携帯型無線端末103のハードウェア構成を示すブロック図である。
携帯型無線端末103は、CPU401、ROM402、RAM403、不揮発性ストレージ404、表示部405、そして操作部406が、バス407に接続されている。携帯型無線端末103は更に、撮像素子408、図示しないアクセスポイントを通じて図示しないインターネットに接続するための無線通信部409、衛星の電波を受信して測位情報を出力するGPS受信部410を備える。表示部405と操作部406は周知のタッチパネルディスプレイ411を構成する。

【0018】
撮影対象の現場102を撮影する機器の一例として、携帯型無線端末103を挙げたが、通信機能を有しないデジタルカメラであってもよい。デジタルカメラにGPS受信部410が備わっている場合は第一の手順を実行できるが、GPS受信部410が備わっていない場合は第二の手順のみが実行されることとなる。また、GPS受信部410がないデジタルカメラにGPS受信機を接続するか、デジタルカメラとGPS受信機をそれぞれ持ち歩き、撮影と同時に測位を実行することにより、第一の手順を遂行するようにしてもよい。

【0019】
図4Bは、一般的なパソコンである情報処理装置420のハードウェア構成を示すブロック図である。
この情報処理装置420は、CPU421、ROM422、RAM423、不揮発性ストレージ424、表示部425、そして操作部426が、バス427に接続されている。また、携帯型無線端末103から画像ファイル等を受信するために、図示しないインターネットに接続するためのNIC428、USB等のシリアルインターフェース429が接続されている。

【0020】
本発明の実施形態に係る三次元被写体形状推定装置は、複数の画像ファイルをSFMにて処理する。SFMは演算量が多いので、SFMを実施する機械は演算能力が高いパソコン等の情報処理装置420が好ましい。この場合は、携帯型無線端末103から画像ファイルを情報処理装置420に転送して、当該情報処理装置420でSFMを含む演算処理を実行する。また、パソコンに携帯型無線端末103を外部不揮発性ストレージとして接続し、当該パソコンでSFMを含む演算処理を実行してもよい。この場合、情報処理装置420が三次元被写体形状推定装置となる。

【0021】
しかし、近年の携帯型無線端末103は演算能力が向上している。DSPやGPUを搭載した携帯型無線端末103であれば、パソコンに近い実行速度にてSFMを実行できる可能性がある。その場合、携帯型無線端末103単体で撮影作業から演算処理も完結するので、携帯型無線端末103が三次元被写体形状推定装置となる。
すなわち、三次元被写体形状推定装置は、計算機資源があれば、如何なる形態でもよいし、また何処で実行してもよい。

【0022】
[ソフトウェア]
図5は、情報処理装置420のソフトウェア機能を示すブロック図である。
画像ファイル群502は、不揮発性ストレージ424に格納された画像ファイル201、202及び203、または画像ファイル301、302及び303である。
特徴点抽出部501は画像ファイル群502を読み込み、画像ファイル群502を構成する各々の画像ファイル中の画像データから特徴点を抽出し、画像ファイルにおける特徴点の二次元座標情報よりなる特徴点データを出力する。また、画像ファイル群502に含まれる画像ファイルをリスト化した画像リストを作成する。この特徴点データはSFM処理部503に読み込まれる。
SFM処理部503は、フォトグラメトリー処理部ともいえるものであり、例えば非特許文献1に開示されるプログラムで構成される複数の画像ファイルに紐付けられる特徴点データ同士の、一致するものを推定演算し、特徴点データを仮想三次元空間内に復元することにより、相対三次元特徴データ504を作成する。ここで、仮想三次元空間とは、特徴点データの相対的な位置関係を表現する仮想空間であり、絶対的な長さが存在しない(実世界中でのサイズを特定できない)仮想的な空間を意味する。この、画像ファイル群502から特徴点抽出部501とSFM処理部503によって相対三次元特徴データ504を得る処理までは、従来から知られている技術である。

【0023】
ここで、相対三次元特徴データ504の内訳を簡単に説明する。この内訳は、例えば非特許文献1及び次のweb文書に記述されている。<Instruction of "Bundler" URL: http://www.ite.or.jp/data/journal/passed_issues/tool1104/ >
相対三次元特徴データ504は、以下の要素よりなる。
<1>カメラ数k(画像ファイルの数に等しい。)
<2>特徴点数n
<3>0~k-1番目の画像ファイルを生成(撮影)したカメラの、仮想三次元空間内における焦点距離、歪パラメータ、カメラの姿勢を表す回転行列、カメラの位置を表す並進ベクトル(行列)
<4>0~n-1番目の特徴点の、仮想三次元空間内における位置、色、当該特徴点に対応する点が写っている画像ファイルの数、カメラ番号と当該カメラ画像内における二次元特徴点番号とX・Y座標
なお、kとnは自然数である。

【0024】
上述したように、相対三次元特徴データ504の内訳には、画像ファイルを撮影したカメラの、仮想三次元空間内における位置情報が含まれている。
一般に、画像ファイルを撮影したカメラについては、仮想三次元空間内における相対位置が判るものの、その絶対距離は判らないままである。したがって、あるカメラとカメラとの間の絶対距離が判れば、絶対距離の概念がない仮想三次元空間を、絶対距離を有する三次元空間に変換することが可能になる。この結果、特徴点で得られる被写体の大きさも判ることとなる。

【0025】
すなわち、特徴点抽出部501が作成した画像リストと、相対三次元特徴データ504とを突き合わせることで、画像ファイル群502に存在する画像ファイルと、相対三次元特徴データ504内のカメラ番号を紐付けることが可能になる。したがって、相対距離が判明している2個の画像ファイルがどのカメラ番号に該当するのかが判る。

【0026】
上述の通り、画像ファイル群502から特徴点抽出部501とSFM処理部503によって相対三次元特徴データ504を得る処理までは、従来から用いられている技術である。
一方、カメラ間距離付与部505は、画像ファイル群502または別途テキストファイル304等から、二つの画像ファイルを撮影した地点間の距離を算出して、カメラを示す画像ファイル名と共に、データ変換処理部506に与える。

【0027】
カメラ間距離付与部505の処理内容は、図2にて説明した第一の手順と、図3にて説明した第二の手順とで、少し異なる。
画像ファイル群502が第一の手順で撮影したものである場合は、カメラ間距離付与部505は、画像ファイル群502からEXIFまたはXMPが記録されている最低2個の画像ファイルを抽出し、この抽出した2個の画像ファイルから、それぞれの緯度、経度、高度を取得する。そして、その2地点間の距離を算出するとともに、画像ファイルのファイル名と距離をデータ変換処理部506に与える。EXIFやXMP以外に、テキストファイル304等で画像ファイルのファイル名と緯度、経度、高度が記録されていても同様の処理内容になる。
画像ファイル群502が第二の手順で撮影したものである場合は、カメラ間距離付与部505は、画像ファイル群502とは別に、最低2個の画像ファイルのファイル名と相対距離が記録されているテキストファイル304を読み込み、そのままその画像ファイルのファイル名と距離をデータ変換処理部506に与える。

【0028】
データ変換処理部506は、相対三次元特徴データ504のうち、カメラ間距離付与部505から受け取った画像ファイルのファイル名と距離を用いて、カメラの位置データを特定する。そして、カメラ間距離を用いて、相対三次元特徴データ504を、絶対距離で再構築された絶対三次元特徴データ507に変換する。
具体的には、距離が判明している2個のカメラの仮想三次元空間内における座標情報から、仮想三次元空間内における仮想距離を算出する。次に、カメラ間距離付与部505が出力するカメラ間距離と、仮想距離との比率を算出する。この比率を用いて、相対三次元特徴データ504内における全ての特徴点とカメラの位置データに、拡大または縮小演算処理を施す。この拡大または縮小演算処理は、位置データに拡大または縮小の比率を乗算することによってなされる。データ変換処理部506によって算出された絶対三次元特徴データ507は、絶対距離にて定められる三次元空間における特徴点とカメラのデータの集合体である。

【0029】
絶対三次元特徴データ507だけでも、撮影対象の現場102を復元することは可能ではあるが、単なる離散的な点の集合体では直感的なイメージを得ることが困難である。そこで、形状復元処理部508は画像ファイル群502からテクスチャを取得し、絶対三次元特徴データ507に当てはめて、撮影対象の現場102を復元したオブジェクトを表現する絶対三次元復元データ509を生成する。
三次元表示処理部510は、絶対三次元復元データ509を読み込み、表示部425に撮影対象の現場102を復元したオブジェクトを表示する。また、マウス等のポインティングデバイスを含む操作部426の操作に基づき、表示部425に表示されるオブジェクトに、拡大、縮小、回転等、様々な表示効果を与えることができる。

【0030】
なお、図5では図示していないが、図2に示した第一の手順によって、カメラの緯度、経度、高度を得ている場合は、画像ファイル群502から抽出した2個の画像ファイルに基づいてカメラ間距離付与部505が、三次元表示処理部510に2個のカメラの緯度、経度、高度を与えることで、絶対三次元空間に方位を与えることができる。なお、カメラ間距離付与部505の代わりに、別の所定の処理を以って、三次元表示処理部510に2個のカメラの緯度、経度、高度を与えるようにしてもよい。これらの処理により、既存の緯度、経度を有する地図データと組み合わせることができる。

【0031】
以上に説明したように、既存のSFM処理部503を用いた仮想三次元空間におけるオブジェクト再現技術に、カメラ間距離付与部505によってカメラ間距離を与え、データ変換処理部506によってデータ変換処理を行うことで、絶対三次元空間におけるオブジェクトを再現し、オブジェクトに長さ及び大きさを与えることが可能になる。
ところで、データ変換処理部506は、SFM処理部503の後かつ形状復元処理部508の前に配置され、相対三次元特徴データ504に演算処理を施すに限られない。

【0032】
図6は、別の形態における情報処理装置601の、ソフトウェア機能を示すブロック図である。図6において、図5と同一の符号を付されている機能ブロックは、等価な機能を有するので、詳細な説明を割愛する。
図6に示す情報処理装置601の、図5の情報処理装置420との相違点は、データ変換処理部506が形状復元処理部508の後かつ三次元表示処理部510の前に配置されている点である。このため、形状復元処理部508は図5の形状復元処理部508とは異なり、画像ファイル群502と相対三次元特徴データ504に基づいて作成される、絶対距離の概念がない相対三次元復元データ602を出力する。そして、データ変換処理部506は相対三次元復元データ602に対して演算処理を施すことで、絶対三次元復元データ509を生成する。
図5の情報処理装置420は形状復元処理部508が絶対三次元復元データ509を生成していたが、図6の情報処理装置601はデータ変換処理部506が絶対三次元復元データ509を生成する。

【0033】
図7は、別の形態における情報処理装置701の、ソフトウェア機能を示すブロック図である。図7においても、図5と同一の符号を付されている機能ブロックは、等価な機能を有するので、詳細な説明を割愛する。
図7に示す情報処理装置701の、図5の情報処理装置420との相違点は、データ変換処理部506が三次元表示処理部510の中に配置され、相対三次元復元データ602に対して表示処理と共に演算処理を施すことで、表示部425に対しリアルタイムに絶対三次元復元データ509を表示する点である。
図7の場合、カメラ間距離付与部505からデータ変換処理部506へ絶対距離を与えた瞬間、表示部425に表示中のオブジェクトに対し、長さと大きさを明示するスケールが表示される、という視覚的効果を与えることが可能になる。

【0034】
[表示例]
図8Aは、絶対距離が与えられる前の、オブジェクトが表示部425に表示されている例を示す概略図である。図8Aに示す、オブジェクトとして表示される現場102は、石切り場や崖等を想定している。
図8Bは、第一の手順または第二の手順で、絶対位置が与えられた状態の、オブジェクトが表示部425に表示されている例を示す概略図である。カメラ間距離が与えられることで、オブジェクトとして表示される現場102の大きさが判明する。そこで、表示部425にスケール801や仮想的な人間モデル802を表示させることで、直感的にオブジェクトの大きさを把握できる。

【0035】
図8Cは、第一の手順で、絶対位置に加え、カメラの緯度、経度、高度が与えられた状態の、オブジェクトが表示部425に表示されている例を示す概略図である。カメラ間距離に加え、2箇所のカメラの緯度、経度、高度が与えられることで、オブジェクトとして表示される現場102の大きさに加え、オブジェクトの方位が判明する。そこで、表示部425にスケール801や仮想的な人間モデル802に加え、方位アイコン803を表示させることで、直感的にオブジェクトとして表示される現場102の大きさと方位を把握できる。更に、図8Cには図示していないが、既存の地図データと連携して、オブジェクトの周囲の地理を表示部425に表示させることも可能である。

【0036】
本実施形態においては、三次元被写体形状推定装置を開示した。
本実施形態によれば、本来、オブジェクトの実世界中でのサイズを考慮していないSFMが生成する三次元特徴データや三次元復元データに、カメラ間距離を与えて、比率を計算することで、極めて容易にオブジェクトの大きさを表現することができる。
また、携帯型無線端末103がGPS受信部410を内蔵していれば、2箇所以上、撮影対象の現場102を写真撮影するだけで、三次元復元したオブジェクトの大きさのみならず、方位も再現することができる。
GPS受信部410を内蔵していないデジタルカメラであっても、2箇所以上、撮影対象の現場102を写真撮影し、その際のカメラ間距離を測定するだけで、三次元復元したオブジェクトの大きさが再現可能である。
また、本実施形態の三次元被写体形状推定装置は、レーザースキャニングを一切使用しないので、極めて簡易であり、また直感的にオブジェクトを把握することができる。

【0037】
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含む。
例えば、上記した実施形態は本発明をわかりやすく説明するために装置及びシステムの構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることは可能であり、更にはある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることも可能である。

【0038】
また、上記の各構成、機能、処理部等は、それらの一部又は全部を、例えば集積回路で設計するなどによりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行するためのソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の揮発性あるいは不揮発性のストレージ、または、ICカード、光ディスク等の記録媒体に保持することができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【0039】
101…撮影者、102…現場、103…携帯型無線端末、201…第一画像ファイル、202…第二画像ファイル、203…第三画像ファイル、301…第一画像ファイル、302…第二画像ファイル、303…第三画像ファイル、304…テキストファイル、305…相対距離把握具、401…CPU、402…ROM、403…RAM、404…不揮発性ストレージ、405…表示部、406…操作部、407…バス、408…撮像素子、409…無線通信部、410…GPS受信部、411…タッチパネルディスプレイ、420…情報処理装置、421…CPU、422…ROM、423…RAM、424…不揮発性ストレージ、425…表示部、426…操作部、427…バス、428…NIC、429…シリアルインターフェース、501…特徴点抽出部、502…画像ファイル群、503…SFM処理部、504…相対三次元特徴データ、505…カメラ間距離付与部、506…データ変換処理部、507…絶対三次元特徴データ、508…形状復元処理部、509…絶対三次元復元データ、510…三次元表示処理部、601…情報処理装置、602…相対三次元復元データ、701…情報処理装置、801…スケール、802…人間モデル、803…方位アイコン

Drawing
(In Japanese)【図1】
0
(In Japanese)【図2】
1
(In Japanese)【図3】
2
(In Japanese)【図4】
3
(In Japanese)【図5】
4
(In Japanese)【図6】
5
(In Japanese)【図7】
6
(In Japanese)【図8】
7