Top > Search of Japanese Patents > DYNAMIC IMAGE DISTANCE CALCULATION DEVICE AND DYNAMIC IMAGE DISTANCE CALCULATION PROGRAM

DYNAMIC IMAGE DISTANCE CALCULATION DEVICE AND DYNAMIC IMAGE DISTANCE CALCULATION PROGRAM meetings

Patent code P180014779
Posted date Jan 15, 2018
Application number P2017-235198
Publication number P2019-101967A
Date of filing Dec 7, 2017
Date of publication of application Jun 24, 2019
Inventor
  • (In Japanese)岡 嶐一
Applicant
  • The University of Aizu
Title DYNAMIC IMAGE DISTANCE CALCULATION DEVICE AND DYNAMIC IMAGE DISTANCE CALCULATION PROGRAM meetings
Abstract PROBLEM TO BE SOLVED: To calculate distance from an object reflected in a dynamic image to a camera.
SOLUTION: A dynamic image distance calculation device comprises: target pixel extraction means 302 for extracting target pixels for M objects, based on a frame image at a time τ-T of a dynamic image; locus calculation means 303 for, based on a frame image from a time τ-T to a time τ, calculating in a time series order, a locus of a coordinate of M target pixels by a dynamic programming to a two-dimensional image; movement pixel number measurement means 304 for measuring a number of movement pixels qm(m=1,2,...M) for M target pixels; and distance calculation means 305 for, in a setting in which, a number of movement pixels in which a number of pixels is small is μ, a number of movement pixels in which a number of pixels is large is γ, a closest distance out of distances from an object identified by each of M target pixels to the camera is Zn, and a farthest distance is ZL, calculating a distance Zm from the object corresponding to M target pixels to the camera.
Outline of related art and contending technology (In Japanese)

近年、車両やドローンなどの移動物体に対して、正面方向の外界を撮影するためのカメラを設置することが多い。近時では、カメラにより正面方向の様子を単に撮影するだけでなく、車両やドローンなどの自動運転に必要な距離情報の取得等に、撮影された動画像を利用したいという要望が存在する。

移動物体と他物体との距離測定行う方法として、移動物体に距離センサ等を設置する方法が多く用いられている。距離センサとして、例えば、レーザーセンサ、超音波センサ、赤外線センサ等を用いて、他物体との距離を直接的に測定する方法が用いられている(例えば、非特許文献1参照)。

また、近時では、ステレオカメラにより撮影された動画像を画像解析することによって、撮影された他物体との距離を算出する方法も用いられている(例えば、非特許文献2参照)。

Field of industrial application (In Japanese)

本発明は、動画像距離算出装置および動画像距離算出用プログラムに関し、より詳細には、移動する一台のカメラにより進行方向の正面の様子を撮影した動画像に基づいて、動画像に映った対象物からカメラまでの距離を算出する動画像距離算出装置および動画像距離算出用プログラムに関する。

Scope of claims (In Japanese)
【請求項1】
 
移動する1台のカメラによって移動方向の正面の様子を時間t=τ-T(但し、τ>0,T>0)から時間t=τまで撮影した動画像に基づいて、当該動画像に映る対象物から前記カメラまでの距離を算出する動画像距離算出装置であって、
前記動画像の時間t=τ-Tの時のフレーム画像に映る対象物の画素の1つをターゲットピクセルとし、当該フレーム画像からM個(M≧2)の異なる対象物毎に前記ターゲットピクセルを抽出するターゲットピクセル抽出手段と、
時間t=τ-Tから時間t=τまでの複数の前記フレーム画像に基づいて、前記ターゲットピクセル抽出手段により抽出されたM個の前記ターゲットピクセルの座標の軌跡を、2次元画像を対象とする動的計画法に基づいて、時間t=τ-Tの前記フレーム画像から時間t=τの前記フレーム画像までの時系列順に算出する軌跡算出手段と、
該軌跡算出手段により算出されたM個の前記軌跡に基づいて、時間t=τ-Tの前記フレーム画像の座標から時間t=τの前記フレーム画像の座標までの移動画素数qm(m=1,2,・・・,M)を、M個の前記ターゲットピクセル毎に測定する移動画素数測定手段と、
前記移動画素数測定手段により測定されたM個の前記移動画素数qmのうち、前記移動画素数が最も少ない画素数をμとし、前記移動画素数が最も多い画素数をγとし、M個の前記ターゲットピクセルによりそれぞれ特定される対象物から前記カメラまでの距離のうちで最も近い距離をZnとし、M個の前記ターゲットピクセルによりそれぞれ特定される対象物から前記カメラまでの距離のうちで最も遠い距離をZLとして、定数aおよび定数bを、
a=ZL・exp((μ/(γ-μ))log(ZL/ZN))
b=(1/(γ-μ))log(ZL/ZN
により算出し、
M個の前記ターゲットピクセルのそれぞれに対応する前記対象物から前記カメラまでの時間t=τにおける距離をZm(m=1,2,・・・,M)として、当該距離Zmを、前記定数aおよび前記定数bと、M個の前記移動画素数qmとに基づいて、
Zm=a・exp(-bqm
により算出する距離算出手段と
を有することを特徴とする動画像距離算出装置。

【請求項2】
 
移動する1台のカメラによって移動方向の正面の様子を時間t=τ-T(但し、τ>0,T>0)から時間t=τまで撮影した動画像に基づいて、当該動画像に映る対象物から前記カメラまでの距離を算出する動画像距離算出装置であって、
前記動画像の時間t=τの時のフレーム画像に映る対象物の画素の1つをターゲットピクセルとし、当該フレーム画像からM個(M≧2)の異なる対象物毎に前記ターゲットピクセルを抽出するターゲットピクセル抽出手段と、
時間t=τ-Tから時間t=τまでの複数の前記フレーム画像に基づいて、前記ターゲットピクセル抽出手段により抽出されたM個の前記ターゲットピクセルの座標の軌跡を、2次元画像を対象とする動的計画法に基づいて、時間t=τの前記フレーム画像から時間t=τ-Tの前記フレーム画像までの過去に遡る時系列順に算出する軌跡算出手段と、
該軌跡算出手段により算出されたM個の前記軌跡に基づいて、時間t=τ-Tの前記フレーム画像の座標から時間t=τの前記フレーム画像の座標までの移動画素数qm(m=1,2,・・・,M)を、M個の前記ターゲットピクセル毎に測定する移動画素数測定手段と、
前記移動画素数測定手段により測定されたM個の前記移動画素数qmのうち、前記移動画素数が最も少ない画素数をμとし、前記移動画素数が最も多い画素数をγとし、M個の前記ターゲットピクセルによりそれぞれ特定される対象物から前記カメラまでの距離のうちで最も近い距離をZnとし、M個の前記ターゲットピクセルによりそれぞれ特定される対象物から前記カメラまでの距離のうちで最も遠い距離をZLとして、定数aおよび定数bを、
a=ZL・exp((μ/(γ-μ))log(ZL/ZN))
b=(1/(γ-μ))log(ZL/ZN
により算出し、
M個の前記ターゲットピクセルのそれぞれに対応する前記対象物から前記カメラまでの時間t=τにおける距離をZm(m=1,2,・・・,M)として、当該距離Zmを、前記定数aおよび前記定数bと、M個の前記移動画素数qmとに基づいて、
Zm=a・exp(-bqm
により算出する距離算出手段と
を有することを特徴とする動画像距離算出装置。

【請求項3】
 
前記ターゲットピクセル抽出手段において前記ターゲットピクセルの抽出を行うために用いられる前記フレーム画像に対し、mean-shift法を適用することにより、当該フレーム画像を複数の領域に分割する領域分割手段を有し、
前記ターゲットピクセル抽出手段は、前記領域分割手段により分割された前記領域のうち、前記対象物が映る領域の重心点の画素を前記ターゲットピクセルとして、異なる対象物が映るM個(M≧2)の領域毎に前記ターゲットピクセルを抽出すること
を特徴とする請求項1又は請求項2に記載の動画像距離算出装置。

【請求項4】
 
前記ターゲットピクセル抽出手段において前記ターゲットピクセルの抽出を行うために用いられる前記フレーム画像に対し、mean-shift法を適用することにより、当該フレーム画像を複数の領域に分割する領域分割手段を有し、
前記ターゲットピクセル抽出手段は、前記領域分割手段により分割された前記領域の画素に対して端から順番に番号を付加し、当該領域の画素の番号のうち中間の番号に該当する画素を前記ターゲットピクセルとして、異なる対象物が映るM個(M≧2)の領域毎に前記ターゲットピクセルを抽出すること
を特徴とする請求項1又は請求項2に記載の動画像距離算出装置。

【請求項5】
 
移動する1台のカメラによって移動方向の正面の様子を時間t=τ-T(但し、τ>0,T>0)から時間t=τまで撮影した動画像に基づいて、当該動画像に映る対象物から前記カメラまでの距離を算出するための動画像距離算出用プログラムであって、
制御手段に、
前記動画像の時間t=τ-Tの時のフレーム画像に映る対象物の画素の1つをターゲットピクセルとして、当該フレーム画像からM個(M≧2)の異なる対象物毎に前記ターゲットピクセルを抽出させるターゲットピクセル抽出機能と、
時間t=τ-Tから時間t=τまでの複数の前記フレーム画像に基づいて、前記ターゲットピクセル抽出機能により抽出されたM個の前記ターゲットピクセルの座標の軌跡を、2次元画像を対象とする動的計画法に基づいて、時間t=τ-Tの前記フレーム画像から時間t=τの前記フレーム画像までの時系列順に算出させる軌跡算出機能と、
該軌跡算出機能により算出されたM個の前記軌跡に基づいて、時間t=τ-Tの前記フレーム画像の座標から時間t=τの前記フレーム画像の座標までの移動画素数qm(m=1,2,・・・,M)を、M個の前記ターゲットピクセル毎に測定させる移動画素数測定機能と、
前記移動画素数測定機能により測定されたM個の前記移動画素数qmのうち、前記移動画素数が最も少ない画素数をμとし、前記移動画素数が最も多い画素数をγとし、M個の前記ターゲットピクセルによりそれぞれ特定される対象物から前記カメラまでの距離のうちで最も近い距離をZnとし、M個の前記ターゲットピクセルによりそれぞれ特定される対象物から前記カメラまでの距離のうちで最も遠い距離をZLとして、定数aおよび定数bを、
a=ZL・exp((μ/(γ-μ))log(ZL/ZN))
b=(1/(γ-μ))log(ZL/ZN
により算出させ、
M個の前記ターゲットピクセルのそれぞれに対応する前記対象物から前記カメラまでの時間t=τにおける距離をZm(m=1,2,・・・,M)として、当該距離Zmを、前記定数aおよび前記定数bと、M個の前記移動画素数qmとに基づいて、
Zm=a・exp(-bqm
により算出させる距離算出機能と
を実現させることを特徴とする動画像距離算出用プログラム。

【請求項6】
 
移動する1台のカメラによって移動方向の正面の様子を時間t=τ-T(但し、τ>0,T>0)から時間t=τまで撮影した動画像に基づいて、当該動画像に映る対象物から前記カメラまでの距離を算出するための動画像距離算出用プログラムであって、
制御手段に、
前記動画像の時間t=τの時のフレーム画像に映る対象物の画素の1つをターゲットピクセルとして、当該フレーム画像からM個(M≧2)の異なる対象物毎に前記ターゲットピクセルを抽出させるターゲットピクセル抽出機能と、
時間t=τ-Tから時間t=τまでの複数の前記フレーム画像に基づいて、前記ターゲットピクセル抽出機能により抽出されたM個の前記ターゲットピクセルの座標の軌跡を、2次元画像を対象とする動的計画法に基づいて、時間t=τの前記フレーム画像から時間t=τ-Tの前記フレーム画像までの過去に遡る時系列順に算出させる軌跡算出機能と、
該軌跡算出機能により算出されたM個の前記軌跡に基づいて、時間t=τ-Tの前記フレーム画像の座標から時間t=τの前記フレーム画像の座標までの移動画素数qm(m=1,2,・・・,M)を、M個の前記ターゲットピクセル毎に測定させる移動画素数測定機能と、
前記移動画素数測定機能により測定されたM個の前記移動画素数qmのうち、前記移動画素数が最も少ない画素数をμとし、前記移動画素数が最も多い画素数をγとし、M個の前記ターゲットピクセルによりそれぞれ特定される対象物から前記カメラまでの距離のうちで最も近い距離をZnとし、M個の前記ターゲットピクセルによりそれぞれ特定される対象物から前記カメラまでの距離のうちで最も遠い距離をZLとして、定数aおよび定数bを、
a=ZL・exp((μ/(γ-μ))log(ZL/ZN))
b=(1/(γ-μ))log(ZL/ZN
により算出させ、
M個の前記ターゲットピクセルのそれぞれに対応する前記対象物から前記カメラまでの時間t=τにおける距離をZm(m=1,2,・・・,M)として、当該距離Zmを、前記定数aおよび前記定数bと、M個の前記移動画素数qmとに基づいて、
Zm=a・exp(-bqm
により算出させる距離算出機能と
を実現させることを特徴とする動画像距離算出用プログラム。

【請求項7】
 
前記制御手段に、
前記ターゲットピクセル抽出機能において前記ターゲットピクセルの抽出を行うために用いられる前記フレーム画像に対し、mean-shift法を適用させることにより、当該フレーム画像を複数の領域に分割させる領域分割機能を実現させ、
前記ターゲットピクセル抽出機能において、前記領域分割機能により分割された前記領域のうち、前記対象物が映る領域の重心点の画素を前記ターゲットピクセルとして、異なる対象物が映るM個(M≧2)の領域毎に前記ターゲットピクセルを抽出させること
を特徴とする請求項5又は請求項6に記載の動画像距離算出用プログラム。

【請求項8】
 
前記制御手段に、
前記ターゲットピクセル抽出機能において前記ターゲットピクセルの抽出を行うために用いられる前記フレーム画像に対し、mean-shift法を適用させることにより、当該フレーム画像を複数の領域に分割させる領域分割機能を実現させ、
前記ターゲットピクセル抽出機能において、前記領域分割機能により分割された前記領域の画素に対して端から順番に番号を付加させ、当該領域の画素の番号のうち中間の番号に該当する画素を前記ターゲットピクセルとして、異なる対象物が映るM個(M≧2)の領域毎に前記ターゲットピクセルを抽出させること
を特徴とする請求項5又は請求項6に記載の動画像距離算出用プログラム。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2017235198thum.jpg
State of application right Published
(In Japanese)本技術について、ライセンスや共同研究等をご希望の方は、下記「問合せ先」まで直接お問い合わせください。


PAGE TOP

close
close
close
close
close
close
close