Top > Search of International Patents > IMAGE DISTANCE CALCULATION DEVICE, AND COMPUTER-READABLE NON-TRANSITORY RECORDING MEDIUM WITH AN IMAGE DISTANCE CALCULATION PROGRAM RECORDED THEREON

IMAGE DISTANCE CALCULATION DEVICE, AND COMPUTER-READABLE NON-TRANSITORY RECORDING MEDIUM WITH AN IMAGE DISTANCE CALCULATION PROGRAM RECORDED THEREON commons meetings

Foreign code F180009382
Posted date Apr 19, 2018
Country WIPO
International application number 2017JP030813
International publication number WO 2018043437
Date of international filing Aug 28, 2017
Date of international publication Mar 8, 2018
Priority data
  • P2016-170795 (Sep 1, 2016) JP
  • P2017-158781 (Aug 21, 2017) JP
Title IMAGE DISTANCE CALCULATION DEVICE, AND COMPUTER-READABLE NON-TRANSITORY RECORDING MEDIUM WITH AN IMAGE DISTANCE CALCULATION PROGRAM RECORDED THEREON commons meetings
Abstract In an image distance calculation device (100), a CPU (104) extracts a frame image from a camera moving-image, generates a slice image by a temporal change of a pixel array on a y-axis at an x0 point of the frame image, calculates a spotting point on the basis of a corresponding relationship between a pixel of the slice image and a pixel of the frame image, finds a pixel of the frame image corresponding to a pixel of the slice image by a backtrace process, performs area division of the frame image and the slice image, determines a corresponding area of the frame image that corresponds to a divided area of the slice image, calculates a ratio value using an average q of the pixel number of the corresponding areas of the frame image and an average p of the pixel number of the divided areas of the slice image, and calculates a distance z from the camera to an object to be photographed using a predetermined distance function in each corresponding area.
Outline of related art and contending technology BACKGROUND ART
Conventionally, one image 2 captured at the same time based on the distance to the object to be photographed from the camera position, the parallax calculated by using a method called a stereo vision method has been known (for example, Patent Document 1, Patent Document 2 reference). In the stereovision method, the distance d 2 in the horizontal direction of one of the cameras while maintaining a constant state, using 2 cameras simultaneously photographing the same photographing object. 2 One of each of the image is captured by the camera, d the distance between the cameras at different locations as well as for one shot, the shot image of a captured object becomes slightly different. 2 Is different from the photographed images, based on a distance d due to the influence of parallax. Therefore, 2 appears in two images are compared with photographing object, the pixel position in the lateral direction of the difference, by parallax, based on the following equation, distance to the object to be shot can be calculated.
=the distance to the object to be shot (the focal length of the inter-camera distance x d) ÷ parallax (difference in the pixel in the horizontal direction) based on the moving image shot by the camera and, when obtaining the distance to the object to be shot is also similar. 2 Taken by two cameras moving image more, the same timing (same time) 1 of the pair of frames has been captured in the image is extracted, the extracted image of the pair of frames 1 based on the parallax (difference in the pixel in the horizontal direction) is obtained. Then, the inter-camera (2 a single frame image captured by the position of each respective camera) of the parallax and the distance d, by applying the above equation, distance to the object to be shot, each shooting time can be calculated.
Scope of claims (In Japanese)[請求項1]
移動する1台のカメラにより撮影された動画映像に基づいて、カメラから動画映像に記録された撮影対象物までの距離を算出する画像距離算出装置の画像距離算出用プログラムを記録したコンピュータ読み取り可能な非一過性の記録媒体であって、
前記画像距離算出装置の制御部に、
前記動画映像の任意の時間におけるフレーム画像を抽出させるフレーム画像抽出機能と、
該フレーム画像において、前記カメラの移動方向に向かって延設される軸をx軸とし、当該x軸に直交する軸をy軸として、前記x軸のx0点におけるy軸上の画素列の時間変化を、時間t0+1から時間t0+Tまで抽出することにより、縦軸を前記y軸、横軸をt軸(1≦t≦T)とするスライス画像を生成させるスライス画像生成機能と、
時間t(1≦t≦T)における前記スライス画像の画素をg(t,y)とし、前記フレーム画像のy軸上のy′点(1≦y′≦Y)における時間t0のときのxyt空間の画素をf(x,y′,t0)=r(x)として、xの区間[1,X]の任意の点において存在する、スライス画像の画素g(t,y)に対応するフレーム画像の画素r(x)点を、動的計画法に基づくマッチング処理を用いて求めることにより、前記スライス画像における時間Tの画素に対応する前記フレーム画像の画素の座標を、スポッティング点として算出させるスポッティング点算出機能と、
該スポッティング点算出機能により算出されたスポッティング点に基づいて、時間t=Tから時間t=1までバックトレース処理を行うことにより、前記スライス画像のt軸におけるt=1からt=Tまでのそれぞれの画素に対応する前記フレーム画像の画素の対応関係を求めさせる画素マッチング機能と、
前記フレーム画像と前記スライス画像とのそれぞれの画像に対して、mean-shift法を適用することにより、共通した分割基準に基づいて、それぞれの画像の領域分割を行わせる領域分割機能と、
該領域分割機能により分割された前記スライス画像の分割領域内に存在する画素に基づいて、前記画素マッチング機能により求められた前記スライス画像の画素に対応する前記フレーム画像の画素を検出し、検出された前記フレーム画像の画素が最も多く含まれる前記フレーム画像の分割領域を求めることによって、前記スライス画像の分割領域に対応する前記フレーム画像の分割領域を対応領域として決定させる対応領域決定機能と、
該対応領域決定機能によって決定された前記フレーム画像の対応領域において、前記x軸方向の画素数の平均qを検出すると共に、対応する前記スライス画像の分割領域において、前記t軸方向の画素数の平均pを検出することによって、pに対するqの割合あるいはqに対するpの割合に基づいて求められる比率値を、前記対応領域毎に算出させ、前記カメラから前記フレーム画像に写っている撮影対象物までの距離と前記比率値との対応関係が予め定められた距離関数を用いることによって、算出された前記比率値に対応する前記距離を、グローバル距離として前記対応領域毎に算出させるグローバル距離算出機能と、
を実現させるための画像距離算出用プログラムを記録したコンピュータ読み取り可能な非一過性の記録媒体。
[請求項2]
前記制御部に、
前記カメラにより異なる時間に撮影された2枚のフレーム画像であって、互いに共通する画像部分を一部に含む前記2枚のフレーム画像に対して、前記2枚のフレーム画像の全ての画素のRGBの値を抽出させることにより、抽出された前記RGBの値に該当しないRGBの値を、コードのRGBの値として検出させるコード検出機能と、
前記グローバル距離算出機能により前記グローバル距離が算出された画素の距離値を、前記2枚のフレーム画像の画素の中から抽出させる画素距離値抽出機能と、
該画素距離値抽出機能により抽出された前記距離値毎に、前記コードのRGBの値を重複しないように割り当てさせるコードRGB値割当機能と、
前記コードRGB値割当機能により前記コードのRGBの値が割り当てられた前記距離値と同じ距離値を備える、前記2枚のフレーム画像の画素のRGBの値を、当該距離値に応じて割り当てられた前記コードのRGBの値に入れ替えさせるRGB値入替機能と、
該RGB値入替機能により入れ替えられた後の前記RGBの値を、当該RGBの値への入れ替えが行われた前記画素の前記距離値に紐付けて記録させる画素情報記録機能と、
前記RGB値入替機能により前記画素のRGBの値が入れ替えられた2枚のフレーム画像に対して、スティッチングアルゴリズムを適用させることにより、当該2枚のフレーム画像の貼り合わせ処理を行って、1枚の貼り合わせ画像を生成させる貼り合わせ画像生成機能と、
該貼り合わせ画像生成機能により生成された前記貼り合わせ画像の全ての画素のRGBの値の中から、前記画素情報記録機能によって記録された前記RGBの値と一致あるいは近似するRGBの値を検出させるRGB値検出機能と、
該RGB値検出機能により検出された前記RGBの値を備える画素に対し、前記画素情報記録機能により記録された前記RGBの値に紐付けられる前記距離値を、当該画素の距離情報として付加させる距離情報付加機能と、
該距離情報付加機能により前記距離情報が付加された前記画素のRGBの値を、当該画素の周囲の画素のRGBの値の平均値に変更させるRGB値変更機能と、
を実現させるための請求項1に記載の画像距離算出用プログラムを記録したコンピュータ読み取り可能な非一過性の記録媒体。
[請求項3]
前記制御部に、
前記スライス画像の分割領域内における前記t軸方向の始端の境界から終端の境界までの画素と、当該スライス画像の分割領域に対応する前記フレーム画像の対応領域内における前記x軸方向の始端の境界から終端の境界までの画素との対応関係を、動的計画法に基づく両端点固定のマッチング処理およびバックトレース処理を用いて求めることにより、前記スライス画像の分割領域内の各画素に対応する画素を、前記フレーム画像の前記対応領域内の画素として求めさせ、求められた前記フレーム画像の前記対応領域内における前記x軸方向の画素の間隔に基づいて、当該対応領域内の画素毎の相対的な距離を、ローカル距離として算出させるローカル距離算出機能と、
該ローカル距離算出機能により算出された、前記フレーム画像の画素毎のローカル距離に、前記グローバル距離算出機能により算出された、前記フレーム画像の前記対応領域毎のグローバル距離を加算することによって、前記カメラから前記撮影対象物までの詳細な距離を、前記フレーム画像の画素毎に算出させる詳細距離算出機能と、
を実現させるための請求項1に記載の画像距離算出用プログラムを記録したコンピュータ読み取り可能な非一過性の記録媒体。
[請求項4]
前記制御部に、
前記カメラにより異なる時間に撮影された2枚のフレーム画像であって、互いに共通する画像部分を一部に含み、前記詳細距離算出機能において前記撮影対象物から前記カメラまでの距離が画素毎に算出された前記2枚のフレーム画像に対して、前記2枚のフレーム画像の全ての画素のRGBの値を抽出させることにより、抽出された前記RGBの値に該当しないRGBの値を、コードのRGBの値として検出させるコード検出機能と、
前記2枚のフレーム画像のうち、全体の画素数の1/N(Nは正数)の個数の画素をランダムに選択させ、選択された画素の距離値を抽出させる画素距離値抽出機能と、
該画素距離値抽出機能により抽出された前記距離値毎に、前記コードのRGBの値を重複しないように割り当てさせるコードRGB値割当機能と、
前記コードRGB値割当機能により前記コードのRGBの値が割り当てられた前記距離値と同じ距離値を備える、前記2枚のフレーム画像の画素のRGBの値を、当該距離値に応じて割り当てられた前記コードのRGBの値に入れ替えさせるRGB値入替機能と、
該RGB値入替機能により入れ替えられた後の前記RGBの値を、当該RGBの値への入れ替えが行われた前記画素の前記距離値に紐付けて記録させる画素情報記録機能と、
前記RGB値入替機能により前記画素のRGBの値が入れ替えられた2枚のフレーム画像に対して、スティッチングアルゴリズムを適用させることにより、当該2枚のフレーム画像の貼り合わせ処理を行って、1枚の貼り合わせ画像を生成させる貼り合わせ画像生成機能と、
該貼り合わせ画像生成機能により生成された前記貼り合わせ画像の全ての画素のRGBの値の中から、前記画素情報記録機能により記録された前記RGBの値と一致あるいは近似するRGBの値を検出させるRGB値検出機能と、
該RGB値検出機能により検出された前記RGBの値を備える画素に対し、前記画素情報記録機能により記録された前記RGBの値に紐付けられた前記距離値を、当該画素の距離情報として付加させる距離情報付加機能と、
該距離情報付加機能により前記距離情報が付加された前記画素のRGBの値を、当該画素の周囲の画素のRGBの値の平均値に変更させることにより、当該RGBの値が修正された修正貼り合わせ画像を生成させる修正貼り合わせ画像生成機能と、
該修正貼り合わせ画像生成機能により生成されたN枚の修正貼り合わせ画像に基づいて、全ての画素に前記距離情報が付加された1枚の貼り合わせ画像を生成させる距離付加貼り合わせ画像生成機能と
を有し、
前記画素距離値抽出機能において、前記制御部に、2回目以降に画素の距離値を抽出させる場合に、前記2枚のフレーム画像のうち過去に選択されなかった画素の中から、全体の画素数の1/Nの個数の画素をランダムに選択させて、当該画素の距離値を抽出させ、
前記コードRGB値割当機能と、前記RGB値入替機能と、前記画素情報記録機能と、前記貼り合わせ画像生成機能と、前記RGB値検出機能と、前記距離情報付加機能と、前記修正貼り合わせ画像生成機能とに関し、前記画素距離値抽出機能により2回目以降に選択された前記距離値に基づいて、前記制御部に、それぞれの機能を順番にN回繰り返して実行させることにより、N枚の前記修正貼り合わせ画像を生成させ、
前記距離付加貼り合わせ画像生成機能において、前記修正貼り合わせ画像の全体の画素数の1/Nの画素に付加されている前記距離情報を、N枚の前記修正貼り合わせ画像の全てを重ねて読み取ることにより、前記制御部に、前記修正貼り合わせ画像における全ての画素の距離情報を求めさせて、求められた当該距離情報を1枚の貼り合わせ画像に付加させることにより、全ての画素に前記距離情報が付加された前記1枚の貼り合わせ画像を生成させること
を実現させるための請求項3に記載の画像距離算出用プログラムを記録したコンピュータ読み取り可能な非一過性の記録媒体。
[請求項5]
前記制御部に、
前記スライス画像の分割領域内における前記t軸方向の始端の境界から終端の境界までの画素と、当該スライス画像の分割領域に対応する前記フレーム画像の対応領域内における前記x軸方向の始端の境界から終端の境界までの画素との対応関係を、動的計画法に基づく両端点固定のマッチング処理およびバックトレース処理を用いて求めることにより、前記スライス画像の分割領域内の各画素に対応する、前記フレーム画像の前記対応領域内の前記x軸方向の画素を、x(1),x(2),・・・,x(i),・・・,x(G-1),x(G)(1≦i≦G)として求めさせ、
前記フレーム画像の前記対応領域内における前記x軸方向の始端の境界から終端の境界までの画素数の平均をxaとし、
前記フレーム画像の前記対応領域内における前記画素x(i)と、前記バックトレース処理により求められて前記画素x(i)に近接する画素x(i-1)との距離をx(i)-x(i-1)とし、
前記グローバル距離算出機能により算出された前記対応領域のグローバル距離を距離zgとし、
当該フレーム画像の画素x(i)における撮影対象物から前記カメラまでの詳細な距離を距離z(i)として、当該距離z(i)を、正の定数βを用いて、
z(i)=zg+β(x(i)-x(i-1)-xa/G)
により算出させる詳細距離算出機能
を実現させるための請求項1に記載の画像距離算出用プログラムを記録したコンピュータ読み取り可能な非一過性の記録媒体。
[請求項6]
前記制御部に、
前記カメラにより異なる時間に撮影された2枚のフレーム画像であって、互いに共通する画像部分を一部に含み、前記詳細距離算出機能において前記撮影対象物から前記カメラまでの距離が画素毎に算出された前記2枚のフレーム画像に対して、前記2枚のフレーム画像の全ての画素のRGBの値を抽出させることにより、抽出された前記RGBの値に該当しないRGBの値を、コードのRGBの値として検出させるコード検出機能と、
前記2枚のフレーム画像のうち、全体の画素数の1/N(Nは正数)の個数の画素をランダムに選択させ、選択された画素の距離値を抽出させる画素距離値抽出機能と、
該画素距離値抽出機能により抽出された前記距離値毎に、前記コードのRGBの値を重複しないように割り当てさせるコードRGB値割当機能と、
前記コードRGB値割当機能により前記コードのRGBの値が割り当てられた前記距離値と同じ距離値を備える、前記2枚のフレーム画像の画素のRGBの値を、当該距離値に応じて割り当てられた前記コードのRGBの値に入れ替えさせるRGB値入替機能と、
該RGB値入替機能により入れ替えられた後の前記RGBの値を、当該RGBの値への入れ替えが行われた前記画素の前記距離値に紐付けて記録させる画素情報記録機能と、
前記RGB値入替機能により前記画素のRGBの値が入れ替えられた2枚のフレーム画像に対して、スティッチングアルゴリズムを適用させることにより、当該2枚のフレーム画像の貼り合わせ処理を行って、1枚の貼り合わせ画像を生成させる貼り合わせ画像生成機能と、
該貼り合わせ画像生成機能により生成された前記貼り合わせ画像の全ての画素のRGBの値の中から、前記画素情報記録機能により記録された前記RGBの値と一致あるいは近似するRGBの値を検出させるRGB値検出機能と、
該RGB値検出機能により検出された前記RGBの値を備える画素に対し、前記画素情報記録機能により記録された前記RGBの値に紐付けられた前記距離値を、当該画素の距離情報として付加させる距離情報付加機能と、
該距離情報付加機能により前記距離情報が付加された前記画素のRGBの値を、当該画素の周囲の画素のRGBの値の平均値に変更させることにより、当該RGBの値が修正された修正貼り合わせ画像を生成させる修正貼り合わせ画像生成機能と、
該修正貼り合わせ画像生成機能により生成されたN枚の修正貼り合わせ画像に基づいて、全ての画素に前記距離情報が付加された1枚の貼り合わせ画像を生成させる距離付加貼り合わせ画像生成機能と
を有し、
前記画素距離値抽出機能において、前記制御部に、2回目以降に画素の距離値を抽出させる場合に、前記2枚のフレーム画像のうち過去に選択されなかった画素の中から、全体の画素数の1/Nの個数の画素をランダムに選択させて、当該画素の距離値を抽出させ、
前記コードRGB値割当機能と、前記RGB値入替機能と、前記画素情報記録機能と、前記貼り合わせ画像生成機能と、前記RGB値検出機能と、前記距離情報付加機能と、前記修正貼り合わせ画像生成機能とに関し、前記画素距離値抽出機能により2回目以降に選択された前記距離値に基づいて、前記制御部に、それぞれの機能を順番にN回繰り返して実行させることにより、N枚の前記修正貼り合わせ画像を生成させ、
前記距離付加貼り合わせ画像生成機能において、前記修正貼り合わせ画像の全体の画素数の1/Nの画素に付加されている前記距離情報を、N枚の前記修正貼り合わせ画像の全てを重ねて読み取ることにより、前記制御部に、前記修正貼り合わせ画像における全ての画素の距離情報を求めさせて、求められた当該距離情報を1枚の貼り合わせ画像に付加させることにより、全ての画素に前記距離情報が付加された前記1枚の貼り合わせ画像を生成させること
を実現させるための請求項5に記載の画像距離算出用プログラムを記録したコンピュータ読み取り可能な非一過性の記録媒体。
[請求項7]
移動する1台のカメラにより撮影された動画映像に基づいて、カメラから動画映像に記録された撮影対象物までの距離を算出する画像距離算出装置の画像距離算出用プログラムを記録したコンピュータ読み取り可能な非一過性の記録媒体であって、
前記画像距離算出装置の制御部に、
前記動画映像の任意の時間におけるフレーム画像を抽出させるフレーム画像抽出機能と、
該フレーム画像において、前記カメラの移動方向に向かって延設される軸をx軸とし、当該x軸に直交する軸をy軸として、前記x軸のx0点におけるy軸上の画素列の時間変化を、時間t0+1から時間t0+Tまで抽出することにより、縦軸を前記y軸、横軸をt軸(1≦t≦T)とするスライス画像を生成させるスライス画像生成機能と、
時間t(1≦t≦T)における前記スライス画像の画素をg(t,y)とし、前記フレーム画像のy軸上のy′点(1≦y′≦Y)における時間t0のときのxyt空間の画素をf(x,y′,t0)=r(x)として、xの区間[1,X]の任意の点において存在する、スライス画像の画素g(t,y)に対応するフレーム画像の画素r(x)点を、動的計画法に基づくマッチング処理を用いて求めることにより、前記スライス画像における時間Tの画素に対応する前記フレーム画像の画素の座標を、スポッティング点として算出させるスポッティング点算出機能と、
該スポッティング点算出機能により算出されたスポッティング点に基づいて、時間t=Tから時間t=1までバックトレース処理を行うことにより、前記スライス画像のt軸におけるt=1からt=Tまでのそれぞれの画素に対応する前記フレーム画像の画素の対応関係を求めさせる画素マッチング機能と、
該画素マッチング機能により求められた時間tにおける前記フレーム画像の前記x軸方向の画素をx(t)とし、時間t0における前記フレーム画像の前記x軸方向の画素をx(t0)として、前記フレーム画像における前記画素x(t)から前記画素x(t0)を減算することにより求められる当該2つの画素間の距離を、累積された動的視差α(t,t0)とし、
前記フレーム画像の前記画素x(t)における撮影対象物から前記カメラまでの距離をグローバル距離zgとし、
前記累積された動的視差α(t,t0)の設定範囲を、定数μ1および定数γ1を用いて、μ1≦α(t,t0)≦γ1とし、
前記グローバル距離zgの設定範囲を、定数zN1および定数zL1を用いて、zN1≦zg≦zL1として、
係数aを、
a=zL1・exp((μ1/(γ1-μ1))log(zL1/zN1
により算出させ、
係数bを
b=(1/(γ1-μ1))log(zL1/zN1
により算出させることにより
前記画素x(t)における前記グローバル距離zgを、前記累積された動的視差α(t,t0)と、前記係数aおよび前記係数bとを用いて、
zg=a・exp(-b・α(t,t0))
により算出させるグローバル距離算出機能と、
を実現させるための画像距離算出用プログラムを記録したコンピュータ読み取り可能な非一過性の記録媒体。
[請求項8]
前記制御部に、
前記カメラにより異なる時間に撮影された2枚のフレーム画像であって、互いに共通する画像部分を一部に含む前記2枚のフレーム画像に対して、前記2枚のフレーム画像の全ての画素のRGBの値を抽出させることにより、抽出された前記RGBの値に該当しないRGBの値を、コードのRGBの値として検出させるコード検出機能と、
前記グローバル距離算出機能により前記グローバル距離が算出された画素の距離値を、前記2枚のフレーム画像の画素の中から抽出させる画素距離値抽出機能と、
該画素距離値抽出機能により抽出された前記距離値毎に、前記コードのRGBの値を重複しないように割り当てさせるコードRGB値割当機能と、
前記コードRGB値割当機能により前記コードのRGBの値が割り当てられた前記距離値と同じ距離値を備える、前記2枚のフレーム画像の画素のRGBの値を、当該距離値に応じて割り当てられた前記コードのRGBの値に入れ替えさせるRGB値入替機能と、
該RGB値入替機能により入れ替えられた後の前記RGBの値を、当該RGBの値への入れ替えが行われた前記画素の前記距離値に紐付けて記録させる画素情報記録機能と、
前記RGB値入替機能により前記画素のRGBの値が入れ替えられた2枚のフレーム画像に対して、スティッチングアルゴリズムを適用させることにより、当該2枚のフレーム画像の貼り合わせ処理を行って、1枚の貼り合わせ画像を生成させる貼り合わせ画像生成機能と、
該貼り合わせ画像生成機能により生成された前記貼り合わせ画像の全ての画素のRGBの値の中から、前記画素情報記録機能によって記録された前記RGBの値と一致あるいは近似するRGBの値を検出させるRGB値検出機能と、
該RGB値検出機能により検出された前記RGBの値を備える画素に対し、前記画素情報記録機能により記録された前記RGBの値に紐付けられる前記距離値を、当該画素の距離情報として付加させる距離情報付加機能と、
該距離情報付加機能により前記距離情報が付加された前記画素のRGBの値を、当該画素の周囲の画素のRGBの値の平均値に変更させるRGB値変更機能と、
を実現させるための請求項7に記載の画像距離算出用プログラムを記録したコンピュータ読み取り可能な非一過性の記録媒体。
[請求項9]
移動する1台のカメラにより撮影された動画映像に基づいて、カメラから動画映像に記録された撮影対象物までの距離を算出する画像距離算出装置の画像距離算出用プログラムを記録したコンピュータ読み取り可能な非一過性の記録媒体であって、
前記画像距離算出装置の制御部に、
前記動画映像の任意の時間におけるフレーム画像を抽出させるフレーム画像抽出機能と、
該フレーム画像において、前記カメラの移動方向に向かって延設される軸をx軸とし、当該x軸に直交する軸をy軸として、前記x軸のx0点におけるy軸上の画素列の時間変化を、時間t0+1から時間t0+Tまで抽出することにより、縦軸を前記y軸、横軸をt軸(1≦t≦T)とするスライス画像を生成させるスライス画像生成機能と、
時間t(1≦t≦T)における前記スライス画像の画素をg(t,y)とし、前記フレーム画像のy軸上のy′点(1≦y′≦Y)における時間t0のときのxyt空間の画素をf(x,y′,t0)=r(x)として、xの区間[1,X]の任意の点において存在する、スライス画像の画素g(t,y)に対応するフレーム画像の画素r(x)点を、動的計画法に基づくマッチング処理を用いて求めることにより、前記スライス画像における時間Tの画素に対応する前記フレーム画像の画素の座標を、スポッティング点として算出させるスポッティング点算出機能と、
該スポッティング点算出機能により算出されたスポッティング点に基づいて、時間t=Tから時間t=1までバックトレース処理を行うことにより、前記スライス画像の前記t軸におけるt=1からt=Tまでのそれぞれの画素に対応する前記フレーム画像の前記x軸方向の画素を、x(1),x(2),x(3),・・・,x(i),・・・x(T)(1≦i≦T)として求めさせる画素マッチング機能と、
該画素マッチング機能により求められた前記フレーム画像の前記画素x(i)と近接する画素x(i-1)との距離差をx(i)-x(i-1)とし、画素x(i)から連続するK個(但しK<T)の画素間における近接する画素との距離差を、x(i+1)-x(i),x(i+2)-x(i+1),x(i+3)-x(i+2),・・・,x(i+K-1)-x(i+K-2),x(i+K)-x(i+K-1)として求めさせ、求められた前記画素間の距離差の値の中央値をMed(i)として求めさせることによって、画素x(i)における累積された動的視差をMed(i)・Kとし、
前記フレーム画像の前記画素x(i)における撮影対象物から前記カメラまでの詳細な距離を距離z(i,x)とし、
前記累積された動的視差Med(i)・Kの設定範囲を、定数μ2および定数γ2を用いて、μ2≦Med(i)・K≦γ2とし、
前記画素x(i)における距離z(i,x)の設定範囲を、定数zN2および定数zL2を用いて、zN2≦z(i,x)≦zL2として、
係数aを、
a=zL2・exp((μ2/(γ2-μ2))log(zL2/zN2
により算出させ、
係数bを
b=(1/(γ2-μ2))log(zL2/zN2
により算出させることにより
前記x(i)における前記距離z(i,x)を、前記累積された動的視差Med(i)・Kと、前記係数aおよび前記係数bとを用いて、
z(i,x)=a・exp(-b・Med(i)・K)
により算出させる詳細距離算出機能と、
を実現させるための画像距離算出用プログラムを記録したコンピュータ読み取り可能な非一過性の記録媒体。
[請求項10]
前記制御部に、
前記詳細距離算出機能において、前記フレーム画像の前記画素x(i)(1≦i≦T)以外の画素の距離を、前記画素x(i)において求められた前記距離z(i,x)の距離値を用いて内挿することにより求めさせること
を実現させるための請求項9に記載の画像距離算出用プログラムを記録したコンピュータ読み取り可能な非一過性の記録媒体。
[請求項11]
前記制御部に、
前記カメラにより異なる時間に撮影された2枚のフレーム画像であって、互いに共通する画像部分を一部に含み、前記詳細距離算出機能において前記撮影対象物から前記カメラまでの距離が画素毎に算出された前記2枚のフレーム画像に対して、前記2枚のフレーム画像の全ての画素のRGBの値を抽出させることにより、抽出された前記RGBの値に該当しないRGBの値を、コードのRGBの値として検出させるコード検出機能と、
前記2枚のフレーム画像のうち、全体の画素数の1/N(Nは正数)の個数の画素をランダムに選択させ、選択された画素の距離値を抽出させる画素距離値抽出機能と、
該画素距離値抽出機能により抽出された前記距離値毎に、前記コードのRGBの値を重複しないように割り当てさせるコードRGB値割当機能と、
前記コードRGB値割当機能により前記コードのRGBの値が割り当てられた前記距離値と同じ距離値を備える、前記2枚のフレーム画像の画素のRGBの値を、当該距離値に応じて割り当てられた前記コードのRGBの値に入れ替えさせるRGB値入替機能と、
該RGB値入替機能により入れ替えられた後の前記RGBの値を、当該RGBの値への入れ替えが行われた前記画素の前記距離値に紐付けて記録させる画素情報記録機能と、
前記RGB値入替機能により前記画素のRGBの値が入れ替えられた2枚のフレーム画像に対して、スティッチングアルゴリズムを適用させることにより、当該2枚のフレーム画像の貼り合わせ処理を行って、1枚の貼り合わせ画像を生成させる貼り合わせ画像生成機能と、
該貼り合わせ画像生成機能により生成された前記貼り合わせ画像の全ての画素のRGBの値の中から、前記画素情報記録機能により記録された前記RGBの値と一致あるいは近似するRGBの値を検出させるRGB値検出機能と、
該RGB値検出機能により検出された前記RGBの値を備える画素に対し、前記画素情報記録機能により記録された前記RGBの値に紐付けられた前記距離値を、当該画素の距離情報として付加させる距離情報付加機能と、
該距離情報付加機能により前記距離情報が付加された前記画素のRGBの値を、当該画素の周囲の画素のRGBの値の平均値に変更させることにより、当該RGBの値が修正された修正貼り合わせ画像を生成させる修正貼り合わせ画像生成機能と、
該修正貼り合わせ画像生成機能により生成されたN枚の修正貼り合わせ画像に基づいて、全ての画素に前記距離情報が付加された1枚の貼り合わせ画像を生成させる距離付加貼り合わせ画像生成機能と
を有し、
前記画素距離値抽出機能において、前記制御部に、2回目以降に画素の距離値を抽出させる場合に、前記2枚のフレーム画像のうち過去に選択されなかった画素の中から、全体の画素数の1/Nの個数の画素をランダムに選択させて、当該画素の距離値を抽出させ、
前記コードRGB値割当機能と、前記RGB値入替機能と、前記画素情報記録機能と、前記貼り合わせ画像生成機能と、前記RGB値検出機能と、前記距離情報付加機能と、前記修正貼り合わせ画像生成機能とに関し、前記画素距離値抽出機能により2回目以降に選択された前記距離値に基づいて、前記制御部に、それぞれの機能を順番にN回繰り返して実行させることにより、N枚の前記修正貼り合わせ画像を生成させ、
前記距離付加貼り合わせ画像生成機能において、前記修正貼り合わせ画像の全体の画素数の1/Nの画素に付加されている前記距離情報を、N枚の前記修正貼り合わせ画像の全てを重ねて読み取ることにより、前記制御部に、前記修正貼り合わせ画像における全ての画素の距離情報を求めさせて、求められた当該距離情報を1枚の貼り合わせ画像に付加させることにより、全ての画素に前記距離情報が付加された前記1枚の貼り合わせ画像を生成させること
を実現させるための請求項10に記載の画像距離算出用プログラムを記録したコンピュータ読み取り可能な非一過性の記録媒体。
[請求項12]
移動する1台のカメラにより撮影された動画映像に基づいて、当該動画映像の任意の時間におけるフレーム画像を抽出するフレーム画像抽出部と、
該フレーム画像において、前記カメラの移動方向に向かって延設される軸をx軸とし、当該x軸に直交する軸をy軸として、前記x軸のx0点におけるy軸上の画素列の時間変化を、時間t0+1から時間t0+Tまで抽出することにより、縦軸を前記y軸、横軸をt軸(1≦t≦T)とするスライス画像を生成するスライス画像生成部と、
時間t(1≦t≦T)における前記スライス画像の画素をg(t,y)とし、前記フレーム画像のy軸上のy′点(1≦y′≦Y)における時間t0のときのxyt空間の画素をf(x,y′,t0)=r(x)として、xの区間[1,X]の任意の点において存在する、スライス画像の画素g(t,y)に対応するフレーム画像の画素r(x)点を、動的計画法に基づくマッチング処理を用いて求めることにより、前記スライス画像における時間Tの画素に対応する前記フレーム画像の画素の座標を、スポッティング点として算出するスポッティング点算出部と、
該スポッティング点算出部により算出されたスポッティング点に基づいて、時間t=Tから時間t=1までバックトレース処理を行うことにより、前記スライス画像のt軸におけるt=1からt=Tまでのそれぞれの画素に対応する前記フレーム画像の画素の対応関係を求める画素マッチング部と、
前記フレーム画像と前記スライス画像とのそれぞれの画像に対して、mean-shift法を適用することにより、共通した分割基準に基づいて、それぞれの画像の領域分割を行う領域分割部と、
該領域分割部により分割された前記スライス画像の分割領域内に存在する画素に基づいて、前記画素マッチング部により求められた前記スライス画像の画素に対応する前記フレーム画像の画素を検出し、検出された前記フレーム画像の画素が最も多く含まれる前記フレーム画像の分割領域を求めることによって、前記スライス画像の分割領域に対応する前記フレーム画像の分割領域を対応領域として決定する対応領域決定部と、
該対応領域決定部により決定された前記フレーム画像の対応領域において、前記x軸方向の画素数の平均qを検出すると共に、対応する前記スライス画像の分割領域において、前記t軸方向の画素数の平均pを検出することによって、pに対するqの割合あるいはqに対するpの割合に基づいて求められる比率値を、前記対応領域毎に算出し、前記カメラから前記フレーム画像に写っている撮影対象物までの距離と前記比率値との対応関係が予め定められた距離関数を用いることによって、算出された前記比率値に対応する前記距離を、グローバル距離として前記対応領域毎に算出するグローバル距離算出部と、
を有することを特徴とする画像距離算出装置。
[請求項13]
前記カメラにより異なる時間に撮影された2枚のフレーム画像であって、互いに共通する画像部分を一部に含む前記2枚のフレーム画像に対して、前記2枚のフレーム画像の全ての画素のRGBの値を抽出することにより、抽出された前記RGBの値に該当しないRGBの値を、コードのRGBの値として検出するコード検出部と、
前記グローバル距離算出部により前記グローバル距離が算出された画素の距離値を、前記2枚のフレーム画像の画素の中から抽出する画素距離値抽出部と、
該画素距離値抽出部により抽出された前記距離値毎に、前記コードのRGBの値を重複しないように割り当てるコードRGB値割当部と、
前記コードRGB値割当部により前記コードのRGBの値が割り当てられた前記距離値と同じ距離値を備える、前記2枚のフレーム画像の画素のRGBの値を、当該距離値に応じて割り当てられた前記コードのRGBの値に入れ替えるRGB値入替部と、
該RGB値入替部により入れ替えられた後の前記RGBの値を、当該RGBの値への入れ替えが行われた前記画素の前記距離値に紐付けて記録する画素情報記録部と、
前記RGB値入替部により前記画素のRGBの値が入れ替えられた2枚のフレーム画像に対して、スティッチングアルゴリズムを適用することにより、当該2枚のフレーム画像の貼り合わせ処理を行って、1枚の貼り合わせ画像を生成する貼り合わせ画像生成部と、
該貼り合わせ画像生成部により生成された前記貼り合わせ画像の全ての画素のRGBの値の中から、前記画素情報記録部に記録される前記RGBの値と一致あるいは近似するRGBの値を検出するRGB値検出部と、
該RGB値検出部により検出された前記RGBの値を備える画素に対し、前記画素情報記録部に記録される前記RGBの値に紐付けられた前記距離値を、当該画素の距離情報として付加する距離情報付加部と、
該距離情報付加部により前記距離情報が付加された前記画素のRGBの値を、当該画素の周囲の画素のRGBの値の平均値に変更するRGB値変更部と、
を有することを特徴とする請求項12に記載の画像距離算出装置。
[請求項14]
前記スライス画像の分割領域内における前記t軸方向の始端の境界から終端の境界までの画素と、当該スライス画像の分割領域に対応する前記フレーム画像の対応領域内における前記x軸方向の始端の境界から終端の境界までの画素との対応関係を、動的計画法に基づく両端点固定のマッチング処理およびバックトレース処理を用いて求めることにより、前記スライス画像の分割領域内の各画素に対応する画素を、前記フレーム画像の前記対応領域内の画素として求め、求められた前記フレーム画像の前記対応領域内における前記x軸方向の画素の間隔に基づいて、当該対応領域内の画素毎の相対的な距離を、ローカル距離として算出するローカル距離算出部と、
該ローカル距離算出部により算出された、前記フレーム画像の画素毎のローカル距離に、前記グローバル距離算出部により算出された、前記フレーム画像の前記対応領域毎のグローバル距離を加算することによって、前記カメラから前記撮影対象物までの詳細な距離を、前記フレーム画像の画素毎に算出する詳細距離算出部と、
を有することを特徴とする請求項12に記載の画像距離算出装置。
[請求項15]
前記カメラにより異なる時間に撮影された2枚のフレーム画像であって、互いに共通する画像部分を一部に含み、前記詳細距離算出部によって前記撮影対象物から前記カメラまでの距離が画素毎に算出された前記2枚のフレーム画像に対して、前記2枚のフレーム画像の全ての画素のRGBの値を抽出することにより、抽出された前記RGBの値に該当しないRGBの値を、コードのRGBの値として検出するコード検出部と、
前記2枚のフレーム画像のうち、全体の画素数の1/N(Nは正数)の個数の画素をランダムに選択し、選択された画素の距離値を抽出する画素距離値抽出部と、
該画素距離値抽出部により抽出された前記距離値毎に、前記コードのRGBの値を重複しないように割り当てるコードRGB値割当部と、
前記コードRGB値割当部により前記コードのRGBの値が割り当てられた前記距離値と同じ距離値を備える、前記2枚のフレーム画像の画素のRGBの値を、当該距離値に応じて割り当てられた前記コードのRGBの値に入れ替えるRGB値入替部と、
該RGB値入替部により入れ替えられた後の前記RGBの値を、当該RGBの値への入れ替えが行われた前記画素の前記距離値に紐付けて記録する画素情報記録部と、
前記RGB値入替部により前記画素のRGBの値が入れ替えられた2枚のフレーム画像に対して、スティッチングアルゴリズムを適用することにより、当該2枚のフレーム画像の貼り合わせ処理を行って、1枚の貼り合わせ画像を生成する貼り合わせ画像生成部と、
該貼り合わせ画像生成部により生成された前記貼り合わせ画像の全ての画素のRGBの値の中から、前記画素情報記録部に記録される前記RGBの値と一致あるいは近似するRGBの値を検出するRGB値検出部と、
該RGB値検出部により検出された前記RGBの値を備える画素に対し、前記画素情報記録部に記録される前記RGBの値に紐付けられた前記距離値を、当該画素の距離情報として付加する距離情報付加部と、
該距離情報付加部により前記距離情報が付加された前記画素のRGBの値を、当該画素の周囲の画素のRGBの値の平均値に変更することにより、当該RGBの値が修正された修正貼り合わせ画像を生成する修正貼り合わせ画像生成部と、
該修正貼り合わせ画像生成部により生成されたN枚の修正貼り合わせ画像に基づいて、全ての画素に前記距離情報が付加された1枚の貼り合わせ画像を生成する距離付加貼り合わせ画像生成部と
を有し、
前記画素距離値抽出部は、2回目以降に画素の距離値を抽出する場合に、前記2枚のフレーム画像のうち過去に選択されなかった画素の中から、全体の画素数の1/Nの個数の画素をランダムに選択して、当該画素の距離値を抽出し、
前記コードRGB値割当部と、前記RGB値入替部と、前記画素情報記録部と、前記貼り合わせ画像生成部と、前記RGB値検出部と、前記距離情報付加部と、前記修正貼り合わせ画像生成部とは、前記画素距離値抽出部により2回目以降に選択された前記距離値に基づいて、それぞれの処理を順番にN回繰り返すことにより、N枚の前記修正貼り合わせ画像を生成し、
前記距離付加貼り合わせ画像生成部は、前記修正貼り合わせ画像の全体の画素数の1/Nの画素に付加されている前記距離情報を、N枚の前記修正貼り合わせ画像の全てを重ねて読み取ることにより、前記修正貼り合わせ画像における全ての画素の距離情報を求めて、求められた当該距離情報を1枚の貼り合わせ画像に付加することにより、全ての画素に前記距離情報が付加された前記1枚の貼り合わせ画像を生成すること
を特徴とする請求項14に記載の画像距離算出装置。
[請求項16]
前記スライス画像の分割領域内における前記t軸方向の始端の境界から終端の境界までの画素と、当該スライス画像の分割領域に対応する前記フレーム画像の対応領域内における前記x軸方向の始端の境界から終端の境界までの画素との対応関係を、動的計画法に基づく両端点固定のマッチング処理およびバックトレース処理を用いて求めることにより、前記スライス画像の分割領域内の各画素に対応する、前記フレーム画像の前記対応領域内の前記x軸方向の画素を、x(1),x(2),・・・,x(i),・・・,x(G-1),x(G)(1≦i≦G)として求め、
前記フレーム画像の前記対応領域内における前記x軸方向の始端の境界から終端の境界までの画素数の平均をxaとし、
前記フレーム画像の前記対応領域内における前記画素x(i)と、前記バックトレース処理により求められて前記画素x(i)に近接する画素x(i-1)との距離をx(i)-x(i-1)とし、
前記グローバル距離算出部により算出された前記対応領域のグローバル距離を距離zgとし、
当該フレーム画像の画素x(i)における撮影対象物から前記カメラまでの詳細な距離を距離z(i)として、当該距離z(i)を、正の定数βを用いて、
z(i)=zg+β(x(i)-x(i-1)-xa/G)
により算出する詳細距離算出部
を有することを特徴とする請求項12に記載の画像距離算出装置。
[請求項17]
前記カメラにより異なる時間に撮影された2枚のフレーム画像であって、互いに共通する画像部分を一部に含み、前記詳細距離算出部によって前記撮影対象物から前記カメラまでの距離が画素毎に算出された前記2枚のフレーム画像に対して、前記2枚のフレーム画像の全ての画素のRGBの値を抽出することにより、抽出された前記RGBの値に該当しないRGBの値を、コードのRGBの値として検出するコード検出部と、
前記2枚のフレーム画像のうち、全体の画素数の1/N(Nは正数)の個数の画素をランダムに選択し、選択された画素の距離値を抽出する画素距離値抽出部と、
該画素距離値抽出部により抽出された前記距離値毎に、前記コードのRGBの値を重複しないように割り当てるコードRGB値割当部と、
前記コードRGB値割当部により前記コードのRGBの値が割り当てられた前記距離値と同じ距離値を備える、前記2枚のフレーム画像の画素のRGBの値を、当該距離値に応じて割り当てられた前記コードのRGBの値に入れ替えるRGB値入替部と、
該RGB値入替部により入れ替えられた後の前記RGBの値を、当該RGBの値への入れ替えが行われた前記画素の前記距離値に紐付けて記録する画素情報記録部と、
前記RGB値入替部により前記画素のRGBの値が入れ替えられた2枚のフレーム画像に対して、スティッチングアルゴリズムを適用することにより、当該2枚のフレーム画像の貼り合わせ処理を行って、1枚の貼り合わせ画像を生成する貼り合わせ画像生成部と、
該貼り合わせ画像生成部により生成された前記貼り合わせ画像の全ての画素のRGBの値の中から、前記画素情報記録部に記録される前記RGBの値と一致あるいは近似するRGBの値を検出するRGB値検出部と、
該RGB値検出部により検出された前記RGBの値を備える画素に対し、前記画素情報記録部に記録される前記RGBの値に紐付けられた前記距離値を、当該画素の距離情報として付加する距離情報付加部と、
該距離情報付加部により前記距離情報が付加された前記画素のRGBの値を、当該画素の周囲の画素のRGBの値の平均値に変更することにより、当該RGBの値が修正された修正貼り合わせ画像を生成する修正貼り合わせ画像生成部と、
該修正貼り合わせ画像生成部により生成されたN枚の修正貼り合わせ画像に基づいて、全ての画素に前記距離情報が付加された1枚の貼り合わせ画像を生成する距離付加貼り合わせ画像生成部と
を有し、
前記画素距離値抽出部は、2回目以降に画素の距離値を抽出する場合に、前記2枚のフレーム画像のうち過去に選択されなかった画素の中から、全体の画素数の1/Nの個数の画素をランダムに選択して、当該画素の距離値を抽出し、
前記コードRGB値割当部と、前記RGB値入替部と、前記画素情報記録部と、前記貼り合わせ画像生成部と、前記RGB値検出部と、前記距離情報付加部と、前記修正貼り合わせ画像生成部とは、前記画素距離値抽出部により2回目以降に選択された前記距離値に基づいて、それぞれの処理を順番にN回繰り返すことにより、N枚の前記修正貼り合わせ画像を生成し、
前記距離付加貼り合わせ画像生成部は、前記修正貼り合わせ画像の全体の画素数の1/Nの画素に付加されている前記距離情報を、N枚の前記修正貼り合わせ画像の全てを重ねて読み取ることにより、前記修正貼り合わせ画像における全ての画素の距離情報を求めて、求められた当該距離情報を1枚の貼り合わせ画像に付加することにより、全ての画素に前記距離情報が付加された前記1枚の貼り合わせ画像を生成すること
を特徴とする請求項16に記載の画像距離算出装置。
  • Applicant
  • ※All designated countries except for US in the data before July 2012
  • THE UNIVERSITY OF AIZU
  • Inventor
  • OKA Ryuichi
IPC(International Patent Classification)
Specified countries National States: AE AG AL AM AO AT AU AZ BA BB BG BH BN BR BW BY BZ CA CH CL CN CO CR CU CZ DE DJ DK DM DO DZ EC EE EG ES FI GB GD GE GH GM GT HN HR HU ID IL IN IR IS JO KE KG KH KN KP KR KW KZ LA LC LK LR LS LU LY MA MD ME MG MK MN MW MX MY MZ NA NG NI NO NZ OM PA PE PG PH PL PT QA RO RS RU RW SA SC SD SE SG SK SL SM ST SV SY TH TJ TM TN TR TT TZ UA UG US UZ VC VN ZA ZM ZW
ARIPO: BW GH GM KE LR LS MW MZ NA RW SD SL SZ TZ UG ZM ZW
EAPO: AM AZ BY KG KZ RU TJ TM
EPO: AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR
OAPI: BF BJ CF CG CI CM GA GN GQ GW KM ML MR NE SN ST TD TG

PAGE TOP

close
close
close
close
close
close