TOP > 国内特許検索 > 流水領域検出システム、流水領域検出方法、及びプログラム > 明細書

明細書 :流水領域検出システム、流水領域検出方法、及びプログラム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4910139号 (P4910139)
公開番号 特開2007-256254 (P2007-256254A)
登録日 平成24年1月27日(2012.1.27)
発行日 平成24年4月4日(2012.4.4)
公開日 平成19年10月4日(2007.10.4)
発明の名称または考案の名称 流水領域検出システム、流水領域検出方法、及びプログラム
国際特許分類 G01C  13/00        (2006.01)
G06T   1/00        (2006.01)
G01F  23/28        (2006.01)
G06T   7/00        (2006.01)
G01B  11/02        (2006.01)
FI G01C 13/00 D
G06T 1/00 280
G01F 23/28 L
G06T 7/00 200Z
G01B 11/02 H
請求項の数または発明の数 14
全頁数 17
出願番号 特願2006-232597 (P2006-232597)
出願日 平成18年8月29日(2006.8.29)
優先権出願番号 2006049246
優先日 平成18年2月24日(2006.2.24)
優先権主張国 日本国(JP)
審査請求日 平成21年7月17日(2009.7.17)
特許権者または実用新案権者 【識別番号】304021288
【氏名又は名称】国立大学法人長岡技術科学大学
発明者または考案者 【氏名】岩橋 政宏
【氏名】齋藤 淳史
個別代理人の代理人 【識別番号】100090273、【弁理士】、【氏名又は名称】國分 孝悦
審査官 【審査官】▲うし▼田 真悟
参考文献・文献 特開2008-072636(JP,A)
特開2007-226681(JP,A)
特開2001-041803(JP,A)
特開2001-343274(JP,A)
特開2007-212238(JP,A)
齋藤淳史、外1名,フレーム同期加算とフィルタリングによる河川水位検出アルゴリズム,第19回 回路とシステム軽井沢ワークショップ,2006年 4月24日,p.525-530,[online]、[平成23年12月8日検索]、インターネット<http://tech.nagaokaut.ac.jp/works/iwa/papers/p525_Bd2-4-2.pdf>
調査した分野 G01C 13/00
G01F 23/28
G06T 1/00
G06T 7/00- 7/60
G01B 11/00-11/30
特許請求の範囲 【請求項1】
固定カメラを用いて撮影された流水領域及び非流水領域が含まれる映像が供給され、供給された映像を時間方向に積分する積分手段と、
上記積分手段により得られた映像のエッジ成分を強調させる空間フィルタ処理手段と、
上記空間フィルタ処理手段で処理された映像における各画素に対してエッジ画素であるか否かを画素毎に判定し、当該判定結果に基づいて上記流水領域及び上記非流水領域を判別する領域判別手段とを備えることを特徴とする流水領域検出システム。
【請求項2】
上記領域判別手段は、
上記空間フィルタ処理手段で処理された映像に対し、画素毎にエッジ画素であるか否かの判定を行ってエッジ画素又は非エッジ画素に分類する二値化処理手段と、
上記二値化処理手段により分類された上記エッジ画素又は上記非エッジ画素の分布に基づいて、映像内領域を上記流水領域及び上記非流水領域に二分割する領域分割手段とを備えることを特徴とする請求項1記載の流水領域検出システム。
【請求項3】
上記領域分割手段は、上記エッジ画素又は上記非エッジ画素を対象画素として、当該対象画素数を上記流水領域と非流水領域との境界が伸びる方向に関して積算し、さらに得られた対象画素数の分布から境界画素数を決定し、当該境界画素数をしきい値として上記得られた対象画素数に基づき上記流水領域及び上記非流水領域に分割することを特徴とする請求項2記載の流水領域検出システム。
【請求項4】
固定カメラを用いて撮影された流水領域及び非流水領域が含まれる映像が供給され、供給された映像を時間方向に積分する積分手段と、
上記積分手段により得られた映像のエッジ成分を強調させる空間フィルタ処理手段と、
上記空間フィルタ処理手段で処理された映像における各ライン毎に求めた特徴量に基づいて上記流水領域及び上記非流水領域を判別する領域判別手段とを備えることを特徴とする流水領域検出システム。
【請求項5】
上記領域判別手段は、
上記空間フィルタ処理手段で処理された映像の各ライン毎に、上記特徴量として分散値又は絶対値和を算出する特徴量計算手段と、
上記特徴量計算手段により算出された特徴量に基づいて、映像内領域を上記流水領域及び上記非流水領域に二分割する領域分割手段とを備えることを特徴とする請求項4記載の流水領域検出システム。
【請求項6】
上記積分手段は、供給される映像を複数のフレームにわたって加算することを特徴とする請求項1~5の何れか1項に記載の流水領域検出システム。
【請求項7】
上記積分手段により複数のフレームにわたって映像を加算する前に、当該映像に非線形処理を施すことを特徴とする請求項6記載の流水領域検出システム。
【請求項8】
上記固定カメラを用いて撮影された映像から上記流水領域及び非流水領域が含まれる領域映像を抽出して上記積分手段に供給する領域抽出手段をさらに備えることを特徴とする請求項1~7の何れか1項に記載の流水領域検出システム。
【請求項9】
上記固定カメラを用いて撮影された映像から互いに領域の異なる複数の上記領域映像を抽出し、抽出した各領域映像毎に処理して得られる各領域映像での上記流水領域と上記非流水領域の判別結果に基づいて、上記撮影された映像における上記流水領域及び上記非流水領域を判別することを特徴とする請求項8記載の流水領域検出システム。
【請求項10】
上記空間フィルタ処理手段で用いる空間フィルタは、上記流水領域に対するフィルタ処理により得られる結果の分散値が最小となるようにフィルタ係数値が計算され随時更新されることを特徴とする請求項1~9の何れか1項に記載の流水領域検出システム。
【請求項11】
固定カメラを用いて撮影された流水領域及び非流水領域が含まれる映像を時間方向に積分する積分工程と、
上記積分工程で得られた映像のエッジ成分を強調させる空間フィルタ処理工程と、
上記空間フィルタ処理工程で処理された映像における各画素に対してエッジ画素であるか否かを画素毎に判定する判定工程と、
上記判定工程での判定結果に基づいて、上記流水領域及び上記非流水領域を判別する領域判別工程とを有することを特徴とする流水領域検出方法。
【請求項12】
固定カメラを用いて撮影された流水領域及び非流水領域が含まれる映像を時間方向に積分する積分工程と、
上記積分工程で得られた映像のエッジ成分を強調させる空間フィルタ処理工程と、
上記空間フィルタ処理工程で処理された映像の各ライン毎に特徴量を算出する特徴量計算工程と、
上記特徴量計算工程で算出された特徴量に基づいて、上記流水領域及び上記非流水領域を判別する領域判別工程とを有することを特徴とする流水領域検出方法。
【請求項13】
固定カメラを用いて撮影された流水領域及び非流水領域が含まれる映像を時間方向に積分する積分ステップと、
上記積分ステップで得られた映像のエッジ成分を強調させる空間フィルタ処理ステップと、
上記空間フィルタ処理ステップで処理された映像における各画素に対してエッジ画素であるか否かを画素毎に判定する判定ステップと、
上記判定ステップでの判定結果に基づいて、上記流水領域及び上記非流水領域を判別する領域判別ステップとをコンピュータに実行させるためのプログラム。
【請求項14】
固定カメラを用いて撮影された流水領域及び非流水領域が含まれる映像を時間方向に積分する積分ステップと、
上記積分ステップで得られた映像のエッジ成分を強調させる空間フィルタ処理ステップと、
上記空間フィルタ処理ステップで処理された映像の各ライン毎に特徴量を算出する特徴量計算ステップと、
上記特徴量計算ステップで算出された特徴量に基づいて、上記流水領域及び上記非流水領域を判別する領域判別ステップとをコンピュータに実行させるためのプログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、流水領域検出システム、流水領域検出方法、及びプログラムに関し、詳しくは、撮影して得られる映像信号に基づく河川等の流水領域検出技術に関する。
【背景技術】
【0002】
河川の氾濫による水害を事前に察知して水防活動に役立てるために、河川敷の各所に水位計や監視カメラを設置し、それらにより得られるデータを一箇所に集約するシステムが、国土交通省が設置するテレメータをはじめとして多数実現されている。また、傾斜模様が描かれた量水板を河川中に設置し、その量水板を含む画像を取り込んで画像処理を行うことで、水位計を設置せずに河川映像から河川の水位を検出する方法が提案されている(例えば、特許文献1参照。)。
【0003】

【特許文献1】特開平9-161076号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、流水を妨げる物体を河川の中に設置することは、洪水等の災害の要因となり得るため、河川法により厳しく制限管理されており、河川において量水板が設置できる場所は限られている。その一方で、できるだけ多くの箇所から水位データを収集することが、より正確で信頼できる防災情報を生成するためには欠かせない。
【0005】
本発明は、水中にいかなる物体をも設置することなく、河川等を被写体とする映像信号のみから、その河川等の流水領域を検出できるようにすることを目的とする。
【課題を解決するための手段】
【0006】
本発明の流水領域検出システムは、固定カメラを用いて撮影された流水領域及び非流水領域が含まれる映像が供給され、供給された映像を時間方向に積分する積分手段と、上記積分手段により得られた映像のエッジ成分を強調させる空間フィルタ処理手段と、上記空間フィルタ処理手段で処理された映像における各画素に対してエッジ画素であるか否かを画素毎に判定し、当該判定結果に基づいて上記流水領域及び上記非流水領域を判別する領域判別手段とを備えることを特徴とする。
また、本発明の流水領域検出システムは、固定カメラを用いて撮影された流水領域及び非流水領域が含まれる映像が供給され、供給された映像を時間方向に積分する積分手段と、上記積分手段により得られた映像のエッジ成分を強調させる空間フィルタ処理手段と、上記空間フィルタ処理手段で処理された映像における各ライン毎に求めた特徴量に基づいて上記流水領域及び上記非流水領域を判別する領域判別手段とを備えることを特徴とする。
本発明の流水領域検出方法は、固定カメラを用いて撮影された流水領域及び非流水領域が含まれる映像を時間方向に積分する積分工程と、上記積分工程で得られた映像のエッジ成分を強調させる空間フィルタ処理工程と、上記空間フィルタ処理工程で処理された映像における各画素に対してエッジ画素であるか否かを画素毎に判定する判定工程と、上記判定工程での判定結果に基づいて、上記流水領域及び上記非流水領域を判別する領域判別工程とを有することを特徴とする。
また、本発明の流水領域検出方法は、固定カメラを用いて撮影された流水領域及び非流水領域が含まれる映像を時間方向に積分する積分工程と、上記積分工程で得られた映像のエッジ成分を強調させる空間フィルタ処理工程と、上記空間フィルタ処理工程で処理された映像の各ライン毎に特徴量を算出する特徴量計算工程と、上記特徴量計算工程で算出された特徴量に基づいて、上記流水領域及び上記非流水領域を判別する領域判別工程とを有することを特徴とする。
本発明のプログラムは、固定カメラを用いて撮影された流水領域及び非流水領域が含まれる映像を時間方向に積分する積分ステップと、上記積分ステップで得られた映像のエッジ成分を強調させる空間フィルタ処理ステップと、上記空間フィルタ処理ステップで処理された映像における各画素に対してエッジ画素であるか否かを画素毎に判定する判定ステップと、上記判定ステップでの判定結果に基づいて、上記流水領域及び上記非流水領域を判別する領域判別ステップとをコンピュータに実行させることを特徴とする。
また、本発明のプログラムは、固定カメラを用いて撮影された流水領域及び非流水領域が含まれる映像を時間方向に積分する積分ステップと、上記積分ステップで得られた映像のエッジ成分を強調させる空間フィルタ処理ステップと、上記空間フィルタ処理ステップで処理された映像の各ライン毎に特徴量を算出する特徴量計算ステップと、上記特徴量計算ステップで算出された特徴量に基づいて、上記流水領域及び上記非流水領域を判別する領域判別ステップとをコンピュータに実行させることを特徴とする。
【発明の効果】
【0007】
本発明によれば、河川等を被写体として固定カメラで撮影された流水領域及び非流水領域が含まれる映像を時間方向に積分して流水領域におけるエッジ成分を抑圧し、その映像における非流水領域におけるエッジ成分を強調させる空間フィルタを画像全体に施す。そして、空間フィルタの施された映像の各画素に対してエッジ成分であるか否かを判定し、その結果に基づいて流水領域及び非流水領域を判別する。あるいは、空間フィルタの施された映像における各ライン毎に求めた特徴量に基づいて流水領域及び非流水領域を判別する。これにより、水中にいかなる物体をも設置することなく、河川等を被写体とする映像信号のみから、その流水領域を検出することができる。
【発明を実施するための最良の形態】
【0008】
以下、本発明の実施形態を図面に基づいて説明する。
【0009】
<第1の実施形態>
図1は、本発明の第1の実施形態による流水領域検出システムの構成例を示すブロック図である。第1の実施形態による流水領域検出システムは、固定カメラCMを用いた撮影で得られる河川等を被写体とする映像信号から、時間方向の積分(例えば本実施形態ではフレーム加算)及び空間フィルタ処理に基づき、その河川等における流水領域を検出する。
【0010】
第1の実施形態による流水領域検出システムは、図1に示すように、領域抽出部1、フレーム加算部2、空間フィルタ処理部3、二値化処理部4、及び領域分割部5Aを有する。以下、図1に示した流水領域検出システムの各機能部について詳細に説明する。なお、以下においては、必要に応じて図2に示すような実際の河川画像について流水領域及び非流水領域を検出、判別することで、河川の水位検出を行う場合を適宜例示して説明する。
【0011】
(領域抽出部1)
領域抽出部1は、固定カメラCMを用いて撮影された撮像映像から、半分に陸部が、もう半分には流水部が写っているような領域を数フレームにわたり抽出する。ここで、流水部とは、撮像映像における水面等の水が写りこんだ領域であり、陸部とは、流水部以外の領域(例えば、背景画像等の領域)である。
【0012】
例えば、領域抽出部1は、図2(a)に示すように上半分が陸部、下半分が流水部であるような領域画像を撮像映像から抽出する。なお、領域画像を抽出する際、陸部が下で流水部が上、又は陸部及び流水部がそれぞれ左と右、あるいは右と左に写っていても良く、流水領域の検出は可能である。また、撮影映像全体の半分が陸部、もう半分が流水部となるように固定カメラCMのアングル等を調整して撮影を行い、得られた撮影映像そのものを領域画像としても良い。
【0013】
ここで、領域画像における陸部には模様のある静止した物体が写っており,流水部においては水面が常に動いていることが望ましい。また、領域画像において水面は水平であることが望ましく、そうなるように撮影画像(領域画像)を90度回転させるか拡大や縮小をするなどのアフィン変換を施すことも効果的である。また、夜間に撮影した映像については、例えば赤外線照射した結果として、陸部に何らかの模様が写ってさえいれば、流水部には何も写っていなくても良く、流水領域を検出可能である。
【0014】
領域画像の抽出は、ある時点でユーザーが抽出位置を指定した後は、流水領域の検出結果を基に得られた水位に応じて水面が常に領域画像の中心付近に位置するようにして、ある時間間隔で自動的に実施するようにしても良い。
【0015】
(フレーム加算部2)
フレーム加算部2は、領域抽出部1により抽出された領域画像について、複数のフレームを同期加算する。すなわち、フレーム加算部2は、領域抽出部1により抽出された領域画像を時間方向に積分する。これにより、動いている流水部がぼやけた、あるいは滑らかとなった画像が得られる。つまり、流水部のエッジ成分(高周波成分)が抑圧される。その一方で、静止している陸部は特に変化しない。このことは、例えば図2(a)及び図2(b)を比較することで確認できる。図2(b)は、フレーム加算部2により複数フレームを同期加算して得られたものである。
【0016】
ただし、複数のフレームの領域画像を加算する際、単純に加算を行うと画素値も単純に増大してしまい要求されるリソース等も増大するので、例えば加算したフレーム数で画素値を割るなどして画素値の値域拡大を防止することが望ましい。また、例えば、画像を加算する際に、画素値に重み係数を乗じたり、あるいは画素値に関しビットシフトを行ったりしても良い。
【0017】
例えば、フレーム加算部2は、4枚のフレームを加算する場合には,各フレームにおける画素値に0.25を乗じるか、あるいはそれと等価になるように画素値を右に2ビットシフトさせた後に、既にフレームメモリに格納されている画素値と加算し、加算結果をフレームメモリに新たに格納する。これにより、加算される枚数分のフレームメモリを用意することなく、少ないフレームメモリでフレーム加算を実現することができる。
【0018】
また、フレームメモリに格納されている画素値と、領域抽出部1により抽出された領域画像の画素値とを加算して2で割った後、その加算結果をフレームメモリに新たに格納する。この処理を繰り返すことで,複数のフレームの領域画像が重み加算された画像が生成される。あるいは、固定カメラCMで撮像する際に、シャッターを比較的長い時間に亘り開けておき、露光時間を比較的長くすることでも、上述したように複数のフレームを加算した場合と同等の効果を得ることができる。
【0019】
また、複数のフレームにわたって画像を加算する前に、加算する画像に対して、例えば時間方向のメディアンフィルタ処理といった非線形処理を施すようにしても良い。このように、加算する領域画像に非線形処理を施すことで、固定カメラCMの前を遮る鳥や虫、降雨雪粒子、あるいは車のライトや水滴といった一時的に発生した外乱による影響を取り除くことができ、安定した水位検出を行うことが可能となる。
【0020】
ここで、詳細は後述するが本実施形態では、映像においてエッジ画素を多く含む領域を陸部分、エッジ画素が少ない領域を流水部分として、陸部及び流水部の判別を行う。そして、陸部と流水部の境界の位置を水面として認識することで、図2(a)に示したような水位を算出することが可能となる。
【0021】
(空間フィルタ処理部3)
空間フィルタ処理部3は、フレーム加算部2により生成された画像に対して、流水部には少ないが陸部には多く存在するエッジ成分、つまり流水部と陸部の差異を強調させるための空間フィルタ処理を施す。例えば、図2(b)に示した画像に、空間フィルタ処理部3によるフィルタ処理を施すことで、図2(c)に示す画像が得られる。
【0022】
本実施形態では、空間フィルタ処理部3は、画像の画素値と空間フィルタ係数値との畳み込み処理により、画像のエッジ成分を強調させる。その空間フィルタの係数値としては、微分処理に相当するものが効果的である。
ここで、空間フィルタの伝達関数を、
【0023】
【数1】
JP0004910139B2_000002t.gif

【0024】
と表現すると、空間フィルタ処理部3での処理に用いる空間フィルタの係数値としては、上記式(1)においてT1=T2=1として、
【0025】
【数2】
JP0004910139B2_000003t.gif

【0026】
と表されるPrewittオペレータや、又は、
【0027】
【数3】
JP0004910139B2_000004t.gif

【0028】
と表されるSobelオペレータが効果的である。これらは、どちらも画像における横方向に微分処理を施し、かつ縦方向に平均化処理を施したことに等しい。
また、空間フィルタの伝達関数を、
【0029】
【数4】
JP0004910139B2_000005t.gif

【0030】
と表した場合の、H(z)=1-z-1なるフィルタ及びH(z)=1+z-1なるフィルタを画像における横方向にそれぞれ1回づつ適用し、かつH(z)=1+z-1なるフィルタを縦方向に2回適用することで、上述したSobelオペレータと等価な処理となる。これらのフィルタの組み合わせや適用回数を適宜調整することで、より効果的な処理が可能となることもある。
【0031】
また、例えば、上記式(1)においてT1やT2の値を1よりも大きな整数値とし、h(k1,k2)を任意に与えることで、自由度が高くなるため、より効果的な処理が可能となる場合もある。
特に、流水部に対して空間フィルタを適用した結果の分散値が最小となるように、最小自乗法により空間フィルタのフィルタ係数値を計算するようにしても良い。
あるいは、空間フィルタ処理後の分散値について、流水部と陸部の比が最大となるように空間フィルタのフィルタ係数値やタップ数等のパラメータを決定するようにしても良い。例えば、空間フィルタ処理後の流水部の分散値σW2が一定という制約条件の下で、陸部の分散値σL2を最大化するようにする。すなわち、下記式(5)に示す評価関数Lを最大化するように空間フィルタに係るパラメータを決定しても良い。
【0032】
【数5】
JP0004910139B2_000006t.gif

【0033】
この問題は、ラグランジュの未定乗数法により固有値問題として解けることが知られている。なお、逆に、陸部の分散値が一定という制約条件の下で流水部の分散値を最小化するように空間フィルタに係るパラメータを決定しても良い。
また、画像によっては上述のような画像における横方向ではなく、縦方向に微分処理を施した方が効果的な場合もある。また、平均化処理を施す必要がない場合もある。
【0034】
上述したような空間フィルタの方向、係数値、タップ数等のパラメータは、時々刻々と変化する撮影環境(状況)に応じて、リアルタイムで最適なものに適宜更新することが望ましい。それにより、日照の変化や水質・濁度・流速などの変化に伴う撮影画像の変動に対応することができ、精度が高くかつ安定した流水領域検出を行うことができる。
【0035】
(二値化処理部4)
二値化処理部4は、空間フィルタ部3により生成された画像における個々の画素に対して、エッジ画素であるか否かの判定を画素毎に行い、判定結果に基づいて各画素をエッジ画素か否か(非エッジ画素)に分類する。さらに、二値化処理部4は、その分類に応じて画素値を例えば白(エッジ画素)又は黒(非エッジ画素)の何れかに二値化し、図2(d)に一例を示すようような二値画像を得る。
【0036】
ここで、二値化処理部4にて二値化処理を行う際のしきい値については,例えば空間フィルタ部3により生成された画像の画素値に応じて計算すれば良く、例えばその平均値やそのヒストグラムの重心値などを適用できる。
【0037】
(領域分割部5A)
領域分割部5Aは、二値化処理部4により生成された画像に対して、エッジ画素を多く含む領域を陸部(非流水領域)、それ以外を流水部(流水領域)と判別して領域を二分割する。この判別処理は、二値化処理部4により生成された画像におけるエッジ画素の分布又は非エッジ画素の分布に基づいてなされる。
【0038】
例えば、このようにして得られた2つの領域の境界を出力することで、図2(a)に示したように陸部と流水部の境界として水位が算出される。
ここで、二値化処理部4及び領域分割部5Aにより、本発明の領域判別手段が構成される。
【0039】
二値化処理部4により生成された画像において、領域を陸部(非流水領域)及び流水部(流水領域)に二分割する領域分割部5Aにおける処理については、様々な形態が考えられる。以下、図3~図6を参照して、領域分割部5Aにおける処理の一例について説明する。
【0040】
図3は、領域分割部5Aの構成例を示すブロック図であり、図4は、図3に示す領域分割部5Aによる領域分割の原理を説明するための図である。
【0041】
(横方向ヒストグラム計算部11)
横方向ヒストグラム計算部11は、図1に示した二値化処理部4により生成された二値画像について、各行毎に幾つのエッジ画素が存在するかを数える。つまり、横方向ヒストグラム計算部11は、二値画像における各行毎にエッジ画素数を積算し、エッジ画素の横方向のヒストグラムを生成する。
【0042】
例えば、図4(a)に示す二値画像において、上から一行目には6個のエッジ画素、二行目には7個のエッジ画素が存在している。したがって、横方向ヒストグラム計算部11により生成される横方向のヒストグラム(図4(b))には、それぞれの行、すなわち縦位置について、エッジ画素数が6及び7としてプロットされる。
【0043】
(縦方向ヒストグラム計算部12)
縦方向ヒストグラム計算部12は、横方向ヒストグラム計算部11により生成された横方向ヒストグラムを参照し、各エッジ画素数の値について、対応する縦位置が幾つ存在するかを数える。つまり,縦方向ヒストグラム計算部12は、横方向ヒストグラムにおける各エッジ画素数に関する縦方向のヒストグラムを生成する。
【0044】
例えば,図4(b)に示した横方向ヒストグラムにおいて、左から一列目には2個のエッジ画像数、二列目には1個のエッジ画像数がある。縦方向ヒストグラム計算部12により生成される横方向のヒストグラム(図4(c))には、それぞれの列、すなわちエッジ画素数について、エッジ画素数の縦方向積算値が2及び1としてプロットされる。
【0045】
(境界値決定部13)
縦方向ヒストグラム計算部12により生成された縦方向ヒストグラムには、陸部に関連するヒストグラム部分と、流水部に関連するヒストグラム部分の2つのクラスタ(分布)が存在する。したがって、これら2つのクラスタを分離する境界部分を決定することができる。境界値決定部13は、その境界部分(境界画素数)を決定する。この境界部分の決定方法としては種々の方法を用いることができる。
【0046】
例えば、境界値決定部13は、クラス内の分散が小さく、かつクラス間の距離が大きくなるように境界を定めても良いし、又はクラス内分散・クラス間分散比が最大となるように境界を定めても良い。あるいは、境界値決定部13は、縦方向ヒストグラムを双峰性のガウス分布に帰着させて2つのクラスの境界を決定しても良い。
【0047】
(水位計算部14)
水位計算部14は、境界値決定部13により決定された縦方向ヒストグラムにおける2つのクラスの境界に基づいて、それに対応する横方向ヒストグラムにおける境界を定め、更にそれに対応する二値画像の境界を定める。これにより、画像が陸部と流水部の領域に二分割され、その境界を水位として出力する。
【0048】
具体的には、境界値決定部13により決定された境界をしきい値として、それに対応する図4(c)に示した縦方向ヒストグラムにおける境界P1が、図4(b)に示した横方向ヒストグラムにおける対応点P2を経て、二値画像における陸部と流水部との境界である水位P3が求められる。実際の河川画像に適用した場合を図5に示している。
【0049】
なお、上述した説明では、画像において水面が水平である(陸部と流水部の境界が横方向に伸びている)場合を一例として示したが、画像において水面が垂直である(陸部と流水部の境界が縦方向に伸びている)場合には、各列毎にエッジ画素数を積算してエッジ画素の縦方向のヒストグラムを生成し、それを参照して各エッジ画素数に関する横方向のヒストグラムを生成するようにすれば良い。
【0050】
以上、説明したように第1の実施形態によれば、河川等を被写体として固定カメラCMを用いて撮影された撮像映像から、領域抽出部1により陸部と流水部の境界、すなわち陸部と流水部を含む領域画像を抽出し、フレーム加算部2により各領域について数フレーム分を加算して流水部が滑らかになった画像を生成する。さらに、その画像におけるエッジ成分を強調させる空間フィルタを空間フィルタ処理部3にて画像全体に施し、得られた画像の各画素に対してエッジ成分か否かに分類する二値化処理を二値化処理部4で施し、領域分割部5Aによりエッジ成分を多く含む領域を陸部、それ以外を流水部と判別して領域分割を行う。これにより、陸部及び流水部をそれぞれ検出でき、その二領域の境界を水位と判定することで、水中にいかなる物体をも設置することなく、河川等を被写体とする映像信号のみから、その流水領域を検出することができる。
【0051】
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。
第2の実施形態による流水領域検出システムは、固定カメラを用いた撮影で得られる河川等を被写体とする映像信号から、時間方向の積分(フレーム加算等)及び空間フィルタ処理に基づき、その河川等における流水領域を検出する。
【0052】
図8は、第2の実施形態による流水領域検出システムの構成例を示すブロック図である。なお、この図8において、図1に示したブロック等と同一の機能を有するブロック等には同一の符号を付し、重複する説明は省略する。
図8に示すように、第2の実施形態による流水領域検出システムは、領域抽出部1、フレーム加算部2、空間フィルタ処理部3、ライン特徴量計算部6、及び領域分割部5Bを有する。
【0053】
(空間フィルタ処理部3)
空間フィルタ処理部3は、パラメータ計算部7を有し、フレーム加算部2により生成された画像に対して、流水部には少ないが陸部には多く存在するエッジ成分、つまり流水部と陸部の差異を強調させるための空間フィルタ処理を施す。例えば、領域抽出部1により撮像映像から抽出した図9(a)に示す領域画像を、フレーム加算部2により複数フレームを同期加算して得られる図9(b)に示す画像に、空間フィルタ処理部3によるフィルタ処理を施すことで、図9(c)に示す画像が得られる。
【0054】
本実施形態では、空間フィルタ処理部3は、画像の画素値と空間フィルタ係数値との畳み込み処理により、画像のエッジ成分を強調させる。空間フィルタの係数値としては、微分処理に相当するものが効果的である。
【0055】
この空間フィルタの係数値は、空間フィルタ処理部3内のパラメータ計算部7により算出される。パラメータ計算部7は、空間フィルタの方向、係数値、タップ数等のパラメータを算出し、時々刻々と変化する撮影環境(状況)に応じて、最適なものに適宜更新する処理をリアルタイムで行う。なお、パラメータ計算部7による空間フィルタの係数値やタップ数等のパラメータの決定方法については、第1の実施形態での空間フィルタに係るパラメータの決定方法と同様であるので説明は省略する。
【0056】
このように、パラメータ計算部7が、時々刻々と変化する撮影環境に応じて、リアルタイムで最適な空間フィルタに係るパラメータを算出して適宜更新することにより、日照の変化や水質・濁度・流速などの変化に伴う撮影画像の変動に対応することができ、精度が高くかつ安定した流水領域検出を行うことができる。また、例えば固定カメラCMの設置位置を変えても、空間フィルタに係るパラメータを自動的に最適化することができる。
【0057】
(ライン特徴量計算部6)
ここで、図9(a)に示した画像をフレーム加算部2により複数フレームにわたって同期加算することにより、図9(b)に示したように、動いている流水部については高周波成分が低減された滑らかな信号となり、静止している陸部については高周波成分が維持された明確な輪郭を持つ信号となる。こうした違いを顕在化させるために、図9(b)に示した画像に対して空間フィルタ処理部3により空間フィルタ処理を施すことで、流水部に対して陸部の輪郭(高周波)成分が強調された図9(c)に示した画像が得られる。
【0058】
ライン特徴量計算部6は、このように空間フィルタ処理部3で処理された画像の各ラインの特徴量として、画像の各ライン毎に分散値を算出する。図9(c)に示した画像に基づいて、ライン特徴量計算部6により算出した特徴量を図9(d)に示す。図9(d)に示されるように、算出された特徴量の値は、概して陸部では大きく、流水部では小さくなっている。
【0059】
なお、ライン特徴量計算部6は、画像の各ラインの特徴量として分散値を算出するようにしているが、画像の各ライン毎に絶対値和を算出するようにしても良い。絶対値和を算出するようにした場合には、分散値を算出する場合に比べて、乗算処理が含まれないために演算量を低減させることができる。
【0060】
(領域分割部5B)
領域分割部5Bは、ライン特徴量計算部6により算出された各ラインの特徴量に基づいて、画像における陸部(非流水領域)と流水部(流水領域)とを判別して領域を二分割する。
【0061】
ライン特徴量計算部6により算出された特徴量に基づいて、領域を陸部(非流水領域)及び流水部(流水領域)に二分割する領域分割部5Bにおける処理については、様々な形態が考えられる。例えば、図9(d)に示される特徴量を鍵型図形P11に近似し、この鍵のくびれ部分を陸部と流水部の境界として水位とすることもできる。また、例えば、クラス内分散・クラス間分散比最大基準により2クラスに分離しするといった線形判別法を適用することもできる。このようにして得られる2つの領域の境界を水位として出力する。
ここで、ライン特徴量計算部6及び領域分割部5Bにより、本発明の領域判別手段が構成される。
【0062】
以上、説明したように第2の実施形態によれば、河川等を被写体として固定カメラCMを用いて撮影された撮像映像から、領域抽出部1により陸部と流水部の境界、すなわち陸部と流水部を含む領域画像を抽出し、フレーム加算部2により各領域について数フレーム分を加算して流水部が滑らかになった画像を生成する。さらに、パラメータ計算部6により撮影状況等に応じて空間フィルタのパラメータを適宜変更しつつ、その画像におけるエッジ成分を強調させる空間フィルタを空間フィルタ処理部3にて画像全体に施し、得られた画像の各ライン毎に特徴量をライン特徴量計算部6で算出し、領域分割部5Bにより各ラインの特徴量に基づいて画像を流水部と陸部の2クラスに分類して領域分割を行う。これにより、陸部及び流水部をそれぞれ検出でき、その二領域の境界を水位と判定することで、水中にいかなる物体をも設置することなく、河川等を被写体とする映像信号のみから、その流水領域を検出することができる。
【0063】
また、第2の実施形態によれば、ラインの特徴量に基づいて領域分割を行って水位を検出することで、第1の実施形態で行っていた二値化処理や縦方向及び横方向のヒストグラム計算が不要となるとともに、画素単位の処理ではなくライン単位での処理となる。これにより、システム全体での演算処理量が低減され、高精度な水位計算処理システム(処理回路等)の省電力化や小型化が可能となる。また、二値化処理においては、設定する閾値の調整が容易ではなく、その決定方法に依存して水位計算の精度が異なり、ヒストグラム計算においては、二値化処理の結果を累積するために二値化誤差をも累積してしまうが、第2の実施形態では、このような処理を用いないことで、より高精度な水位検出を行うことができる。
【0064】
なお、上述した第1及び第2の実施形態では、領域抽出部1は、固定カメラCMを用いて撮影された撮像映像から1つの領域画像を抽出するようにしているが、図6に示すように、1枚のフレームに対して複数の領域画像(図6に示す例では、領域1、領域2、及び領域3)を抽出するようにしても良い。その場合、複数の領域画像において、その一部領域が重複していても構わない。これらの各領域画像のそれぞれについて、上述した処理により陸部及び流水部を判別し、得られた複数の結果から総合的に判断して最終的な陸部及び流水部の領域分割を行うようにしても良い。例えば、複数の結果の平均値を最終的な陸部及び流水部の境界としたり、多数決法により最終的な陸部及び流水部の領域を決定することで、固定カメラCMのレンズに雨水が付着したり、降雨や降雪あるいは霧による画像障害が発生して流水部が検出しにくい場合でも、流水部を高精度かつ安定して検出することが可能となる。
【0065】
(本発明の他の実施形態)
なお、上述した実施形態は、コンピュータのCPU又はMPU、RAM、ROM等で構成可能なものであり、RAMやROMに記憶されたプログラムが動作することによって実現でき、上記プログラムは本発明の実施形態に含まれる。また、コンピュータが上述の実施形態の機能を果たすように動作させるプログラムを、例えばCD-ROMのような記録媒体に記録し、コンピュータに読み込ませることによって実現できるものであり、上記プログラムを記録した記録媒体は本発明の実施形態に含まれる。上記プログラムを記録する記録媒体としては、CD-ROM以外に、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等を用いることができる。
また、コンピュータがプログラムを実行し処理を行うことにより、上述の実施形態の機能が実現されるプログラムプロダクトは、本発明の実施形態に含まれる。上記プログラムプロダクトとしては、上述の実施形態の機能を実現するプログラム自体、上記プログラムが読み込まれたコンピュータ、ネットワークを介して通信可能に接続されたコンピュータに上記プログラムを提供可能な送信装置、及び当該送信装置を備えるネットワークシステム等がある。
また、コンピュータが供給されたプログラムを実行することにより上述の実施形態の機能が実現されるだけでなく、そのプログラムがコンピュータにおいて稼働しているOS(オペレーティングシステム)又は他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合や、供給されたプログラムの処理のすべて又は一部がコンピュータの機能拡張ボードや機能拡張ユニットにより行われて上述の実施形態の機能が実現される場合も、かかるプログラムは本発明の実施形態に含まれる。
【0066】
例えば、図7に示すようなコンピュータ機能700を有し、そのCPU701により上述した実施形態での動作が実施される。
コンピュータ機能700は、図7に示すように、CPU701と、ROM702と、RAM703と、キーボード(KB)709のキーボードコントローラ(KBC)705と、表示部としてのCRTディスプレイ(CRT)710のCRTコントローラ(CRTC)706と、ハードディスク(HD)711及びフレキシブルディスク(FD)712のディスクコントローラ(DKC)707と、ネットワークインタフェースカード(NIC)708とが、システムバス704を介して互いに通信可能に接続された構成としている。
CPU701は、ROM702又はHD711に記憶されたソフトウェア、又はFD712より供給されるソフトウェアを実行することで、システムバス704に接続された各構成部を総括的に制御する。
すなわち、CPU701は、上述したような動作を行うための処理プログラムを、ROM702、HD711、又はFD712から読み出して実行することで、上述した実施形態での動作を実現するための制御を行う。
RAM703は、CPU701の主メモリ又はワークエリア等として機能する。
KBC705は、KB709や図示していないポインティングデバイス等からの指示入力を制御する。
CRTC706は、CRT710の表示を制御する。
DKC707は、ブートプログラム、種々のアプリケーション、ユーザファイル、ネットワーク管理プログラム、及び上記処理プログラム等を記憶するHD711及びFD712とのアクセスを制御する。
NIC708はネットワーク713上の他の装置と双方向にデータをやりとりする。
【0067】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図面の簡単な説明】
【0068】
【図1】本発明の第1の実施形態による流水領域検出システムの構成例を示す図である。
【図2】図1に示す流水領域検出システムで処理された画像の一例を示す図である。
【図3】領域分割部の構成例を示す図である。
【図4】図3に示す領域分割部による領域分割の原理を説明するための図である。
【図5】図3に示す領域分割部による領域分割を実際の河川画像に適用した場合を示す図である。
【図6】領域抽出部による領域画像抽出の他の例を示す図である。
【図7】本実施形態における流水領域検出システムを実現可能なコンピュータ機能を示すブロック図である。
【図8】本発明の第2の実施形態による流水領域検出システムの構成例を示す図である。
【図9】第2の実施形態による流水領域検出システムでの処理を説明するための図である。
【符号の説明】
【0069】
1 領域抽出部
2 フレーム加算部
3 空間フィルタ処理部
4 二値化処理部
5A、5B 領域分割部
6 ライン特徴量計算部
7 パラメータ計算部
11 横方向ヒストグラム計算部
12 縦方向ヒストグラム計算部
13 境界値決定部
14 水位計算部
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8