TOP > 国内特許検索 > 画像処理システム、画像処理方法、及びプログラム > 明細書

明細書 :画像処理システム、画像処理方法、及びプログラム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4839442号 (P4839442)
公開番号 特開2008-072636 (P2008-072636A)
登録日 平成23年10月14日(2011.10.14)
発行日 平成23年12月21日(2011.12.21)
公開日 平成20年3月27日(2008.3.27)
発明の名称または考案の名称 画像処理システム、画像処理方法、及びプログラム
国際特許分類 H04N   7/18        (2006.01)
G01F  23/28        (2006.01)
G06T   1/00        (2006.01)
G06T   7/00        (2006.01)
FI H04N 7/18 D
H04N 7/18 K
G01F 23/28 L
G06T 1/00 280
G06T 7/00 200B
請求項の数または発明の数 11
全頁数 17
出願番号 特願2006-251483 (P2006-251483)
出願日 平成18年9月15日(2006.9.15)
審査請求日 平成21年7月17日(2009.7.17)
特許権者または実用新案権者 【識別番号】304021288
【氏名又は名称】国立大学法人長岡技術科学大学
発明者または考案者 【氏名】岩橋 政宏
個別代理人の代理人 【識別番号】100090273、【弁理士】、【氏名又は名称】國分 孝悦
審査官 【審査官】松田 岳士
参考文献・文献 特開2001-041803(JP,A)
特開2001-343274(JP,A)
特開2007-212238(JP,A)
調査した分野 H04N 7/18
G01F 23/28
G06T 1/00
G06T 7/00
特許請求の範囲 【請求項1】
固定カメラを用いて撮影された流水領域及び非流水領域が含まれる映像が供給され、供給された映像を時間方向及び空間方向に基底分解する時空間基底分解手段と、
上記時空間基底分解手段により得られたデータを、上記流水領域と上記非流水領域の判別に係る有効性に応じて順位付けし優先階層と非優先階層に分類する階層化処理手段と、
上記階層化処理手段により分類された上記優先階層のデータ及び上記非優先階層のデータを符号化処理する符号化手段と、
上記階層化処理手段により分類された上記優先階層のデータに基づいて、映像内領域を上記流水領域と上記非流水領域に分割して水位を検出する水位計算手段とを備えることを特徴とする画像処理システム。
【請求項2】
上記時空間基底分解手段は、上記供給される映像に時間方向の基底分解を施す第1の基底分解手段と、
上記第1の基底分解手段により得られたデータに空間方向の基底分解を施す第2の基底分解手段とを備えることを特徴とする請求項1記載の画像処理システム。
【請求項3】
上記符号化手段は、通信回線の伝送帯域に応じて、上記優先階層のデータ及び上記非優先階層のデータをそれぞれ符号化処理して得られた優先圧縮データ及び非優先圧縮データ、又は上記優先圧縮データのみを出力することを特徴とする請求項1又は2記載の画像処理システム。
【請求項4】
上記固定カメラを用いて撮影された映像から上記流水領域及び非流水領域が含まれる領域映像を抽出して上記時空間基底分解手段に供給する領域抽出手段をさらに備えることを特徴とする請求項1~3の何れか1項に記載の画像処理システム。
【請求項5】
固定カメラを用いて撮影された流水領域及び非流水領域が含まれる映像を時間方向及び空間方向に基底分解して得られたデータを、上記流水領域と上記非流水領域の判別に係る有効性に応じて順位付けし優先階層と非優先階層に分類して、上記優先階層のデータ及び上記非優先階層のデータをそれぞれ符号化処理する装置から、上記優先階層のデータを符号化処理して得られた優先圧縮データを、通信回線を介して受信して復号処理する復号手段と、
上記復号手段で復号処理して得られた上記優先階層のデータに基づいて、映像内領域を上記流水領域と上記非流水領域に分割して水位を検出する水位計算手段とを備えることを特徴とする画像処理システム。
【請求項6】
上記水位計算手段は、上記優先階層のデータに係る映像の各画素の特徴量に基づいて、画素毎に上記流水領域の画素であるか又は上記非流水領域の画素であるかを判定し、当該判定結果に基づいて上記映像内領域を上記流水領域と上記非流水領域に分割することを特徴とする請求項1~5の何れか1項に記載の画像処理システム。
【請求項7】
上記水位計算手段は、上記優先階層のデータに係る映像の各ライン毎に特徴量を求め、求めた特徴量に基づいて上記映像内領域を上記流水領域と上記非流水領域に分割することを特徴とする請求項1~5の何れか1項に記載の画像処理システム。
【請求項8】
上記特徴量として、上記優先階層のデータに係る映像の画素毎に上記流水領域の画素であるか又は上記非流水領域の画素であるかを判定して、上記流水領域又は上記非流水領域と判定された画素の総数を各ライン毎に算出することを特徴とする請求項7記載の画像処理システム。
【請求項9】
上記特徴量として、上記優先階層のデータに係る映像の各ライン毎に分散値又は絶対値和を算出することを特徴とする請求項7記載の画像処理システム。
【請求項10】
固定カメラを用いて撮影された流水領域及び非流水領域が含まれる映像が供給され、供給された映像を時間方向及び空間方向に基底分解する時空間基底分解工程と、
上記時空間基底分解工程で得られたデータを、上記流水領域と上記非流水領域の判別に係る有効性に応じて順位付けし優先階層と非優先階層に分類する階層化処理工程と、
上記階層化処理工程で分類された上記優先階層のデータ及び上記非優先階層のデータを符号化処理する符号化工程と、
上記階層化処理工程で分類された上記優先階層のデータに基づいて、映像内領域を上記流水領域と上記非流水領域に分割して水位を検出する水位計算工程とを有することを特徴とする画像処理方法。
【請求項11】
固定カメラを用いて撮影された流水領域及び非流水領域が含まれる映像が供給され、供給された映像を時間方向及び空間方向に基底分解する時空間基底分解ステップと、
上記時空間基底分解ステップで得られたデータを、上記流水領域と上記非流水領域の判別に係る有効性に応じて順位付けし優先階層と非優先階層に分類する階層化処理ステップと、
上記階層化処理ステップで分類された上記優先階層のデータ及び上記非優先階層のデータを符号化処理する符号化ステップと、
上記階層化処理ステップで分類された上記優先階層のデータに基づいて、映像内領域を上記流水領域と上記非流水領域に分割して水位を検出する水位計算ステップとをコンピュータに実行させるためのプログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、画像処理システム、画像処理方法、及びプログラムに関し、特に、撮影して得られる映像信号を圧縮符号化するとともに、映像信号に基づいて河川等の流水領域/非流水領域の認識を行う画像処理システムに用いて好適なものである。
【背景技術】
【0002】
河川の氾濫による水害を事前に察知して水防活動に役立てるために、河川敷の各所に水位計や監視カメラを設置し、それらにより得られるデータを一箇所に集約するシステムが、国土交通省が設置するテレメータをはじめとして多数実現されている。また、傾斜模様が描かれた量水板を河川中に設置し、その量水板を含む画像を取り込んで画像処理を行うことで、水位計を設置せずに河川映像から河川の水位を検出する方法が提案されている(例えば、特許文献1参照。)。
【0003】

【特許文献1】特開平9-161076号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、流水を妨げる物体を河川の中に設置することは、洪水等の災害の要因となり得るため、河川法により厳しく制限管理されており、河川において量水板が設置できる場所は限られている。その一方で、できるだけ多くの箇所から水位データを収集することが、より正確で信頼できる防災情報を生成するためには欠かせない。
【0005】
本発明は、水中にいかなる物体をも設置することなく、河川等を被写体とする映像信号のみから、その河川等の水位を検出できるようにするとともに、当該映像信号を伝送路のビットレートに応じた品質で圧縮伝送可能にすることを目的とする。
【課題を解決するための手段】
【0006】
本発明の画像処理システムは、固定カメラを用いて撮影された流水領域及び非流水領域が含まれる映像が供給され、供給された映像を時間方向及び空間方向に基底分解する時空間基底分解手段と、上記時空間基底分解手段により得られたデータを、上記流水領域と上記非流水領域の判別に係る有効性に応じて順位付けし優先階層と非優先階層に分類する階層化処理手段と、上記階層化処理手段により分類された上記優先階層のデータ及び上記非優先階層のデータを符号化処理する符号化手段と、上記階層化処理手段により分類された上記優先階層のデータに基づいて、映像内領域を上記流水領域と上記非流水領域に分割して水位を検出する水位計算手段とを備えることを特徴とする。
本発明の画像処理方法は、固定カメラを用いて撮影された流水領域及び非流水領域が含まれる映像が供給され、供給された映像を時間方向及び空間方向に基底分解する時空間基底分解工程と、上記時空間基底分解工程で得られたデータを、上記流水領域と上記非流水領域の判別に係る有効性に応じて順位付けし優先階層と非優先階層に分類する階層化処理工程と、上記階層化処理工程で分類された上記優先階層のデータ及び上記非優先階層のデータを符号化処理する符号化工程と、上記階層化処理工程で分類された上記優先階層のデータに基づいて、映像内領域を上記流水領域と上記非流水領域に分割して水位を検出する水位計算工程とを有することを特徴とする。
本発明のプログラムは、固定カメラを用いて撮影された流水領域及び非流水領域が含まれる映像が供給され、供給された映像を時間方向及び空間方向に基底分解する時空間基底分解ステップと、上記時空間基底分解ステップで得られたデータを、上記流水領域と上記非流水領域の判別に係る有効性に応じて順位付けし優先階層と非優先階層に分類する階層化処理ステップと、上記階層化処理ステップで分類された上記優先階層のデータ及び上記非優先階層のデータを符号化処理する符号化ステップと、上記階層化処理ステップで分類された上記優先階層のデータに基づいて、映像内領域を上記流水領域と上記非流水領域に分割して水位を検出する水位計算ステップとをコンピュータに実行させることを特徴とする。
【発明の効果】
【0007】
本発明によれば、河川等を被写体として固定カメラで撮影された流水領域及び非流水領域が含まれる映像を時間方向及び空間方向に基底分解し、得られたデータを流水領域と非流水領域の判別に係る有効性に応じて順位付けして優先階層のデータと非優先階層のデータに分ける。そして、優先階層のデータに基づいて流水領域と非流水領域に分割し水位検出を行う。これにより、水中にいかなる物体をも設置することなく、河川等を被写体とする映像信号のみから、流水領域及び非流水領域を認識し水位を検出することができる。
また、伝送路のビットレートが低い場合には、優先階層のデータのみを符号化処理して伝送し、伝送路のビットレートが高い場合には、優先階層のデータに加えて非優先階層のデータも符号化処理して伝送することにより、伝送路のビットレートに応じた品質での河川等を被写体とする映像信号の圧縮伝送が可能となる。
【発明を実施するための最良の形態】
【0008】
以下、本発明の実施形態を図面に基づいて説明する。
【0009】
図1は、本発明の一実施形態による画像処理システムの構成例を示すブロック図である。本実施形態による画像処理システムは、固定カメラを用いた撮影で得られる河川等を被写体とする映像信号を時間方向及び空間方向に基底分解し、得られた変換係数を流水領域/非流水領域(陸部)の判別に有効なものを優先して階層化して優先階層と非優先階層に分け、その優先階層の変換係数及び非優先階層の変換係数に基づいて、水位を検出するとともに、優先圧縮データ及び非優先圧縮データを出力する。また、優先圧縮データ及び非優先圧縮データのそれぞれを復号することにより、低解像度な映像及び高解像度の映像をそれぞれ再生する。
【0010】
図1において、センサ部1は、固定カメラ2及び映像処理・圧縮部3を有する。
映像処理・圧縮部3は、河川等を被写体として固定カメラ2で撮影された映像に時空間基底分解を施し、得られた変換係数を流水領域と陸領域の判別に有効なものを優先順位付けして階層化し、優先階層及び非優先階層に分ける。また、映像処理・圧縮部3は、優先階層のデータに基づいて、被写体とする河川等の水位の検出を行って水位データを出力する。また、映像処理・圧縮部3は、優先階層のデータのみを符号化して優先圧縮データを出力し、非優先階層のデータを符号化して非優先圧縮データを出力する。
【0011】
センサ部1は、通信回線(通信ネットワーク等の伝送路)4を介して受信部5と通信可能に接続されており、センサ部1内の映像処理・圧縮部3より出力される水位データ、優先圧縮データ、非優先圧縮データが受信部5に伝送可能となっている。
【0012】
受信部5は、第1の復号処理部6及び第2の復号処理部7を有する。
第1の復号処理部6は、映像処理・圧縮部3により生成され、通信回線4を介して供給された優先圧縮データを復号することで、河川等の被写体に係る低解像度の映像を再生する。この処理は、映像処理・圧縮部3内の符号化部で行われる処理の逆処理により優先階層の変換係数を復号し、次に、非優先階層の変換係数をゼロとして優先階層の変換係数のみに、映像処理・圧縮部3で行われる基底分解の逆処理を施すことで実現される。
【0013】
第2の復号処理部7は、映像処理・圧縮部3により生成され、通信回線4を介して供給された優先圧縮データ及び非優先圧縮データの両方の圧縮データを併せて復号することで、河川等の被写体に係る高解像度の(高精細な)映像を再生する。この処理は、映像処理・圧縮部3内で行われる符号化処理の逆処理により優先階層及び非優先階層の両方の変換係数をそれぞれ復号し、次に、非優先階層及び優先階層の変換係数のすべてに映像処理・圧縮部3で行われる基底分解の逆処理を施すことで実現される。
【0014】
図2は、映像処理・圧縮部3の構成例を示す図である。映像処理・圧縮部3は、領域抽出部11、時間方向基底分解部13及び空間方向基底分解部14からなる時空間基底分解部12、階層化処理部15、第1の符号化部16、第2の符号化部17、及び水位計算部18を有する。以下、図2に示した映像処理・圧縮部3の各機能部について詳細に説明する。なお、以下においては、必要に応じて図6~図8に示すような実際の河川画像について流水領域及び非流水領域を検出、判別することで、河川の水位検出を行う場合を適宜例示して説明する。
【0015】
(領域抽出部11)
領域抽出部11は、固定カメラ2を用いて撮影された撮像映像から、半分に陸部が、もう半分には流水部が写っているような領域を数フレームにわたり抽出する。ここで、流水部とは、撮像映像における水面等の水が写りこんだ領域であり、陸部とは、流水部以外の領域(例えば、背景画像等の領域)である。
【0016】
例えば、領域抽出部11は、図6(a)に示すように上半分が陸部、下半分が流水部であるような領域画像を撮像映像から抽出する。なお、領域画像を抽出する際、陸部が下で流水部が上、又は陸部及び流水部がそれぞれ左と右、あるいは右と左に写っていても良く、流水領域の検出は可能である。また、撮影映像全体の半分が陸部、もう半分が流水部となるように固定カメラ2のアングル等を調整して撮影を行い、得られた撮影映像そのものを領域画像としても良い。
【0017】
ここで、領域画像における陸部には模様のある静止した物体が写っており,流水部においては水面が常に動いていることが望ましい。また、領域画像において水面は水平であることが望ましく、そうなるように撮影画像(領域画像)を90度回転させるか拡大や縮小をするなどのアフィン変換を施すことも効果的である。また、夜間に撮影した映像については、例えば赤外線照射した結果として、陸部に何らかの模様が写ってさえいれば、流水部には何も写っていなくても良く、流水領域を検出可能である。
【0018】
領域画像の抽出は、ある時点でユーザーが抽出位置を指定した後は、流水領域の検出結果を基に得られた水位に応じて水面が常に領域画像の中心付近に位置するようにして、ある時間間隔で自動的に実施するようにしても良い。
【0019】
(時空間基底分解部12)
時空間基底分解部12は、領域抽出部11により抽出された領域画像について、時間方向の基底分解を施す時間方向基底分解部13及び空間方向の基底分解を施す空間方向基底分解部14を有する。
【0020】
(時間方向基底分解部13)
時間方向基底分解12は、領域抽出部11により抽出された領域画像について、時間方向に基底分解する。時間方向基底分解部12にて行われる時間方向の基底分解の一例を図3に示す。
【0021】
図3においては、8枚のフレーム(フレーム1~フレーム8)を基底分解する例を示している。また、基底分解としては2入力2出力(2点の基底分解)の例を示しており、例えば2つの入力(a,b)に対して(a+b,a-b)を出力するものが利用できる。また、図3においては、出力(a+b)は信号の低域成分であるので記号「L」で示し、出力(a-b)は信号の高域成分であるので記号「H」で示している。なお、出力のスケーリング又は定数倍等は適宜行ってもよい。例えば、出力(a+b)に対して2で割ることで映像の全体的な明るさを一定に保つことができる。
【0022】
例えば、時間方向基底分解12により、フレームnとフレーム(n+1)(n=1、3、5、7)の個々の画素値について基底分解することにより、L(tn)(=フレームn+フレーム(n+1))とH(tn)(=フレームn-フレーム(n+1))が得られる。
【0023】
こうして得られたL(tn)は、時間方向に低域通過フィルタが施されたことと等価なものとなる。例えば、降雨雪時の雨雪粒やカメラの前を横切る鳥のような動く物体は映像として見えにくくなる。また、例えば、流水部における流水の波面も映像として滑らかになり、高周波成分の少ない映像となる。すなわち、L(tn)においては、動きのある部分はぼやけて見えにくくなる。一方、静止している陸上の構造物、例えば護岸コンクリートの模様などは、高周波成分の保持された鮮明な映像となる。すなわち、得られたL(tn)に対して判別処理を行えば、高周波成分の抑圧された流水部分と高周波成分の保持された陸部分とに領域を分割することができる。
【0024】
さらに、判別効果を高めるために、上述のような処理を繰り返すこともできる。例えば、図3に示す例では、L(tm)とL(t(m+2))(m=1、5)を入力とする基底分解を行うことにより、LL(tm)とLH(tm)を得ている。さらに、LL(tk)とLL(t(k+4))(k=1)を入力とする基底分解を行うことにより、LLL(tk)とLLH(tk)を得ている。
【0025】
以上のようにして得られた変換係数に対して、LLL(tk)を第1優先の変換係数、LLH(tk)を第2優先の変換係数、LH(tm)を第3優先の変換係数とし、その他のH(tn)を非優先の変換係数とする。
【0026】
ここで、図6(a)に示した実際の河川画像(原映像)に対して、基底分解を施して得られるLLL(tk)を図6(b)に示し、H(tn)を図6(c)に示している。このような時間方向の基底分解は、エネルギ(分散値)の偏りを生じさせるため、データ圧縮においても寄与する。実際に図6(b)、(c)に示したように、LLL(tk)は全体的に明るく分散値が大きいが、H(tn)は全体的に暗く分散値が小さいことが確認できる。
【0027】
第1優先の変換係数(LLL(tk))は、流水部分と陸部分との判別における特徴量となり、後述する水位計算(水位検出)に用いられる。また、第1優先の変換係数については、符号化処理されて最優先圧縮データとして送信され、これのみを受信部5にて復号することで、時間方向に低域フィルタの施され、かつフレームレートの間引かれた(図3に示した例では8フレームが1フレームに間引かれた)映像が再生される。
【0028】
また、同様に、受信部5にて第1優先及び第2優先の変換係数を併せて復号する、すなわちLLL(tk)とLLH(tk)に基底分解の逆変換を施すことで、LL(tm)(図3に示した例ではLL(t1),LL(t5))が再生される。これらを表示した場合には、図3に示す例では8フレームが2フレームに間引かれた映像が再生される。
【0029】
同様に、第1、第2、及び第3優先の変換係数(LLL(tk),LLH(tk),LH(tm)を併せて復号すれば、L(tn)(図3に示した例では、L(t1),L(t3),L(t5),L(t7))が再生されるので、図3に示す例では8フレームが4フレームに間引かれた、すなわちフレームレートが半分である映像が再生される。
【0030】
なお、同様に、優先階層の変換係数と非優先階層の変換係数のすべてを復号すれば、もとのフレームレートで映像を再生することができる。ただし、要する伝送帯域は、優先階層の変換係数のみを伝送・復号する場合に比べて広くなり、伝送ビットレートも高くなる。したがって、災害時のような伝送レートの低い、あるいは低い伝送レートが要求される場合には、優先階層の変換係数のみから映像を再生して、フレームレートの低い映像を閲覧させることができるようになる。
【0031】
なお、上述した説明では、2点の基底分解を一例として示したが、Nを2よりも大きい正数として、一般的にN点の基底分解を用いることもできる。その場合はNに応じた数のフレームメモリが必要となる。
【0032】
(空間方向基底分解部14)
空間方向基底分解部14は、時間方向基底分解部12により時間方向に基底分解して得られた変換係数に対して、空間方向(縦方向及び横方向)に直交変換を施す。ただし、時間方向基底分解部13において非優先階層に分類された変換係数のように、エネルギ(分散値)が小さいものについては直交変換を施す必要はなく、直交変換を行わなくとも良い。空間方向基底分解部14にて行う直交変換としては、例えばウェーブレット変換によるオクターブ分割を利用できる。
【0033】
例えば、画像にウェーブレット変換を施すことにより、LL1、LH1、HL1、HH1といった4つの帯域画像(帯域信号)が生成される。ここで、HL1は横方向にハイパスフィルタかつ縦方向にローパスフィルタをそれぞれ1回通過させた画像となる。また、帯域画像の画素数は、ウェーブレット変換前の画素数の縦横共に半分となる。
さらに、帯域画像LL1に対して再びウェーブレット変換を施すことにより、LL2、LH2、HL2、HH2といった4つの帯域画像が生成され、結果として全部で7つの帯域画像が生成される(図5(d)参照)。なお、さらに、帯域画像LL2に対してウェーブレット変換を施し合計10個の帯域画像を生成してもよい。
【0034】
また、ウェーブレット変換の基底には数多くの種類が存在するが何れを用いても良い。特に、画像圧縮の国際標準であるJPEG2000(例えば、「JPEG 2000-Image compression fundamentals, standards and practice」、D.S.Taubman,M.W.Marcellin共著,Kluwer Academic Publishers,2002を参照)におけるウェーブレット変換を利用することで、汎用的なIPコアを活用でき、システムの開発期間の短縮や回路の小型化を図ることが可能となる。
【0035】
なお、上述した説明では、時空間基底分解部12は、時間方向基底分解部13による時間方向の基底分解を施した後に、空間方向基底分解部14による空間方向の基底分解を施すようにしているが、空間方向の基底分解を施した後に時間方向の基底分解を施すように構成しても良い。
【0036】
(階層化処理部15)
階層化処理部15は、時間方向基底分解部12にて基底分解を施して得られた第1優先の変換係数に対して、空間方向基底分解部13にて基底分解を施すことで得られた帯域の一部あるいは全部を優先階層に分類する。なお、優先階層以外は非優先階層とする。
【0037】
この優先階層のデータは、水位計算部18において流水部分と陸部分との判別を行うための特徴量として水位検出に用いられる。なお、どの帯域を優先階層とするかについては、水位計算及び映像再生時における必要度に応じて適宜決定すればよい。一例として、図6(a)に示した河川画像(原映像)に対する優先階層に分類された変換係数を図6(e)に示す。
【0038】
ここで、階層化処理部15での分類において、非優先階層を例えば準優先階層と非優先階層のようにさらに細分化しても良い。このときの準優先階層は、時間方向基底分解13における第1優先以外の優先された変換係数に対して、空間方向基底分解14にて基底分解を施すことで得られた帯域の一部あるいは全部とする。どの帯域を優先階層とするかについては映像再生時における必要度に応じて決定すればよい。
【0039】
(第1の符号化部16)
第1の符号化部16は、時間方向及び空間方向に基底分解して得られた変換係数のうち、階層化処理部15において優先階層に分類されたものを符号化処理してデータ圧縮し、圧縮されたデータを優先圧縮データとして出力する。図6(a)に示した河川画像(原映像)に対する優先圧縮データを復号することで再生された低解像度の映像を図6(g)に示す。
【0040】
(第2の符号化部17)
第2の符号化部17は、時間方向及び空間方向に基底分解して得られた変換係数のうち、階層化処理部15において非優先階層に分類されたものを符号化処理して、圧縮されたデータを非優先圧縮データとして出力する。
【0041】
なお、第1、第2の符号化部16、17における符号化処理の方法としては、量子化した後にエントロピ符号化することが一般的である。エントロピ符号化としては、ランレングス符号化、算術符号化、ハフマン符号化など任意のエントロピ符号化を適用すればよい。
【0042】
(水位計算部18)
水位計算部18は、階層化処理部15において優先階層に分類されたデータに基づいて、映像領域を流水部と陸部に分割することにより水位計算(水位検出)を行う。水位の計算方法としては、水位計算部18に送られたデータを特徴量として、映像を流水領域又は非流水領域のどちらかに判別し、これら2つの領域の境界の位置を水位として検出し水位データを出力する。
【0043】
なお、水位の計算方法については、特願2006-49246に記載のように、最尤推定法などを用い、基底分解して得られた特徴量に基づいて画素毎に流水領域及び非流水領域のどちらかに判別すれば良い。
図4は、水位計算部18の構成例を示す図である。水位計算部18は、最尤推定部31及び領域分割部32を有し、領域分割部32は、横方向ヒストグラム計算部33、縦方向ヒストグラム計算部34、境界値決定部35、及び水位算出部36を有する。
【0044】
(最尤推定部31)
最尤推定部31は、階層化処理部15において優先階層に分類されたデータに基づいて、当該データに係る画像の各画素について、非流水領域(陸領域)の画素であるか、あるいは流水領域の画素であるかを推定する。さらに、例えば、最尤推定部31は、推定結果に応じて画素値を白(陸領域と推定された画素)又は黒(流水領域と推定された画素)の何れかにし、図7(a)に一例を示すような画像を得るようにしても良い。
【0045】
陸領域の画素であるか、又は流水領域の画素であるかの推定を行う際には、例えば最尤推定法を利用することができる。最尤推定法を用いる場合、まず、流水領域及び陸領域であると既に分かっている画像領域をそれぞれ教師画像として指定する。ここでは、これらをそれぞれクラスω1及びクラスω2と呼ぶ。次に、判別対象となる画像について、画素毎にどちらのクラスに属するかを判別する。
【0046】
最尤推定の結果、画素毎に事前確率P(G(m,n)|ωi),i∈{1,2}が最大となるクラスωiが決定される。特徴ベクトルの値の確率密度分布が正規分布であると仮定できる場合には、次式の対数尤度関数を最小にするクラスを求めることで、流水領域又は陸領域のどちらのクラスに属するかが判別される。
【0047】
【数1】
JP0004839442B2_000002t.gif

【0048】
ここで、μi,Ciはクラスωiの教師画像より求めた特徴ベクトルの平均値ベクトルと共分散行列であり、di2はマハラノビス距離である。
【0049】
なお、上述した説明では、流水領域及び陸領域のそれぞれについて1クラスを割り当てているが、複数のクラスを割り当てることも可能である。また、教師画像の位置については、既に計算された水位の下の部分を流水部、上の部分を陸部というように、時々刻々と更新される水位を基準として自動的に設定することで、日照変化や水位変化に対して安定した流水領域検出が可能となる。
【0050】
(横方向ヒストグラム計算部33)
横方向ヒストグラム計算部33は、対象とする領域画像について、最尤推定部31にて陸領域であると推定された画素(以下、「推定陸部画素」とも呼ぶ。)が幾つ存在するかを各行毎に数える。つまり、横方向ヒストグラム計算部33は、各行毎に推定陸部画素数を積算し、推定陸部画素の横方向のヒストグラムを生成する。
【0051】
(縦方向ヒストグラム計算部34)
縦方向ヒストグラム計算部34は、横方向ヒストグラム計算部33により生成された横方向ヒストグラムを参照し、各推定陸部画素数の値について、対応する縦位置が幾つ存在するかを数える。つまり,縦方向ヒストグラム計算部34は、横方向ヒストグラムにおける各推定陸部画素数に関する縦方向のヒストグラムを生成する。
【0052】
(境界値決定部35)
縦方向ヒストグラム計算部34により生成された縦方向ヒストグラムには、陸部に関連するヒストグラム部分と、流水部に関連するヒストグラム部分の2つのクラスタ(分布)が存在する。したがって、これら2つのクラスタを分離する境界部分を決定することができる。境界値決定部35は、その境界部分(境界画素数)を決定する。この境界部分の決定方法としては種々の方法を用いることができる。
【0053】
例えば、境界値決定部35は、クラス内の分散が小さく、かつクラス間の距離が大きくなるように境界を定めても良いし、又はクラス内分散・クラス間分散比が最大となるように境界を定めても良い。あるいは、境界値決定部35は、縦方向ヒストグラムを双峰性のガウス分布に帰着させて2つのクラスの境界を決定しても良い。
【0054】
(水位算出部36)
水位算出部36は、境界値決定部35により決定された縦方向ヒストグラムにおける2つのクラスの境界に基づいて、それに対応する横方向ヒストグラムにおける境界を定め、更にそれに対応する二値画像の境界を定める。これにより、画像が陸部と流水部の領域に二分割され、その境界を水位として出力する。
【0055】
具体的には、境界値決定部35により決定された境界をしきい値として、それに対応する図7(c)に示した縦方向ヒストグラムにおける境界P1が、図7(b)に示した横方向ヒストグラムにおける対応点P2を経て、図7(a)に示した二値画像における陸部と流水部との境界である水位P3が求められる。
【0056】
図4に示した水位計算部18は、画素毎の特徴量に基づいて判別を行うものであるが、ライン毎の特徴量に基づいて判別を行うこともできる。ここでラインとは、画像から横方向一行を切り取って得られたベクトルを意味する。
図5は、水位計算部18の他の構成例を示す図である。図5に示す水位計算部18は、ライン特徴量計算部41及び領域分割部42を有し、ライン毎の特徴量に基づいて水位計算を行うものである。
【0057】
(ライン特徴量計算部41)
ライン特徴量計算部41は、階層化処理部15において優先階層に分類されたデータに基づいて、当該データに係る画像の各ラインの特徴量を算出する。この特徴量としては、例えば優先階層に分類されたデータに係る画像の各画素について、非流水領域(陸領域)の画素であるか、あるいは流水領域の画素であるかの判定を行い、各ラインにおける陸領域と判定された画素の総数、又は流水領域と判定された画素の総数を特徴量としても良い。判定結果に応じて画素値を白(陸領域と判定された画素)又は黒(流水領域と判定された画素)とした図8(a)に示す画像に関して、特徴量を陸領域と判定された画素の総数としてライン毎の特徴量をプロットした例を図8(b)に示す。
【0058】
(領域分割部42)
領域分割部42は、ライン特徴量計算部41により算出された各ラインの特徴量に基づいて、画像における陸領域と流水領域とを判別して領域を二分割する。領域分割部5Bにおける処理については、様々な形態が考えられる。例えば、領域分割部42は、図8(b)に示される特徴量を鍵型図形P11に近似し、この鍵のくびれ部分を陸部と流水部の境界として水位とすることもできる。また、例えば、クラス内分散・クラス間分散比最大基準により2クラスに分離しするといった線形判別法を適用することもできる。このようにして得られる2つの領域の境界を水位として出力する。
この場合には、図4に示した水位計算部18でのヒストグラムによるクラスタリング処理に比べて演算処理数を軽減することができる。
【0059】
なお、ライン毎の特徴量としては、上述のように陸領域と判定された画素の総数の他にも、判別に最も有効な一つの帯域における変換係数のライン毎の分散値や絶対値和などを用いることもできる。この場合、画素毎の判別に用いた閾値が、画素毎の判別を行わないために不要となる。したがって、閾値調整といった初期設定が不要となるシステム上の利点がある。
【0060】
以上、説明したように本実施形態によれば、映像処理・圧縮部3が、河川等を被写体として固定カメラ2を用いて撮影された撮像映像に対して、時間方向及び空間方向に基底分解を施し、得られた変換係数を優先階層と非優先階層に分け、優先階層のデータに基づいて検出した水位を示す水位データを出力する。また、通信回線の伝送レートに応じて、優先階層のデータのみを符号化処理して生成した優先圧縮データ、又は優先圧縮データに加え非優先階層のデータを符号化処理して生成した非優先圧縮データを出力する。また、受信部では、復号処理部6が優先圧縮データを復号することにより低解像度の映像を再生し、復号処理部7が優先階層圧縮データ及び非優先階層圧縮データの圧縮データを併せて復号することにより高解像度の映像を再生する。
【0061】
これにより、水中にいかなる物体をも設置することなく、河川等を被写体とする映像信号のみから流水領域及び非流水領域を認識して水位を検出することができるとともに、伝送帯域のビットレートに応じた品質での映像の圧縮伝送が可能になる。また、河川等を被写体とする撮像映像の符号化に係る一部処理と水位計算に係る一部処理を融合させ共通の処理とすることにより、符号化に係る処理と水位計算に係る処理を完全に独立して行う場合と比較して処理量を低減し省電力化を図ることができる。
【0062】
なお、映像処理・圧縮部3内の第1及び第2の符号化部16,17は、伝送帯域のビットレートに応じて適宜符号化処理を行えばよく、符号化処理を行わない場合には第1、第2の符号化部16,17に対する電力供給を遮断するようにしても良く、更なる省電力化を図ることができる。
【0063】
図9は、本実施形態における画像処理システムの他の構成例を示す図である。図1に示した画像処理システムでは、センサ部1内の映像処理・圧縮部3が水位計算(水位検出)を行って水位データを出力するようにしているが、図9に示す画像処理システムは、受信部にて水位計算(水位検出)を行うようにしたものである。
【0064】
図9において、センサ部51は、固定カメラ52及び映像処理・圧縮部53を有する。
映像処理・圧縮部53は、河川等を被写体として固定カメラ2を用いて撮影された映像に時空間基底分解を施し、得られた変換係数を優先階層及び非優先階層に分ける。また、映像処理・圧縮部53は、優先階層のデータのみを符号化して優先圧縮データを出力し、非優先階層のデータを符号化して非優先圧縮データを出力する。
センサ部51は、通信回線54を介して受信部55と通信可能に接続されており、センサ部51内の映像処理・圧縮部53より出力される優先圧縮データ、非優先圧縮データが受信部55に伝送可能となっている。
【0065】
受信部55は、第1の復号処理部56、第2の復号処理部57、第3の復号処理部58、及び水位計算部59を有する。
第1の復号処理部56は、図1に示した第1の復号処理部6と同様に映像処理・圧縮部53から通信回線54を介して供給された優先圧縮データを復号することで、河川等の被写体に係る低解像度の映像を再生する。また、第2の復号処理部57は、図1に示した第2の復号処理部7と同様に映像処理・圧縮部53から通信回線54を介して供給された優先圧縮データ及び非優先圧縮データを復号することで、河川等の被写体に係る高解像度の映像を再生する。
【0066】
第3の復号処理部58は、第1の復号処理部56と同様に、映像処理・圧縮部53から通信回線54を介して供給された優先圧縮データを復号する。水位計算部59は、図2に示した映像圧縮・処理部3内の水位計算部18と同様に構成され、第3の復号処理部58で復号して得られた優先圧縮データに基づいて、映像領域を流水部と陸部に分割することにより水位計算(水位検出)を行い、水位データを出力する。
【0067】
以上のように構成することで、センサ部1とは別の場所で水位計算(水位検出)を行うことができ、ネットワークによる計算負荷の分散が可能となる。映像処理・圧縮部53においては水位を計算する必要がなくなり、センサ部1での演算量及び消費電力を低減することができる。
【0068】
なお、上述した実施形態においては、領域抽出部11が、固定カメラ2を用いて撮影された撮像映像から1つの領域画像を抽出するようにしているが、1枚のフレームに対して複数の領域画像を抽出するようにしても良い。その場合、複数の領域画像において、その一部領域が重複していても構わない。水位計算(水位検出)に関しては、これらの各領域画像のそれぞれについて、上述した処理により陸部及び流水部を判別し、得られた複数の結果から総合的に判断して最終的な陸部及び流水部の領域分割を行うようにしても良い。例えば、複数の結果の平均値を最終的な陸部及び流水部の境界としたり、多数決法により最終的な陸部及び流水部の領域を決定することで、固定カメラ2のレンズに雨水が付着したり、降雨や降雪あるいは霧による画像障害が発生して流水部が検出しにくい場合でも、流水部を高精度かつ安定して検出することが可能となる。
【0069】
(本発明の他の実施形態)
なお、上述した実施形態は、コンピュータのCPU又はMPU、RAM、ROM等で構成可能なものであり、RAMやROMに記憶されたプログラムが動作することによって実現でき、上記プログラムは本発明の実施形態に含まれる。また、コンピュータが上述の実施形態の機能を果たすように動作させるプログラムを、例えばCD-ROMのような記録媒体に記録し、コンピュータに読み込ませることによって実現できるものであり、上記プログラムを記録した記録媒体は本発明の実施形態に含まれる。上記プログラムを記録する記録媒体としては、CD-ROM以外に、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性のメモリカード等を用いることができる。
また、コンピュータがプログラムを実行し処理を行うことにより、上述の実施形態の機能が実現されるプログラムプロダクトは、本発明の実施形態に含まれる。上記プログラムが読み込まれたコンピュータ、ネットワークを介して通信可能に接続されたコンピュータに上記プログラムを提供可能な送信装置、及び当該送信装置を備えるネットワークシステム等がある。
また、コンピュータが供給されたプログラムを実行することにより上述の実施形態の機能が実現されるだけでなく、そのプログラムがコンピュータにおいて稼動しているOS(オペレーティングシステム)又は他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合や、供給されたプログラムの処理のすべて又は一部がコンピュータの機能拡張ボードや機能拡張ユニットにより行われて上述の実施形態の機能が実現される場合も、かかるプログラムは本発明の実施形態に含まれる。
【0070】
例えば、図10に示すようなコンピュータ機能1000を有し、そのCPU1001により上述した実施形態での動作が実施される。
コンピュータ機能1000は、図10に示すように、CPU1001と、ROM1002と、RAM1003と、キーボード(KB)1009のキーボードコントローラ(KBC)1005と、表示部としてのCRTディスプレイ(CRT)1010のCRTコントローラ(CRTC)1006と、ハードディスク(HD)1011及びフレキシブルディスク(FD)1012のディスクコントローラ(DKC)1007と、ネットワークインタフェースカード(NIC)1008とが、システムバス1004を介して互いに通信可能に接続された構成としている。
CPU1001は、ROM1002又はHD1011に記憶されたソフトウェア、又はFD1012より供給されるソフトウェアを実行することで、システムバス1004に接続された各構成部を総括的に制御する。
すなわち、CPU1001は、上述したような動作を行うための処理プログラムを、ROM1002、HD1011、又はFD1012から読み出して実行することで、上述した実施形態での動作を実現するための制御を行う。
RAM1003は、CPU1001の主メモリ又はワークエリア等として機能する。
KBC1005は、KB1009や図示していないポインティングデバイス等からの指示入力を制御する。
CRTC1006は、CRT1010の表示を制御する。
DKC1007は、ブートプログラム、種々のアプリケーション、ユーザファイル、ネットワーク管理プログラム、及び上記処理プログラム等を記憶するHD1011及びFD1012とのアクセスを制御する。
NIC1008はネットワーク1013上の他の装置と双方向にデータをやりとりする。
【0071】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図面の簡単な説明】
【0072】
【図1】本発明の一実施形態による画像処理システムの構成例を示す図である。
【図2】映像処理・圧縮部の構成例を示す図である。
【図3】本実施形態における時間方向の基底分解の一例を示す図である。
【図4】水位計算部の構成例を示す図である。
【図5】水位計算部の他の構成例を示す図である。
【図6】本実施形態における画像処理システムで生成される変換係数を説明するための図である。
【図7】図4に示す水位計算部での処理を説明するための図である。
【図8】図5に示す水位計算部での処理を説明するための図である。
【図9】本実施形態による画像処理システムの他の構成例を示す図である。
【図10】本実施形態における画像処理システムを実現可能なコンピュータ機能を示すブロック図である。
【符号の説明】
【0073】
1、51 センサ部
2、52 固定カメラ
3、53 映像処理・圧縮部
4、54 通信回線
5、55 受信部
6、7、56、57、58 復号処理部
11 領域抽出部
12 時空間基底分解部
13 時間方向基底分解部
14 空間方向基底分解部
15 階層化処理部
16、17 符号化部
18、59 水位計算部
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9