TOP > 国内特許検索 > プログラム、画像間変化箇所判読支援動画生成方法、及び画像間変化箇所判読支援動画生成装置 > 明細書

明細書 :プログラム、画像間変化箇所判読支援動画生成方法、及び画像間変化箇所判読支援動画生成装置

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5046119号 (P5046119)
公開番号 特開2009-177336 (P2009-177336A)
登録日 平成24年7月27日(2012.7.27)
発行日 平成24年10月10日(2012.10.10)
公開日 平成21年8月6日(2009.8.6)
発明の名称または考案の名称 プログラム、画像間変化箇所判読支援動画生成方法、及び画像間変化箇所判読支援動画生成装置
国際特許分類 H04N   5/91        (2006.01)
G06T   3/00        (2006.01)
FI H04N 5/91 Z
G06T 3/00 300
請求項の数または発明の数 4
全頁数 22
出願番号 特願2008-011790 (P2008-011790)
出願日 平成20年1月22日(2008.1.22)
審査請求日 平成23年1月24日(2011.1.24)
特許権者または実用新案権者 【識別番号】803000115
【氏名又は名称】学校法人東京理科大学
発明者または考案者 【氏名】小島 尚人
【氏名】井端 啓人
個別代理人の代理人 【識別番号】110000176、【氏名又は名称】一色国際特許業務法人
審査官 【審査官】梅本 章子
参考文献・文献 特開平04-352286(JP,A)
特開2002-218443(JP,A)
特開2005-198890(JP,A)
特開平10-214328(JP,A)
特開2006-271484(JP,A)
特開平07-037083(JP,A)
特開平02-245979(JP,A)
小島 尚人、外2名,”錯視を誘発する衛星画像判読支援動画の提案”,社団法人 日本リモートセンシング学会 第40回(平成18年度春季)学術講演会論文集,2006年 5月11日,p.111-112
調査した分野 H04N 5/76 - 5/956
G06T 3/00
G06T 11/60
特許請求の範囲 【請求項1】
コンピュータに、
画像間の変化箇所を判読する際の比較対象となる第1及び第2画像の間における画素ごとの差分を生成する手順と、
前記画素ごとの前記差分に基づいて、第1閾値と、前記第1閾値より小さい第2閾値との複数の組の夫々に対して、前記差分が前記第1閾値より大きい箇所及び前記差分が前記第2閾値より小さい箇所を、前記第1及び第2画像の間における変化箇所の候補として表示するための変化箇所候補画像を生成する手順と、
前記複数の組の夫々に対する複数の変化箇所候補画像が、前記第1閾値が大きくなるとともに前記第2閾値が小さくなる順、もしくは、前記第1閾値が小さくなるとともに前記第2閾値が大きくなる順に、連続的に切り替えて表示される動画を生成する手順と、
を実行させ
前記変化箇所候補画像を生成する手順は、
前記複数の変化箇所候補画像の夫々に対して、複数方向を光源とみなす複数のエンボス画像を生成する手順を含み、
前記動画を生成する手順は、
前記複数のエンボス画像が前記第1及び第2閾値の組ごとに連続的に切り替えて表示されるとともに、前記第1閾値が大きくなるとともに前記第2閾値が小さくなる順、もしくは、前記第1閾値が小さくなるとともに前記第2閾値が大きくなる順に、連続的に切り替えて表示される動画を生成する手順を含むこと、
を特徴とするプログラム。
【請求項2】
請求項1に記載のプログラムであって、
前記変化箇所候補画像を生成する手順は、
前記第1及び第2閾値の組ごとに、前記第1又は第2画像における前記差分が前記第1閾値より大きい箇所に第1の色を付すとともに前記差分が前記第2閾値より小さい箇所に第2の色を付した画像に、前記第1及び第2閾値の組における前記複数のエンボス画像の夫々を合成した複数のエンボス画像を生成する手順を含み、
前記動画を生成する手順は、
前記合成された複数のエンボス画像が前記第1及び第2閾値の組ごとに連続的に切り替えて表示されるとともに、前記第1閾値が大きくなるとともに前記第2閾値が小さくなる順、もしくは、前記第1閾値が小さくなるとともに前記第2閾値が大きくなる順に、連続的に切り替えて表示される動画を生成する手順を含むこと、
を特徴とするプログラム。
【請求項3】
画像間の変化箇所を判読する際の比較対象となる第1及び第2画像の間における画素ごとの差分を生成するステップと、
前記画素ごとの前記差分に基づいて、第1閾値と、前記第1閾値より小さい第2閾値との複数の組の夫々に対して、前記差分が前記第1閾値より大きい箇所及び前記差分が前記第2閾値より小さい箇所を、前記第1及び第2画像の間における変化箇所の候補として表示するための変化箇所候補画像を生成するステップと、
前記複数の組の夫々に対する複数の変化箇所候補画像が、前記第1閾値が大きくなるとともに前記第2閾値が小さくなる順、もしくは、前記第1閾値が小さくなるとともに前記第2閾値が大きくなる順に、連続的に切り替えて表示される動画を生成するステップと、
を含み、
前記変化箇所候補画像を生成するステップは、
前記複数の変化箇所候補画像の夫々に対して、複数方向を光源とみなす複数のエンボス画像を生成するステップを含み、
前記動画を生成するステップは、
前記複数のエンボス画像が前記第1及び第2閾値の組ごとに連続的に切り替えて表示されるとともに、前記第1閾値が大きくなるとともに前記第2閾値が小さくなる順、もしくは、前記第1閾値が小さくなるとともに前記第2閾値が大きくなる順に、連続的に切り替えて表示される動画を生成するステップを含むこと、
を特徴とする画像間変化箇所判読支援動画生成方法
【請求項4】
画像間の変化箇所を判読する際の比較対象となる第1及び第2画像の間における画素ごとの差分を生成する差分生成部と、
前記画素ごとの前記差分に基づいて、第1閾値と、前記第1閾値より小さい第2閾値との複数の組の夫々に対して、前記差分が前記第1閾値より大きい箇所及び前記差分が前記第2閾値より小さい箇所を、前記第1及び第2画像の間における変化箇所の候補として表示するための変化箇所候補画像を生成する候補画像生成部と、
前記複数の組の夫々に対する複数の変化箇所候補画像が、前記第1閾値が大きくなるとともに前記第2閾値が小さくなる順、もしくは、前記第1閾値が小さくなるとともに前記第2閾値が大きくなる順に、連続的に切り替えて表示される動画を生成する動画生成部と、
を備え、
前記候補画像生成部は、
前記複数の変化箇所候補画像の夫々に対して、複数方向を光源とみなす複数のエンボス画像を生成し、
前記動画生成部は、
前記複数のエンボス画像が前記第1及び第2閾値の組ごとに連続的に切り替えて表示されるとともに、前記第1閾値が大きくなるとともに前記第2閾値が小さくなる順、もしくは、前記第1閾値が小さくなるとともに前記第2閾値が大きくなる順に、連続的に切り替えて表示される動画を生成すること、
を特徴とする画像間変化箇所判読支援動画生成装置
発明の詳細な説明 【技術分野】
【0001】
本発明は、プログラム、画像間変化箇所判読支援動画生成方法、及び画像間変化箇所判読支援動画生成装置に関する。
【背景技術】
【0002】
例えば、地震被害が発生した場合、液状化による地盤沈下等、その地域における地形変化の把握を行うことがある。このような場合、地震被害が発生する前の衛星画像と、地震被害が発生した後の衛星画像とを比較することにより、変化箇所を判読することが一般的に行われている。二つの画像の間における変化箇所を判読する方法の一つとして、二つの画像における画素ごとの画像濃度値の差分を計算し、その差分が所定の閾値より大きい箇所または小さい箇所を抽出することによって変化箇所を判読する方法が挙げられる(例えば、特許文献1参照)。

【特許文献1】特開2003-185433
【発明の開示】
【発明が解決しようとする課題】
【0003】
ところで、比較対象となる二つの画像は、撮像された際の天候や明るさ等の環境が同じではないため、変化がほとんど生じていない箇所についても画像濃度値の差分が発生していることが多い。さらに、地震被害等による地形変化の他に、建築物の経年変化等によっても差分が生じる可能性がある。そして、このような撮像環境や経年変化等によって生じる差分の程度は常に同じではない。そのため、変化箇所を判読する際には閾値を設定する必要があるものの、画像にかかわらず閾値を固定にしたり、変化箇所を判読する際に予め閾値を設定したりすると、画像間の変化箇所を高精度に判読できないことがある。
【0004】
本発明は上記課題を鑑みてなされたものであり、画像間の変化箇所の判読を支援することを目的とする。
【課題を解決するための手段】
【0005】
上記目的を達成するため、本発明のプログラムは、コンピュータに、画像間の変化箇所を判読する際の比較対象となる第1及び第2画像の間における画素ごとの差分を生成する手順と、前記画素ごとの前記差分に基づいて、第1閾値と、前記第1閾値より小さい第2閾値との複数の組の夫々に対して、前記差分が前記第1閾値より大きい箇所及び前記差分が前記第2閾値より小さい箇所を、前記第1及び第2画像の間における変化箇所の候補として表示するための変化箇所候補画像を生成する手順と、前記複数の組の夫々に対する複数の変化箇所候補画像が、前記第1閾値が大きくなるとともに前記第2閾値が小さくなる順、もしくは、前記第1閾値が小さくなるとともに前記第2閾値が大きくなる順に、連続的に切り替えて表示される動画を生成する手順と、を実行させ、前記変化箇所候補画像を生成する手順は、前記複数の変化箇所候補画像の夫々に対して、複数方向を光源とみなす複数のエンボス画像を生成する手順を含み、前記動画を生成する手順は、前記複数のエンボス画像が前記第1及び第2閾値の組ごとに連続的に切り替えて表示されるとともに、前記第1閾値が大きくなるとともに前記第2閾値が小さくなる順、もしくは、前記第1閾値が小さくなるとともに前記第2閾値が大きくなる順に、連続的に切り替えて表示される動画を生成する手順を含む
【発明の効果】
【0006】
画像間の変化箇所の判読を支援することができる。
【発明を実施するための最良の形態】
【0007】
==システム構成==
本発明の一実施形態である画像間変化箇所判読支援動画生成システムの構成例について説明する。図1に示すように、システムは、クライアント10及びサーバ20(画像間変化箇所判読支援動画生成装置)を含んで構成されている。そして、クライアント10及びサーバ20は、ネットワーク30を介して通信可能に接続されている。
【0008】
クライアント10は、例えば、パーソナルコンピュータや携帯情報端末、携帯電話機等の情報処理装置である。クライアント10は、例えば地震発生地域の衛星画像等の変化箇所の判読対象となる画像に対して、サーバ20から送信されてくるプログラムを用いて画像処理を施し、画像間の変化箇所の判読を支援するための動画を生成する。
【0009】
サーバ20は、例えば、PCサーバやワークステーション等の情報処理装置である。サーバ20は、クライアント10からの要求に基づいて、動画を生成するための例えばJAVA(登録商標)等で生成されたプログラムをクライアント10に送信する。
【0010】
ネットワーク30は、例えば、インターネットやLAN(Local Area Network)等であり、クライアント10とサーバ20とを通信可能に接続する。なお、ネットワーク30は、有線とすることもできるし、無線とすることもできる。
【0011】
クライアント10の構成について説明する。図2に示すように、クライアント10は、CPU(Central Processing Unit)40、メモリ41、記憶装置42、表示インタフェース(I/F)43、入力インタフェース(I/F)44、通信インタフェース(I/F)45、及び記録媒体読取装置46を含んで構成されている。
【0012】
CPU40は、メモリ41に格納されたプログラムを実行することにより、クライアント10を統括制御し、クライアント10における様々な機能を実現する。メモリ41は、例えばRAM(Random Access Memory)等であり、プログラムやデータ等の一時的な記憶領域として用いられる。記憶装置42は、例えばハードディスク等の記憶領域であり、プログラムや様々なデータ等が格納される。表示インタフェース43は、ディスプレイ等の表示装置50に画像を表示させるためのビデオカード等のインタフェース装置である。入力インタフェース44は、キーボードやマウス、各種デジタル機器等の入力装置51からデータを入力するためのUSB(Universal Serial Bus)やPS/2(Personal System/2)等のインタフェース装置である。通信インタフェース45は、ネットワーク30を介してデータの送受信を行うためのネットワークカード等のインタフェース装置である。記録媒体読取装置46は、CD-ROMやメモリカード等の記録媒体52に格納されたプログラムや各種データを読み取るためのCD-ROMドライブやメモリカードインタフェース等のインタフェース装置である。
【0013】
なお、クライアント10では、変化箇所の判読対象とする画像を、例えば、記録媒体52から読み取り、記憶装置42に格納することができる。また、例えば、ネットワーク30を介して他の情報処理装置から判読対象の画像を取得することもできる。また、イメージスキャナやデジタルカメラ等を入力装置51として判読対象の画像を取得することもできる。
【0014】
次に、サーバ20の構成について説明する。図3に、サーバ20のハードウェア構成例を示す。サーバ20は、CPU60、メモリ61、記憶装置62、通信インタフェース63、及び記録媒体読取装置64を含んで構成されている。
【0015】
CPU60は、メモリ61に格納されたプログラムを実行することにより、サーバ20を統括制御し、サーバ20における様々な機能を実現する。メモリ61は、例えばRAM等であり、プログラムやデータ等の一時的な記憶領域として用いられる。記憶装置62は、例えばハードディスク等の記憶領域であり、プログラムや様々なデータ等が格納される。通信インタフェース63は、ネットワーク30を介してデータの送受信を行うためのネットワークカード等のインタフェース装置である。記録媒体読取装置64は、CD-ROMやメモリカード等の記録媒体53に格納されたプログラムや各種データを読み取るためのCD-ROMドライブやメモリカードインタフェース等のインタフェース装置である。
【0016】
また、サーバ20は、図4に示すように、差分生成部70、候補画像生成部72、及び動画生成部74を構成するためのプログラムを有している。このプログラムは、クライアント10からの要求に基づいてクライアント10に送信され、クライアント10において各種処理を実行するために用いられる。なお、動画の生成処理をサーバ20側で実行する場合には、同等のプログラムがサーバ20のCPU40で実行されることとなる。
【0017】
差分生成部70は、変化箇所の判読対象とする二つの画像の一方を比較画像、他方を基準画像とし、比較画像と基準画像との差分を示す差画像を生成する。差分生成部70では、まず、比較画像及び基準画像の対応する画素ごとに、画像濃度値の差分が求められる。なお、比較画像及び基準画像がカラー画像の場合、例えば、カラー画像を構成するR(赤)・G(緑)・B(青)の何れかのバンドにおける画像濃度値の差分を取ることにより、図5のヒストグラムに例示するように、差分の最大値をDmax、最小値をDminとする、画素ごとの画像濃度値の差分の分布を得ることができる。図5の例に示すように、基準画像の画像濃度値の方が大きい画素については差分が負になるため、画像濃度値の差分のヒストグラムには負の領域が発生する。差分生成部70では、比較画像と基準画像との差分を示す差画像を生成するために、図5に示す画像濃度値の差分を、画像として表現可能な範囲にする必要がある。例えば、各バンドにおける画素の画像濃度値を8ビット(0~255)で表現する場合であれば、差画像を生成するためには画像濃度値の差分を0~255の範囲にしなければならない。そのため、図6に示すように画像濃度値に|Dmin|を加算することにより、画像濃度値の差分の分布の最小値を0にすることができる。これにより、画像濃度値の最大値がDmax+|Dmin|となるため、図7に示すように、この最大値を255とするように正規化することにより、画像濃度値の差分を0~255の範囲に収めることができる。すなわち、Xcを比較画像の画像濃度値、Xsを基準画像の画像濃度値とすると、差画像の画像濃度値を示すX'は次式(1)により得ることができる。
X'=[{(Xc-Xs)+|Dmin|}/(Dmax+|Dmin|)]×255
・・・(1)
そして、図7に例示する画像濃度値の分布において、差画像における画像濃度値が最頻値の近辺については変化した可能性が低く、最頻値から離れるにつれて変化した可能性が高くなっていると推定することができる。例えば、最頻値より大きい閾値THを基準とした場合、差画像における画像濃度値が基準値THより大きい箇所を、変化箇所の候補としてあげることができる。
【0018】
候補画像生成部72は、差画像における画像濃度値の分布に基づいて複数の閾値を設定し、各閾値を基準とした変化箇所の候補を示す変化箇所候補画像を生成する。例えば、図8に示すように、差画像の画像濃度値における最頻値を閾値TH0とし、閾値TH0から高濃度側及び低濃度側に等間隔に閾値が設定される。つまり、閾値THn+(第1閾値)と閾値THn-(第2閾値)とが組になっている。そして、候補画像生成部72は、設定された閾値ごとに変化箇所候補画像を生成する。例えば、高濃度側の閾値TH2+を基準とする場合であれば、候補画像生成部72は、画像濃度値が閾値TH2+より大きい画素を白(画像濃度値255)とし、画像濃度値が閾値TH2+より小さい画素を黒(画像濃度値0)とした画像を閾値TH2+に対する変化箇所候補画像として生成する。また、例えば、低濃度側の閾値TH2-を基準とする場合であれば、候補画像生成部72は、画像濃度値が閾値TH2-より小さい画素を白(画像濃度値255)とし、画像濃度値が閾値TH2-より大きい画素を黒(画像濃度値0)とした画像を閾値TH2-に対する変化箇所候補画像として生成する。このように生成された変化箇所候補画像(モノクロ)は、図9に例示されるように、変化箇所の候補が白で表示されることになる。なお、本実施形態では、最頻値である閾値TH0の場合をレベル1とし、閾値TH1+(TH1-)、閾値TH2+(TH2-)と最頻値から離れるにつれてレベル2、レベル3と表現することとする。すなわち、レベルが高くなるにつれて、変化箇所候補画像において変化箇所の候補として抽出された箇所が実際に変化した箇所である可能性が高くなっていく。
【0019】
さらに、候補画像生成部72は、カラーの基準画像または比較画像に、変化箇所候補画像(モノクロ)を合成することにより、変化箇所の候補を基準画像上または比較画像上に表示した変化箇所候補画像(カラー)を生成する。このように生成される変化箇所候補画像(カラー)は、例えば図10に例示されるように、カラーの基準画像または比較画像を、変化箇所候補画像(モノクロ)で変化箇所候補として白で表示された箇所を特定の色で着色した画像とすることができる。本実施形態では、最頻値より高濃度側の変化箇所候補画像(モノクロ)に対する変化箇所候補画像(カラー)においては、変化箇所の候補となる箇所を赤色(第1の色)に着色し、最頻値より低濃度側の変化箇所候補画像(モノクロ)に対する変化箇所候補画像(カラー)においては、変化箇所の候補となる箇所を青色に着色することとする。なお、最頻値より高濃度側の変化箇所候補画像(モノクロ)において変化箇所の候補として白で表示された箇所を赤色で着色するとともに、最頻値より低濃度側の同一レベルの変化箇所候補画像(モノクロ)において変化箇所の候補として白で表示された箇所を青色(第2の色)に着色することにより、高濃度側及び低濃度側の両方の変化候補となる箇所が示された高濃度側+低濃度側の変化箇所候補画像(カラー)を生成することもできる。
【0020】
また、候補画像生成部72は、変化箇所の候補となる箇所を強調するために、生成した変化箇所候補画像(モノクロ)に対して複数方向を光源とみなす複数のエンボス画像(モノクロ)を生成する。例えば、候補画像生成部72は、図11に例示するように、変化箇所候補画像の北側を0度として右回りで45度ずつ角度をずらした8方向を照射方向として、8つのエンボス画像を生成することができる。この場合、各照射方向におけるエンボス処理に用いられるフィルタ係数は、例えば、図12(a)~(h)に示した3×3の行列とすることができる。なお、図12(a)~(h)に示したフィルタ係数は一例であり、行列内の数値(重み)や行列のサイズを変更することも可能である。
【0021】
候補画像生成部72におけるエンボス処理の一例を示す。本実施形態では、変化箇所候補画像の各画素の画像濃度値は、例えば8ビット(0~255)であることとする。図13に示すように、エンボス処理前の変化箇所候補画像の一部を示す3×3の画素の中心の値が“18”、左上の値が“5”、右下の値が“135”であるとする。このとき、図12(d)に示したフィルタ係数を用いてエンボス処理を行うと、3×3の中心画素のエンボス処理後の値は、(-5+135)+128=258となる。ただし、候補画像生成部72は、エンボス処理後の値が“255”を越えている場合は、画像濃度値が255以下となるように調整する。このようにして、変化箇所候補画像の各画素に対してエンボス処理が行われる。
【0022】
さらに、候補画像生成部72は、変化箇所候補画像(カラー)にエンボス画像(モノクロ)を合成することにより、図14(a)や図14(b)に例示するように、変化箇所の候補が強調された変化箇所候補画像(カラー:エンボス)を生成する。ここで、変化箇所候補画像(カラー)の各画素の画素値をPa、エンボス画像(モノクロ)の各画素の画素値をPbとすると、変化箇所候補画像(カラー:エンボス)の各画素の画素値Pnは、例えば、画素値Pbが128以上の場合は次式(2)、画素値Pbが128未満の場合は次式(3)によって求めることができる。
n=255-2×(255-Pa)×(255-Pb) ・・・(2)
n=Pa×Pb×2 ・・・(3)
なお、高濃度側及び低濃度側の両方の変化候補となる箇所が示された変化箇所候補画像(カラー)の場合であれば、高濃度側及び低濃度側の両方のエンボス画像(モノクロ)が合成される。
【0023】
動画生成部74は、生成された変化箇所候補画像(カラー:エンボス)を、各レベルにおいて例えば照射方向を右回りに45度ずつ変化させて表示するとともに、閾値の順に連続的に切り替えて表示するための動画を生成する。例えば、図15のパターン1に示すように、最頻値よりも高濃度側の変化箇所の候補が示された変化箇所候補画像(カラー:エンボス)を、各レベルで照射方向を回転させつつ、レベルの高い方から低い方に向かって順次切り替えて表示する動画とすることができる。また、例えば、図15のパターン2に示すように、最頻値よりも低濃度側において、レベルの高い方から低い方に向かって表示する動画とすることもできる。また、変化箇所候補画像(カラー:エンボス)が高濃度側及び低濃度側を合わせたものであれば、例えば、図15のパターン3に示すように、高濃度側及び低濃度側のレベルをそれぞれ高い方から低い方に向かって順次切り替えて表示する動画とすることができる。なお、レベルの切り替えは高い方から低い方にかぎらず、低い方から高い方であってもよい。また、高い方から低い方に切り替えた後に、低い方から高い方に切り替えていくようにしてもよい。
【0024】
このような動画は、例えば、WEBブラウザで表示可能なものとすることができる。そして、クライアント10のWEBブラウザで表示される際に、例えば、入力装置51の一つであるマウスのスクロールボタンの操作によって、表示されるレベルを高くしたり低くしたり変更可能な動画とすることもできる。
【0025】
==画面説明==
次に、クライアント10に表示される画面について説明する。図16に例示されるように、変化箇所の判読を支援するための動画を生成する際の条件等を入力するための動画生成画面100は、基準画像入力エリア102、比較画像入力エリア104、バンド選択エリア106、動画種類選択エリア108、レベル間隔入力エリア110、及び動画生成ボタン112を含んで構成されている。動画生成画面100は、例えば、クライアント10がWEBブラウザ等からサーバ20の所定のURL(Uniform Resource Locator)を参照することによってサーバ20から送信されてくるHTML(Hyper Markup Text Language)やJAVA(登録商標)アプレット等により実現される。なお、サーバ20にアクセスせずに、クライアント10内部のプログラムによって動画生成画面100が起動されることとしてもよい。
【0026】
基準画像入力エリア102には、基準画像とする画像の格納先(ファイルパス名等)が入力される。比較画像入力エリア104には、比較画像とする画像の格納先が入力される。なお、基準画像入力エリア102及び比較画像入力エリア104において入力される格納先には、幾何学的歪みが補正された基準画像及び比較画像が格納されていることとする。バンド選択エリア106では、差画像を生成する際に対象とするバンドが選択される。動画種類選択エリア108では、生成する動画の種類が選択される。本実施形態では、差画像の画像濃度値の分布における最頻値から高濃度側の変化箇所の候補を表示する動画、低濃度側の変化箇所の候補を表示する動画、または、高濃度側及び低濃度側の変化箇所の候補を同時に表示する動画を選択することができる。レベル間隔入力エリア110では、高濃度側及び低濃度側においてレベルを設定する際の間隔が入力される。動画生成ボタン112が押下されると動画生成処理が実行される。
【0027】
また、図17に例示されるように、動画表示画面120は、動画表示領域122、表示速度選択エリア124、及び連続表示選択エリア126を含んで構成されている。動画表示画面120も、動画生成画面100と同様に、サーバ20から送信されてくるHTMLやJAVA(登録商標)アプレット等により実現される。そして、動画表示領域122には、動画生成処理によって生成された動画が表示される。動画表示領域122に表示される動画は、例えば、Macromedia Flash(登録商標)等により実現される。表示速度選択エリア124では、動画を構成する複数の変化箇所候補画像(カラー:エンボス)を切り替える速度が選択される。本実施形態では、6fps(flame per second)、8fps、10fps、12fpsの何れかを選択可能としている。連続表示選択エリア126では、動画を構成する複数のレベルの変化箇所候補画像(カラー:エンボス)のうち、連続表示するレベルが選択される。全レベルが選択されると、全てのレベルの変化箇所候補画像(カラー:エンボス)がレベル順に表示されることになる。また、全レベルではなく、範囲を限定することもできる。例えば、標準偏差σを基準として、表示されるレベルの範囲を1σや1.5σ、2σまでのように限定することもできる。また、表示されているレベルから変化することなく、そのレベルを繰り返し表示し続けるようにすることもできる(単独レベル)。さらに、そのレベルを1つ小さくしたり(レベル-1)、大きくしたり(レベル+1)することもできる。また、動画表示画面120には、動画表示領域122に現在表示されているレベルや、動画表示領域122に表示されている変化箇所候補画像(カラー:エンボス)における変化箇所候補部分の割合が表示される。
【0028】
==処理説明==
次に、画像間変化箇所判読支援動画生成システムにおける処理の流れについて説明する。図18に示すように、まず、クライアント10では、例えば、動画生成画面100を表示するためのURLをWEBブラウザに入力することにより、動画生成画面100の表示要求をサーバ20に送信する(S101)。サーバ20では、クライアント10からの表示要求を受信すると(S102)、要求に従って動画生成画面100及び動画表示画面120の表示や、動画生成処理を実行するためのHTMLやプログラムをクライアント10に送信する(S103)。
【0029】
これにより、クライアント10に動画生成画面100が表示され、基準画像・比較画像の選択が行われ(S104)、動画生成条件が入力される(S105)。そして、クライアント10において、サーバ20から受信したプログラムに基づいて画像間変化箇所判読支援動画の生成処理が実行される(S106)。動画生成処理が完了すると、動画表示画面120の動画表示領域122に動画が表示される(S107)。
【0030】
続いて、動画生成処理(S105)について、図19に例示するフローチャート及び図20の処理イメージ図を用いて詳細に説明する。差分生成部70は、基準画像及び比較画像から、選択されたバンドの差画像を生成する(S201)。図20の例では、基準画像及び比較画像のRバンドにおける差画像が生成されている。なお、一つのバンドの画像の差分ではなく、複数のバンドの画像の差分によって差画像を生成することもできる。例えば、基準画像を構成するRバンド・Gバンド・Bバンドの画像濃度値と、比較画像を構成するRバンド・Gバンド・Bバンドの画像濃度値との差を、各バンドの画像濃度値の差の総和の平方根、すなわちユークリッド距離として求めることとしてもよい。
【0031】
続いて、候補画像生成部72は、生成された差画像をもとに、複数のレベルに対する変化箇所候補画像(モノクロ)を生成する(S202)。なお、動画種類として高濃度側が選択された場合は高濃度側の変化箇所候補画像が生成され、低濃度側が選択された場合は低濃度側の変化箇所候補画像が生成され、高濃度側+低濃度側が選択された場合は高濃度側+低濃度側の変化箇所候補画像が生成される。
【0032】
そして、候補画像生成部72は、生成された変化箇所候補画像(モノクロ)に対して、例えば45度刻みの8方向のエンボス処理を施してエンボス画像(モノクロ)を生成する(S203)。また、候補画像生成部72は、カラーの基準画像に変化箇所候補画像(モノクロ)を合成することにより、変化箇所の候補を基準画像上に表示した変化箇所候補画像(カラー)を生成する(S204)。なお、カラーの基準画像ではなく、基準画像の何れか一つのバンドのモノクロ画像に合成することも可能である。また、基準画像ではなく比較画像に合成することとしてもよい。さらに、候補画像生成部72は、変化箇所候補画像(カラー)にエンボス画像(モノクロ)を合成することにより、変化箇所候補画像(カラー:エンボス)を生成する(S205)。
【0033】
その後、動画生成部74は、生成された変化箇所候補画像(カラー:エンボス)を各レベルで照射方向を順次切り替えながら連続的に表示するとともに、レベルを順次切り替えて表示することが可能な画像間変化箇所判読支援動画を生成する(S206)。
【0034】
==動画生成例==
次に、画像間変化箇所判読支援動画の生成例について説明する。なお、生成例では、エンボス処理における照射方向を45度刻みの8方向、動画においてエンボス処理された画像の表示される順序を右回りとしている。
【0035】
比較対象となる画像の一例が図21に示されている。図21(a)がカラーの基準画像であり、図21(b)がカラーの比較画像である。そして、図21に示されたカラー画像を構成するRバンドの画像が図22に示されている。図22(a)がRバンドの基準画像であり、図22(b)がRバンドの比較画像である。そして、図22に示されたRバンドの画像の差分によって生成された差画像の一例が図23に示されている。本実施形態では、基準画像と比較画像との差分を画像濃度値の表現可能な範囲(例えば0~255)に正規化しているため、図23に示すように各画素の差分に応じた画像濃度値を有する差画像を生成することが可能となっている。
【0036】
そして、図23に例示された差画像をもとに、高濃度側のあるレベルの変化箇所候補画像(モノクロ)を生成した一例が図24に示されている。図24の例において、白く表示されている箇所が、このレベルにおいて変化箇所の候補として示されているところである。そして、レベルを大きくしていくと変化箇所候補画像において白く表示されている箇所が減っていき、レベルを小さくしていくと変化箇所候補画像において白く表示されている箇所が増えていくことになる。したがって、変化箇所候補画像をレベル順に連続的に切り替えて表示していくことにより、レベルの変化に伴う変化箇所候補の推移を確認することができる。なお、高濃度側の変化と低濃度側の変化とを区別する必要がない場合においては、高濃度側の変化候補箇所と低濃度側の変化候補箇所とを一緒に表示した変化箇所候補画像(モノクロ)を生成することもできる。
【0037】
変化箇所候補画像(モノクロ)をカラーの基準画像と合成した一例が図25に示されている。図24に示された変化箇所候補画像(モノクロ)の一部を拡大したものが図25(a)であり、図25(a)に示された範囲に対応するカラーの基準画像が図25(b)である。そして、図25(b)の基準画像において、図25(a)の変化箇所候補画像(モノクロ)で白く表示されている画素を赤くしたものが図25(c)の変化箇所候補画像(カラー)となっている。なお、高濃度側+低濃度側の変化箇所候補画像(カラー)の場合は、例えば、基準画像において、高濃度側の変化箇所候補画像(モノクロ)で白く表示されている画素を赤くするとともに、低濃度側の変化箇所候補画像(モノクロ)で白く表示されている画素を青くしたものとすることができる。
【0038】
また、図25(a)の変化箇所候補画像(モノクロ)に対して、0度から45度刻みの8方向の照射方向によるエンボス処理を施して得られる、8つのエンボス画像の一例が図26に示されている。生成された8つのエンボス画像を見ると、凹凸についての錯視が光の照射方向によって異なっていることがわかる。したがって、照射方向の異なる複数のエンボス画像を連続的に切り替えて表示することにより、変化箇所の候補となっている部分について、一方向のエンボス画像だけを表示する場合と比較して、変化箇所の候補となっている部分を認識しやすくなる。
【0039】
変化箇所候補画像(カラー)をエンボス画像と合成した一例が図27に示されている。図25(c)に例示した変化箇所候補画像(カラー)が図27(a)であり、図26に示した0度のエンボス画像が図27(b)である。そして、図27(a)の変化箇所候補画像(カラー)に図27(b)のエンボス画像を合成して得られる変化箇所候補画像(カラー:エンボス)の一例が図27(c)である。図27には0度のエンボス画像との合成例を示したが、図28に示すように、他の照射方向のエンボス画像についても同様に変化箇所候補画像(カラー)と合成され、変化箇所候補画像(カラー:エンボス)が生成される。そして、このような変化箇所候補画像(カラー:エンボス)が、動画生成の対象とする全レベルにおいて生成される。
【0040】
変化箇所候補画像判読支援動画では、あるレベルの表示をする際に、図28に示された8つの変化箇所候補画像(カラー:エンボス)が右回りに連続的に切り替えて表示されることになる。さらに、変化箇所候補画像判読支援動画では、レベルを大きくしたり小さくしたりしながら変化箇所候補画像(カラー:エンボス)が連続的に切り替えて表示されることになる。
【0041】
以上、本発明の実施形態について説明した。前述したように、複数レベルの変化箇所候補画像(モノクロ)をレベル順に連続的に切り替えて表示することにより、レベルの変化による変化箇所の候補の推移を確認することができる。これにより、例えば、変化箇所候補となっている箇所の割合の推移を視覚的に認識することができ、変化箇所として判定するレベル、すなわち閾値を画像に合わせて柔軟に決定することが可能となる。したがって、変化箇所として抽出する箇所の精度を高め、変化箇所の判読を支援することが可能となる。
【0042】
また、基準画像または比較画像において、変化箇所候補画像(モノクロ)で候補箇所として表示された箇所に所定の色(例えば赤色)を付して変化箇所候補画像(カラー)を生成することにより、図25(c)に例示したように、変化候補としてあげられている箇所がどのような基準画像または比較画像においてどのような場所であるかを認識することができる。そのため、このような変化箇所候補画像(カラー)をレベル順に連続的に切り替えて表示することにより、変化箇所として抽出する箇所の精度を高め、変化箇所の判読を支援することが可能となる。
【0043】
また、変化箇所候補画像(モノクロ)に対して複数方向を光源とみなすエンボス画像を生成し、生成されたエンボス画像を、各レベルにおいて照射方向を変えながら連続的に切り替えて表示するとともに、レベルを大きくしたり小さくしたりしながら連続的に切り替えて表示することにより、変化箇所として抽出する箇所の精度を高め、変化箇所の判読を支援することが可能となる。
【0044】
さらに、変化箇所候補画像(カラー)にエンボス画像を合成した変化箇所候補画像(カラー:エンボス)を生成し、生成された変化箇所候補画像(カラー:エンボス)を、各レベルにおいて照射方向を変えながら連続的に切り替えて表示するとともに、レベルを大きくしたり小さくしたりしながら連続的に切り替えて表示することにより、変化箇所として抽出する箇所の精度を高め、変化箇所の判読を支援することが可能となる。
【0045】
また、高濃度側及び低濃度側の変化候補箇所を表示した変化箇所候補画像(モノクロ)を生成し、レベル順に連続的に切り替えて表示することにより、高濃度側及び低濃度側において変化箇所として判定するレベルを同時に決定することが可能となる。
【0046】
そして、基準画像または比較画像において、高濃度側の変化候補箇所を例えば赤色に着色し、低濃度側の変化候補箇所を青色に着色することにより、基準画像または比較画像において、どのような場所で、どのような変化、すなわち画像濃度値が大きくなる向きの変化が生じているのか小さくなる向きの変化が生じているのかを認識することができる。
【0047】
また、高濃度側及び低濃度側の変化候補箇所を同時に表示する場合においても、エンボス処理した画像を連続的に切り替えて表示することにより、変化箇所として抽出する箇所の精度を高め、変化箇所の判読を支援することが可能となる。
【0048】
そして、高濃度側の変化箇所及び低濃度側の変化箇所が着色された変化箇所候補画像(カラー)にエンボス画像を合成して連続的に切り替えて表示することにより、基準画像または比較画像において、どのような場所で、どのような変化が生じているかを判読する精度を高めることが可能となる。
【0049】
なお、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
【0050】
例えば、本実施形態においては、クライアント10において動画を生成することとしたが、クライアント10から基準画像や比較画像、動画生成条件をサーバ20に送信し、サーバ20において動画を生成することとしてもよい。また、クライアント10を用いず、サーバ20において、画像の選択や動画生成条件の入力、動画の表示等が行われることとしてもよい。また、判読対象とする画像は、地震発生地域の画像に限らず、あらゆる画像を対象とすることが可能である。また、判読対象とする画像は、衛星画像に限らず、あらゆる画像を対象とすることができる。例えば、光学センサによって得られた画像やマイクロ波レーダ画像、ハイパースペクトル画像、レーザプロファイラによって得られた画像、CTスキャン等によって得られる各種医療画像、指紋や静脈パターン等の生体画像等、様々な画像を対象とすることが可能である。
【図面の簡単な説明】
【0051】
【図1】本発明の一実施形態である画像間変化箇所判読動画生成支援システムの構成を示す図である。
【図2】クライアントのハードウェア構成例を示す図である。
【図3】サーバのハードウェア構成例を示す図である。
【図4】サーバに格納されたプログラムにより実現される機能ブロックの一例を示す図である。
【図5】基準画像と比較画像との画像濃度値の差分の分布の一例を示すヒストグラムである。
【図6】画像濃度値が0以上となるように画像濃度値を補正した分布を示すヒストグラムである。
【図7】画像濃度値が0~255の範囲に収まるように正規化したヒストグラムの一例である。
【図8】レベル分割の一例を示す図である。
【図9】変化箇所候補画像(モノクロ)のイメージ図である。
【図10】変化箇所候補画像(カラー)のイメージ図である。
【図11】エンボス画像を生成する際の照射方向の一例を示す図である。
【図12】エンボス画像を生成する際のフィルタ係数の一例を示す図である。
【図13】エンボス処理の一例を示す図である。
【図14】変化箇所候補画像にエンボス画像を合成して得られる画像のイメージ図である。
【図15】表示順序の一例を示す図である。
【図16】動画生成画面の一例を示す図である。
【図17】動画表示画面の一例を示す図である。
【図18】システム全体におけるフローチャートの一例を示す図である。
【図19】動画生成処理のフローチャートの一例を示す図である。
【図20】動画生成処理のイメージ図である。
【図21】カラーの基準画像及び比較画像の一例を示す図である。
【図22】Rバンドの基準画像及び比較画像の一例を示す図である。
【図23】差画像の一例を示す図である。
【図24】変化箇所候補画像(モノクロ)の一例を示す図である。
【図25】変化箇所候補画像(カラー)の生成例を示す図である。
【図26】エンボス画像の一例を示す図である。
【図27】変化箇所候補画像(カラー:エンボス)の生成例を示す図である。
【図28】あるレベルの変化箇所候補画像(カラー:エンボス)が連続的に切り替えて表示される様子の一例を示す図である。
【符号の説明】
【0052】
10 クライアント 20 サーバ
30 ネットワーク 40,60 CPU
41,61 メモリ 42,62 記憶装置
43 表示インタフェース 44 入力インタフェース
45,63 通信インタフェース 46,64 記録媒体読取装置
50 表示装置 51 入力装置
52,53 記録媒体 70 差分生成部
72 候補画像生成部 74 動画生成部
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14
【図16】
15
【図17】
16
【図18】
17
【図19】
18
【図20】
19
【図21】
20
【図22】
21
【図23】
22
【図24】
23
【図25】
24
【図26】
25
【図27】
26
【図28】
27