TOP > 国内特許検索 > 動画視認性定量化装置、動画視認性定量化方法、及びプログラム > 明細書

明細書 :動画視認性定量化装置、動画視認性定量化方法、及びプログラム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第6021053号 (P6021053)
公開番号 特開2013-242784 (P2013-242784A)
登録日 平成28年10月14日(2016.10.14)
発行日 平成28年11月2日(2016.11.2)
公開日 平成25年12月5日(2013.12.5)
発明の名称または考案の名称 動画視認性定量化装置、動画視認性定量化方法、及びプログラム
国際特許分類 G06T   7/40        (2006.01)
FI G06T 7/40 B
請求項の数または発明の数 5
全頁数 18
出願番号 特願2012-116712 (P2012-116712)
出願日 平成24年5月22日(2012.5.22)
審査請求日 平成27年4月24日(2015.4.24)
特許権者または実用新案権者 【識別番号】000125370
【氏名又は名称】学校法人東京理科大学
発明者または考案者 【氏名】小島 尚人
【氏名】重岡 匠
【氏名】広田 健一
個別代理人の代理人 【識別番号】110000176、【氏名又は名称】一色国際特許業務法人
審査官 【審査官】板垣 有紀
参考文献・文献 特開2010-187723(JP,A)
特表2009-539566(JP,A)
国際公開第2012/026145(WO,A1)
特開2010-134768(JP,A)
調査した分野 G06T 7/40
G06T 1/00
A61B 5/00
A61B 6/00
特許請求の範囲 【請求項1】
連続的に切り替えられて表示される複数の画像のそれぞれにおける画素ごとの濃度値を、前記複数の画像が表示される順序に対応させて取得する取得部と、
前記取得部で取得された取得結果に対してフーリエ変換処理を施して、前記画素ごとの濃度値の変化に応じた周波数成分を算出する算出部と、
前記画素ごとに算出された前記周波数成分である複数の空間周波数のうち、振幅が最大となる空間周波数を前記画素ごとに選択する選択部と、
前記複数の画像のそれぞれにおける前記画素ごとに対応する表示画像の画素に対し、前記画素ごとに選択された前記空間周波数と、前記空間周波数のそれぞれに割り当てられた複数段階の振幅のうち、前記画素ごとに選択された前記空間周波数の振幅と、に応じた色を付す着色部と、
を備えることを特徴とする動画視認性定量化装置。
【請求項2】
請求項1に記載の動画視認性定量化装置であって、
前記複数の画像のそれぞれは、赤色画像、緑色画像、及び青色画像を含み、
前記取得部は、
複数の前記赤色画像のそれぞれにおける前記画素ごとの第1濃度値と、複数の前記緑色画像のそれぞれにおける前記画素ごとの第2濃度値と、複数の前記青色画像のそれぞれにおける前記画素ごとの第3濃度値との平均値を算出する平均化部と、
前記平均値を、前記複数の画像のそれぞれが表示される順序に対応させて取得する平均値取得部と、
を含むことを特徴とする動画視認性定量化装置。
【請求項3】
請求項1または2に記載の動画視認性定量化装置であって、
合成対象画像に対して所定の強調処理を施す強調処理部と、
前記強調処理が施された強調画像に対して、複数方向のそれぞれから光を照射したかのようなエンボス処理を施して複数のエンボス画像を生成するエンボス処理部と、
前記複数のエンボス画像のそれぞれに、合成元画像を合成して前記複数の画像を生成する合成画像生成部と、
を更に備えることを特徴とする動画視認性定量化装置。
【請求項4】
連続的に切り替えられて表示される複数の画像のそれぞれにおける画素ごとの濃度値を、前記複数の画像が表示される順序に対応させて取得し
得された取得結果に対してフーリエ変換処理を施して、前記画素ごとの濃度値の変化に応じた周波数成分を算出し、
前記画素ごとに算出された前記周波数成分である複数の空間周波数のうち、振幅が最大となる空間周波数を前記画素ごとに選択し、
前記複数の画像のそれぞれにおける前記画素ごとに対応する表示画像の画素に対し、前記画素ごとに選択された前記空間周波数と、前記空間周波数のそれぞれに割り当てられた複数段階の振幅のうち、前記画素ごとに選択された前記空間周波数の振幅と、に応じた色を付すこと、
を特徴とする動画視認性定量化方法。
【請求項5】
コンピュータに、
連続的に切り替えられて表示される複数の画像のそれぞれにおける画素ごとの濃度値を、前記複数の画像が表示される順序に対応させて取得する手順と
得された取得結果に対してフーリエ変換処理を施して、前記画素ごとの濃度値の変化に応じた周波数成分を算出する手順と、
前記画素ごとに算出された前記周波数成分である複数の空間周波数のうち、振幅が最大となる空間周波数を前記画素ごとに選択する手順と、
前記複数の画像のそれぞれにおける前記画素ごとに対応する表示画像の画素に対し、前記画素ごとに選択された前記空間周波数と、前記空間周波数のそれぞれに割り当てられた複数段階の振幅のうち、前記画素ごとに選択された前記空間周波数の振幅と、に応じた色を付す手順と、
を実行させるためのプログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、動画視認性定量化装置、動画視認性定量化方法、及びプログラムに関する。
【背景技術】
【0002】
例えば土木分野や医療分野においては、観測対象物を撮影した動画や、観測対象物の画像が切り替えられて表示される動画を観察することにより、観測対象物に関する知見を得ることが一般に行われている(例えば、特許文献1参照)。
【先行技術文献】
【0003】

【特許文献1】特開2011-193997号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、動画に対する判読は観察者の主観に大きく依存するため、動画で表示される観測対象物を客観的(定量的)に評価することは困難であった。
【0005】
本発明は上記課題を鑑みてなされたものであり、動画で表示される対象物を客観的に評価することができる動画視認性定量化装置、動画視認性定量化方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するため本発明の一つの側面に係る動画視認性定量化装置は、連続的に切り替えられて表示される複数の画像のそれぞれにおける画素ごとの濃度値を、前記複数の画像が表示される順序に対応させて取得する取得部と、前記取得部で取得された取得結果に対してフーリエ変換処理を施して、前記画素ごとの濃度値の変化に応じた周波数成分を算出する算出部と、前記画素ごとに算出された前記周波数成分である複数の空間周波数のうち、振幅が最大となる空間周波数を前記画素ごとに選択する選択部と、前記複数の画像のそれぞれにおける前記画素ごとに対応する表示画像の画素に対し、前記画素ごとに選択された前記空間周波数と、前記空間周波数のそれぞれに割り当てられた複数段階の振幅のうち、前記画素ごとに選択された前記空間周波数の振幅と、に応じた色を付す着色部と、を備える。
【発明の効果】
【0007】
本発明によれば、動画で表示される対象物を客観的に評価することができる動画視認性定量化装置、動画視認性定量化方法、及びプログラムを提供することができる。
【図面の簡単な説明】
【0008】
【図1】本発明の一実施形態である動画視認性定量化システムの構成例を示す図である。
【図2】クライアント10のハードウェア構成例を示す図である。
【図3】動画視認性定量化装置20のハードウェア構成例を示す図である。
【図4】CPU40の機能ブロックの構成例を示す図である。
【図5】エンボス処理における仮想光の照射方向の一例を示す図である。
【図6】エンボス処理におけるフィルタ係数の一例を示す図である。
【図7】エンボス処理の一例を示す図である。
【図8】動画視認性定量化装置20の機能ブロックの構成例を示す図である。
【図9】動画視認性定量化装置システムにおける処理手順の一例を示すフローチャートである。
【図10】画像特徴合成動画生成の処理手順の一例を示すフローチャートである。
【図11】画像特徴合成動画生成処理のイメージ図である。
【図12】合成元画像及び特徴強調画像の一例を示す図である。
【図13】平均の特徴量が強調された特徴強調画像のエンボス画像の一例を示す図である。
【図14】画像特徴合成画像の一例を示す図である。
【図15】視認性評価図生成の処理手順の一例を示すフローチャートである。
【図16】視認性評価図生成処理のイメージ図である。
【図17】所定の画素における画像濃度値の変動について説明するための図である。
【図18】空間周波数について説明するための図である。
【図19】周波数及びパワーレベルによって定まる色を示す図である。
【図20】画像特徴合成動画及び視認性評価図の一例を示す図を示す図である。
【図21】合成元画像、画像特徴合成動画及び視認性評価図の一領域を拡大した図である。
【図22】クライアント10に表示される画面の一例を示す図である。
【発明を実施するための形態】
【0009】
本明細書および添付図面の記載により、少なくとも以下の事項が明らかとなる。

【0010】
===システム構成===
本発明の一実施形態である動画視認性定量化システムの構成例について説明する。

【0011】
図1に示すように、動画視認性定量化システムは、クライアント10及び動画視認性定量化装置20を含んで構成されている。そして、クライアント10及び動画視認性定量化装置20は、ネットワーク30を介して通信可能に接続されている。

【0012】
クライアント10は、例えば、パーソナルコンピュータや携帯情報端末、携帯電話機等の情報処理装置である。クライアント10は、例えば判読対象となる動画を、ネットワーク30を介して動画視認性定量化装置20に送信する。そして、クライアント10は、動画視認性定量化装置20で生成され、ネットワーク30を介して送信されてくる視認性評価図(表示画像)を表示する。

【0013】
動画視認性定量化装置20は、例えば、PCサーバやワークステーション等の情報処理装置である。動画視認性定量化装置20は、クライアント10から送信されてくる動画から、動画で表示される対象物を客観的に評価するための視認性評価図を生成し、ネットワーク30を介してクライアント10に送信する。

【0014】
ネットワーク30は、例えば、インターネットやLAN(Local Area Network)等であり、クライアント10と動画視認性定量化装置20とを通信可能に接続する。なお、ネットワーク30は、有線とすることもできるし、無線とすることもできる。

【0015】
<<<クライアントの構成>>>
クライアント10の構成について説明する。図2に示すように、クライアント10は、CPU(Central Processing Unit)40、メモリ41、記憶装置42、表示インタフェース(I/F)43、入力インタフェース(I/F)44、通信インタフェース(I/F)45、及び記録媒体読取装置46を含んで構成されている。

【0016】
CPU40は、メモリ41に格納されたプログラムを実行することにより、クライアント10を統括制御し、クライアント10における様々な機能を実現する。メモリ41は、例えばRAM(Random Access Memory)等であり、プログラムやデータ等の一時的な記憶領域として用いられる。記憶装置42は、例えばハードディスク等の記憶領域であり、プログラムや様々なデータ等が格納される。表示インタフェース43は、ディスプレイ等の表示装置50に画像を表示させるためのビデオカード等のインタフェース装置である。

【0017】
入力インタフェース44は、キーボードやマウス、各種デジタル機器等の入力装置51からデータを入力するためのUSB(Universal Serial Bus)やPS/2(Personal System/2)等のインタフェース装置である。通信インタフェース45は、ネットワーク30を介してデータの送受信を行うためのネットワークカード等のインタフェース装置である。記録媒体読取装置46は、CD-ROMやメモリカード等の記録媒体52に格納されたプログラムや各種データを読み取るためのCD-ROMドライブやメモリカードインタフェース等のインタフェース装置である。

【0018】
なお、クライアント10は、例えば、CCD(Charge Coupled Device)カメラやデジタルカメラ等の入力装置51を介して画像や動画を取得し、記憶装置42に格納する。また、クライアント10は、判読対象となる画像や動画を、例えば、記録媒体52から読み取り、記憶装置42に格納することができる。また、クライアント10は、例えば、ネットワーク30を介して他の情報処理装置(不図示)から画像や動画を取得することもできる。

【0019】
<<<動画視認性定量化装置の構成>>>
次に、動画視認性定量化装置20の構成について説明する。図3に、動画視認性定量化装置20のハードウェア構成例を示す。動画視認性定量化装置20は、CPU60、メモリ61、記憶装置62、通信インタフェース63、及び記録媒体読取装置64を含んで構成されている。

【0020】
CPU60は、メモリ61に格納されたプログラムを実行することにより、動画視認性定量化装置20を統括制御し、動画視認性定量化装置20における様々な機能を実現する。メモリ61は、例えばRAM等であり、プログラムやデータ等の一時的な記憶領域として用いられる。記憶装置62は、例えばハードディスク等の記憶領域であり、プログラムや様々なデータ等が格納される。通信インタフェース63は、ネットワーク30を介してデータの送受信を行うためのネットワークカード等のインタフェース装置である。記録媒体読取装置64は、CD-ROMやメモリカード等の記録媒体53に格納されたプログラムや各種データを読み取るためのCD-ROMドライブやメモリカードインタフェース等のインタフェース装置である。

【0021】
<<<CPU40に実現される機能の一例について>>>
CPU40は、撮影された動画(動画を構成するフレーム)を動画視認性定量化装置20に転送するだけでなく、例えば、判読対象となる画像が入力された場合、判読対象の画像の特徴が強調された動画(画像特徴合成動画)を生成して動画視認性定量化装置20に転送する。図4は、CPU40が画像特徴合成動画を生成する際に、CPU40に実現される機能ブロックの一例である。

【0022】
CPU40は、特徴強調処理部70、エンボス画像生成部71、及び画像特徴合成画像生成部72を含んで構成されている。なお、特徴強調処理部70等の機能ブロックは、CPU40がメモリ41に格納されたプログラムを実行することにより実現される。

【0023】
特徴強調処理部70は、メモリ61に格納された画像のうち、合成対象画像を読み出し、合成対象画像に対してテクスチャ強調処理やエッジ強調処理等の強調処理を施す。ここで、合成対象画像とは、例えばCCDカメラ等の入力装置51から得られる合成元画像の合成相手であり、前述した特徴強調処理が施される前の画像である。また、テクスチャ強調処理では、画像に対し、相関、分散、コントラスト、エントロピー等のフィルタが適用され、エッジ強調処理では、画像に対し、1次微分・差分型のPrewittフィルタや、1次微分・テンプレート型のRobinsonフィルタ等が適用される。なお、合成対象画像に施される強調処理は、利用者が入力装置51を操作することによって適宜指定される。そして、特徴強調処理部70は、特徴強調処理が施された特徴強調画像をメモリ61に格納する。

【0024】
エンボス画像生成部71は、メモリ61から特徴強調画像を読み出す。そして、エンボス画像生成部71は、特徴強調画像に対して複数方向を光源とみなす複数のエンボス画像を生成する。なお、生成された複数のエンボス画像はメモリ61に格納される。

【0025】
エンボス画像生成部71は、図5に例示されるように、特徴強調画像の北側を0度として右回りで45度ずつ角度をずらした8方向を照射方向として、8つのエンボス画像を生成することができる。この場合、各照射方向におけるエンボス処理に用いられるフィルタ係数は、例えば、図6(a)~(h)に示した3×3の行列とすることができる。なお、図6(a)~(h)に示したフィルタ係数は一例であり、行列内の数値(重み)や行列のサイズを変更することも可能である。

【0026】
エンボス画像生成部71におけるエンボス処理の一例を示す。本実施の形態では、合成対象画像の各画素の画像濃度値は、例えば8ビット(0~255)であるとする。図7に例示されるように、エンボス処理前の特徴強調画像の一部を示す3×3の画素の中心の値が“18”、左上の値が“5”、右下の値が“135”であるとする。このとき、図6(d)に示したフィルタ係数を用いてエンボス処理を行うと、3×3の中心画素のエンボス処理後の値は、(-5+135)+128=258となる。ただし、エンボス画像生成部71は、エンボス処理後の値が“255”を越えている場合は、画像濃度値が255以下となるように調整する。このようにして、特徴強調画像の各画素に対してエンボス処理が行われる。なお、エンボス処理では複数の画素の差が求められるため、特徴強調画像に対してエンボス処理が施されると、特徴強調画像のエッジが強調されることになる。

【0027】
画像特徴合成画像生成部72は、例えば、メモリ61から複数のエンボス画像を読み出し、これら複数のエンボス画像のそれぞれに対し、メモリ61から読み出された合成元画像を合成して、複数の画像特徴合成画像を生成する。なお、合成元画像は、いわゆる判読対象となる元画像であり、前述のように、CCDカメラ等の入力装置51から得られる。また、画像特徴合成画像生成部72は、メモリ61に格納された複数の画像特徴合成画像を読み出して、利用者等の指示に応じて動画視認性定量化装置20に転送する。

【0028】
画像特徴合成動画生成部73は、例えば、メモリ61に格納された複数の画像特徴合成画像を読み出し、これらの複数の画像特徴合成画像が連続的に切り替えて表示される画像特徴合成動画を生成する。また、生成された画像特徴合成動画は、メモリ61に格納される。

【0029】
<<<動画視認性定量化装置20の一例について>>>
図8に示すように、動画視認性定量化装置20は、判定部80、平均化部81、取得部82、フーリエ変換処理部83、選択部84、及び視認性評価図生成部85を含んで構成される。

【0030】
判定部80は、転送されたフレームがカラーか否か、つまりフレームがRGBバンドを含むか、単バンドのみであるか否かを判定する。

【0031】
平均化部81は、転送されたフレームがカラーである場合、フレームに含まれるR画像,G画像,B画像を抽出する。また、平均化部81は、R画像,G画像,B画像のそれぞれのフレームが転送された場合、R画像,G画像,B画像をバンドごとに選別する。そして、平均化部81は、複数のR画像のそれぞれにおける画素ごとの画像濃度値DR(第1濃度値)と、複数のG画像のそれぞれにおける画素ごとの画像濃度値DG(第2濃度値)と、複数のB画像のそれぞれにおける画素ごとの画像濃度値DB(第3濃度値)と、を取得する。平均化部81は、動画のフレームが表示される順序に対応させて、画素ごとの画像濃度値DR,DG,DBの平均値を算出する。具体的には、平均化部81は、n番目に表示されるR,G,B画像における画素ごとの画像濃度値DR,DG,DBを加算して3で割ることにより、n番目に表示されるカラー画像(R,G,B画像の合成画像)の画素ごとの画像濃度値DAを算出する。

【0032】
取得部82は、転送された動画がカラーの場合、平均化部81で算出されたカラー画像の画素ごとの画像濃度値DAを、カラー画像が表示される順序に対応させて取得する。具体的には、取得部82は、n番目に表示されるカラー画像の画像ごとの画像濃度値DAは、“n”番目と対応させて取得する。一方、転送された動画が単バンドの場合、取得部82は、各フレームの画素ごとの画像濃度値を、フレームが表示される順序に対応させて取得する。

【0033】
フーリエ変換処理部83(算出部)は、取得部82で取得された取得結果に対し、離散フーリエ変換処理を施して、画素ごとの画像濃度値の変化に応じた周波数成分を算出する。

【0034】
選択部84は、画素ごと算出された周波数成分のうち、パワー(振幅)が最大となる周波数を画素ごとに選択する。

【0035】
視認性評価図生成部85(着色部)は、動画に含まれるフレーム画像間における画像濃度値の変化の特徴を表示する視認性評価図を生成する。視認性評価図生成部85は、表示用の画像の各画素に対し、選択部84の選択された周波数と、選択された周波数成分のパワーと、に応じた色を着色して視認性評価図(表示画像)を生成する。また、視認性評価図生成部85は、生成した視認性評価図をクライアント10に送信する。

【0036】
===処理説明===
次に、動画視認性定量化装置20を用いた動画視認性定量化システムにおける処理の流れについて説明する。
図9に例示されるように、まず、クライアント10では、動画が選択される(S1001)。そして、クライアント10は、選択された動画の複数のフレームを動画視認性定量化装置20に送信する(S1002)。
動画視認性定量化装置20は、クライアント10から送信されてくる複数のフレームを受信し(S1003)、メモリ61に格納する。
また、動画視認性定量化装置20は、メモリ61から複数のフレームを読み出し、視認性評価図生成処理を実行し(S1004)、生成した視認性評価図をメモリ61に格納する。
さらに、動画視認性定量化装置20は、メモリ61から視認性評価図を読み出してクライアント10に送信する(S1005)。
クライアント10は、動画視認性定量化装置20から送信されてくる視認性評価図を受信し(S1006)、表示装置50に視認性評価図を表示する(S1007)。

【0037】
<<<画像特徴合成動画の生成処理について>>>
ここでは、画像特徴合成動画の生成処理について説明する。なお、図10は、画像特徴合成動画生成処理の一例を示すフローチャートであり、図11は、画像特徴合成動画生成処理のイメージ図である。

【0038】
特徴強調処理部70は、メモリ61に格納された合成対象画像を読み出し、合成対象画像が、カラー画像(RGB画像)であるか単バンド画像であるかを判定する(S1101)。合成対象画像がカラー画像の場合(S1101:カラー)、特徴強調処理部70は、指定されたバンドの合成対象画像(例えば、R画像)を生成する(S1102)。一方、合成対象画像が単バンドである場合(S1101:単バンド)、または、処理S1102にて単バンドの合成対象画像が生成された場合、特徴強調処理部70は、単バンドの合成対象画像に対し、指定された特徴強調処理を施す(S1103)。なお、図11の例では、合成対象画像であるR画像150に対し、例えばエッジ強調処理が施され、特徴強調画像151が生成されている。なお、生成された特徴強調画像151は、メモリ61に格納される。

【0039】
そして、エンボス画像生成部71は、特徴強調画像151に対して、指定された照射方向及びエンボスパターンに従ったエンボス処理を施して複数のエンボス画像を生成する(S1104)。図11の例では、特徴強調画像151に対し、照射方向を45度刻みとする8つのエンボス処理が施されることにより、8枚のエンボス画像160a~160hが生成され、メモリ61に格納される。

【0040】
画像特徴合成画像生成部72は、エンボス画像生成部71で生成された画像と、合成元画像とをメモリ61から読み出して合成し、画像特徴合成画像を生成する(S1105)。ここで、図11において、合成元画像がカラー画像170である場合について説明する。画像特徴合成画像生成部72は、8枚のエンボス画像160a~164hと、カラー画像170とを合成し、8枚の画像特徴合成画像180a~180hを生成する。また、画像特徴合成画像生成部72は、8枚のエンボス画像160a~164hと、カラー画像170から生成されるR画像171aとを合成し、8枚の画像特徴合成画像190a~190hを生成する。なお、G画像171b,B画像171cに対しても同様の処理が施されるため、画像特徴合成画像191a~191h,192a~192hが生成される。そして、生成された画像特徴合成画像180a~180h,190a~190h等は、メモリ61に格納される。なお、詳細は後述するが、R画像171a等に対して生成された画像特徴合成画像190a~190h等は、動画視認性定量化装置20へと送信される。

【0041】
画像特徴合成動画生成部73は、メモリ61に格納された8枚の画像特徴合成画像180a~180hを読み出し、指定された表示順序及び表示速度に従って、画像特徴合成動画200を生成する(S1106)。なお、この画像特徴合成動画200は、メモリ61に格納される。

【0042】
なお、処理S1105で実行される画像特徴合成画像は、例えば、以下の式(1)、(2)を用いて求めることができる。具体的には、画像特徴合成画像180の各画素の画素値をQ(i)とし、カラー画像170の各画素の画素値をPとし、エッジ強調画像160の画素の画素値の和をE(i)とし、iをエッジ強調処理の方向を示す1~8の自然数とすると、画素値Q(i)は、例えば、画素値E(i)が128以上の場合には次式(1)によって求めることができ、画素値E(i)が128未満の場合には次式(2)によって求めることができる。
Q(i)=2×(P+E(i)-P×E(i)/255)-255・・・(1)
Q(i)=P×E(i)×2/255・・・(2)

【0043】
===動画生成例===
画像特徴合成動画の生成例について説明する。なお、生成例では、特徴強調処理を施すフィルタとして、“平均”の特徴量を強調するフィルタが選択されていることとする。さらに、生成例では、特徴強調画像に対し、照射方向を45度刻みの8方向のエンボス処理が施され、画像特徴合成画像の表示される順序を右回りとしている。

【0044】
図12(a)に示された画像は、合成元画像及び合成対象画像となるコンクリート表面画像(カラー)である。このため、図12(a)に示した画像が、例えば図11に示す合成元のカラー画像170となる。また、図12(b)に示された画像は、合成対象画像(カラー画像170)のRバンド画像における“平均”の特徴量が強調された特徴強調画像151である。

【0045】
そして、本実施形態では、特徴強調画像151に対して8方向のエンボス処理が施され、図13に示すように、8枚のエンボス画像160a~160hが生成される。この結果、エンボス画像160a~160hでは、単バンド画像150の“平均”の特徴量がより強調されることになる。

【0046】
次に、画像特徴合成画像の例を示す。図12(a)に例示されるように合成元画像であるカラー画像170に、平均の特徴量が強調されたエンボス画像160a~160hの夫々が合成されることにより、図14に示す、画像特徴合成画像180a~180hが生成されている。

【0047】
そして、画像特徴合成動画190は、画像特徴合成画像180a~180hが、指定された表示速度で右回りに繰り返し表示されるものとなっている。画像特徴合成動画190では、残像錯視効果により画像全体が鮮鋭化されるとともに、擬似回転錯視が誘発されて凹凸が強調されるため、カラー画像170の画質が維持されつつ、カラー画像170の特徴が強調される。

【0048】
<<<視認性評価図の生成処理について>>>
画像特徴合成動画に基づいて、視認性評価図が生成される処理(図9の処理S1004)の詳細ついて、図15に例示するフローチャート、及び図16の処理イメージ図を用いて詳細に説明する。ここで、動画視認性定量化装置20には、処理S1003において、図11で示した、R画像の画像特徴合成画像190a~190h、G画像の画像特徴合成画像191a~191h、B画像の画像特徴合成画像192a~192hが送信されていることとする。

【0049】
まず、判定部80は、転送されたフレームがカラーか否かを判定する(S1201)。転送されたフレームが単バンドであると判定された場合(S1201:単バンド)、判定部80は、各フレームにおける画素ごとに画像濃度値をメモリ61に格納する(S1202)。

【0050】
一方、転送されたフレームが、カラーであると判定された場合(S1201:カラー)、平均化部81は、RGBの各バンドのフレームにおける画素ごとに、画像濃度値をメモリ61に格納する(S1203)。たとえば、Rバンドの画像特徴合成画像190aの画素数が、64000個(横320個、縦200個)である場合、64000個の画素のそれぞれの画像濃度値DRが、8枚のフレーム(画像特徴合成画像190a~190h)ごとにメモリ61に格納される。なお、Gバンド、Bバンドについても同様である。そして、平均化部81は、表示されるフレームごとに、各画素の画像濃度値の平均値を算出する(S1204)。具体的には、1枚目のフレーム(画像特徴合成画像190a,191a,192a)の画素ごとの画像濃度値DR,DG,DBを加算して3で割る。これにより、1番目に表示される1枚目のフレームに対しては、64000個の平均値(画像濃度値DA)が算出されることになる。なお、2~8枚目のフレームに対しても同様である。

【0051】
取得部82は、メモリ61に格納された各フレームにおける画素ごとの画像濃度値を取得する(S1205)。なお、取得部82が取得する画素ごとの画像濃度値は、フレームがカラーの場合は平均値(画像濃度値DA)となる。図17は、取得部82が取得する所定の画素Pの画像濃度値の一例である。図17では、たとえば1枚目のフレームの画素Pの画像濃度値が“100”であり、2枚目のフレームの画素Pの画像濃度値が“140”である。このため、この場合には、フレームが1から8に切り替わるたびに、画素Pの画像濃度値は、“100”→“140” →“160” →“140” →“100” →“60” →“40” →“60” と変化する。したがって、画像特徴合成動画200が再生されると、つまり、1枚目のフレームから8枚目のフレームが繰り返し切り替えられると、画素Pの画像濃度値の時間変動は、図17の一点鎖線に示すような波形で繰り返し変化する。

【0052】
また、フーリエ変換処理部83は、処理S1205で取得された取得結果に対し、離散フーリエ変換処理を施して、画素ごとの画像濃度値の変化に応じた周波数成分を算出する(S1206)。図17の例では、8枚のフレーム(8ピクセル)が繰り返し順次切り替えて表示されるため、図18に示す4つの空間周波数f1~f4(f4>f1)ごとのパワーが求められる。なお、空間周波数f1~f4のそれぞれは、0.125,0.25,0.375,0.5(cycle/pixel)となる。

【0053】
そして、選択部84は、画素ごとにパワー(振幅)が最大となる周波数を選択する(S1207)。また、視認性評価図生成部85は、図16に示す視認性評価図300のそれぞれの画素に対し、選択部84で選択された周波数と、選択された周波数のパワーとに応じた色を付す(S1208)。なお、視認性評価図300は、転送されてくるフレームの画素数と等しい画素数(例えば、64000個(横320個、縦200個))を含むこととする。

【0054】
図19は、視認性評価図生成部85が着色する色と、周波数及びパワーとの関係を示す図である。視認性評価図生成部85は、所定の画素Pで周波数f1のパワーが最大である場合、所定の画素Pに対して“緑”の色を付す。また、その際に、周波数f1のパワーのレベルが高くなると濃い緑色を付し、周波数f1のパワーレベルが低くなると薄い緑色を付す。なお、パワーレベルは、例えば10段階に分けられている。また、視認性評価図生成部85は、所定の画素Pで周波数f2のパワーが最大の場合、所定の画素Pに対して“青”の色を付し、周波数f3のパワーが最大の場合、所定の画素Pに対して“赤”の色を付し、周波数f4のパワーが最大の場合、所定の画素Pに対して“紫”の色を付す。 “青”,“赤”,“紫”のそれぞれの色も、“緑”の色と同様に、パワーレベルが高くなるにつれて濃くなる。なお、図19では図示していないが、パワーレベルが“1”より小さい画素は、“黒”が着色される。

【0055】
===画像特徴合成動画と視認性評価図の一例===
図20(a)は、図12(a)に示したコンクリート表面のカラー画像170に基づいて生成された画像特徴合成動画200を便宜上静止画として例示した画像である。なお、図20(a)の画像特徴合成動画200における静止画は、実際の動的陰影変化を把握する上での単に一つの目安を与えるものである。

【0056】
図20(b)は、カラー画像170に基づいて生成された、視認性評価図300の一例である。なお、図20(b)の視認性評価図300は、前述した処理(図10,16等で説明した手順)によって生成される。

【0057】
図21(a)~(c)のそれぞれは、図12(a)のコンクリート表面のカラー画像170、図20(a)の画像特徴合成動画200、及び図20(b)の視認性評価図300の一部の領域(図20(a),(b)において、実線で囲まれた領域に相当)を拡大した図である。なお、図21(a)~(c)では、同じ領域が拡大されている。図21(a)と、図21(b),(c)を比較すると、図21(b),(c)は、図21(a)の合成元画像(カラー画像170)よりも、あきらかに画像特徴分析・抽出、画像判読精度が高くなっている。

【0058】
また、図21において、領域Aは、コンクリートの表面の凹凸が少ない領域であり、領域Bは、深い凹みがある領域であり、領域Cは、きめの細かい凹凸がある領域である。図21(c)の視認性評価図300の領域Aは、非常に薄い“緑”(空間周波数f1:パワーレベルが“1”)と、“黒”(パワーレベルが“1”より小さい成分)の色が表示されている。一方、きめの粗い凹みがある領域Bには、非常に濃い“緑”(空間周波数f1:パワーレベル“7”)が表示され、きめの細かい凹みがある領域Cには、濃い“赤”(空間周波数f3:パワーレベル“4”)が表示されている。

【0059】
つまり、画像特徴合成動画200においては、きめが粗い領域の画素ほど、画像濃度値が高い空間周波数で変化する。さらに、凹凸の激しい領域の画素ほど、パワーレベルが高くなる傾向がある。したがって、画像特徴合成動画200を判読する際に、視認性評価図300を確認することにより、画像特徴合成動画200の視認性を客観的(定量的)に評価することが可能となる。さらに、視認性評価図300では、画素を40クラスの色に分けて分類することが可能となっている。このような細かな分類は、例えばクラスター解析や最尤法等を用いた解析では不可能である。

【0060】
なお図22は、クライアント10に表示される表示画面300の一例である。元画像表示領域310には、合成元画像(例えば、図12(a))が表示され、動画表示領域311には、例えば画像特徴合成動画(例えば、図20(a))が表示され、視認性評価図表示領域312には、視認性評価図(例えば、図20(b))が表示される。なお、表示画面300には、視認性評価図を評価するためのレベルゲージ等を設けても良い。

【0061】
以上、本発明の一実施形態である動画視認性定量化システムについて説明した。本実施形態では、視認性評価図300で対象物の特徴を定量的に評価したが、例えば、対象物の所定の領域(例えば、図21の領域C)のみの周波数成分(空間周波数及びパワーの関係)を画素ごとにグラフとして表示させても良い。このような場合であっても、対処物の特徴を定量的に評価できる。

【0062】
また、本実施形態では、視認性評価図300を、周波数とパワーとに応じた色を付して表示したが、周波数に応じた色のみでも良い。つまり、空間周波数によって定まる色(“緑”色等)の濃淡をパワーによって変化せずに表示させても良い。このような場合であっても、画像特徴合成動画200においては、表面のきめが粗等を視覚的に定量的に評価できる。

【0063】
また、視認性評価図300では、視認性評価図300に含まれる全ての画素(例えば、64000個)において、周波数とパワーとに応じた色が付されて表示されている。このため、より詳細に画像特徴合成動画200の特徴を客観的に把握することが可能となる。さらに、視認性評価図300において空間周波数f1が選択されている領域や、所定値(例えば、パワーレベル“5”)以上となる領域の面積の計算、つまり、占有領域分析をすることも可能である。

【0064】
また、動画視認性定量化装置20は、送信される動画がカラー、単バンドの何れであっても、視認性評価図300を生成することができる。

【0065】
また、動画視認性定量化装置20は、様々な特徴が強調された画像特徴合成動画200の視認性評価図300を生成することができる。このため、強調される特徴(例えば、“エントロピー”,“平均”等)ごとに、周波数、パワーとの関係を定量的に把握することも可能である。

【0066】
前述した実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく変更、改良されるとともに、本発明にはその等価物も含まれる。

【0067】
例えば、前述した実施の形態においては、クライアント10を用いた構成としたが、クライアント10を用いず、動画視認性定量化装置20において、画像特徴合成動画200の生成等が行われることとしてもよい。

【0068】
また、本実施形態では、離散フーリエ変換の結果において、画素ごとの最大パワーを選択したがこれに限られない。例えば、空間周波数f1~f4における最大パワーに加え、第2,第3パワーをあわせて利用しても良い。具体的には、例えば、各パワーの平均値を算出し、平均パワーに応じた色の濃度を着色しても良い。この結果、様々な視認性評価図を創出することが可能となる。また、視認性評価図の発色により、振幅成分と空間周波数成分間の多角的分析が可能である。

【0069】
また、視認性評価図300において、所定の閾値より高いパワーレベルの画素のみ表示させても良い。このような機能を設けることにより、より観測対象物の画像特徴分析・抽出、画像判読精度を向上できる。
【符号の説明】
【0070】
10 クライアント
20 動画視認性定量化装置
30 ネットワーク
40 CPU
41 メモリ
42 記憶装置
43 表示インタフェース
44 入力インタフェース
45 通信インタフェース
46 記録媒体読取装置
50 表示装置
51 入力装置
52 記録媒体
53 記録媒体
60 CPU
61 メモリ
62 記憶装置
63 通信インタフェース
64 記録媒体読取装置
70 特徴強調処理部
71 エンボス画像生成部
72 画像特徴合成画像生成部
73 画像特徴合成動画生成部
80 判定部
81 平均化部
82 取得部
83 フーリエ変換処理部
84 選択部
85 視認性評価図生成部
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図15】
11
【図16】
12
【図17】
13
【図18】
14
【図22】
15
【図12】
16
【図13】
17
【図14】
18
【図19】
19
【図20】
20
【図21】
21