TOP > 国内特許検索 > 画像特徴合成動画生成装置、画像特徴合成動画生成方法、及びプログラム > 明細書

明細書 :画像特徴合成動画生成装置、画像特徴合成動画生成方法、及びプログラム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5246770号 (P5246770)
公開番号 特開2010-134768 (P2010-134768A)
登録日 平成25年4月19日(2013.4.19)
発行日 平成25年7月24日(2013.7.24)
公開日 平成22年6月17日(2010.6.17)
発明の名称または考案の名称 画像特徴合成動画生成装置、画像特徴合成動画生成方法、及びプログラム
国際特許分類 G06T   3/00        (2006.01)
G06T   5/20        (2006.01)
H04N   5/208       (2006.01)
H04N   5/262       (2006.01)
FI G06T 3/00 300
G06T 5/20 B
H04N 5/208
H04N 5/262
請求項の数または発明の数 7
全頁数 32
出願番号 特願2008-311278 (P2008-311278)
出願日 平成20年12月5日(2008.12.5)
審査請求日 平成23年10月14日(2011.10.14)
特許権者または実用新案権者 【識別番号】803000115
【氏名又は名称】学校法人東京理科大学
発明者または考案者 【氏名】小島 尚人
【氏名】永倉 佑一
個別代理人の代理人 【識別番号】110000176、【氏名又は名称】一色国際特許業務法人
審査官 【審査官】▲広▼島 明芳
参考文献・文献 特開2008-015606(JP,A)
特開平09-135385(JP,A)
特開平07-244724(JP,A)
調査した分野 G06T 3/00 - 5/50
H04N 5/208
H04N 5/262
特許請求の範囲 【請求項1】
所定の要素が強調された合成対象画像に対して複数方向のエッジをそれぞれ強調した複数のエッジ強調画像を生成するエッジ強調画像生成部と、
前記複数のエッジ強調画像と合成元画像をそれぞれ合成した複数の合成画像を生成する合成画像生成部と、
前記複数の合成画像が連続的に切り替えて表示される合成動画を生成する合成動画生成部と、
を備えたことを特徴とする画像特徴合成動画生成装置。
【請求項2】
前記所定の要素は、テクスチャ又はエッジであることを特徴とする請求項1に記載の画像特徴合成動画生成装置。
【請求項3】
前記合成対象画像は、前記合成元画像とは異なる画像であることを特徴とする請求項1または請求項2に記載の画像特徴合成動画生成装置。
【請求項4】
前記合成対象画像は、前記合成元画像と同一の画像であることを特徴とする請求項1または請求項2に記載の画像特徴合成動画生成装置。
【請求項5】
前記合成元画像は、赤色画像、緑色画像、青色画像を含んで構成されることを特徴とする請求項1乃至の何れかに記載の画像特徴合成動画生成装置。
【請求項6】
所定の要素が強調された合成対象画像に対して複数方向のエッジをそれぞれ強調した複数のエッジ強調画像を生成し、
前記複数のエッジ強調画像と合成元画像をそれぞれ合成した複数の合成画像を生成し、
前記複数の合成画像が連続的に切り替えて表示される合成動画を生成する、
ことを特徴とする画像特徴合成動画生成方法
【請求項7】
コンピュータに、
所定の要素が強調された合成対象画像に対して複数方向のエッジをそれぞれ強調した複数のエッジ強調画像を生成する手順と、
前記複数のエッジ強調画像と合成元画像をそれぞれ合成した複数の合成画像を生成する手順と、
前記複数の合成画像が連続的に切り替えて表示される合成動画を生成する手順と、
を実行させるためのプログラム
発明の詳細な説明 【技術分野】
【0001】
本発明は、画像特徴合成動画生成装置、画像特徴合成動画生成方法、及びプログラムに関する。
【背景技術】
【0002】
例えば衛星画像等に対しテクスチャ強調処理やエッジ強調処理等を施して、同画像の特徴を強調・可視化する技術が知られている(例えば、特許文献1参照)。尚、これらの処理対象の画像として、他には、医療画像、広告画像、交通標識画像、顕微鏡画像、実験計測画像等が挙げられる。
画像は、テクスチャ強調処理によって、そのきめや粗さ等が抽出され、エッジ強調処理によって、そのエッジ(辺縁)が強調される。これらの処理によって、画像の有する特徴が強調される。

【特許文献1】特開2005-234603号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、前述したテクスチャやエッジ等の強調処理が施されると、画像の特徴は強調される一方、同画像の画質は低下するという問題があった。つまり、これらの特徴強調処理は、画像における特定の特徴の強調を目的としその画質を犠牲にしてきたため、例えば、特徴強調処理が施された画像と、同処理を施す前の元画像との関係を判読するのが困難であった。
【0004】
本発明はかかる課題に鑑みてなされたものであり、その目的とするところは、画像の画質を維持しつつ同画像の特徴を強調可能な画像特徴合成動画生成装置、画像特徴合成動画生成方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【0005】
前記課題を解決するための発明は、所定の要素が強調された合成対象画像に対して複数方向のエッジをそれぞれ強調した複数のエッジ強調画像を生成するエッジ強調画像生成部と、前記複数のエッジ強調画像と合成元画像をそれぞれ合成した複数の合成画像を生成する合成画像生成部と、前記複数の合成画像が連続的に切り替えて表示される合成動画を生成する合成動画生成部とを備えた画像特徴合成動画生成装置である。
【0007】
また、かかる画像特徴合成動画生成装置において、前記所定の要素は、テクスチャ又はエッジであることが好ましい。
【0008】
また、かかる画像特徴合成動画生成装置において、前記合成対象画像は、前記合成元画像とは異なる画像であることとしてもよい。
【0009】
また、かかる画像特徴合成動画生成装置において、前記合成対象画像は、前記合成元画像と同一の画像であることとしてもよい。
【0010】
また、かかる画像特徴合成動画生成装置において、前記合成元画像は、赤色画像、緑色画像、青色画像を含んで構成されることとしてもよい。
【0011】
また、前記課題を解決するための発明は、合成対象画像に対して複数方向のエッジをそれぞれ強調した複数のエッジ強調画像を生成し、前記複数のエッジ強調画像と合成元画像をそれぞれ合成した複数の合成画像を生成し、前記複数の合成画像が連続的に切り替えて表示される合成動画を生成する画像特徴合成動画生成方法である。
【0012】
また、前記課題を解決するための発明は、コンピュータに、合成対象画像に対して複数方向のエッジをそれぞれ強調した複数のエッジ強調画像を生成する手順と、前記複数のエッジ強調画像と合成元画像をそれぞれ合成した複数の合成画像を生成する手順と、前記複数の合成画像が連続的に切り替えて表示される合成動画を生成する手順とを実行させるためのプログラムである。
【発明の効果】
【0016】
本発明によれば、画像の画質を維持しつつ同画像の特徴を強調できる。
【発明を実施するための最良の形態】
【0017】
===システムの構成===
図1乃至図7を参照しつつ、本実施の形態の画像特徴合成動画生成システムの構成例について説明する。
尚、図1は、画像特徴合成動画生成システムの構成例を示すブロック図である。図2は、図1のシステムにおけるクライアント10の構成例を示すブロック図である。図3は、図1のシステムにおける画像特徴合成動画生成装置20の構成例を示すブロック図である。図4は、図3の画像特徴合成動画生成装置20の機能ブロック図である。図5は、エンボス処理における仮想光の照射方向の一例を示す模式図である。図6は、エンボス処理におけるフィルタ係数の一例を示す模式図である。図7は、エンボス処理の一例を示す模式図である。
【0018】
図1に例示されるように、画像特徴合成動画生成システムは、クライアント10と、画像特徴合成動画生成装置20とを備えている。ここで、クライアント10及び画像特徴合成動画生成装置20は、ネットワーク30を介して通信可能に接続されている。
【0019】
クライアント10は、例えば、パーソナルコンピュータ、携帯情報端末、携帯電話機等の情報処理装置である。このクライアント10は、ネットワーク30を介して、画像(合成元画像及び合成対象画像)を画像特徴合成動画生成装置20に送信し、この画像特徴合成動画生成装置20で生成されて送信されてくる動画(画像特徴合成動画)を表示する。
【0020】
画像特徴合成動画生成装置20は、例えば、PCサーバやワークステーション等の情報処理装置である。この画像特徴合成動画生成装置20は、クライアント10からの画像の特徴を強調表示するための動画を生成し、ネットワーク30を介して、この動画をクライアント10に送信する。
【0021】
ネットワーク30は、例えば、インターネットやLAN(Local Area Network)等であり、クライアント10と画像特徴合成動画生成装置20とを通信可能に接続する。尚、ネットワーク30は、有線とすることもできるし、無線とすることもできる。
【0022】
尚、本実施の形態の合成元画像とは、例えば観測装置から得られ、特徴強調処理が施されていない画像等を意味する。
また、本実施の形態の合成対象画像とは、例えば、合成元画像との合成相手であるとともに、観測対象の特徴を強調するための方向性を有する特徴強調処理が施される前の画像等を意味する。
更に、本実施の形態の画像特徴合成動画とは、後述するように、前述した合成元画像及び合成対象画像に基づいて生成される動画を意味する。
【0023】
<<<クライアントの構成>>>
図2に例示されるように、クライアント10は、CPU(Central Processing Unit)40と、メモリ41と、記憶装置42と、表示インタフェース(I/F)43と、入力インタフェース(I/F)44と、通信インタフェース(I/F)45と、記録媒体読取装置46とを備えている。
【0024】
CPU40は、メモリ41に格納されたプログラムを実行することにより、クライアント10を統括制御し、クライアント10における様々な機能を実現する。メモリ41は、例えばRAM(Random Access Memory)等であり、プログラムやデータ等の一時的な記憶領域として用いられる。記憶装置42は、例えばハードディスク等の記憶領域であり、プログラムや様々なデータ等が格納される。表示インタフェース43は、ディスプレイ等の表示装置50に画像を表示させるためのビデオカード等のインタフェース装置である。
【0025】
入力インタフェース44は、キーボード、マウス、各種デジタル機器等の入力装置51からデータを入力するためのUSB(Universal Serial Bus)やPS/2(Personal System/2)等のインタフェース装置である。通信インタフェース45は、ネットワーク30を介してデータの送受信を行うためのネットワークカード等のインタフェース装置である。記録媒体読取装置46は、CD-ROMやメモリカード等の記録媒体52に格納されたプログラムや各種データを読み取るためのCD-ROMドライブやメモリカードインタフェース等のインタフェース装置である。
【0026】
尚、クライアント10は、画像(合成元画像、合成対象画像)を、例えば、記録媒体52から読み取り、記憶装置42に格納することができる。また、クライアント10は、例えば、ネットワーク30を介して他の情報処理装置(不図示)から画像を取得することもできる。更に、クライアント10は、イメージスキャナやデジタルカメラ等を入力装置51として画像を取得することもできる。
【0027】
<<<画像特徴合成動画生成装置の構成>>>
図3に例示されるように、画像特徴合成動画生成装置20は、CPU60と、メモリ61と、記憶装置62と、通信インタフェース63と、記録媒体読取装置64とを備えている。
【0028】
CPU60は、メモリ61に格納されたプログラムを実行することにより、画像特徴合成動画生成装置20を統括制御し、画像特徴合成動画生成装置20における様々な機能を実現する。メモリ61は、例えばRAM等であり、プログラムやデータ等の一時的な記憶領域として用いられる。記憶装置62は、例えばハードディスク等の記憶領域であり、プログラムや様々なデータ等が格納される。通信インタフェース63は、ネットワーク30を介してデータの送受信を行うためのネットワークカード等のインタフェース装置である。記録媒体読取装置64は、CD-ROMやメモリカード等の記録媒体53に格納されたプログラムや各種データを読み取るためのCD-ROMドライブやメモリカードインタフェース等のインタフェース装置である。
【0029】
図4に例示されるように、前述した画像特徴合成動画生成装置20は、エンボス画像生成部70と、エッジ強調画像生成部71と、画像特徴合成画像生成部(合成画像生成部)72と、画像特徴合成動画生成部(合成動画生成部)75と、特徴強調処理部76とを備えている。これらの機能ブロック70、71、72、75、76は、CPU60がメモリ61に格納されたプログラムを実行することにより実現される。
【0030】
<エンボス画像生成部>
エンボス画像生成部70は、メモリ61から合成対象画像を読み出し、同合成対象画像に対して複数方向を光源とみなす複数のエンボス画像を生成する。生成された複数のエンボス画像はメモリ61に格納される。
【0031】
エンボス画像生成部70は、図5に例示されるように、合成対象画像の北側を0度として右回りで45度ずつ角度をずらした8方向を照射方向として、8つのエンボス画像を生成できる。この場合、各照射方向におけるエンボス処理に用いられるフィルタ係数は、例えば、図6(a)乃至(h)に示した3×3の行列とすることができる。尚、図6(a)乃至(h)に示したフィルタ係数は一例であり、行列内の数値(重み)や行列のサイズを変更することも可能である。
【0032】
エンボス画像生成部70におけるエンボス処理の一例を示す。本実施の形態では、合成対象画像の各画素の画像濃度値は、例えば8ビット(0乃至255)であるとする。図7に例示されるように、エンボス処理前の合成対象画像の一部を示す3×3の画素の中心の値が「18」、左上の値が「5」、右下の値が「135」であるとする。このとき、図6(d)に示したフィルタ係数を用いてエンボス処理を行うと、3×3の中心画素のエンボス処理後の値は、(-5+135)+128=258となる。但し、エンボス画像生成部70は、エンボス処理後の値が「255」を越えている場合は、画像濃度値が255以下となるように調整する。このようにして、合成対象画像の各画素に対してエンボス処理が行われる。
【0033】
<エッジ強調画像生成部>
エッジ強調画像生成部71は、メモリ61から合成対象画像を読み出し、同合成対象画像に対して複数方向のエッジ(所定の要素)をそれぞれ強調した複数のエッジ強調画像を生成する。生成された複数のエッジ強調画像はメモリ61に格納される。具体的には、複数方向のエッジの強調は、以下に例示するエッジ方向を強調するフィルタによって行なわれる。即ち、例えば、1次微分・差分型のPrewittフィルタや、1次微分・テンプレート型のRobinsonフィルタ等が適用可能である。
【0034】
<画像特徴合成画像生成部>
画像特徴合成画像生成部72は、例えば、メモリ61から複数のエッジ強調画像を読み出し、これら複数のエッジ強調画像のそれぞれに対し、同メモリ61から読み出された合成元画像を合成して、複数の画像特徴合成画像を生成する。また、画像特徴合成画像生成部72は、例えば、メモリ61から複数のエンボス画像を読み出し、これら複数のエンボス画像のそれぞれに対し、同メモリ61から読み出された合成元画像を合成して、複数の画像特徴合成画像を生成する。以上により生成された複数の画像特徴合成画像はメモリ61に格納される。
【0035】
<画像特徴合成動画生成部>
画像特徴合成動画生成部75は、メモリ61に格納された複数のエッジ強調画像を読み出し、これらのエッジ強調画像が連続的に切り替えて表示される画像特徴合成動画を生成する。また、画像特徴合成動画生成部75は、メモリ61に格納された複数のエンボス画像を読み出し、これらのエンボス画像が連続的に切り替えて表示される画像特徴合成動画を生成する。以上により生成された画像特徴合成動画は、メモリ61に格納される。
【0036】
例えば、8方向を照射方向とする8つのエンボス画像の場合(図5参照)、8つのエンボス画像を例えば右回りに所定間隔で切り替えながら繰り返し表示する動画を画像特徴合成動画とすることができる。尚、画像特徴合成動画においてエンボス画像の切り替わる順序は右回りに限らず、左回りであってもよいし、ランダムであってもよい。また、エンボス画像の切り替わる間隔も可変とすることができる。
【0037】
また、画像特徴合成動画では、照射方向が互いに180度をなす何れか2つのエンボス画像を切り替えながら繰り返し表示されるものであってもよい。図5を参照して説明すれば、例えば、照射方向が0度(北)及び180度(南)の2つのエンボス画像の間を北から南、南から北のように一方向に切り替え表示してもよいし、或いは、照射方向が45度(北東)及び225度(南西)の2つのエンボス画像の間を北東から南西、南西から北東のように一方向に切り替え表示してもよい。
【0038】
更に、前述した照射方向が互いに180度をなす何れか2つのエンボス画像の組を何れか2組選択して、前述した一方向の切り替え表示がこの2組について交互に行なわれるものであってもよい。図5を参照して説明すれば、例えば、照射方向が315度(北西)及び135度(南東)の2つのエンボス画像の第1組と、照射方向が45度(北東)及び225度(南西)の2つのエンボス画像の第2組とを選択し、第1組における北西から南東及び南東から北西の切り替え表示と、第2組における北東から南西及び南西から北東の切り替え表示とを交互に行なうような、たすきがけの切り替え表示であってもよい。
【0039】
尚、以上は、画像特徴合成画像が、複数のエッジ方向に対応する複数のエッジ強調画像から構成されている場合でも同様である。
【0040】
これにより、照射方向及びエッジ方向が反対側である画像どうしが切り替えられるため、後述する画像特徴の強調が向上する。
【0041】
<特徴強調処理部>
特徴強調処理部76は、メモリ61から合成対象画像を読み出し、同合成対象画像に対してテクスチャ強調処理やエッジ強調処理等を施す。これらの特徴強調処理が施された合成対象画像は、メモリ61に格納される。具体的には、テクスチャ強調処理では、例えば、相関、分散、コントラスト、エントロピー等のテクスチャ(所定の要素)の特徴量が求められ、エッジ強調処理では、例えば、2次微分型のLaplacianフィルタ等が適用される。
【0042】
<<<クライアントの画面>>>
図8及び図9を参照しつつ、クライアント10のディスプレイ(表示装置50)に表示される画面について説明する。尚、図8は、画像特徴合成動画を生成するための動画生成画面100の一例を示す模式図である。図9は、画像特徴合成動画を表示するための動画表示画面130の一例を示す模式図である。
【0043】
<動画生成画面>
図8に例示されるように、画像特徴合成動画を生成する際の条件等を入力するための動画生成画面100は、合成元画像入力エリア110と、合成対象画像入力エリア111と、動画生成条件選択エリア112と、動画生成ボタン113とに分かれている。尚、クライアント10の利用者は、例えば、マウス(入力装置51)を通じて画面上の各エリア110、111、112及びボタン113にカーソルを合わせた後、マウス及びキーボード(入力装置51)を通じて所定の入力をするようになっている。
【0044】
この動画生成画面100は、例えば、クライアント10がWebブラウザ等から画像特徴合成動画生成装置20の所定のURL(Uniform Resource Locator)を参照することによって画像特徴合成動画生成装置20から送信されてくるHTML(Hyper Markup Text Language)等により実現される。尚、画像特徴合成動画生成装置20にアクセスせずに、クライアント10内部のプログラムによって動画生成画面が起動されることとしてもよい。
【0045】
合成元画像入力エリア110では、合成元画像の格納先(ファイルパス名等)が入力されるようになっている。また、合成元画像入力エリア110では、入力された合成元画像を、更に、RGB画像(R画像(赤色画像)、G画像(緑色画像)、及びB画像(青色画像))、単バンド画像、及びパンクロマチック画像の何れの状態とするかが選択されるようになっている。ここで、単バンド画像が選択された場合、更に、どのバンドの画像(例えば、R画像のみ)であるかが選択されるようになっている。
【0046】
合成対象画像入力エリア111は、更に、合成対象画像の源泉としての入力画像に係る情報を入力するための入力画像入力エリア111aと、入力画像に施される特徴強調処理の種類を入力するための特徴強調処理入力エリア111bとに分かれている。
入力画像入力エリア111aでは、入力画像が合成元画像であるか否かが選択されるようになっているとともに、入力画像が合成元画像以外の画像である(「その他」)と選択された場合の入力画像の格納先(ファイルパス名等)が入力されるようになっている。
特徴強調処理入力エリア111bでは、入力画像に特徴強調処理を施すか否かが選択されるようになっているとともに、入力画像に特徴強調処理を施す(「する」)と選択された場合の特徴強調処理の種類(例えば、テクスチャ強調処理やエッジ強調処理等)が選択されるようになっている。
【0047】
動画生成条件選択エリア112は、更に、方向選択エリア112aと、フィルタ選択エリア112bと、表示順序選択エリア112cと、表示速度選択エリア112dとに分かれている。
【0048】
方向選択エリア112aでは、合成対象画像にエンボス処理を施す際の照射方向が選択されるようになっているとともに、合成対象画像にエッジ強調処理を施す際のエッジ方向が選択されるようになっている。本実施の形態では、4方向、8方向、及び16方向の何れかが選択されるようになっている。
フィルタ選択エリア112bでは、合成対象画像に施される方向性を有する特徴強調処理の種類が選択されるようになっている。本実施の形態では、方向性を有する特徴強調処理として、パターンAのエンボス処理、パターンBのエンボス処理、パターンCのエンボス処理、Perwittフィルタによるエッジ強調処理、Robinsonフィルタによるエッジ強調処理、及びLaplacianフィルタによるエッジ強調処理の何れかが選択されるようになっている。ここで、パターンA乃至Cは、エンボス処理のための異なるフィルタ係数(行列のサイズや重み等)を表わしている。
表示順序選択エリア112cでは、画像特徴合成動画におけるエンボス画像及びエッジ強調画像の表示順序が選択されるようになっている。本実施の形態では、右回り、左回り、ランダム、一方向、たすきがけの何れかが選択されるようになっている。
表示速度選択エリア112dでは、画像特徴合成動画におけるエンボス画像及びエッジ強調画像の切り替わる速度が選択されるようになっている。本実施の形態では、4fps(flame per second)、8fps、16fpsの何れかが選択されるようになっている。
【0049】
動画生成ボタン113は、前述した各エリア110乃至112で選択又は入力された情報を画像特徴合成動画生成装置20に送信するためのものである。
【0050】
<動画表示画面>
図9に例示されるように、画像特徴合成動画が表示される動画表示画面130は、画像特徴合成動画表示領域135を表示する。この動画表示画面130は、本実施の形態では、動画生成画面100の動画生成ボタン113が押下された後に画像特徴合成動画生成装置20から送信されてくるHTML等により実現される。つまり、この画像特徴合成動画表示領域135には、画像特徴合成動画生成装置20から送信されてくる動画が表示される。尚、画像特徴合成動画表示領域135に表示される動画は、例えばMacromedia Flash(登録商標)等により実現される。
【0051】
===システムの動作===
図10乃至図13を参照しつつ、本実施の形態の画像特徴合成動画生成システムの動作例について説明する。
尚、図10は、画像特徴合成動画生成システムの処理手順の一例を示すフローチャートである。図11は、画像特徴合成動画生成装置20の処理手順の一例を示すフローチャートである。図12は、画像特徴合成動画生成処理のイメージ図である。図13は、画像特徴合成動画生成処理のもう一つのイメージ図である。
【0052】
<<<画像特徴合成動画生成システムの動作>>>
図10に例示されるように、クライアント10では、合成元画像及び合成対象画像が選択される(S1001)。具体的には、動画生成画面100における、合成元画像入力エリア110と、合成対象画像入力エリア111の入力画像入力エリア111aとにおいて、合成元画像の格納先と、合成対象画像の源泉としての入力画像の格納先とがそれぞれ入力される。
【0053】
また、クライアント10では、合成対象画像の源泉としての入力画像への特徴強調処理に係る情報が選択される(S1002)。具体的には、動画生成画面100における合成対象画像入力エリア111の特徴強調処理入力エリア111bにおいて、合成対象画像の源泉としての入力画像に対する特徴強調処理に係る情報(施す・施さない・施すとした場合の特徴強調処理の種類)が入力される。
【0054】
更に、クライアント10では、画像特徴合成動画を生成するための動画生成条件が選択される(S1003)。具体的には、動画生成画面100における動画生成条件選択エリア112において、方向、フィルタ(エンボス・エッジ強調)、表示順序、及び表示速度が選択される。
【0055】
動画生成画面100の動画生成ボタン113が押下されると、クライアント10は、入力又は選択された画像及び動画生成条件を、画像特徴合成動画生成装置20に送信する(S1004)。
画像特徴合成動画生成装置20は、クライアント10から送信されてくる画像及び動画生成条件を受信し(S1005)、メモリ61に格納する。
画像特徴合成動画生成装置20は、メモリ61から画像及び動画生成条件を読み出し、画像特徴合成動画の生成処理を実行し(S1006)、メモリ61に格納する。
画像特徴合成動画生成装置20は、メモリ61から画像特徴合成動画を読み出してクライアント10に送信する(S1007)。
クライアント10は、画像特徴合成動画生成装置20から送信されてくる画像特徴合成動画を受信し(S1008)、画像表示画面130の画像特徴合成動画表示領域135に動画を表示する(S1009)。
【0056】
<<<画像特徴合成動画生成装置の動作>>>
図11乃至図13を参照しつつ、前述した画像特徴合成動画生成処理(S1006)について詳細に説明する。
【0057】
図11に例示されるように、画像特徴合成動画生成装置20は、メモリ61に格納された合成元画像、合成対象画像、及び動画生成条件を読み出し、これら指定された情報に応じて、以下述べる処理を実行する。
【0058】
画像特徴合成動画生成装置20は、合成元画像152が、カラー画像、単バンド画像、及びパンクロマチック画像の何れに指定されているかを判別する(S1101)。もし、合成元画像152がカラー画像に指定されていると判別された場合(S1101:「カラー」)、R画像152R、G画像152G、及びB画像152Bが合成され(S1102、図12及び図13の処理C)、これにより得られたカラー画像170が合成元画像としてメモリ61に格納される。一方、合成元画像152が単バンド画像又はパンクロマチック画像に指定されていると判別された場合(S1101:「単バンド」、「パンクロマチック」)、合成元画像152は、同様に、指定された状態とされて、メモリ61に格納される。尚、メモリ61に合成元画像152としてカラー画像170が予め記憶されていることとしてもよい。
【0059】
また、画像特徴合成動画生成装置20は、合成対象画像150、151として、入力画像150に特徴強調処理を施してテクスチャ又はエッジ強調画像151とする、及び、入力画像150に特徴強調処理を施さない、の何れに指定されているかを判別する(S1103)。もし、入力画像150に特徴強調処理を施す旨が指定されていると判別された場合(S1103:「する」)、特徴強調処理部76は、入力画像150に特徴強調処理を施し(S1104、図12及び図13の処理A)、これにより得られたテクスチャ又はエッジ強調画像151を合成対象画像としてメモリ61に格納する。一方、入力画像150に特徴強調処理を施さない旨が指定されていると判別された場合(S1103:「しない」)、入力画像150が合成対象画像とされる(S1110)。
【0060】
更に、画像特徴合成動画生成装置20は、前述したステップS1104及びS1110のそれぞれに続いて、合成対象画像150、151に施される方向性を有する特徴強調処理がエンボス処理及びエッジ強調処理の何れに指定されているかを判別する(S1105及びS1111)。
【0061】
<処理A+B1+C+D+E>
前述したように、合成元画像152が、R画像152R、G画像152G、及びB画像152Bを処理Cで合成したカラー画像170であり(S1101:「カラー」、S1102)、且つ、合成対象画像151が入力画像150を処理Aで特徴強調処理したテクスチャ又はエッジ強調画像151であり(S1103:「する」、S1104)、且つ、この合成対象画像151に施される方向性を有する特徴強調処理がエッジ強調処理である(S1105:「エッジ強調」)と指定されている場合、画像特徴合成動画生成装置20は、以下述べる処理を実行する。
【0062】
図11に例示されるように、エッジ強調画像生成部71は、メモリ61から読み出した合成対象画像151をエッジ強調処理して、例えば45度刻みの8方向に対応する8つのエッジ強調画像(モノクロ)160a乃至160h(これを「エッジ強調画像(モノクロ)160」と総称する)を生成し(S1106、図12の処理B1)、これらをメモリ61に格納する。
【0063】
画像特徴合成画像生成部72は、メモリ61から読み出した8つのエッジ強調画像(モノクロ)160a乃至160hのそれぞれと、同メモリ61から読み出したカラー画像170とを合成して、8つの画像特徴合成画像(カラー)180a乃至180h(これを「画像特徴合成画像(カラー)180」と総称する)を生成し(図12の処理D)、続いて、画像特徴合成動画生成部75は、この画像特徴合成画像(カラー)180から、指定された表示順序及び表示速度に従って、画像特徴合成動画(カラー)190を生成する(図12の処理E)(以上、S1107)。この画像特徴合成動画(カラー)190は、メモリ61に格納される。
【0064】
図12の例示によれば、画像特徴合成動画(カラー)190では、例えば表示順序が右回り、表示速度が4fpsであるとすると、画像特徴合成画像(カラー)180a乃至180hが0度から順に右回りで1秒あたり4フレームの速度で切り替わりながら表示される。
【0065】
<処理A+B2+C+D+E>
前述したように、合成元画像152が、R画像152R、G画像152G、及びB画像152Bを処理Cで合成したカラー画像170であり(S1101:「カラー」、S1102)、且つ、合成対象画像151が入力画像150を処理Aで特徴強調処理したテクスチャ又はエッジ強調画像151であり(S1103:「する」、S1104)、且つ、この合成対象画像151に施される方向性を有する特徴強調処理がエンボス処理である(S1105:「エンボス」)と指定されている場合、画像特徴合成動画生成装置20は、以下述べる処理を実行する。
【0066】
図11に例示されるように、エンボス画像生成部70は、メモリ61から読み出した合成対象画像151をエンボス処理して、例えば45度刻みの8方向に対応する8つのエンボス画像(モノクロ)161a乃至161h(これを「エンボス画像(モノクロ)161」と総称する)を生成し(S1108、図13の処理B2)、これらをメモリ61に格納する。
【0067】
画像特徴合成画像生成部72は、メモリ61から読み出した8つのエンボス画像(モノクロ)161a乃至161hのそれぞれと、同メモリ61から読み出したカラー画像170とを合成して、8つの画像特徴合成画像(カラー)181a乃至181h(これを「画像特徴合成画像(カラー)181」と総称する)を生成し(図13の処理D)、続いて、画像特徴合成動画生成部75は、この画像特徴合成画像(カラー)181から、指定された表示順序及び表示速度に従って、画像特徴合成動画(カラー)191を生成する(図13の処理E)(以上、S1109)。この画像特徴合成動画(カラー)191は、メモリ61に格納される。
【0068】
図13の例示によれば、画像特徴合成動画(カラー)191では、例えば表示順序が右回り、表示速度が4fpsであるとすると、画像特徴合成画像(カラー)181a乃至181hが0度から順に右回りで1秒あたり4フレームの速度で切り替わりながら表示される。
【0069】
<処理A+B3+C+D+E>
前述したように、合成元画像152が、R画像152R、G画像152G、及びB画像152Bを処理Cで合成したカラー画像170であり(S1101:「カラー」、S1102)、且つ、合成対象画像150が入力画像150であり(S1103:「しない」、S1110)、且つ、この合成対象画像150に施される方向性を有する特徴強調処理がエンボス処理である(S1111:「エンボス」)と指定されている場合、画像特徴合成動画生成装置20は、以下述べる処理を実行する。
【0070】
図11に例示されるように、エンボス画像生成部70は、メモリ61から読み出した合成対象画像150をエンボス処理して、例えば45度刻みの8方向に対応する8つのエンボス画像(モノクロ)161a乃至161hを生成し(S1112、図13の処理B3)、これらをメモリ61に格納する。
【0071】
画像特徴合成画像生成部72は、メモリ61から読み出した8つのエンボス画像(モノクロ)161a乃至161hのそれぞれと、同メモリ61から読み出したカラー画像170とを合成して、8つの画像特徴合成画像(カラー)181a乃至181hを生成し(図13の処理D)、続いて、画像特徴合成動画生成部75は、この画像特徴合成画像(カラー)181から、指定された表示順序及び表示速度に従って、画像特徴合成動画(カラー)191を生成する(図13の処理E)(以上、S1113)。この画像特徴合成動画(カラー)191は、メモリ61に格納される。
【0072】
<処理A+B4+C+D+E>
前述したように、合成元画像152が、R画像152R、G画像152G、及びB画像152Bを処理Cで合成したカラー画像170であり(S1101:「カラー」、S1102)、且つ、合成対象画像151が入力画像150であり(S1103:「しない」、S1110)、且つ、この合成対象画像150に施される方向性を有する特徴強調処理がエッジ強調処理である(S1111:「エッジ強調」)と指定されている場合、画像特徴合成動画生成装置20は、以下述べる処理を実行する。
【0073】
図11に例示されるように、エッジ強調画像生成部71は、メモリ61から読み出した合成対象画像150をエッジ強調処理して、例えば45度刻みの8方向に対応する8つのエッジ強調画像(モノクロ)160a乃至160hを生成し(S1114、図12の処理B4)、これらをメモリ61に格納する。
【0074】
画像特徴合成画像生成部72は、メモリ61から読み出した8つのエッジ強調画像(モノクロ)160a乃至160hのそれぞれと、同メモリ61から読み出したカラー画像170とを合成して、8つの画像特徴合成画像(カラー)180a乃至180hを生成し(図12の処理D)、続いて、画像特徴合成動画生成部75は、この画像特徴合成画像(カラー)180から、指定された表示順序及び表示速度に従って、画像特徴合成動画(カラー)190を生成する(図12の処理E)(以上、S1115)。この画像特徴合成動画(カラー)190は、メモリ61に格納される。
【0075】
<同種画像及び異種画像>
前述した画像特徴合成動画生成処理(S1006)において、合成対象画像150、151は、合成元画像152と同一の画像(同一画像、同種画像)、合成元画像152と異なるが同画像152から得られる画像(同種画像)、及び合成元画像152と観測対象や観測手段等が異なるために同画像152からは得られない画像(異種画像)の何れであってもよい。ここで、観測対象は、対象物の他に例えば観測時期等も含み、観測手段は、観測装置の他に例えば観測波長等も含む。
【0076】
前述した同種画像の例として、合成元画像152が、R画像152R、G画像152G、及びB画像152Bからなる画像であり、合成対象画像150、151が、R画像152Rである場合が挙げられる。
【0077】
前述した異種画像の例として、合成元画像152及び合成対象画像150、151が、同一の観測対象を異なる観測手段で観測して得られた画像である場合や、異なる観測対象を同一の観測手段で観測して得られた画像である場合等が挙げられる。具体的には、合成元画像152及び合成対象画像150、151が同一対象物を異なる光学センサを通じて観測して得られた画像である場合、同一対象物に関して合成元画像152が光学センサ画像であり合成対象画像150、151がマイクロ波映像レーダ画像やハイパースペクトル画像等である場合、同一対象物に関して合成元画像152が光学センサ画像であり合成対象画像150、151がレーザスキャナ画像である場合、同一対象物に関して合成元画像152が光学センサ画像であり合成対象画像150、151が数値地形モデル(DTM:Digital Terrain Model)である場合、合成元画像152及び合成対象画像150、151が観測時期の異なる衛星画像である場合、合成元画像152及び合成対象画像150、151が計測時期の異なる検査・医療画像である場合等である。
【0078】
<合成画像>
前述した画像特徴合成動画生成処理(S1006)のうちの処理D(図12及び図13)において、画像特徴合成画像(カラー)180、181の各画素の画素値をQ(i)とし、合成元画像(カラー)152の各画素の画素値をPとし、エッジ強調画像(モノクロ)160及びエンボス画像(モノクロ)161の各画素の画素値をE(i)とし、iをエッジ強調処理及びエンボス処理の方向を示す1乃至8の自然数とすると、画素値Q(i)は、例えば、画素値E(i)が128以上の場合には次式(1)によって求めることができ、画素値E(i)が128未満の場合には次式(2)によって求めることができる。
Q(i)=2×(P+E(i)-P×E(i)/255)-255 …(1)
Q(i)=P×E(i)×2/255 …(2)
【0079】
===動画生成例===
図14乃至図19を参照しつつ、画像特徴合成動画の生成例について説明する。尚、本生成例では、エンボス処理における照射方向を45度刻みの8方向、動画におけるエンボス画像の表示される順序を右回りとしている。
【0080】
<<<第1の例>>>
図14では、(a)は、衛星画像の合成元画像(カラー)152を例示し、(b)は、同衛星画像の合成対象画像としてのテクスチャ強調画像(モノクロ)151を例示している。尚、本例では、合成対象画像の源泉としての入力画像(カラー)150は、合成元画像(カラー)152と同一である。また、テクスチャ強調処理では、分散の特徴量が求められている。図14(a)及び図14(b)を比較すると、テクスチャ強調画像(モノクロ)151は、合成元画像(カラー)152の画像特徴を強調するものではあるが、同画像152の画質を維持するものではないことがわかる。
【0081】
そこで、図15に例示されるように、本実施の形態の画像特徴合成動画生成装置20を用いて、図14(b)のテクスチャ強調画像(モノクロ)151に対し複数の照射方向を有するエンボス処理を施して複数のエンボス画像(モノクロ)161a乃至161hを生成する。続いて、図16に例示されるように、図15の複数のエンボス画像(モノクロ)161a乃至161hのそれぞれに、図14(a)の合成元画像(カラー)152を合成して、複数の画像特徴合成画像(カラー)181a乃至181hを生成する。
【0082】
図16の画像特徴合成画像(カラー)181a乃至181hでは、凹凸についての錯視が光の照射方向によって異なっている上に、各画像181a乃至181hの画質が図14(a)の合成元画像(カラー)152の画質を反映していることがわかる。よって、これらの画像特徴合成画像(カラー)181a乃至181hが連続的に切り替えられて表示されることにより、画像特徴合成動画(カラー)191(図17)では、合成元画像(カラー)152の画質が維持されつつ、擬似回転錯視の誘発によってテクスチャ強調画像(モノクロ)151の特徴が強調・先鋭化される。尚、図17は、画像特徴合成動画191を便宜上静止画として例示するものであり、実際の動的陰影変化を把握する上での単に一つの目安を与えるものである。
【0083】
<<<第2の例>>>
図18では、(a)は、蟹を対象物とする合成元画像(カラー)152’を例示し、(b)は、その画像特徴合成動画(カラー)191’を例示している。尚、図18(b)は、画像特徴合成動画191’を便宜上静止画として例示するものであり、実際の動的陰影変化を把握する上での単に一つの目安を与えるものである。また、本例では、合成対象画像の源泉としての入力画像(カラー)150’は、合成元画像(カラー)152’と同一である。
【0084】
本実施の形態の画像特徴合成動画生成装置20を用いて、図18(a)の入力画像(カラー)150’に対しエッジ強調処理を施して合成対象画像としてのエッジ強調画像(モノクロ)を生成し、このエッジ強調画像(モノクロ)に対し複数の照射方向を有するエンボス処理を施して複数のエンボス画像(モノクロ)を生成し、これら複数のエンボス画像(モノクロ)のそれぞれに、図18(a)の合成元画像(カラー)152’を合成して複数の画像特徴合成画像(カラー)を生成する。尚、エッジ強調処理では、Sobelフィルタが適用されている。
【0085】
これら複数の画像特徴合成画像(カラー)が連続的に切り替えられて表示されることにより、画像特徴合成動画(カラー)191’では、合成元画像(カラー)152’の画質が維持されつつ、擬似回転錯視の誘発によってエッジ強調画像(モノクロ)の特徴が強調される。即ち、図18(b)では、蟹の毛等のエッジが強調されつつ、蟹の甲羅表面等を表わす画質が維持されていることがわかる。
【0086】
<<<第3の例>>>
図19では、(a)は、コンクリート壁を対象物とする合成元画像(カラー)152”を例示し、(b)は、その画像特徴合成動画(カラー)191”を例示している。尚、図19(b)は、画像特徴合成動画191”を便宜上静止画として例示するものであり、実際の動的陰影変化を把握する上での単に一つの目安を与えるものである。また、本例では、合成対象画像の源泉としての入力画像(カラー)150”は、合成元画像(カラー)152”と同一である。
【0087】
本実施の形態の画像特徴合成動画生成装置20を用いて、図19(a)の入力画像(カラー)150”に対しテクスチャ強調処理を施して合成対象画像としてのテクスチャ強調画像(モノクロ)を生成し、このテクスチャ強調画像(モノクロ)に対し複数の照射方向を有するエンボス処理を施して複数のエンボス画像(モノクロ)を生成し、これら複数のエンボス画像(モノクロ)のそれぞれに、図19(a)の合成元画像(カラー)152”を合成して複数の画像特徴合成画像(カラー)を生成する。尚、テクスチャ強調処理では、平均の特徴量が求められている。
【0088】
これら複数の画像特徴合成画像(カラー)が連続的に切り替えられて表示されることにより、画像特徴合成動画(カラー)191”では、合成元画像(カラー)152”の画質が維持されつつ、擬似回転錯視の誘発によってテクスチャ強調画像(モノクロ)の特徴が強調される。即ち、図19(b)では、コンクリート壁のひび割れ等のエッジが強調されつつ、コンクリート壁の表面等を表わす画質が維持されていることがわかる。
【0089】
以上、第1乃至第3の例では、テクスチャやエッジ等が強調された合成対象画像にエンボス処理を施し(図13の処理B2)、これと合成元画像とを合成して得られた画像特徴合成画像から生成された画像特徴合成動画について述べた。
【0090】
同様に、合成対象画像にエッジ強調処理を施し(図12の処理B1、B4)、これと合成元画像とを合成して得られた画像特徴合成画像から生成された画像特徴合成動画についても、前述した第1乃至第3の例と同等の効果が得られる。即ち、画像特徴合成動画において、合成元画像の画質が維持されつつ、擬似回転錯視の誘発によって合成対象画像としてのエッジ強調画像の特徴が強調される。
【0091】
===画質維持且つ特徴強調===
本実施の形態の画像特徴合成動画生成装置20は、少なくとも、合成対象画像150、151に対して複数方向のエッジをそれぞれ強調した複数のエッジ強調画像160を生成するエッジ強調画像生成部71と、複数のエッジ強調画像160と合成元画像152をそれぞれ合成した複数の合成画像(画像特徴合成画像180)を生成する合成画像生成部(画像特徴合成画像生成部72)と、複数の合成画像が連続的に切り替えて表示される合成動画(画像特徴合成動画190)を生成する合成動画生成部(画像特徴合成動画生成部75)とを備えていればよい。これにより、合成動画において、合成元画像152の画質が維持されつつ、擬似回転錯視の誘発によってエッジ強調画像160の特徴が強調される。
【0092】
また、前述した画像特徴合成動画生成装置20において、合成対象画像151は、所定の要素が強調された画像である。これにより、所定の要素が更に強調されるため、合成動画における画像強調・先鋭化がより向上する。
【0093】
また、前述した画像特徴合成動画生成装置20において、所定の要素は、テクスチャ又はエッジである。これにより、合成元画像152におけるきめや粗さ等又は辺縁(エッジ)が更に強調されるため、合成動画における画像強調・先鋭化がより一層向上する。
【0094】
また、前述した画像特徴合成動画生成装置20において、合成対象画像150、151は、合成元画像152とは異なる画像であることとしてもよい。これにより、例えば、合成対象画像150、151の特徴がより際立つ。
【0095】
また、前述した画像特徴合成動画生成装置20において、合成対象画像150、151は、合成元画像152と同一の画像であることとしてもよい。これにより、例えば、合成対象画像150、151の特徴が判読し易くなる。
【0096】
また、前述した画像特徴合成動画生成装置20において、合成元画像152は、R画像152R、G画像152G、B画像152Bを含んで構成されることとしてもよい。これにより、合成動画において、画質の維持及び特徴の強調がより一層向上する。
【0097】
また、本実施の形態の画像特徴合成動画生成装置20は、少なくとも、所定の要素が強調された合成対象画像151に対して複数方向をそれぞれ光源とみなす複数のエンボス画像161を生成するエンボス画像生成部70と、複数のエンボス画像161と合成元画像152をそれぞれ合成した複数の合成画像(画像特徴合成画像181)を生成する合成画像生成部(画像特徴合成画像生成部72)と、複数の合成画像が連続的に切り替えて表示される合成動画(画像特徴合成動画191)を生成する合成動画生成部(画像特徴合成動画生成部75)とを備えていればよい。
これにより、合成動画において、合成元画像152の画質が維持されつつ、擬似回転錯視の誘発によってエンボス画像161の特徴が強調される。
【0098】
以上述べたように、本実施の形態の画像特徴合成動画生成装置20によれば、様々な組合せの合成元画像及び合成対象画像について、合成元画像の画質を維持しつつ合成対象画像の特徴が強調される。よって、同装置20は、例えば、土地被覆変化解析(環境変化分析)、鉱物探査(リニアメント解析)、防災(被災領域の分析把握)、医療画像分析、検査計測画像分析等に適用可能である。
【0099】
===その他の画像特徴合成動画生成処理===
図20乃至図24を参照しつつ、前述した画像特徴合成動画生成装置20によるその他の画像特徴合成動画生成処理について説明する。
尚、図20は、画像特徴合成動画を生成するためのその他の動画生成画面200の一例を示す模式図である。図21は、画像特徴合成動画生成システムのその他の処理手順の一例を示すフローチャートである。図22は、画像特徴合成動画生成装置20のその他の処理手順の一例を示すフローチャートである。図23は、その他の画像特徴合成動画生成処理のイメージ図である。図24(a)は、衛星画像の合成元画像251の一例を示す図であり、図24(b)は、同衛星画像の合成対象画像250の一例を示す図であり、図24(c)は、同衛星画像の画像特徴合成動画300の一例を示す図である。
【0100】
<<<クライアントのその他の画面>>>
図20に例示されるように、前述したクライアント10において、画像特徴合成動画を生成する際の条件等を入力するための動画生成画面200は、合成元画像入力エリア210と、合成対象画像入力エリア211と、動画生成条件選択エリア212と、動画生成ボタン213とに分かれている。
【0101】
合成元画像入力エリア210では、合成元画像の格納先(ファイルパス名等)が入力されるようになっている。また、合成元画像入力エリア210では、入力された合成元画像を、更に、GB画像(R画像及びG画像)、RB画像(R画像及びG画像)、及びRG画像(R画像及びG画像)の何れの状態とするかが選択されるようになっている。
合成対象画像入力エリア211は、合成対象画像の格納先(ファイルパス名等)が入力されるようになっている。
【0102】
動画生成条件選択エリア212は、更に、照射方向選択エリア212aと、エンボスパターン選択エリア212bと、表示順序選択エリア212cと、表示速度選択エリア212dとに分かれている。照射方向選択エリア212aでは、合成対象画像にエンボス処理を施す際の照射方向が選択されるようになっており、例えば、4方向、8方向、及び16方向の何れかが選択されるようになっている。エンボスパターン選択エリア212bでは、エンボス処理のための異なるフィルタ係数(行列のサイズや重み等)を表わす例えば3つのパターンのエンボス処理の何れかが選択されるようになっている。表示順序選択エリア212cでは、画像特徴合成動画におけるエンボス画像の表示順序が選択されるようになっており、例えば、右回り、左回り、ランダム、一方向、たすきがけの何れかが選択されるようになっている。表示速度選択エリア212dでは、画像特徴合成動画におけるエンボス画像の切り替わる速度が選択されるようになっており、例えば、4fps(flame per second)、8fps、16fpsの何れかが選択されるようになっている。
動画生成ボタン213は、前述した各エリア210乃至212で選択又は入力された情報を画像特徴合成動画生成装置20に送信するためのものである。
【0103】
<<<画像特徴合成動画生成システムのその他の動作>>>
図21に例示されるように、クライアント10では、合成元画像及び合成対象画像が選択される(S2001)。具体的には、動画生成画面200における合成元画像入力エリア210及び合成対象画像入力エリア211において、合成元画像の格納先及び合成対象画像の格納先がそれぞれ入力される。尚、合成元画像に関しては、更に、GB画像、RB画像、及びRG画像の何れかが選択される。
【0104】
また、クライアント10では、画像特徴合成動画を生成するための動画生成条件が選択される(S2002)。具体的には、動画生成画面200における動画生成条件選択エリア212において、照射方向、エンボスパターン、表示順序、及び表示速度が選択される。
【0105】
動画生成画面200の動画生成ボタン213が押下されると、クライアント10は、入力又は選択された画像及び動画生成条件を、画像特徴合成動画生成装置20に送信する(S2003)。
画像特徴合成動画生成装置20は、クライアント10から送信されてくる画像及び動画生成条件を受信し(S2004)、メモリ61に格納する。
画像特徴合成動画生成装置20は、メモリ61から画像及び動画生成条件を読み出し、画像特徴合成動画の生成処理を実行し(S2005)、メモリ61に格納する。
画像特徴合成動画生成装置20は、メモリ61から画像特徴合成動画を読み出してクライアント10に送信する(S2006)。
クライアント10は、画像特徴合成動画生成装置20から送信されてくる画像特徴合成動画を受信し(S2007)、前述した画像表示画面130の画像特徴合成動画表示領域135(図9参照)に動画を表示する(S2008)。
【0106】
<<<画像特徴合成動画生成装置のその他の動作>>>
図22乃至図24を参照しつつ、前述した画像特徴合成動画生成処理(S2005)について詳細に説明する。
図22に例示されるように、画像特徴合成動画生成装置20は、メモリ61に格納された合成元画像、合成対象画像、及び動画生成条件を読み出し、これら指定された情報に応じて、以下述べる処理を実行する。
画像特徴合成動画生成装置20は、合成元画像251が、GB画像、RB画像、及びRG画像の何れに指定されているかを判別する(S2101)。
【0107】
<合成元画像GB/合成対象画像R>
合成元画像251がGB画像に指定されていると判別された場合(S2101:「GB」)、G画像及びB画像が合成され(S2102、図23の処理X)、これにより得られたGB画像270が合成元画像としてメモリ61に格納される。尚、メモリ61に合成元画像251として画像270が予め記憶されていることとしてもよい。
【0108】
前述したエンボス画像生成部70は、メモリ61から読み出した合成対象画像250のうちのR画像のみに対し例えば45度刻みの8方向に対応する8つのエンボス画像(モノクロ)260a乃至260h(これを「エンボス画像(モノクロ)260」と総称する)を生成し(S2103、図23の処理V)、これらをメモリ61に格納する。
【0109】
また、このエンボス画像生成部70は、メモリ61から読み出した8つのエンボス画像(モノクロ)260a乃至260hのそれぞれと、同メモリ61から読み出したR画像の合成対象画像250とを合成して、8つのエンボス画像(カラー)280a乃至280h(これを「エンボス画像(カラー)280」と総称する)を生成する(S2104、図23の処理W)。
【0110】
前述した画像特徴合成画像生成部72は、メモリ61から読み出した8つのエンボス画像(カラー)280a乃至280hのそれぞれと、同メモリ61から読み出したGB画像270とを合成して、8つの画像特徴合成画像(カラー)290a乃至290h(これを「画像特徴合成画像(カラー)290」と総称する)を生成し(図23の処理Y)、続いて、前述した画像特徴合成動画生成部75は、この画像特徴合成画像(カラー)290から、指定された表示順序及び表示速度に従って、画像特徴合成動画(カラー)300を生成する(図23の処理Z)(以上、S2105)。この画像特徴合成動画(カラー)300は、メモリ61に格納される。
【0111】
図23の例示によれば、画像特徴合成動画(カラー)300では、例えば表示順序が右回り、表示速度が4fpsであるとすると、画像特徴合成画像(カラー)290a乃至290hが0度から順に右回りで1秒あたり4フレームの速度で切り替わりながら表示される。
【0112】
<合成元画像RB/合成対象画像G>
合成元画像がRB画像である場合も前述の場合と同様である。即ち、合成元画像251がRB画像に指定されていると判別された場合(S2101:「RB」)、R画像及びB画像が合成されて、RB画像の合成元画像251が生成される(S2106)。
エンボス画像生成部70は、G画像の合成対象画像250に対しエンボス画像(モノクロ)260a乃至260hを生成し(S2107)、更に、これらのエンボス画像(モノクロ)260a乃至260hのそれぞれと、G画像の合成対象画像250とを合成して、エンボス画像(カラー)280a乃至280hを生成する(S2108)。
画像特徴合成画像生成部72は、エンボス画像(カラー)280a乃至280hのそれぞれと、RB画像の合成元画像251とを合成して、画像特徴合成画像(カラー)290a乃至290hを生成し、続いて、画像特徴合成動画生成部75は、この画像特徴合成画像(カラー)290から、指定された表示順序及び表示速度に従って、画像特徴合成動画(カラー)300を生成する(以上、S2109)。
【0113】
<合成元画像RG/合成対象画像B>
合成元画像がRG画像である場合も前述の場合と同様である。即ち、合成元画像251がRG画像に指定されていると判別された場合(S2101:「RG」)、R画像及びG画像が合成されて、RG画像の合成元画像251が生成される(S2110)。
エンボス画像生成部70は、B画像の合成対象画像250に対しエンボス画像(モノクロ)260a乃至260hを生成し(S2111)、更に、これらのエンボス画像(モノクロ)260a乃至260hのそれぞれと、B画像の合成対象画像250とを合成して、エンボス画像(カラー)280a乃至280hを生成する(S2112)。
画像特徴合成画像生成部72は、エンボス画像(カラー)280a乃至280hのそれぞれと、RG画像の合成元画像251とを合成して、画像特徴合成画像(カラー)290a乃至290hを生成し、続いて、画像特徴合成動画生成部75は、この画像特徴合成画像(カラー)290から、指定された表示順序及び表示速度に従って、画像特徴合成動画(カラー)300を生成する(以上、S2113)。
【0114】
<同種画像及び異種画像>
前述した画像特徴合成動画生成処理(S2005)において、合成対象画像250は、合成元画像251から得られる画像(同種画像)、及び、合成元画像251と観測対象や観測手段等が異なるために同画像251からは得られない画像(異種画像)の何れであってもよい。ここで、観測対象は、対象物の他に例えば観測時期等も含み、観測手段は、観測装置の他に例えば観測波長等も含む。
特に異種画像の例として、合成元画像251及び合成対象画像250が観測時期の異なる衛星画像である場合、合成元画像251及び合成対象画像250が計測時期の異なる検査・医療画像である場合、同一対象物に関して合成元画像251が光学センサ画像であり合成対象画像250がマイクロ波映像レーダ画像やハイパースペクトル画像等である場合等が挙げられる。
この場合、画像特徴合成動画300では、合成透かし効果によって、合成元画像251及び合成対象画像250について画像間の変化箇所が強調されたり、バンド間の画像特徴が強調されたりする。
【0115】
<<<動画生成例>>>
図24では、(a)は、衛星画像のRGB画像の合成元画像(カラー)251を例示し、(b)は、同衛星画像のG画像の合成対象画像(モノクロ)250を例示している。
本実施の形態の画像特徴合成動画生成装置20を用いて、図24(b)のG画像の合成対象画像(モノクロ)250に対し複数の照射方向を有するエンボス処理を施して複数のエンボス画像(モノクロ)260a乃至260hを生成し、続いて、これら複数のエンボス画像(モノクロ)260a乃至260hのそれぞれに、G画像の合成対象画像(カラー)250を合成して、複数のエンボス画像(カラー)280a乃至280hを生成し、続いて、これら複数のエンボス画像(カラー)280a乃至280hのそれぞれに、RB画像の合成元画像251を合成して、複数の画像特徴合成画像(カラー)290a乃至290hを生成する。
【0116】
図24(c)の画像特徴合成動画(カラー)300では、複数の画像特徴合成画像(カラー)290a乃至290hが連続的に切り替えられて表示されることにより、合成元画像(カラー)251の画質が維持されつつ、合成透かし効果によって緑色の対象物に係る特徴が強調される。ここで、図24(c)は、画像特徴合成動画300を便宜上静止画として例示するものであり、実際の動的陰影変化を把握する上での単に一つの目安を与えるものである。
【0117】
このように、画像合成に伴う透かし効果が得られることから、合成元画像及び合成対象画像の組合せによって、新たな合成画像を創出する可能性が生じる。従って、画像特徴合成動画生成装置20は、画像特徴の分析支援、デザイン、広告等の画像合成・表示等に適用できる。
尚、本生成例では、エンボス処理における照射方向を45度刻みの8方向、動画におけるエンボス画像の表示される順序を右回りとしている。
【0118】
===その他の実施の形態===
前述した実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
【0119】
例えば、前述した実施の形態においては、クライアント10を用いた構成としたが、クライアント10を用いず、画像特徴合成動画生成装置20において、画像の選択、動画生成条件の入力、動画の表示等が行われることとしてもよい。
【図面の簡単な説明】
【0120】
【図1】画像特徴合成動画生成システムの構成例を示すブロック図である。
【図2】図1のシステムにおけるクライアントの構成例を示すブロック図である。
【図3】図1のシステムにおける画像特徴合成動画生成装置の構成例を示すブロック図である。
【図4】図3の画像特徴合成動画生成装置の機能ブロック図である。
【図5】エンボス処理における仮想光の照射方向の一例を示す模式図である。
【図6】エンボス処理におけるフィルタ係数の一例を示す模式図である。
【図7】エンボス処理の一例を示す模式図である。
【図8】動画生成画面の一例を示す模式図である。
【図9】動画表示画面の一例を示す模式図である。
【図10】画像特徴合成動画生成システムの処理手順の一例を示すフローチャートである。
【図11】画像特徴合成動画生成装置の処理手順の一例を示すフローチャートである。
【図12】画像特徴合成動画生成処理のイメージ図である。
【図13】画像特徴合成動画生成処理のもう一つのイメージ図である。
【図14】(a)は、衛星画像の合成元画像の一例を示す図であり、(b)は、(a)の合成対象画像の一例を示す図である。
【図15】図14(b)の合成対象画像のエンボス画像の一例を示す図である。
【図16】図14(a)の合成元画像と図15のエンボス画像との画像特徴合成画像の一例を示す図である。
【図17】図16の画像特徴合成画像から生成された画像特徴合成動画(但し静止画)の一例を示す図である。
【図18】(a)は、蟹の合成元画像の一例を示す図であり、(b)は、(a)の画像特徴合成動画(但し静止画)の一例を示す図である。
【図19】(a)は、コンクリート壁の合成元画像の一例を示す図であり、(b)は、(a)の画像特徴合成動画(但し静止画)の一例を示す図である。
【図20】その他の動画生成画面の一例を示す模式図である。
【図21】画像特徴合成動画生成システムのその他の処理手順の一例を示すフローチャートである。
【図22】画像特徴合成動画生成装置のその他の処理手順の一例を示すフローチャートである。
【図23】その他の画像特徴合成動画生成処理のイメージ図である。
【図24】(a)は、衛星画像の合成元画像の一例を示す図であり、(b)は、(a)の合成対象画像の一例を示す図であり、(c)は、(a)及び(b)の画像特徴合成動画の一例を示す図である。
【符号の説明】
【0121】
10 クライアント
20 画像特徴合成動画生成装置
30 ネットワーク
40 CPU
41 メモリ
42 記憶装置
43 表示インタフェース
44 入力インタフェース
45 通信インタフェース
46 記録媒体読取装置
50 表示装置
51 入力装置
52 記録媒体
53 記録媒体
60 CPU
61 メモリ
62 記憶装置
63 通信インタフェース
64 記録媒体読取装置
70 エンボス画像生成部
71 エッジ強調画像生成部
72 画像特徴合成画像生成部
75 画像特徴合成動画生成部
76 特徴強調処理部
100、200 動画生成画面
110、210 合成元画像入力エリア
111、211 合成対象画像入力エリア
111a 入力画像入力エリア
111b 特徴強調処理選択エリア
112、212 動画生成条件選択エリア
112a 方向選択エリア
112b フィルタ選択エリア
112c、212c 表示順序選択エリア
112d、212d 表示速度選択エリア
113 動画生成ボタン
130 動画表示画面
135 画像特徴合成動画表示領域
150、150’、150” 合成対象画像、入力画像
151 合成対象画像、テクスチャ強調画像、エッジ強調画像
152 合成元画像
152R R画像
152G G画像
152B B画像
160、160a乃至160h エッジ強調画像
161、161a乃至161h エンボス画像
170 合成元画像、カラー画像
180、181、180a乃至180h、181a乃至181h 画像特徴合成画像
190、191、191’、191” 画像特徴合成動画
212a 照射方向選択エリア
212b エンボスパターン選択エリア
250 合成対象画像、R画像
251 合成元画像
260、260a乃至260h エンボス画像
270 合成元画像、GB画像
280、280a乃至280h エンボス画像
290、290a乃至290h 画像特徴合成画像
300 画像特徴合成動画
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図20】
13
【図21】
14
【図22】
15
【図23】
16
【図14】
17
【図15】
18
【図16】
19
【図17】
20
【図18】
21
【図19】
22
【図24】
23