TOP > 国内特許検索 > 画像処理装置、画像処理方法及び画像処理用プログラム > 明細書

明細書 :画像処理装置、画像処理方法及び画像処理用プログラム

発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2017-041820 (P2017-041820A)
公開日 平成29年2月23日(2017.2.23)
発明の名称または考案の名称 画像処理装置、画像処理方法及び画像処理用プログラム
国際特許分類 H04N   7/01        (2006.01)
H04N   5/232       (2006.01)
H04N   5/343       (2011.01)
FI H04N 7/01 Z
H04N 5/232 Z
H04N 5/335 430
請求項の数または発明の数 10
出願形態 OL
全頁数 18
出願番号 特願2015-163487 (P2015-163487)
出願日 平成27年8月21日(2015.8.21)
発明者または考案者 【氏名】筒井 弘
【氏名】上坂 浩貴
【氏名】鴻上 慎吾
出願人 【識別番号】504173471
【氏名又は名称】国立大学法人北海道大学
個別代理人の代理人 【識別番号】110000958、【氏名又は名称】特許業務法人 インテクト国際特許事務所
【識別番号】100120189、【弁理士】、【氏名又は名称】奥 和幸
【識別番号】100173510、【弁理士】、【氏名又は名称】美川 公司
審査請求 未請求
テーマコード 5C024
5C063
5C122
Fターム 5C024EX17
5C024EX47
5C024HX50
5C024JX35
5C063BA08
5C063BA12
5C063BA20
5C063CA05
5C063CA07
5C122DA03
5C122DA04
5C122EA67
5C122EA70
5C122FB13
5C122FH12
5C122GA24
5C122HA42
5C122HA89
5C122HB01
要約 【課題】高解像度/高フレームレートの動画像情報をより簡易な構成で生成することが可能な画像処理装置を提供する。
【解決手段】時刻tに対応し且つ既定の解像度/フレームレートのフレーム画像情報Fb(t)と、同じ解像度/フレームレートで且つ時刻t+Tbに対応するフレーム画像情報Fb(t+Tb)と、時刻tと時刻t+Tbとの間の時刻t+t’に対応する補間用フレーム画像情報Fa(t+t’)と、を用いて、フレーム画像情報Fbの解像度に対応した解像度を有し且つ時刻t+t’に対応した補間フレーム画像情報F^(t+t’)を生成し、フレーム画像情報Fb(t)と、フレーム画像情報Fb(t+Tb)と、補間フレーム画像情報F^(t+t’)と、を用いて、被写体に対応した出力画像情報Foutを生成する。
【選択図】図1
特許請求の範囲 【請求項1】
予め設定された解像度及びフレームレートで被写体を撮像して得られたフレーム画像情報を取得する第1取得手段と、
前記フレーム画像情報より低い解像度、及び、当該フレーム画像情報より高いフレームレートで前記被写体を撮像して得られた補間用フレーム画像情報を取得する第2取得手段と、
第1時刻に対応する前記フレーム画像情報である第1フレーム画像情報と、前記第1時刻より後の第2時刻に対応する前記フレーム画像情報である第2フレーム画像情報と、前記第1時刻と前記第2時刻との間の第3時刻に対応する前記補間用フレーム画像情報と、を用いて、前記フレーム画像情報の解像度に対応した解像度を有し且つ前記第3時刻に対応した補間フレーム画像情報を生成する補間手段と、
前記第1フレーム画像情報と、前記第2フレーム画像情報と、前記生成された補間フレーム画像情報と、を用いて、前記被写体に対応した動画像情報を生成する生成手段と、
を備えることを特徴とする画像処理装置。
【請求項2】
請求項1に記載の画像処理装置において、
前記補間手段は、
前記第1フレーム画像情報と前記補間用フレーム画像情報とに基づいたグローバルモーション推定法による第1動き推定処理を行う第1動き推定手段と、
前記第2フレーム画像情報と前記補間用フレーム画像情報とを用いたグローバルモーション推定法による第2動き推定処理を行う第2動き推定手段と、
前記第1動き推定処理の結果と前記第1フレーム画像情報とに基づいた第1動き補償処理を行う第1動き補償手段と、
前記第2動き推定処理の結果と前記第2フレーム画像情報とに基づいた第2動き補償処理を行う第2動き補償手段と、
前記第1動き補償処理の結果と前記第2動き補償処理の結果とを合成して前記補間フレーム画像情報を生成する合成手段と、
を備えることを特徴とする画像処理装置。
【請求項3】
請求項1又は請求項2に記載の画像処理装置において、
前記フレーム画像情報及び前記補間用フレーム画像情報をそれぞれ記録する記録手段を更に備え、
前記第1取得手段及び前記第2取得手段は、前記記録されているフレーム画像情報及び補間用フレーム画像情報を前記記録手段からそれぞれ取得することを特徴とする画像処理装置。
【請求項4】
請求項1から請求項3のいずれか一項に記載の画像処理装置において、
前記フレーム画像情報と前記補間用フレーム画像情報とに基づいて、前記被写体における前景と背景とをそれぞれ区別して検出する前景/背景検出手段と、
前記フレーム画像情報と前記補間用フレーム画像情報とに基づいて、前記前景における動き量を検出する動き量検出手段と、
を更に備え、
前記補間手段は、各前記検出された背景及び前景並びに動き量を用いて前記補間フレーム画像情報を生成することを特徴とする画像処理装置。
【請求項5】
請求項1から請求項4のいずれか一項に記載の画像処理装置において、
前記被写体を撮像して前記フレーム画像情報及び前記補間用フレーム画像情報をそれぞれ生成する撮像手段を更に備えることを特徴とする画像処理装置。
【請求項6】
請求項5に記載の画像処理装置において、前記撮像手段を切り換えて前記フレーム画像情報及び前記補間用フレーム画像情報をそれぞれ時分割的に生成する切換制御手段を更に備えることを特徴とする画像処理装置。
【請求項7】
請求項5に記載の画像処理装置において、
前記撮像手段は、
前記被写体を撮像して前記フレーム画像情報を生成する第1撮像手段と、
前記被写体を撮像して前記補間用フレーム画像情報を生成する第2撮像手段と、
前記被写体からの光を分光して前記第1撮像手段及び前記第2撮像手段にそれぞれに出射する分光手段と、
を備え、
前記第1撮像手段は、前記分光された一方の前記光を受光して前記フレーム画像情報を生成し、
前記第2撮像手段は、前記分光された他方の前記光を受光して前記補間用フレーム画像情報を生成することを特徴とする画像処理装置。
【請求項8】
請求項5に記載の画像処理装置において、
前記撮像手段は、
前記被写体を撮像して前記フレーム画像情報を生成する第1撮像手段と、
前記被写体を撮像して前記補間用フレーム画像情報を生成する第2撮像手段と、
を備え、
前記第1撮像手段と前記第2撮像手段とが隣接する位置に別個に設置されていることを特徴とする画像処理装置。
【請求項9】
予め設定された解像度及びフレームレートで被写体を撮像して得られたフレーム画像情報と、前記フレーム画像情報より低い解像度、及び、当該フレーム画像情報より高いフレームレートで前記被写体を撮像して得られた補間用フレーム画像情報と、がそれぞれ入力される画像処理装置において実行される画像処理方法であって、
前記フレーム画像情報を取得する第1取得工程と、
前記補間用フレーム画像情報を取得する第2取得工程と、
第1時刻に対応する前記フレーム画像情報である第1フレーム画像情報と、前記第1時刻より後の第2時刻に対応する前記フレーム画像情報である第2フレーム画像情報と、前記第1時刻と前記第2時刻との間の第3時刻に対応する前記補間用フレーム画像情報と、を用いて、前記フレーム画像情報の解像度に対応した解像度を有し且つ前記第3時刻に対応した補間フレーム画像情報を生成する補間工程と、
前記第1フレーム画像情報と、前記第2フレーム画像情報と、前記生成された補間フレーム画像情報と、を用いて、前記被写体に対応した動画像情報を生成する生成工程と、
を含むことを特徴とする画像処理方法。
【請求項10】
予め設定された解像度及びフレームレートで被写体を撮像して得られたフレーム画像情報と、前記フレーム画像情報より低い解像度、及び、当該フレーム画像情報より高いフレームレートで前記被写体を撮像して得られた補間用フレーム画像情報と、がそれぞれ入力される画像処理装置に含まれるコンピュータを、
前記フレーム画像情報を取得する第1取得手段、
前記補間用フレーム画像情報を取得する第2取得手段、
第1時刻に対応する前記フレーム画像情報である第1フレーム画像情報と、前記第1時刻より後の第2時刻に対応する前記フレーム画像情報である第2フレーム画像情報と、前記第1時刻と前記第2時刻との間の第3時刻に対応する前記補間用フレーム画像情報と、を用いて、前記フレーム画像情報の解像度に対応した解像度を有し且つ前記第3時刻に対応した補間フレーム画像情報を生成する補間手段、及び、
前記第1フレーム画像情報と、前記第2フレーム画像情報と、前記生成された補間フレーム画像情報と、を用いて、前記被写体に対応した動画像情報を生成する生成手段、
として機能させることを特徴とする画像処理用プログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法及び画像処理用プログラムの技術分野に属し、より詳細には、動画像に相当する動画像情報を生成する画像処理装置及び画像処理方法並びに当該画像処理装置用のプログラムの技術分野に属する。
【背景技術】
【0002】
近年、被写体をデジタル的に撮像することが広く行われている。このような撮像には、静止画像としての撮像と動画像としての撮像とがあるが、いずれの場合も、一般に高画質化が求められている。
【0003】
ここで、被写体を動画像として撮像する場合の高画質化には、動画像化する際の雑音を低減又は除去する方法、画像としての解像度を上げる方法、又は、動画像としてのいわゆるフレームレートを上げる方法などがある。このような動画像における高画質化を目的とした技術を開示する先行技術文献としては、例えば下記特許文献1及び特許文献2がある。
【0004】
このとき下記特許文献1に開示されている技術はいわゆるフレーム補間に関する技術であり、動画像内における動きベクトルの信頼度に基づき、動画像を構成する各フレーム間で破綻が生じないように、当該フレーム間を補間する構成とされている。また下記特許文献2に開示されている技術では、雑音の軽減を目的として、動画像を構成する複数のフレーム画像を重ねる際の位置合わせを適切に行うと共に、動画像内の動きベクトルに基づいて混合率の適正化を図る構成とされている。
【先行技術文献】
【0005】

【特許文献1】特開2008-244846号公報
【特許文献2】特開2014-187610号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、上記特許文献1に開示されている技術では、例えば高解像度且つ通常のフレームレートの動画像から高解像度且つ高フレームレートの動画像を生成して高画質化を図る場合、動きの速い被写体を撮像した領域については動きの推定が困難となり、動きベクトルとしての信頼性が低下する。このため、上記高画質化のためには、上記特許文献1に示されるように当該信頼性の低下を補填する他の処理を追加する必要があるという問題点がある。
【0007】
また、動画像の高画質化のためには、一般に雑音の除去に比して解像度及びフレームレートの適正化の方が簡易な処理であるところ、上記特許文献2に開示されている技術では、当該解像度及びフレームレートの適正化(制御)については何ら言及されていない。
【0008】
そこで本発明は、上記の問題点等に鑑みて為されたもので、その課題の一例は、高解像度/高フレームレートの動画像情報をより簡易な構成で生成することが可能な画像処理装置及び画像処理方法並びに当該画像処理装置用のプログラムを提供することにある。
【課題を解決するための手段】
【0009】
上記の課題を解決するために、請求項1に記載の発明は、予め設定された解像度及びフレームレートで被写体を撮像して得られたフレーム画像情報を取得するストレージ部等の第1取得手段と、前記フレーム画像情報より低い解像度、及び、当該フレーム画像情報より高いフレームレートで前記被写体を撮像して得られた補間用フレーム画像情報を取得するストレージ部等の第2取得手段と、第1時刻に対応する前記フレーム画像情報である第1フレーム画像情報と、前記第1時刻より後の第2時刻に対応する前記フレーム画像情報である第2フレーム画像情報と、前記第1時刻と前記第2時刻との間の第3時刻に対応する前記補間用フレーム画像情報と、を用いて、前記フレーム画像情報の解像度に対応した解像度を有し且つ前記第3時刻に対応した補間フレーム画像情報を生成するグローバルモーション推定部等の補間手段と、前記第1フレーム画像情報と、前記第2フレーム画像情報と、前記生成された補間フレーム画像情報と、を用いて、前記被写体に対応した動画像情報を生成する補間部等の生成手段と、を備える。
【0010】
上記の課題を解決するために、請求項9に記載の発明は、予め設定された解像度及びフレームレートで被写体を撮像して得られたフレーム画像情報と、前記フレーム画像情報より低い解像度、及び、当該フレーム画像情報より高いフレームレートで前記被写体を撮像して得られた補間用フレーム画像情報と、がそれぞれ入力される画像処理装置において実行される画像処理方法であって、前記フレーム画像情報を取得する第1取得工程と、前記補間用フレーム画像情報を取得する第2取得工程と、第1時刻に対応する前記フレーム画像情報である第1フレーム画像情報と、前記第1時刻より後の第2時刻に対応する前記フレーム画像情報である第2フレーム画像情報と、前記第1時刻と前記第2時刻との間の第3時刻に対応する前記補間用フレーム画像情報と、を用いて、前記フレーム画像情報の解像度に対応した解像度を有し且つ前記第3時刻に対応した補間フレーム画像情報を生成する補間工程と、前記第1フレーム画像情報と、前記第2フレーム画像情報と、前記生成された補間フレーム画像情報と、を用いて、前記被写体に対応した動画像情報を生成する生成工程と、を含む。
【0011】
上記の課題を解決するために、請求項10に記載の発明は、予め設定された解像度及びフレームレートで被写体を撮像して得られたフレーム画像情報と、前記フレーム画像情報より低い解像度、及び、当該フレーム画像情報より高いフレームレートで前記被写体を撮像して得られた補間用フレーム画像情報と、がそれぞれ入力される画像処理装置に含まれるコンピュータを、前記フレーム画像情報を取得する第1取得手段、前記補間用フレーム画像情報を取得する第2取得手段、第1時刻に対応する前記フレーム画像情報である第1フレーム画像情報と、前記第1時刻より後の第2時刻に対応する前記フレーム画像情報である第2フレーム画像情報と、前記第1時刻と前記第2時刻との間の第3時刻に対応する前記補間用フレーム画像情報と、を用いて、前記フレーム画像情報の解像度に対応した解像度を有し且つ前記第3時刻に対応した補間フレーム画像情報を生成する補間手段、及び、前記第1フレーム画像情報と、前記第2フレーム画像情報と、前記生成された補間フレーム画像情報と、を用いて、前記被写体に対応した動画像情報を生成する生成手段、として機能させる。
【0012】
請求項1、請求項9又は請求項10のいずれか一項に記載の発明によれば、既定の解像度及びフレームレートであり且つ第1時刻及び第2時刻にそれぞれ対応した第1フレーム画像情報及び第2フレーム画像情報と、第1フレーム画像情報及び第2フレーム画像情報より低解像度/高フレームレートであり且つ第3時刻に対応した補間用フレーム画像情報と、を用いて、フレーム画像情報の解像度に対応した解像度を有し且つ第3時刻に対応した補間フレーム画像情報を生成する。そして、第1フレーム画像情報と第2フレーム画像情報と補間フレーム画像情報とを用いて動画像情報を生成する。よって、解像度及びフレームレートがそれぞれ異なる二種類のフレーム画像情報を用いることで、高解像度/高フレームレートの動画像情報をより簡易な構成で生成することができる。
【0013】
上記の課題を解決するために、請求項2に記載の発明は、請求項1に記載の画像処理装置において、前記補間手段は、前記第1フレーム画像情報と前記補間用フレーム画像情報とに基づいたグローバルモーション推定法による第1動き推定処理を行うグローバルモーション推定部等の第1動き推定手段と、前記第2フレーム画像情報と前記補間用フレーム画像情報とを用いたグローバルモーション推定法による第2動き推定処理を行うグローバルモーション推定部等の第2動き推定手段と、前記第1動き推定処理の結果と前記第1フレーム画像情報とに基づいた第1動き補償処理を行う動き補償部等の第1動き補償手段と、前記第2動き推定処理の結果と前記第2フレーム画像情報とに基づいた第2動き補償処理を行う動き補償部等の第2動き補償手段と、前記第1動き補償処理の結果と前記第2動き補償処理の結果とを合成して前記補間フレーム画像情報を生成するブレンド部等の合成手段と、を備える。
【0014】
請求項2に記載の発明によれば、請求項1に記載の発明の作用に加えて、補間手段が、第1動き推定手段、第2動き推定手段、第1動き補償手段、第2動き補償手段及び合成手段を備えるので、補間フレーム画像情報を高精度に生成することができる。
【0015】
上記の課題を解決するために、請求項3に記載の発明は、請求項1又は請求項2に記載の画像処理装置において、前記フレーム画像情報及び前記補間用フレーム画像情報をそれぞれ記録するストレージ部等の記録手段を更に備え、前記第1取得手段及び前記第2取得手段は、前記記録されているフレーム画像情報及び補間用フレーム画像情報を前記記録手段からそれぞれ取得するように構成される。
【0016】
請求項3に記載の発明によれば、請求項1又は請求項2に記載の発明の作用に加えて、フレーム画像情報及び補間用フレーム画像情報をそれぞれ記録する記録手段を更に備え、当該記録手段からフレーム画像情報及び補間用フレーム画像情報をそれぞれ取得するので、被写体の撮像に対して事後的に当該被写体に対応した動画像情報を生成することができる。
【0017】
上記の課題を解決するために、請求項4に記載の発明は、請求項1から請求項3のいずれか一項に記載の画像処理装置において、前記フレーム画像情報と前記補間用フレーム画像情報とに基づいて、前記被写体における前景と背景とをそれぞれ区別して検出する処理部等の前景/背景検出手段と、前記フレーム画像情報と前記補間用フレーム画像情報とに基づいて、前記前景における動き量を検出する処理部等の動き量検出手段と、を更に備え、前記補間手段は、各前記検出された背景及び前景並びに動き量を用いて前記補間フレーム画像情報を生成するように構成される。
【0018】
請求項4に記載の発明によれば、請求項1から請求項3のいずれか一項に記載の発明の作用に加えて、被写体における前景と背景とをそれぞれ区別して検出し、更に前景における動き量を検出し、それらを用いて補間フレーム画像情報を生成するので、より高精度に当該補間フレーム画像情報を生成することができる。
【0019】
上記の課題を解決するために、請求項5に記載の発明は、請求項1から請求項4のいずれか一項に記載の画像処理装置において、前記被写体を撮像して前記フレーム画像情報及び前記補間用フレーム画像情報をそれぞれ生成する撮像部等の撮像手段を更に備える。
【0020】
請求項5に記載の発明によれば、請求項1から請求項4のいずれか一項に記載の発明の作用に加えて、フレーム画像情報及び補間用フレーム画像情報をそれぞれ生成する撮像手段を備えるので、一つの画像処理装置内において、被写体の撮像と補間フレーム画像情報の生成とを行うことができる。
【0021】
上記の課題を解決するために、請求項6に記載の発明は、請求項5に記載の画像処理装置において、前記撮像手段を切り換えて前記フレーム画像情報及び前記補間用フレーム画像情報をそれぞれ時分割的に生成する切換制御部等の切換制御手段を更に備える。
【0022】
請求項6に記載の発明によれば、請求項5に記載の発明の作用に加えて、撮像手段を切り換えてフレーム画像情報及び補間用フレーム画像情報をそれぞれ時分割的に生成するので、撮像手段としての規模を最小化してフレーム画像情報及び補間用フレーム画像情報を生成することができる。
【0023】
上記の課題を解決するために、請求項7に記載の発明は、請求項5に記載の画像処理装置において、前記撮像手段は、前記被写体を撮像して前記フレーム画像情報を生成する撮像素子等の第1撮像手段と、前記被写体を撮像して前記補間用フレーム画像情報を生成する撮像素子等の第2撮像手段と、前記被写体からの光を分光して前記第1撮像手段及び前記第2撮像手段にそれぞれに出射する分光部等の分光手段と、を備え、前記第1撮像手段は、前記分光された一方の前記光を受光して前記フレーム画像情報を生成し、前記第2撮像手段は、前記分光された他方の前記光を受光して前記補間用フレーム画像情報を生成するように構成される。
【0024】
請求項7に記載の発明によれば、請求項5に記載の発明の作用に加えて、被写体からの光を分光して第1撮像手段及び第2撮像手段にそれぞれに出射し、その一方を受光して第1撮像手段によりフレーム画像情報を生成し、他方を受光して第2撮像手段により補間用フレーム画像情報を生成するので、フレーム画像情報及び補間用フレーム画像情報を連続して生成することができる。
【0025】
上記の課題を解決するために、請求項8に記載の発明は、請求項5に記載の画像処理装置において、前記撮像手段は、前記被写体を撮像して前記フレーム画像情報を生成する撮像素子等の第1撮像手段と、前記被写体を撮像して前記補間用フレーム画像情報を生成する撮像素子等の第2撮像手段と、を備え、前記第1撮像手段と前記第2撮像手段とが隣接する位置に別個に設置されているように構成される。
【0026】
請求項8に記載の発明によれば、請求項5に記載の発明の作用に加えて、撮像手段を構成する第1撮像手段と第2撮像手段とが隣接する位置に別個に設置されているので、同一の被写体に対応するフレーム画像情報及び補間用フレーム画像情報を確実に生成することができる。
【発明の効果】
【0027】
本発明によれば、既定の解像度及びフレームレートであり且つ第1時刻及び第2時刻にそれぞれ対応した第1フレーム画像情報及び第2フレーム画像情報と、第1フレーム画像情報及び第2フレーム画像情報より低解像度/高フレームレートであり且つ第3時刻に対応した補間用フレーム画像情報と、を用いて、フレーム画像情報の解像度に対応した解像度を有し且つ第3時刻に対応した補間フレーム画像情報を生成する。そして、第1フレーム画像情報と第2フレーム画像情報と補間フレーム画像情報とを用いて動画像情報を生成する。
【0028】
従って、解像度及びフレームレートがそれぞれ異なる二種類のフレーム画像情報を用いることで、高解像度/高フレームレートの動画像情報を簡易な構成で生成することができる。
【図面の簡単な説明】
【0029】
【図1】第1実施形態に係る画像処理装置の概要構成を示すブロック図である。
【図2】第1実施形態に係る撮像部の概要構成を示すブロック図であり、(a)は当該概要構成の第1例を示すブロック図であり、(b)は当該概要構成の第2例を示すブロック図であり、(c)は当該概要構成の第3例を示すブロック図である。
【図3】第1実施形態に係るフレーム間補間処理を示すフローチャートである。
【図4】第1実施形態に係るフレーム間補間処理を例示する図である。
【図5】第2実施形態に係る画像処理装置の概要構成を示すブロック図である。
【発明を実施するための形態】
【0030】
次に、本発明を実施するための形態等について、図面に基づいて説明する。なお、以下に説明する各実施形態及び変形形態は、動きを含む被写体を動画像として撮像し、当該被写体に相当する動画像情報を出力する画像処理装置に対して本発明を適用した場合の実施の形態等である。

【0031】
(I)第1実施形態
始めに、本発明に係る第1実施形態について、図1乃至図4を用いて説明する。なお、図1は第1実施形態に係る画像処理装置の概要構成を示すブロック図であり、図2は第1実施形態に係る撮像部の概要構成を示すブロック図であり、図3は第1実施形態に係るフレーム間補間処理を示すフローチャートであり、図4は当該フレーム間補間処理を例示する図である。

【0032】
図1に示すように、第1実施形態に係る画像処理装置Sは、CCD(Charge-Coupled Device)素子又はCMOS(Complementary Metal Oxide Semiconductor)素子等からなる撮像素子を含む撮像部Cと、ハードディスク又は不揮発性のメモリ等を含むストレージ部1と、縮小部2及び縮小部3と、グローバルモーション推定部4及びグローバルモーション推定部5と、動き補償部6及び動き補償部7と、ブレンド部8と、揮発性又は不揮発性のメモリ等からなる蓄積部9と、補間部10と、により構成されている。

【0033】
このとき、上記縮小部2及び縮小部3、グローバルモーション推定部4及びグローバルモーション推定部5、動き補償部6及び動き補償部7、ブレンド部8並びに補間部10については、いわゆる汎用のマイクロコンピュータ等を構成するハードウェアロジック回路により実現してもよいし、後述する第1実施形態に係るフレーム間補間処理に対応するプログラムを当該マイクロコンピュータに読み込んで実行することによりソフトウェア的に実現されるものであってもよい。なおこの場合の当該フレーム間補間処理に対応するプログラムは、例えば光ディスク等の記録媒体に予め記録されているものを読み出して用いてもよいし、例えばインターネット等のネットワークを介して取得したものを用いてもよい。

【0034】
また、上記撮像部Cが本発明に係る「撮像手段」の一例に相当し、上記ストレージ部1が本発明に係る「第1取得手段」の一例、「第2取得手段」の一例及び「記録手段」の一例にそれぞれ相当し、上記グローバルモーション推定部4及びグローバルモーション推定部5、動き補償部6及び動き補償部7並びにブレンド部8が本発明に係る「補間手段」の一例に相当し、上記補間部10が本発明に係る「生成手段」の一例に相当する。更に、上記グローバルモーション推定部4が本発明に係る「第1動き推定手段」の一例に相当し、上記グローバルモーション推定部5が本発明に係る「第2動き推定手段」の一例に相当し、上記動き補償部6が本発明に係る「第1動き補償手段」の一例に相当し、上記動き補償部7が本発明に係る「第2動き補償手段」の一例に相当し、上記ブレンド部8が本発明に係る「合成手段」の一例に相当する。

【0035】
次に、第1実施形態に係る画像処理装置Sにおいて実行される、第1実施形態に係るフレーム間補間処理について、主として図1乃至図4を用いて説明する。

【0036】
先ず撮像部Cは、動きがある被写体を動画像としてデジタル的に撮像し、高解像度且つ低フレームレートのフレーム画像情報Fbと、低解像度且つ高フレームレートの補間用フレーム画像情報Faと、をそれぞれ生成してストレージ部1に出力する。このとき、撮像部Cは、同一の当該被写体について上記フレーム画像情報Fb及び補間用フレーム画像情報Faをそれぞれ出力する。

【0037】
ここで、上記フレーム画像情報Fbの解像度としては例えば1920ドット×1080ドット程度の解像度が好適であり、そのフレームレートとしては例えば1.875fps(flame per second)程度のフレームレートが好適である。また上記補間用フレーム画像情報Faの解像度としては例えば480ドット×270ドット程度の解像度が好適であり、そのフレームレートとしては例えば30fps程度のフレームレートが好適である。この場合に、フレーム画像情報Fbの解像度及びフレームレートと、補間用フレーム画像情報Faの解像度及びフレームレートと、の間の第1実施形態に係る関係は、フレーム画像情報Fbの解像度が補間用フレーム画像情報Faの解像度より高く、且つフレーム画像情報Fbのフレームレートが補間用フレーム画像情報Faフレームレートより低いという条件を満たせば、例えば画像処理装置Sとして最終的に出力する出力画像情報Foutの用途等に応じて、任意に設定することができる。よって例えば、上記フレーム画像情報Fbのフレームレートとして例えば30fpsとし、上記補間用フレーム画像情報Faのフレームレートを例えば480fpsとしてもよい。また、上記フレーム画像情報Fb及び補間用フレーム画像情報Faをそれぞれ出力する撮像部Cの具体的な構成については、後ほど図2を用いて説明する。

【0038】
次にストレージ部1は、撮像部Cから出力されてきたフレーム画像情報Fb及び補間用フレーム画像情報Faをそれぞれ構成する各フレーム画像のデータを、当該フレーム画像ごとに予め設定された規則に基づくタイムスタンプ(時刻情報)を付与して、一時的に記録する。

【0039】
その後ストレージ部1は、第1実施形態に係るフレーム補間処理の対象となるフレーム画像情報Fbの時刻tが例えば図示しない操作部等により指定されると、当該時刻tをタイムスタンプとするフレーム画像情報Fb(t)を読み出し、縮小部2、動き補償部6及び補間部10に出力する。またストレージ部1は、上記時刻tに対して予め設定された時間Tbを加えた時刻t+Tbをタイムスタンプとするフレーム画像情報Fb(t+Tb)を読み出し、縮小部3、動き補償部7及び補間部10に出力する。更にストレージ部1は、時刻tに対して時刻Tbより小さい時間t’を加えた時刻t+t’(即ち、時刻tと時刻t+Tbとの間の時刻t+t’)をタイムスタンプとする補間用フレーム画像情報Fa(t+t’)を読み出し、グローバルモーション推定部4及びグローバルモーション推定部5にそれぞれ出力する。なおこのときの時間Tbについては任意に決められるものではなく、フレーム画像情報Fb(t)のフレームレートにより予め設定される。より具体的に例えば、フレーム画像情報Fb(t)のフレームレートが30fpsであれば、時間Tbは1/30秒となる。

【0040】
次に縮小部2は、補間用フレーム画像情報Fa(t+t’)の解像度に合わせてフレーム画像情報Fb(t)を縮小し、縮小フレーム画像情報Fbp(t)を生成してグローバルモーション推定部4に出力する。これと並行して縮小部3は、縮小部2と同様に補間用フレーム画像情報Fa(t+t’)の解像度に合わせてフレーム画像情報Fb(t+Tb)を縮小し、縮小フレーム画像情報Fbp(t+Tb)を生成してグローバルモーション推定部5に出力する。

【0041】
これによりグローバルモーション推定部4は、ストレージ部1から入力されている補間用フレーム画像情報Fa(t+t’)と縮小フレーム画像情報Fbp(t)とを用いた従来と同様のグローバルモーション推定法による動き推定処理(フレーム画像情報Fbとしての動き推定処理。以下、同様。)を行い、動き推定情報Fe1を生成して動き補償部6に出力する。また、グローバルモーション推定部5は、上記補間用フレーム画像情報Fa(t+t’)と縮小フレーム画像情報Fbp(t+Tb)とを用いた上記グローバルモーション推定法による動き推定処理を行い、動き推定情報Fe2を生成して動き補償部7に出力する。

【0042】
次に動き補償部6は、上記動き推定情報Fe1とフレーム画像情報Fb(t)とに基づいて当該フレーム画像情報Fb(t)に対する動き補償処理(フレーム画像情報Fbとしての動き補償処理。以下、同様。)を行い、補償画像情報Fmc1を生成してブレンド部8に出力する。一方動き補償部7は、上記動き推定情報Fe2とフレーム画像情報Fb(t+Tb)とに基づいて当該フレーム画像情報Fb(t+Tb)に対する動き補償処理を行い、補償画像情報Fmc2を生成してブレンド部8に出力する。

【0043】
これらによりブレンド部8は、補償画像情報Fmc1と補償画像情報Fmc2とを合成(ブレンド)し、時刻t+t’をタイムスタンプとする補間用フレーム画像情報Fa(t+t’)の解像度を元のフレーム画像情報Fb(t)の解像度に対応させて変換した補間フレーム画像情報F^b(t+t’)を生成して一時的に蓄積部9に蓄積する。これにより、補間用フレーム画像情報Fa(t+t’1)を用いた一の補間フレーム画像情報F^b(t+t’)の生成及び蓄積が終了する。

【0044】
その後、ストレージ部1、縮小部2及び縮小部3、グローバルモーション推定部4及びグローバルモーション推定部5、動き補償部6及び動き補償部7並びにブレンド部8は、時刻tと時刻t+Tbとの間の時刻t+t’1乃至時刻t+t’n(nは2以上の自然数)をそれぞれタイムスタンプとする補間用フレーム画像情報Fa(t+t’1)乃至補間用フレーム画像情報Fa(t+t’n)を各々用いた各補間フレーム画像情報F^b(t+t’1)乃至補間フレーム画像情報F^b(t+t’n)の生成を順次行い、当該生成された補間フレーム画像情報F^b(t+t’1)乃至補間フレーム画像情報F^b(t+t’n)を蓄積部9に順次蓄積することを繰り返す。

【0045】
そして、各時刻t+t’1乃至時刻t+t’nそれぞれをタイムスタンプとする補間フレーム画像情報F^b(t+t’1)乃至補間フレーム画像情報F^b(t+t’n)が蓄積部9に蓄積されたら、補間部10は、上記フレーム画像情報Fb(t)とフレーム画像情報Fb(t+Tb)との間を当該補間フレーム画像情報F^b(t+t’1)乃至補間フレーム画像情報F^b(t+t’n)を用いて補間し、第1実施形態に係るフレーム間補間処理の結果としての出力画像情報Foutを生成して外部に出力する。

【0046】
次に、上記撮像部Cの具体的な構成について、図2を用いて具体的に説明する。第1実施形態に係る撮像部Cは、上述したようにフレーム画像情報Fb及び補間用フレーム画像情報Faをそれぞれ生成してストレージ部1に出力する。このための撮像部Cの構成の第1例としては、図2(a)に例示する撮像部C1のように、フレーム画像情報Fb及び補間用フレーム画像情報Faを時分割的に生成することが可能な上記CCD素子又はCMOS素子等からなる撮像素子20と、被写体からの光Lを集光して撮像素子20に出射する光学系R(レンズ等を含む。以下、同様。)と、撮像素子20の機能を時分割的に切り換えて上記フレーム画像情報Fb及び補間用フレーム画像情報Faをそれぞれ生成させる切換制御部23と、を備える構成が挙げられる。この切換制御部23が本発明に係る「切換制御手段」の一例に相当する。

【0047】
また当該撮像部Cの構成の第2例としては、図2(b)に例示する撮像部C2のように、上記CCD素子又はCMOS素子等からなりフレーム画像情報Fbのみを生成する撮像素子21と、上記CCD素子又はCMOS素子等からなり補間用フレーム画像情報Faのみを生成し且つ撮像素子21とは別個に配置された撮像素子22と、被写体からの光Lを集光する光学系Rと、光学系Rにより集光された光Lを分光してそれぞれ撮像素子21及び撮像素子22に受光させるハーフミラー等の分光部HFと、を備える構成が挙げられる。このとき、撮像素子21が本発明に係る「第1撮像手段」の一例に相当し、撮像素子22が本発明に係る「第2撮像手段」の一例に相当し、分光部HFが本発明に係る「分光手段」の一例に相当する。

【0048】
更に当該撮像部Cの構成の第3例としては、図2(c)に例示する撮像部C3のように、別個且つ隣接して配置された上記第2例と同様の撮像素子21及び撮像素子22と、被写体からの光Lを集光して撮像素子21に出射する光学系R1と、当該光Lを集光して撮像素子22に出射する光学系R2と、を備える構成が挙げられる。なおこの第3例の場合、撮像素子21と撮像素子22との間に、一の被写体からの光Lに対する視差が生じる場合がある。このため、撮像素子21の位置と撮像素子22の位置との距離に対して十分に遠方の被写体を撮像対象とするか、或いは、受光後の他の処理により当該視差を打ち消すための補正を施す必要がある点に留意が必要である。

【0049】
次に、上述してきた第1実施形態に係る一連のフレーム間補間処理について、纏めて図3及び図4を用いて説明する。

【0050】
第1実施形態に係るフレーム間補間処理としては、その開始後に図示しない操作部等によりフレーム画像情報Fbの上記時刻tが指定されると(ステップS1)、当該時刻tに対応する上記フレーム画像情報Fb(t)、上記フレーム画像情報Fb(t+Tb)及び上記補間用フレーム画像情報Fa(t+t’1)を用いた縮小部2及び縮小部3、グローバルモーション推定部4及びグローバルモーション推定部5、動き補償部6及び動き補償部7並びにブレンド部8による第1実施形態に係るフレーム間補間処理を行い、上記補間フレーム画像情報F^b(t+t’1)を生成し(ステップS2)、蓄積部9に蓄積する(ステップS3)。その後、上記補間フレーム画像情報F^b(t+t’1)乃至補間フレーム画像情報F^b(t+t’n)全ての生成と蓄積が完了しているか否かを判定し(ステップS4)、当該生成及び蓄積が完了していない場合は(ステップS4;NO)、未完了のタイムスタンプについての補間フレーム画像情報F^bの生成を行うべく上記ステップS1に戻る。一方ステップS4の判定において補間フレーム画像情報F^b(t+t’1)乃至補間フレーム画像情報F^b(t+t’n)全ての生成と蓄積が完了している場合(ステップS4;YES)、それらを用いた上記出力画像情報Foutの生成と出力を上記補間部10において行い(ステップS5)、時刻tから時刻t+Tbについての第1実施形態に係るフレーム間補間処理を終了する。

【0051】
次に、第1実施形態に係るフレーム間補間処理を時刻tから時刻t+Tb1までと、時刻t+Tb1から時刻t+Tb2までと、の間を対象として行った場合について、図4を用いて説明する。

【0052】
先ず図4左に例示するように、一つの被写体を撮像部Cにより撮像した結果として、時刻tをタイムスタンプとするフレーム画像情報Fb(t)、時刻t+Tb1をタイムスタンプとするフレーム画像情報Fb(t+Tb1)、及び時刻t+Tb1をタイムスタンプとするフレーム画像情報Fb(t+Tb2)がストレージ部1に記録されている場合を考える。この場合には、当該フレーム画像情報Fb(t)等に加えて、同一の被写体を撮像した結果として、時刻tと時刻t+Tb1との間の時刻である時刻t+t’1乃至時刻t+t’nをそれぞれのタイムスタンプとする補間用フレーム画像情報Fa(t+t’1)乃至補間用フレーム画像情報Fa(t+t’n)と、時刻t+Tb1と時刻t+Tb2との間の時刻である時刻t+t’n+1乃至時刻t+t’m(mは自然数且つm>n)をそれぞれのタイムスタンプとする補間用フレーム画像情報Fa(t+t’n+1)乃至補間用フレーム画像情報Fa(t+t’m)と、がストレージ部1に記録されている。そして、図4左に例示するフレーム画像情報Fb(t)等及び補間用フレーム画像情報Fa(t+t’1)等を用いて第1実施形態に係るフレーム間補間処理を実行するとする。このとき、時刻tから時刻t+Tb1までについての当該フレーム間補間処理においては、時刻tは図1乃至図3用いて説明した当該フレーム間補間処理における時刻tにそのまま対応し、時刻t+Tb1が図1乃至図3用いて説明した当該フレーム間補間処理における時刻t+Tbに対応している。一方、時刻t+Tb1から時刻t+Tb2までについての当該フレーム間補間処理においては、時刻t+Tb1が図1乃至図3用いて説明した当該フレーム間補間処理における時刻tに対応しており、時刻t+Tb2が図1乃至図3用いて説明した当該フレーム間補間処理における時刻t+Tbに対応する。

【0053】
この状態において、図4左に例示するフレーム画像情報Fb(t)等及び補間用フレーム画像情報Fa(t+t’1)等を用いて第1実施形態に係るフレーム間補間処理を実行すると、時刻tから時刻t+Tb1までについては、フレーム画像情報Fb(t)及びフレーム画像情報Fb(t+Tb1)と、補間用フレーム画像情報Fa(t+t’1)乃至補間用フレーム画像情報Fa(t+t’n)と、を用いて当該フレーム間補間処理が実行される結果、図4右に例示するように、フレーム画像情報Fb(t)とフレーム画像情報Fb(t+Tb1)との間が、補間用フレーム画像情報Fa(t+t’1)乃至補間用フレーム画像情報Fa(t+t’n)を用いて生成され且つフレーム画像情報Fb(t)及びフレーム画像情報Fb(t+Tb1)に対応した解像度を有する補間フレーム画像情報F^b(t+t’1)乃至補間フレーム画像情報F^b(t+t’n)により埋められる。また同様に、時刻t+Tb1から時刻t+Tb2までについては、フレーム画像情報Fb(t+Tb1)及びフレーム画像情報Fb(t+Tb2)と、補間用フレーム画像情報Fa(t+t’n+1)乃至補間用フレーム画像情報Fa(t+t’m)と、を用いて当該フレーム間補間処理が実行される結果、図4右に例示するように、フレーム画像情報Fb(t+Tb1)とフレーム画像情報Fb(t+Tb2)との間が、補間用フレーム画像情報Fa(t+t’n+1)乃至補間用フレーム画像情報Fa(t+t’m)を用いて生成され且つフレーム画像情報Fb(t+Tb1)及びフレーム画像情報Fb(t+Tb2)に対応した解像度を有する補間フレーム画像情報F^b(t+t’n+1)乃至補間フレーム画像情報F^b(t+t’m)で埋められる。以上の第1実施形態に係るフレーム間補間処理の結果、出力画像情報Foutにおいては図4右に例示するように、フレーム画像情報Fb(t)→補間フレーム画像情報F^b(t+t’1)乃至補間フレーム画像情報F^b(t+t’n)→フレーム画像情報Fb(t+Tb1)→補間フレーム画像情報F^b(t+t’n+1)乃至補間フレーム画像情報F^b(t+t’m)→フレーム画像情報Fb(t+Tb2)、と連続したフレーム構成となる。この図4右に例示する出力画像情報Foutの場合、元のフレーム画像情報Fbの解像度が1920ドット×1080ドットであり、元の補間用フレーム画像情報Faのフレームレート30がfpsであれば、出力画像情報Foutとしての解像度は1920ドット×1080ドット、そのフレームレートは30fpsとなる。一方、元のフレーム画像情報Faの解像度が1920ドット×1080ドットでフレームレートが30fpsであり、元の補間用フレーム画像情報Faの解像度が480ドット×270ドットでフレームレートが480fpsであれば、出力画像情報Foutとしての解像度は1920ドット×1080ドット、そのフレームレートは480fpsとなる。

【0054】
以上説明したように、第1実施形態に係るフレーム間補間処理によれば、高解像度且つ低フレームレートのフレーム画像情報Fb(t)及びフレーム画像情報Fb(t+Tb)と、低解像度且つ高フレームレートの補間用フレーム画像情報Fa(t+t’)と、を用いて補間フレーム画像情報F^b(t+t’)を生成し、これらを用いて出力画像情報Foutを生成する。よって、解像度及びフレームレートがそれぞれ異なる二種類のフレーム画像情報Fb及びフレーム画像情報Faを用いることで、高解像度/高フレームレートの出力画像情報Foutを簡易な構成で生成することができる。

【0055】
また、グローバルモーション推定部4及びグローバルモーション推定部5、動き補償部6及び動き補償部7及びブレンド部8を用いてフレーム間補間処理を行うので、補間フレーム画像情報F^b(t+t’)を高精度に生成することができる。

【0056】
更に、フレーム画像情報Fb(t)及び補間用フレーム画像情報Fa(t+t’)をそれぞれ一時的に記録するストレージ部1を更に備え、当該ストレージ部1からフレーム画像情報Fb(t)及び補間用フレーム画像情報Fa(t+t’)をそれぞれ取得するので、被写体の撮像に対して事後的に当該被写体に対応した出力画像情報Foutを生成することができる。

【0057】
更にまた、フレーム画像情報Fb(t)及び補間用フレーム画像情報Fa(t+t’)をそれぞれ生成する撮像部Cを備えるので、一つの画像処理装置S内において、被写体の撮像と補間フレーム画像情報F^b(t+t’)の生成とを行うことができる。

【0058】
また、撮像部Cの構成として図2(a)に例示する構成を用いる場合は、一つの撮像素子20を切り換えてフレーム画像情報Fb(t)及び補間用フレーム画像情報Fa(t+t’)をそれぞれ時分割的に生成するので、撮像部Cとしての規模を最小化してフレーム画像情報Fb(t)及び補間用フレーム画像情報Fa(t+t’)を生成することができる。

【0059】
更に、撮像部Cの構成として図2(b)に例示する構成を用いる場合は、被写体からの光Lを分光して撮像素子21及び撮像素子22にそれぞれに出射し、撮像素子21によりフレーム画像情報Fb(t)を生成し、撮像素子22により補間用フレーム画像情報Fa(t+t’)を生成するので、フレーム画像情報Fb(t)及び補間用フレーム画像情報Fa(t+t’)を連続して生成することができる。

【0060】
更にまた、撮像部Cの構成として図2(c)に例示する構成を用いる場合は、撮像部Cを構成する撮像素子21と撮像素子22とが隣接する位置に別個に設置されているので、同一の被写体に対応するフレーム画像情報Fb(t)及び補間用フレーム画像情報Fa(t+t’)を確実に生成することができる。

【0061】
(II)第2実施形態
次に、本発明に係る他の実施形態である第2実施形態について、図5を用いて説明する。なお図5は、第2実施形態に係る画像処理装置の概要構成を示すブロック図である。

【0062】
以下に説明する第2実施形態に係る画像処理装置では、上述した第1実施形態に係る画像処理装置Sの構成に加えて、移動する被写体における前景(移動体自体)と背景(移動しない背景)とを区別した上で、フレーム間補間処理を行う。また、図5に示す第2実施形態に係る画像処理装置において、第1実施形態に係る画像処理装置Sと同一の構成については同一の部材番号を付して細部の説明は省略する。

【0063】
図5に示すように、第2実施形態に係る画像処理装置SSは、第1実施形態に係る画像処理装置Sの構成に加えて、縮小部30と、処理部31と、前フレームメモリ32と、を備える。このとき処理部31が、本発明に係る「前景/背景検出手段」の一例及び「動き量検出手段」の一例にそれぞれ相当する。

【0064】
この構成において、撮像部Cからのフレーム画像情報Fb及び補間用フレーム画像情報Faは第1実施形態に係る画像処理装置Sと同様にストレージ部1に出力される他、フレーム画像情報Fbは縮小部30に、補間用フレーム画像情報Faは処理部31に、それぞれ出力される。そして縮小部30は、補間用フレーム画像情報Faの解像度に合わせてフレーム画像情報Fbを縮小し、縮小フレーム画像情報Fbpを生成して処理部31に出力する。

【0065】
これらにより処理部31は、補間用フレーム画像情報Fa及び縮小フレーム画像情報Fbpを用いて、例えば従来と同一の方法により、被写体における前景と背景とを区別して検出し、更に被写体における当該前景の動き量の検出を行う。この場合に処理部31は、必要な縮小フレーム画像情報Fbp等を前フレームメモリ32に一時的に記憶させつつ、当該前景/背景の検出及び前景の動き量の検出を行う。また処理部31は、当該前景/背景の検出及び前景の動き量の検出における必要に応じて、制御信号Scを撮像部Cに出力して当該撮像部Cを制御する。

【0066】
より具体的に、例えばフレーム画像情報Fbにおけるフレーム全体で一括したフレーム間補間処理を行う場合に処理部31は、制御信号Scを用いて、当該フレームの構成が背景のみ(即ち、前景が殆ど動かない)で背景の動きが単純であるときには、全体における補間用フレーム画像情報Faの割合を増やす(換言すれば、フレーム画像情報Fbとして撮像する頻度を減らす)ように撮像部Cを制御し、一方当該背景の動きが複雑(即ちその背景が前景とみなせる場合)又は前景が(激しく)動くときには、フレーム画像情報Fbとしてのフレーム数(全体におけるフレーム画像情報Fbの割合)を増やすように制御する。なお、この場合の後者の制御では、画像処理装置SSのユーザが指定したフレーム数、又は撮像部Cの特性上の上限以上のフレーム数とはならないように制御する必要がある。

【0067】
これに対し、例えば(前景/背景に関係なく)フレーム画像情報Fbにおけるブロック(領域)毎に制御を行う(又は当該制御が可能な)場合に制御部31は、制御信号Scを用いて、当該フレームにおける背景と見做せるブロック(領域)については補間用フレーム画像情報Faとしてのフレーム数(全体における補間用フレーム画像情報Faの割合)を増やすように撮像部Cを制御し、一方当該フレームにおける前景と見做せるブロック(領域)についてはフレーム画像情報Fbとしてのフレーム数を増やすように制御する。このとき、上記前景と見做せるブロックについての制御では、画像処理装置SSのユーザが指定したフレーム数、又は撮像部Cの特性上の上限以上のフレーム数とはならないように制御する必要がある。

【0068】
これらにより処理部31は、縮小フレーム画像情報Fbp及び補間用フレーム画像情報Faを用いて、上記前景/背景の検出及び前景の動き量の検出を行う。

【0069】
なお、上記の構成により検出した前景及び背景並びに前景の動き量については、検出信号Sdとしてストレージ部1に記録しておき、事後のフレーム間補間処理(より具体的には、グローバルモーション推定部4及びグローバルモーション推定部5におけるグローバルモーション推定法による動き推定処理、又は動き補償部6及び動き補償部7における動き補償処理等)に供させることもできる。

【0070】
以上説明したように、第2実施形態に係るフレーム間補間処理によれば、第1実施形態に係るフレーム間補間処理による作用効果に加えて、被写体における前景と背景とをそれぞれ区別して検出し、更に前景における動き量を検出し、それらを用いて補間フレーム画像情報F^b(t+t’)を生成するので、より高精度に補間フレーム画像情報F^b(t+t’)を生成することができる。

【0071】
(III)変形形態
次に、本発明に係る変形形態について説明する。なお以下の説明において、第1実施形態に係る画像処理装置Sと同一の構成部材については同一の部材番号を付して、細部の説明を省略する。

【0072】
(1)第1変形形態
先ず第1変形形態として、上記各実施形態に係るグローバルモーション推定部4及びグローバルモーション推定部5それぞれにおける動き推定処理並びに動き補償部6及び動き補償部7それぞれにおける動き補償処理と並行して、
(a)上記グローバルモーション推定法に対応したいわゆるローカル動きベクトル法を上記前景のブロックに適用しつつ、フレーム画像情報Fbに対して動き補償処理を施したデータ、又は、
(b)補間用フレーム画像情報Faに対していわゆる超解像処理を施したデータ、
のいずれか一方又は双方を第1実施形態又は第2実施形態に係る補償画像情報Fmc1及び補償画像情報Fmc2と共に用いてブレンド部8における合成処理を実行するように構成してもよい。この場合、上記(a)のデータ又は上記(b)のデータのいずれを用いるかについては、上記(a)の処理は上記前景(移動体自体)の形状が変形する場合には不適であり、当該前景自体の形状が変形することなく移動する場合にしか適用できない。よって、それ自体の形状が変形しない前景を含む被写体を撮像する場合は上記(a)のデータを用い、それ以外の場合は上記(b)のデータを用いる、といった区分が考えられる。一方、上記(a)のデータ及び上記(b)のデータの双方を用いることを考慮する場合、例えば、検出された動きベクトルの信頼度に基づき,その信頼度が既定値以上に高い場合(即ち、いわゆる単純移動の場合)は上記(a)のデータを用い、それ以外の場合は上記(b)を用いるように構成することもできるし、更には当該信頼度に応じて上記(a)のデータと上記(b)のデータとを合成(ブレンド)して用いるように構成してもよい。

【0073】
(2)第2変形形態
次に第2変形形態として、上記各実施形態では、CCD素子又はCMOS素子等からなる撮像部Cを用いたが、これ以外に、解像度及びフレームレートのそれぞれが相互に異なるフレーム画像情報Fb及び補間用フレーム画像情報Faを時分割的に又は同時並行的に生成/出力することができる撮像素子であれば、他の方式の撮像素子を用いることも可能である。
【産業上の利用可能性】
【0074】
以上それぞれ説明したように、本発明は画像処理装置の分野に利用することが可能であり、特に動画像を高画質化することを目的とする画像処理装置の分野に適用すれば特に顕著な効果が得られる。
【符号の説明】
【0075】
1 ストレージ部
2、3、30 縮小部
4、5 グローバルモーション推定部
6、7 動き補償部
8 ブレンド部
9 蓄積部
10 補間部
20、21、22 撮像素子
23 切換制御部
31 処理部
32 前フレームメモリ
S、SS 画像処理装置
C、C1、C2、C3 撮像部
Fa、Fa(t+t’1)、Fa(t+t’n)、Fa(t+t’n+1)、Fa(t+t’m) 補間用フレーム画像情報
Fb、Fb(t)、Fb(t+Tb)、Fb(t+Tb1)、Fb(t+Tb2) フレーム画像情報
F^b(t+t’)、F^b(t+t’1)、F^b(t+t’n)、F^b(t+t’n+1)、F^b(t+t’m) 補間フレーム画像情報
Fbp、Fbp(t)、Fbp(t+Tb) 縮小フレーム画像情報
Fe1、Fe2 動き推定情報
Fmc1、Fmc2 補償画像情報
Fout 出力画像情報
L 光
R、R1、R2 光学系
HF 分光部
Sc 制御信号
Sd 検出信号
図面
【図1】
0
【図2】
1
【図3】
2
【図5】
3
【図4】
4