TOP > 国内特許検索 > 画像処理装置、画像処理方法及び画像処理用プログラム

画像処理装置、画像処理方法及び画像処理用プログラム NEW

国内特許コード P170013920
整理番号 (S2015-1988-N51)
掲載日 2017年3月29日
出願番号 特願2015-163487
公開番号 特開2017-041820
出願日 平成27年8月21日(2015.8.21)
公開日 平成29年2月23日(2017.2.23)
発明者
  • 筒井 弘
  • 上坂 浩貴
  • 鴻上 慎吾
出願人
  • 国立大学法人北海道大学
発明の名称 画像処理装置、画像処理方法及び画像処理用プログラム NEW
発明の概要 【課題】高解像度/高フレームレートの動画像情報をより簡易な構成で生成することが可能な画像処理装置を提供する。
【解決手段】時刻tに対応し且つ既定の解像度/フレームレートのフレーム画像情報Fb(t)と、同じ解像度/フレームレートで且つ時刻t+Tbに対応するフレーム画像情報Fb(t+Tb)と、時刻tと時刻t+Tbとの間の時刻t+t’に対応する補間用フレーム画像情報Fa(t+t’)と、を用いて、フレーム画像情報Fbの解像度に対応した解像度を有し且つ時刻t+t’に対応した補間フレーム画像情報F^(t+t’)を生成し、フレーム画像情報Fb(t)と、フレーム画像情報Fb(t+Tb)と、補間フレーム画像情報F^(t+t’)と、を用いて、被写体に対応した出力画像情報Foutを生成する。
【選択図】図1
従来技術、競合技術の概要


近年、被写体をデジタル的に撮像することが広く行われている。このような撮像には、静止画像としての撮像と動画像としての撮像とがあるが、いずれの場合も、一般に高画質化が求められている。



ここで、被写体を動画像として撮像する場合の高画質化には、動画像化する際の雑音を低減又は除去する方法、画像としての解像度を上げる方法、又は、動画像としてのいわゆるフレームレートを上げる方法などがある。このような動画像における高画質化を目的とした技術を開示する先行技術文献としては、例えば下記特許文献1及び特許文献2がある。



このとき下記特許文献1に開示されている技術はいわゆるフレーム補間に関する技術であり、動画像内における動きベクトルの信頼度に基づき、動画像を構成する各フレーム間で破綻が生じないように、当該フレーム間を補間する構成とされている。また下記特許文献2に開示されている技術では、雑音の軽減を目的として、動画像を構成する複数のフレーム画像を重ねる際の位置合わせを適切に行うと共に、動画像内の動きベクトルに基づいて混合率の適正化を図る構成とされている。

産業上の利用分野


本発明は、画像処理装置、画像処理方法及び画像処理用プログラムの技術分野に属し、より詳細には、動画像に相当する動画像情報を生成する画像処理装置及び画像処理方法並びに当該画像処理装置用のプログラムの技術分野に属する。

特許請求の範囲 【請求項1】
予め設定された解像度及びフレームレートで被写体を撮像して得られたフレーム画像情報を取得する第1取得手段と、
前記フレーム画像情報より低い解像度、及び、当該フレーム画像情報より高いフレームレートで前記被写体を撮像して得られた補間用フレーム画像情報を取得する第2取得手段と、
第1時刻に対応する前記フレーム画像情報である第1フレーム画像情報と、前記第1時刻より後の第2時刻に対応する前記フレーム画像情報である第2フレーム画像情報と、前記第1時刻と前記第2時刻との間の第3時刻に対応する前記補間用フレーム画像情報と、を用いて、前記フレーム画像情報の解像度に対応した解像度を有し且つ前記第3時刻に対応した補間フレーム画像情報を生成する補間手段と、
前記第1フレーム画像情報と、前記第2フレーム画像情報と、前記生成された補間フレーム画像情報と、を用いて、前記被写体に対応した動画像情報を生成する生成手段と、
を備えることを特徴とする画像処理装置。

【請求項2】
請求項1に記載の画像処理装置において、
前記補間手段は、
前記第1フレーム画像情報と前記補間用フレーム画像情報とに基づいたグローバルモーション推定法による第1動き推定処理を行う第1動き推定手段と、
前記第2フレーム画像情報と前記補間用フレーム画像情報とを用いたグローバルモーション推定法による第2動き推定処理を行う第2動き推定手段と、
前記第1動き推定処理の結果と前記第1フレーム画像情報とに基づいた第1動き補償処理を行う第1動き補償手段と、
前記第2動き推定処理の結果と前記第2フレーム画像情報とに基づいた第2動き補償処理を行う第2動き補償手段と、
前記第1動き補償処理の結果と前記第2動き補償処理の結果とを合成して前記補間フレーム画像情報を生成する合成手段と、
を備えることを特徴とする画像処理装置。

【請求項3】
請求項1又は請求項2に記載の画像処理装置において、
前記フレーム画像情報及び前記補間用フレーム画像情報をそれぞれ記録する記録手段を更に備え、
前記第1取得手段及び前記第2取得手段は、前記記録されているフレーム画像情報及び補間用フレーム画像情報を前記記録手段からそれぞれ取得することを特徴とする画像処理装置。

【請求項4】
請求項1から請求項3のいずれか一項に記載の画像処理装置において、
前記フレーム画像情報と前記補間用フレーム画像情報とに基づいて、前記被写体における前景と背景とをそれぞれ区別して検出する前景/背景検出手段と、
前記フレーム画像情報と前記補間用フレーム画像情報とに基づいて、前記前景における動き量を検出する動き量検出手段と、
を更に備え、
前記補間手段は、各前記検出された背景及び前景並びに動き量を用いて前記補間フレーム画像情報を生成することを特徴とする画像処理装置。

【請求項5】
請求項1から請求項4のいずれか一項に記載の画像処理装置において、
前記被写体を撮像して前記フレーム画像情報及び前記補間用フレーム画像情報をそれぞれ生成する撮像手段を更に備えることを特徴とする画像処理装置。

【請求項6】
請求項5に記載の画像処理装置において、前記撮像手段を切り換えて前記フレーム画像情報及び前記補間用フレーム画像情報をそれぞれ時分割的に生成する切換制御手段を更に備えることを特徴とする画像処理装置。

【請求項7】
請求項5に記載の画像処理装置において、
前記撮像手段は、
前記被写体を撮像して前記フレーム画像情報を生成する第1撮像手段と、
前記被写体を撮像して前記補間用フレーム画像情報を生成する第2撮像手段と、
前記被写体からの光を分光して前記第1撮像手段及び前記第2撮像手段にそれぞれに出射する分光手段と、
を備え、
前記第1撮像手段は、前記分光された一方の前記光を受光して前記フレーム画像情報を生成し、
前記第2撮像手段は、前記分光された他方の前記光を受光して前記補間用フレーム画像情報を生成することを特徴とする画像処理装置。

【請求項8】
請求項5に記載の画像処理装置において、
前記撮像手段は、
前記被写体を撮像して前記フレーム画像情報を生成する第1撮像手段と、
前記被写体を撮像して前記補間用フレーム画像情報を生成する第2撮像手段と、
を備え、
前記第1撮像手段と前記第2撮像手段とが隣接する位置に別個に設置されていることを特徴とする画像処理装置。

【請求項9】
予め設定された解像度及びフレームレートで被写体を撮像して得られたフレーム画像情報と、前記フレーム画像情報より低い解像度、及び、当該フレーム画像情報より高いフレームレートで前記被写体を撮像して得られた補間用フレーム画像情報と、がそれぞれ入力される画像処理装置において実行される画像処理方法であって、
前記フレーム画像情報を取得する第1取得工程と、
前記補間用フレーム画像情報を取得する第2取得工程と、
第1時刻に対応する前記フレーム画像情報である第1フレーム画像情報と、前記第1時刻より後の第2時刻に対応する前記フレーム画像情報である第2フレーム画像情報と、前記第1時刻と前記第2時刻との間の第3時刻に対応する前記補間用フレーム画像情報と、を用いて、前記フレーム画像情報の解像度に対応した解像度を有し且つ前記第3時刻に対応した補間フレーム画像情報を生成する補間工程と、
前記第1フレーム画像情報と、前記第2フレーム画像情報と、前記生成された補間フレーム画像情報と、を用いて、前記被写体に対応した動画像情報を生成する生成工程と、
を含むことを特徴とする画像処理方法。

【請求項10】
予め設定された解像度及びフレームレートで被写体を撮像して得られたフレーム画像情報と、前記フレーム画像情報より低い解像度、及び、当該フレーム画像情報より高いフレームレートで前記被写体を撮像して得られた補間用フレーム画像情報と、がそれぞれ入力される画像処理装置に含まれるコンピュータを、
前記フレーム画像情報を取得する第1取得手段、
前記補間用フレーム画像情報を取得する第2取得手段、
第1時刻に対応する前記フレーム画像情報である第1フレーム画像情報と、前記第1時刻より後の第2時刻に対応する前記フレーム画像情報である第2フレーム画像情報と、前記第1時刻と前記第2時刻との間の第3時刻に対応する前記補間用フレーム画像情報と、を用いて、前記フレーム画像情報の解像度に対応した解像度を有し且つ前記第3時刻に対応した補間フレーム画像情報を生成する補間手段、及び、
前記第1フレーム画像情報と、前記第2フレーム画像情報と、前記生成された補間フレーム画像情報と、を用いて、前記被写体に対応した動画像情報を生成する生成手段、
として機能させることを特徴とする画像処理用プログラム。
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

JP2015163487thum.jpg
出願権利状態 公開
ライセンスをご希望の方、特許の内容に興味を持たれた方は、下記までご連絡ください


PAGE TOP

close
close
close
close
close
close
close