TOP > 国内特許検索 > 画像処理装置、画像処理方法、及び画像処理プログラム

画像処理装置、画像処理方法、及び画像処理プログラム

国内特許コード P190015837
整理番号 S2018-0679-N0
掲載日 2019年2月5日
出願番号 特願2018-117026
公開番号 特開2019-219928
出願日 平成30年6月20日(2018.6.20)
公開日 令和元年12月26日(2019.12.26)
発明者
  • 金森 由博
  • 遠藤 結城
出願人
  • 国立大学法人筑波大学
発明の名称 画像処理装置、画像処理方法、及び画像処理プログラム
発明の概要 【課題】光源情報が示す光源による照明状態に基づいて、入力画像に対応する出力画像を生成する場合に、写実性を向上できる画像処理装置、画像処理方法、及びプログラムを提供することを提供すること。
【解決手段】画像処理装置は、入力画像を取得する取得部と、光源からの照明状態を示す情報である光源情報と、入力画像に含まれる被写体の反射率として入力画像に基づいて推定された反射率情報と、入力画像に含まれる被写体からの光の伝達状態として入力画像と光源からの光が被写体に届くか否かを示す可視情報とに基づいて推定された光伝達情報とに基づいて、入力画像に対応する出力画像を生成する生成部と、生成部が生成した出力画像を出力する出力部とを備える。
【選択図】図2
従来技術、競合技術の概要

再照明(relighting)とは、被写体が撮影されたときとは異なる照明環境下での被写体の見た目を再現する技術である。人物画像の再照明が実現できれば、ポートレート写真の陰影の修正、背景画像をさしかえる切り貼り合成など、様々な応用が考えられる。
一方で、物理則に基づいて人物画像の再照明を行うには、その画像から反射率、形状および照明を推定する必要がある。これは、逆レンダリング(inverse rendering)と呼ばれる不良設定問題である。このような逆レンダリングは、主に人物の顔画像に対して、統計的な3D形状モデルや畳み込みニューラルネットワーク(convolutional neural network; CNN)を用いて実現されてきた。そして、その際の照明計算の定式化において、周囲から届く光の分布を表現するために球面調和関数(spherical harmonics;SH)がよく用いられてきた。

産業上の利用分野

本発明の実施形態は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。

特許請求の範囲 【請求項1】
入力画像を取得する取得部と、
光源からの照明状態を示す情報である光源情報と、前記入力画像に含まれる被写体の反射率として前記入力画像に基づいて推定された反射率情報と、前記入力画像に含まれる前記被写体からの光の伝達状態として前記入力画像と前記光源からの光が前記被写体に届くか否かを示す可視情報とに基づいて推定された光伝達情報とに基づいて、前記入力画像に対応する出力画像を生成する生成部と、
前記生成部が生成した出力画像を出力する出力部と
を備える、画像処理装置。

【請求項2】
前記光源情報とは、前記入力画像に基づいて推定されたものである、請求項1に記載の画像処理装置。

【請求項3】
前記出力画像とは、前記光源情報が示す前記照明状態に基づいて、前記入力画像に含まれる前記被写体を再照明した再照明画像である、請求項1に記載の画像処理装置。

【請求項4】
前記反射率情報と前記光伝達情報とは、機械学習モデルによって、前記入力画像に基づいて推定されたものである、請求項1から請求項3のいずれか一項に記載の画像処理装置。

【請求項5】
前記機械学習モデルとは、前記機械学習モデルによって、前記入力画像に基づいて推定される光源情報と、反射率情報と、光伝達情報とのいずれか又はいずれか同士の組み合わせから得られる画像と、所定の正解画像とを比較することによって学習されたものである、請求項4に記載の画像処理装置。

【請求項6】
前記可視情報は、物体表面の複数の点の各々について、光の方向毎に、前記光が複数の前記点の各々に届くか否かに基づいて作成される、請求項1から請求項5のいずれか一項に記載の画像処理装置。

【請求項7】
入力画像を取得するステップと、
光源からの照明状態を示す情報である光源情報と、前記入力画像に含まれる被写体の反射率として前記入力画像に基づいて推定された反射率情報と、前記入力画像に含まれる前記被写体からの光の伝達状態として前記入力画像と前記光源からの光が前記被写体に届くか否かを示す可視情報とに基づいて推定された光伝達情報とに基づいて、前記入力画像に対応する出力画像を生成するステップと、
前記生成するステップで生成された出力画像を出力するステップと
を有する、コンピュータが実行する画像処理方法。

【請求項8】
コンピュータに、
入力画像を取得するステップと、
光源からの照明状態を示す情報である光源情報と、前記入力画像に含まれる被写体の反射率として前記入力画像に基づいて推定された反射率情報と、前記入力画像に含まれる前記被写体からの光の伝達状態として前記入力画像と前記光源からの光が前記被写体に届くか否かを示す可視情報とに基づいて推定された光伝達情報とに基づいて、前記入力画像に対応する出力画像を生成するステップと、
前記生成するステップで生成された出力画像を出力するステップと
を実行させる、画像処理プログラム。
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

JP2018117026thum.jpg
出願権利状態 公開
この特許について質問等ある場合は、電子メールによりご連絡ください。


PAGE TOP

close
close
close
close
close
close
close