Top > Search of Japanese Patents > IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND IMAGE PROCESSING PROGRAM

IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND IMAGE PROCESSING PROGRAM UPDATE_EN

Patent code P190015837
File No. S2018-0679-N0
Posted date Feb 5, 2019
Application number P2018-117026
Publication number P2019-219928A
Date of filing Jun 20, 2018
Date of publication of application Dec 26, 2019
Inventor
  • (In Japanese)金森 由博
  • (In Japanese)遠藤 結城
Applicant
  • (In Japanese)国立大学法人筑波大学
Title IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND IMAGE PROCESSING PROGRAM UPDATE_EN
Abstract PROBLEM TO BE SOLVED: To provide an image processing device, an image processing method, and a program, capable of enhancing realism when generating an output image corresponding to an input image based on a lighting state by a light source indicated by light source information.
SOLUTION: An image processing device comprises: an acquisition section for acquiring an input image; a generation section for generating an output image corresponding to the input image, based on light source information which is information indicating a lighting state from a light source, reflectance information estimated on the basis of the input image, which is a reflection rate of a subject included in the input image, and light propagation information estimated on the basis of visible information expressing whether or not the input image and the light from the light source can reach the subject, which is the propagation state of the light from the subject included in the input image; and an output section for outputting the output image generated by the generation section.
Outline of related art and contending technology (In Japanese)

再照明(relighting)とは、被写体が撮影されたときとは異なる照明環境下での被写体の見た目を再現する技術である。人物画像の再照明が実現できれば、ポートレート写真の陰影の修正、背景画像をさしかえる切り貼り合成など、様々な応用が考えられる。
一方で、物理則に基づいて人物画像の再照明を行うには、その画像から反射率、形状および照明を推定する必要がある。これは、逆レンダリング(inverse rendering)と呼ばれる不良設定問題である。このような逆レンダリングは、主に人物の顔画像に対して、統計的な3D形状モデルや畳み込みニューラルネットワーク(convolutional neural network; CNN)を用いて実現されてきた。そして、その際の照明計算の定式化において、周囲から届く光の分布を表現するために球面調和関数(spherical harmonics;SH)がよく用いられてきた。

Field of industrial application (In Japanese)

本発明の実施形態は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。

Scope of claims (In Japanese)
【請求項1】
 
入力画像を取得する取得部と、
光源からの照明状態を示す情報である光源情報と、前記入力画像に含まれる被写体の反射率として前記入力画像に基づいて推定された反射率情報と、前記入力画像に含まれる前記被写体からの光の伝達状態として前記入力画像と前記光源からの光が前記被写体に届くか否かを示す可視情報とに基づいて推定された光伝達情報とに基づいて、前記入力画像に対応する出力画像を生成する生成部と、
前記生成部が生成した出力画像を出力する出力部と
を備える、画像処理装置。

【請求項2】
 
前記光源情報とは、前記入力画像に基づいて推定されたものである、請求項1に記載の画像処理装置。

【請求項3】
 
前記出力画像とは、前記光源情報が示す前記照明状態に基づいて、前記入力画像に含まれる前記被写体を再照明した再照明画像である、請求項1に記載の画像処理装置。

【請求項4】
 
前記反射率情報と前記光伝達情報とは、機械学習モデルによって、前記入力画像に基づいて推定されたものである、請求項1から請求項3のいずれか一項に記載の画像処理装置。

【請求項5】
 
前記機械学習モデルとは、前記機械学習モデルによって、前記入力画像に基づいて推定される光源情報と、反射率情報と、光伝達情報とのいずれか又はいずれか同士の組み合わせから得られる画像と、所定の正解画像とを比較することによって学習されたものである、請求項4に記載の画像処理装置。

【請求項6】
 
前記可視情報は、物体表面の複数の点の各々について、光の方向毎に、前記光が複数の前記点の各々に届くか否かに基づいて作成される、請求項1から請求項5のいずれか一項に記載の画像処理装置。

【請求項7】
 
入力画像を取得するステップと、
光源からの照明状態を示す情報である光源情報と、前記入力画像に含まれる被写体の反射率として前記入力画像に基づいて推定された反射率情報と、前記入力画像に含まれる前記被写体からの光の伝達状態として前記入力画像と前記光源からの光が前記被写体に届くか否かを示す可視情報とに基づいて推定された光伝達情報とに基づいて、前記入力画像に対応する出力画像を生成するステップと、
前記生成するステップで生成された出力画像を出力するステップと
を有する、コンピュータが実行する画像処理方法。

【請求項8】
 
コンピュータに、
入力画像を取得するステップと、
光源からの照明状態を示す情報である光源情報と、前記入力画像に含まれる被写体の反射率として前記入力画像に基づいて推定された反射率情報と、前記入力画像に含まれる前記被写体からの光の伝達状態として前記入力画像と前記光源からの光が前記被写体に届くか否かを示す可視情報とに基づいて推定された光伝達情報とに基づいて、前記入力画像に対応する出力画像を生成するステップと、
前記生成するステップで生成された出力画像を出力するステップと
を実行させる、画像処理プログラム。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2018117026thum.jpg
State of application right Published
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close