Top > Search of Japanese Patents > FACE IMAGE PROCESSING SYSTEM, FACE IMAGE PROCESSING METHOD, AND FACE IMAGE PROCESSING PROGRAM > Specification

Specification :(In Japanese)顔画像処理システム、顔画像処理方法及び顔画像処理プログラム

Country (In Japanese)日本国特許庁(JP)
Gazette (In Japanese)特許公報(B1)
Patent Number P4768869
Date of registration Jun 24, 2011
Date of issue Sep 7, 2011
Title of the invention, or title of the device (In Japanese)顔画像処理システム、顔画像処理方法及び顔画像処理プログラム
IPC (International Patent Classification) G06T   1/00        (2006.01)
H04N   1/40        (2006.01)
FI (File Index) G06T 1/00 340A
H04N 1/40 Z
Number of claims or invention 8
Total pages 17
Application Number P2010-187914
Date of filing Aug 25, 2010
Date of request for substantive examination Jan 21, 2011
Patentee, or owner of utility model right (In Japanese)【識別番号】801000027
【氏名又は名称】学校法人明治大学
Inventor, or creator of device (In Japanese)【氏名】荒川 薫
Accelerated examination, or accelerated appeal examination (In Japanese)早期審査対象出願
Representative (In Japanese)【識別番号】100092820、【弁理士】、【氏名又は名称】伊丹 勝
Examiner (In Japanese)【審査官】岡本 俊威
Document or reference (In Japanese)特開2005-293214(JP,A)
特開2008-234342(JP,A)
田尻文雄、松井喬志、荒川薫、野本弘平,インタラクティブ進化計算を用いた顔画像強調美観化システム,電子情報通信学会技術研究報告SIS2005-67,日本,社団法人電子情報通信学会,2006年 3月,第105巻第677号,P43-47
Field of search G06T 1/00
H04N 1/40
Abstract (In Japanese)【課題】顔画像の明暗の差を強めて陰影を強調し彫りが深くはっきりと引き締まって見える顔画像を生成する。
【解決手段】顔画像処理システムは、入力された顔画像を構成する入力顔画像情報に基づき各種画像処理を行う画像情報処理部10と、画像情報処理部10によって画像処理された顔画像情報に対して輪郭強調処理を行って出力される顔画像を表す出力顔画像を生成する強調処理部20とを備える。画像情報処理部10は、顔画像情報を振幅-周波数空間にて顔の構造成分を示す第1及び第2の成分、顔の肌のしみ成分を示す第3の成分、顔の肌のしわ成分を示す第4の成分、及び顔の肌の自然な凹凸成分を示す第5の成分に分割し、第1、第2及び第5の成分を抽出すると共に第3及び第4の成分を除去する。そして、第1の成分に対して非線形勾配処理を施した後、第2及び第5の成分と合成して、強調処理部20によって輪郭強調処理を行う。
【選択図】図1
Scope of claims (In Japanese)【請求項1】
入力された顔画像を構成する顔画像情報を振幅-周波数空間にて顔の構造成分を示す第1及び第2の成分、前記顔の肌のしみ成分を示す第3の成分、前記顔の肌のしわ成分を示す第4の成分、及び前記顔の肌の自然な凹凸成分を示す第5の成分に分割し、前記第1、第2及び第5の成分を抽出すると共に前記第3及び第4の成分を除去するε-分離型非線形フィルタバンクと、
前記ε-分離型非線形フィルタバンクによって抽出された第1の成分に対して非線形勾配処理を施してコントラスト強調を行う非線形処理手段と、
前記非線形処理手段によって非線形勾配処理が施された第1の成分と、前記ε-分離型非線形フィルタバンクによって抽出された第2及び第5の成分とから生成された顔画像情報に基づく出力顔画像を出力する出力手段とを備え
前記顔画像情報は、前記ε-分離型非線形フィルタバンク及び前記非線形処理手段を介して複数生成され、
前記出力手段は、複数生成された顔画像情報に基づく複数の出力顔画像を表示画面上に表示し、
前記表示された複数の出力顔画像の中から、ユーザにより指定された所望の出力顔画像の選択指示及び最終的な出力顔画像の決定指示のうちのいずれか一つを受け付ける入力手段と、
前記入力手段によって前記出力顔画像の選択指示が受け付けられた場合に、選択された出力顔画像を表す顔画像情報に基づき前記非線形処理手段における処理のパラメータを、遺伝的アルゴリズムに基づく交叉処理及び突然変異処理を行ってインタラクティブ進化計算により設定する演算手段とを更に備え、
前記非線形処理手段は、前記演算手段によって設定されたパラメータに基づく顔画像情報の生成を、前記入力手段によって前記出力顔画像の決定指示が受け付けられるまで繰り返し行う
ことを特徴とする顔画像処理システム。
【請求項2】
前記入力手段によって前記出力顔画像の決定指示が受け付けられた場合に、決定された出力顔画像を表す顔画像情報を生成したときの前記パラメータを基準パラメータとして記憶する記憶手段を更に備えた
ことを特徴とする請求項1記載の顔画像処理システム。
【請求項3】
前記非線形処理手段は、シグモイド関数を用いて非線形勾配処理を行う
ことを特徴とする請求項1又は2記載の顔画像処理システム。
【請求項4】
前記非線形処理手段は、非線形勾配処理によって前記第1の成分の明暗の差を強めて陰影を強調する
ことを特徴とする請求項1~3のいずれか1項記載の顔画像処理システム。
【請求項5】
前記ε-分離型非線形フィルタバンクの前段に前記顔画像情報の輝度及び色情報の少なくとも1つが所定の範囲である肌色領域部を抽出する肌色抽出手段を更に備え、
前記ε-分離型非線形フィルタバンク及び前記非線形処理手段は、前記肌色抽出手段によって抽出された前記肌色領域部を示す顔画像情報のみに対して各処理を施す
ことを特徴とする請求項1~4のいずれか1項記載の顔画像処理システム。
【請求項6】
前記出力手段は、前記ε-分離型非線形フィルタバンク及び前記非線形処理手段を介して出力された前記肌色領域部を示す顔画像情報と、前記肌色抽出手段によって前記肌色領域部が抽出された顔画像情報とを合成して前記出力顔画像を出力する
ことを特徴とする請求項5記載の顔画像処理システム。
【請求項7】
ε-分離型非線形フィルタバンク、非線形処理手段出力手段、入力手段、及び演算手段を備えた顔画像処理システムにおける顔画像処理方法であって、
力された顔画像を構成する顔画像情報を前記ε-分離型非線形フィルタバンクによって振幅-周波数空間にて顔の構造成分を示す第1及び第2の成分、前記顔の肌のしみ成分を示す第3の成分、前記顔の肌のしわ成分を示す第4の成分、及び前記顔の肌の自然な凹凸成分を示す第5の成分に分割し、前記第1、第2及び第5の成分を抽出すると共に前記第3及び第4の成分を除去する工程と、
記抽出された第1の成分に対して前記非線形処理手段によって非線形勾配処理を施してコントラスト強調を行う工程と、
記非線形勾配処理が施された第1の成分と、前記抽出された第2及び第5の成分とから顔画像を表す顔画像情報を生成する工程と、
記生成された顔画像情報に基づく出力顔画像を前記出力手段によって表示画面上に複数出力する工程と
前記表示された複数の出力顔画像の中から、ユーザにより指定された所望の出力顔画像の選択指示及び最終的な出力顔画像の決定指示のうちのいずれか一つを前記入力手段により受け付ける工程と、
前記入力手段によって前記出力顔画像の選択指示が受け付けられた場合に、前記演算手段が、選択された出力顔画像を表す顔画像情報に基づき前記非線形処理手段における処理のパラメータを、遺伝的アルゴリズムに基づく交叉処理及び突然変異処理を行ってインタラクティブ進化計算により設定する工程とを備え、
前記非線形処理を施す工程は、前記非線形処理手段が、前記設定されたパラメータに基づく顔画像情報の生成を、前記出力顔画像の決定指示が受け付けられるまで繰り返し行われる
ことを特徴とする顔画像処理方法。
【請求項8】
ε-分離型非線形フィルタバンク、非線形処理手段出力手段、入力手段、及び演算手段を備えたコンピュータを有する顔画像処理システムにて顔画像処理を実行させるための顔画像処理プログラムであって、
前記コンピュータに、
力された顔画像を構成する顔画像情報を前記ε-分離型非線形フィルタバンクによって振幅-周波数空間にて顔の構造成分を示す第1及び第2の成分、前記顔の肌のしみ成分を示す第3の成分、前記顔の肌のしわ成分を示す第4の成分、及び前記顔の肌の自然な凹凸成分を示す第5の成分に分割させ、前記第1、第2及び第5の成分を抽出させると共に前記第3及び第4の成分を除去させるステップと、
記抽出された第1の成分に対して前記非線形処理手段によって非線形勾配処理を施してコントラスト強調を行うステップと、
記非線形勾配処理が施された第1の成分と、前記抽出された第2及び第5の成分とから顔画像を表す顔画像情報を生成させるステップと、
記生成された顔画像情報に基づく出力顔画像を前記出力手段によって表示画面上に複数出力させるステップと
前記表示された複数の出力顔画像の中から、ユーザにより指定された所望の出力顔画像の選択指示及び最終的な出力顔画像の決定指示のうちのいずれか一つを前記入力手段により受け付けるステップと、
前記入力手段によって前記出力顔画像の選択指示が受け付けられた場合に、前記演算手段が、選択された出力顔画像を表す顔画像情報に基づき前記非線形処理手段における処理のパラメータを、遺伝的アルゴリズムに基づく交叉処理及び突然変異処理を行ってインタラクティブ進化計算により設定するステップとを実行させ、
前記非線形処理を施させるステップは、前記非線形処理手段が、前記設定されたパラメータに基づく顔画像情報の生成を、前記出力顔画像の決定指示が受け付けられるまで繰り返し行う
ことを特徴とする顔画像処理プログラム。
Detailed description of the invention (In Japanese)【技術分野】
【0001】
この発明は、顔画像情報を入力し美観化処理を施して出力する顔画像処理システム、顔画像処理方法及び顔画像処理プログラムに関する。
【背景技術】
【0002】
従来より、人の顔画像を表す顔画像情報を入力し、この顔画像情報に対して例えば肌色を明るくしたり肌領域の平滑化を行ったりする美観化処理を施して、実際の顔画像よりも奇麗に見えるように処理した顔画像を出力することができるシステムが知られている(例えば、非特許文献1参照)。
【0003】
このシステムは、いわゆるε-フィルタバンクなる非線形ディジタルフィルタバンクにインタラクティブ進化計算(Interactive Evolutionary Computing:IEC)を導入し、更にアンシャープマスキングによる画像強調フィルタを導入して顔画像の輪郭を強調し、画像全体のぼけを抑制するように構成されている。
【先行技術文献】
【0004】

【非特許文献1】田尻文雄、松井喬志、荒川薫、野本弘平;「インタラクティブ進化計算を用いた顔画像強調美観化システム」、社団法人電子情報通信学会技術研究報告SIS2005-67、pp.43-47、2006年3月
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上述した非特許文献1に開示されているシステムでは、顔画像の輪郭を強調して画像全体のぼけを抑制することはできるが、これと共に顔画像がはっきりし過ぎて場合によってはきつい感じに見られる顔画像が生成されてしまうという問題があった。
【0006】
この発明は、上述した従来技術による問題点を解消するため、顔画像の明暗の差を強めて陰影を強調し彫りが深くはっきりと引き締まって見える顔画像を生成し、実際の顔画像よりもより奇麗に見える顔画像を出力することができる顔画像処理システム、顔画像処理方法及び顔画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一態様に係る顔画像処理システムは、入力された顔画像を構成する顔画像情報を振幅-周波数空間にて顔の構造成分を示す第1及び第2の成分、前記顔の肌のしみ成分を示す第3の成分、前記顔の肌のしわ成分を示す第4の成分、及び前記顔の肌の自然な凹凸成分を示す第5の成分に分割し、前記第1、第2及び第5の成分を抽出すると共に前記第3及び第4の成分を除去するフィルタ手段と、前記フィルタ手段によって抽出された第1の成分に対して非線形勾配処理を施す非線形処理手段と、前記非線形処理手段によって非線形勾配処理が施された第1の成分と、前記フィルタ手段によって抽出された第2及び第5の成分とを合成する合成手段と、前記合成手段によって合成された合成成分に対して輪郭強調処理を施して出力される顔画像を表す顔画像情報を生成する強調処理手段と、前記強調処理手段によって生成された顔画像情報に基づく出力顔画像を出力する出力手段とを備えたことを特徴とする。
【0008】
前記顔画像情報は、例えば前記フィルタ手段、前記非線形処理手段及び前記強調処理手段を介して複数生成され、前記出力手段は、例えば複数生成された顔画像情報に基づく複数の出力顔画像を表示画面上に表示し、前記表示された複数の出力顔画像の中から、ユーザにより指定された所望の出力顔画像の選択指示及び最終的な出力顔画像の決定指示のうちのいずれか一つを受け付ける入力手段と、前記入力手段によって前記出力顔画像の選択指示が受け付けられた場合に、選択された出力顔画像を表す顔画像情報に基づき前記フィルタ手段、前記非線形処理手段及び前記強調処理手段における各処理のパラメータを、遺伝的アルゴリズムに基づく交叉処理及び突然変異処理を行ってインタラクティブ進化計算により設定する演算手段とを更に備えた構成であっても良く、前記フィルタ手段、前記非線形処理手段及び前記強調処理手段は、前記演算手段によって設定されたパラメータに基づく顔画像情報の生成を、前記入力手段によって前記出力顔画像の決定指示が受け付けられるまで繰り返し行うものでも良い。
【0009】
前記入力手段によって前記出力顔画像の決定指示が受け付けられた場合に、決定された出力顔画像を表す顔画像情報を生成したときの前記パラメータを基準パラメータとして記憶する記憶手段を更に備えた構成であっても良い。
【0010】
前記フィルタ手段は、ε-分離型非線形フィルタバンクにより構成され、前記非線形処理手段は、シグモイド関数を用いて非線形勾配処理を行うものでも良い。
【0011】
前記非線形処理手段は、例えば非線形勾配処理によって前記第1の成分の明暗の差を強めて陰影を強調する。これにより、顔画像の彫りを深くすることができる。
【0012】
前記フィルタ手段の前段に前記顔画像情報の輝度及び色情報の少なくとも1つが所定の範囲である肌色領域部を抽出する肌色抽出手段を更に備え、前記フィルタ手段、前記非線形処理手段、前記合成手段、及び前記強調処理手段は、前記肌色抽出手段によって抽出された前記肌色領域部を示す顔画像情報のみに対して各処理を施す構成としても良い。このようにすれば、顔画像情報の処理対象領域を肌色領域部に対してのみと限定することができ、肌色領域部以外の顔画像領域への余計な影響を抑え、処理時間を短縮することができる。
【0013】
前記出力手段は、前記強調処理手段から出力された前記肌色領域部を示す顔画像情報と、前記肌色抽出手段によって前記肌色領域部が抽出された顔画像情報とを合成して前記出力顔画像を出力するものでも良い。
【0014】
本発明の一態様に係る顔画像処理方法は、フィルタ手段、非線形処理手段、合成手段、強調処理手段、及び出力手段を備えた顔画像処理システムにおける顔画像処理方法であって、前記フィルタ手段によって、入力された顔画像を構成する顔画像情報を振幅-周波数空間にて顔の構造成分を示す第1及び第2の成分、前記顔の肌のしみ成分を示す第3の成分、前記顔の肌のしわ成分を示す第4の成分、及び前記顔の肌の自然な凹凸成分を示す第5の成分に分割し、前記第1、第2及び第5の成分を抽出すると共に前記第3及び第4の成分を除去する工程と、前記非線形処理手段によって、前記抽出された第1の成分に対して非線形勾配処理を施す工程と、前記合成手段によって、前記非線形勾配処理が施された第1の成分と、前記抽出された第2及び第5の成分とを合成する工程と、前記強調処理手段によって、前記合成された合成成分に対して輪郭強調処理を施して出力される顔画像を表す顔画像情報を生成する工程と、前記出力手段によって、前記生成された顔画像情報に基づく出力顔画像を出力する工程とを備えたことを特徴とする。
【0015】
本発明の一態様に係る顔画像処理プログラムは、フィルタ手段、非線形処理手段、合成手段、強調処理手段、及び出力手段を備えたコンピュータを有する顔画像処理システムにて顔画像処理を実行させるための顔画像処理プログラムであって、前記コンピュータに、前記フィルタ手段によって、入力された顔画像を構成する顔画像情報を振幅-周波数空間にて顔の構造成分を示す第1及び第2の成分、前記顔の肌のしみ成分を示す第3の成分、前記顔の肌のしわ成分を示す第4の成分、及び前記顔の肌の自然な凹凸成分を示す第5の成分に分割させ、前記第1、第2及び第5の成分を抽出させると共に前記第3及び第4の成分を除去させるステップと、前記非線形処理手段によって、前記抽出された第1の成分に対して非線形勾配処理を施させるステップと、前記合成手段によって、前記非線形勾配処理が施された第1の成分と、前記抽出された第2及び第5の成分とを合成させるステップと、前記強調処理手段によって、前記合成された合成成分に対して輪郭強調処理を施させて出力される顔画像を表す顔画像情報を生成させるステップと、前記出力手段によって、前記生成された顔画像情報に基づく出力顔画像を出力させるステップとを実行させることを特徴とする。
【発明の効果】
【0016】
本発明によれば、顔画像の明暗の差を強めて陰影を強調し彫りが深くはっきりと引き締まって見える顔画像を生成し、実際の顔画像よりもより奇麗に見える顔画像を出力することができる。更に、入力された顔画像から輝度及び色情報などを用いて肌色領域部を抽出し、抽出した肌色領域部を示す顔画像情報のみに対して各処理を施すことにより、顔画像における処理対象領域を限定することができ肌色領域以外の顔画像領域への余計な影響を防いだり、処理時間を短縮したりすることができる。
【図面の簡単な説明】
【0017】
【図1】本発明の一実施形態に係る顔画像処理システムの全体構成を示すブロック図である。
【図2】同顔画像処理システムの画像情報処理部の構成を示すブロック図である。
【図3】同顔画像処理システムの画像情報処理部の具体的な構成を示すブロック図である。
【図4】同顔画像処理システムの画像情報処理部における非線形関数の例を示す図である。
【図5】同顔画像処理システムの画像情報処理部におけるε-フィルタ及び線形低域通過フィルタの振幅-周波数空間の分割例を示す図である。
【図6】同顔画像処理システムのε-フィルタバンクの構成を示す図である。
【図7】同顔画像処理システムのε-フィルタバンクによる振幅-周波数空間における顔画像情報の各成分の分割例を示す図である。
【図8】同顔画像処理システムの非線形勾配処理に用いられる非線形関数の一例を示す図である。
【図9】同顔画像処理システムの非線形勾配処理に用いられる非線形関数の一例を示す図である。
【図10A】同顔画像処理システムの顔画像処理前の顔画像を示す図である。
【図10B】同顔画像処理システムの顔画像処理による結果の顔画像を示す図である。
【図10C】同顔画像処理システムの顔画像処理による結果の顔画像を示す図である。
【図11】本発明の一実施形態に係る顔画像処理方法による画像処理手順を示すフローチャートである。
【図12】同顔画像処理方法による画像処理手順の一部の処理内容を示すフローチャートである。
【発明を実施するための形態】
【0018】
以下に、添付の図面を参照して、この発明に係る顔画像処理システム、顔画像処理方法及び顔画像処理プログラムの実施の形態を詳細に説明する。

【0019】
図1は、本発明の一実施形態に係る顔画像処理システムの全体構成を示すブロック図である。図2は、この顔画像処理システムの画像情報処理部の構成を示すブロック図である。図3は、この画像情報処理部の具体的な構成を示すブロック図である。図4は、この画像処理部における非線形関数の例を示す図である。

【0020】
図1に示すように、顔画像処理システムは、図示しないコンピュータやワークステーション等のハードウェア上で実現されるものである。この顔画像処理システムは、例えば入力された顔画像を構成する入力顔画像情報(画像データ)に基づき各種画像処理を行う画像情報処理部10と、画像情報処理部10によって画像処理された顔画像情報に対して輪郭強調処理を行って出力される顔画像を表す出力顔画像情報を生成する強調処理部20とを備えて構成されている。

【0021】
画像情報処理部10は、図2に示すように、具体的には入力された顔画像情報を振幅-周波数空間において所定の成分に分割し、抽出・除去するフィルタ処理部11と、このフィルタ処理部11から出力された特定の成分に対して非線形処理の一種である非線形勾配処理を施す非線形勾配処理部12と、この非線形勾配処理部12から出力された成分とフィルタ処理部11にて抽出された成分とを加算する加算器13とを備えて構成されている。

【0022】
フィルタ処理部11は、例えば図3に示すように、より具体的にはε-分離型非線形フィルタバンク(以下、「ε-フィルタバンク」と呼ぶ。)11Aにより構成される。また、非線形勾配処理部12は、より具体的にはシグモイド関数を用いた非線形勾配処理を行うシグモイド処理部(以下、「SIGM処理部」と略記する。)12Aにより構成される。

【0023】
なお、フィルタ処理部11は、ε-フィルタを用いたε-フィルタバンク11Aの他にも種々の非線形フィルタを用いたフィルタバンクにより構成することができ、非線形勾配処理部12は、シグモイド関数の他にも種々の非線形関数を用いた非線形勾配処理を行うように構成することができる。

【0024】
ここで、まず、ε-フィルタバンク11Aで用いられるε-フィルタの原理について説明する。本実施形態に係る顔画像処理システムにおいて、それぞれ第n時点における入力された顔画像情報を入力信号x(n)とし、出力される顔画像情報を出力信号y(n)とすると、ε-フィルタは、次式(1)からなる非再帰型低域通過フィルタに非線形関数Fを導入することにより実現され、次式(2)のように表される。

【0025】
【数1】
JP0004768869B1_000002t.gif

【0026】
【数2】
JP0004768869B1_000003t.gif

【0027】
上記式(1),(2)において、aiは、総和が1なる非再帰型低域通過フィルタ係数であり、Fは図4(a),(b)に示すような非線形関数であって、その絶対値はある値ε以下に制限されている。このとき、入力信号x(n)と出力信号y(n)との差は、次式(3)のようにある値ε’以下に制限される。

【0028】
【数3】
JP0004768869B1_000004t.gif

【0029】
このとき、特に全てのaiが正とすると、ε’=εである。振幅が十分小さな加法性高周波雑音が入力信号に含まれている場合は、εを雑音の振幅ピーク・ピーク値程度に設定すると、その雑音は上記式(1)により表される低域通過フィルタで平滑される。また、出力信号は入力信号±ε以内となるので、大きな振幅変化を保ちながら雑音の除去を行うことが可能である。

【0030】
図5は、顔画像処理システムの画像情報処理部におけるε-フィルタ及び線形低域通過フィルタの振幅-周波数空間の分割例を示す図である。このようなε-フィルタでは、出力信号y(n)としては入力における低周波数成分又は大振幅成分が得られ、それに対し振幅ε以下の小振幅高周波成分は、y(n)-x(n)として得られる。

【0031】
従って、y(n)-x(n)をu(n)と表すと、このε-フィルタは、入力信号x(n)に対して、その振幅-周波数空間を図5(a)に示すように分ける。なお、通常の線形低域通過フィルタは、その振幅-周波数空間を図5(b)に示すように分けるものに相当する。

【0032】
図6は、顔画像処理システムのε-フィルタバンクの構成を示す図である。上記のようなε-フィルタをフィルタバンク状に組み合わせると、その入力信号x(n)をその振幅-周波数に応じて複数の領域に分割することができる。従って、これをε-フィルタバンク11Aとして、図6に示すように構成することができる。ここで、図6に示すように、ε-フィルタバンク11Aは、線形低域通過フィルタとε-フィルタとを組み合わせた構造からなる。

【0033】
このε-フィルタバンク11Aにおいて、Lは線形低域通過フィルタであり、E1,E2,E3はε-フィルタである。各フィルタは二次元フィルタとし、nは二次元平面における画素の位置(i,j)を表すものとする。なお、各出力信号y1(n)~y5(n)の総和は入力信号x(n)に等しく、線形低域通過フィルタLとε-フィルタE2の窓サイズは等しくw0とし、更にε-フィルタE1,E3の窓サイズも等しくw1とする。また、各ε-フィルタE1,E2,E3の値ε(これを順にε1,ε2,ε3とする。)は、ε1>ε2>ε3の関係にあるとする。

【0034】
図7は、顔画像処理システムのε-フィルタバンクによる振幅-周波数空間における顔画像情報の各成分の分割例を示す図である。このように構成されたε-フィルタバンク11Aは、入力信号x(n)の振幅-周波数空間を図7に示すような領域に分割する。顔画像を表す顔画像情報においては、例えば目、鼻、口、眉などの顔の主要部分は一般的に大振幅信号として表されることが知られている。

【0035】
また、顔のベース部分(例えば、頬など)は低周波数信号として表され、顔のしわ(特に、小じわ)部分やしみ部分などの肌の美観を損ねる要因となる成分は、比較的小振幅で周波数が高い信号として表される。更に、顔の自然な凹凸成分はより振幅の小さな高周波数信号として表される。

【0036】
そこで、本実施形態に係る顔画像処理システムにおいては、ε-フィルタバンク11Aは、入力信号x(n)を図7に示すような振幅-周波数空間にて分割する。すなわち、ε-フィルタバンク11Aは、顔の構造成分を示す第1の成分y1(n)及び第2の成分y2(n)と、顔の肌のしみ成分を示す第3の成分y3(n)と、顔の肌のしわ成分を示す第4の成分y4(n)と、顔の肌の自然な凹凸成分を示す第5の成分y5(n)とに分割する。

【0037】
そして、顔の構造成分を示す第1及び第2の成分(すなわち、y1(n),y2(n))並びに顔の肌の自然な凹凸成分を示す第5の成分(すなわち、y5(n))を抽出する。これと共に、顔の肌のしみ成分及びしわ成分に相当する振幅周波数成分(すなわち、第3及び第4の成分y3(n),y4(n))のみを除去する。これにより、まず、ε-フィルタバンク11Aを通過した段階で肌を滑らかに見せることができるような顔画像情報を構築する。

【0038】
具体的には、図6に示したε-フィルタバンク11Aにおいて、線形低域通過フィルタL及びε-フィルタE1,E2,E3の窓サイズw0,w1と、ε-フィルタE1,E2,E3のεの値ε1,ε2,ε3とを適切な値に設定する。すると、図7に示すように、第1の成分y1(n)及び第2の成分y2(n)を顔の主要部分及びベース部分とし、第3の成分y3(n)を肌のしみ成分及び第4の成分y4(n)を肌のしわ成分とし、第5の成分y5(n)を肌の自然な凹凸成分とすることができる。

【0039】
ここで、窓サイズw0は肌のしみ成分と顔のベース部分との周波数帯を分けるものとし、窓サイズw1は肌のしみ成分と肌の自然な凹凸成分との周波数帯を分けるものとする。また、ε-フィルタE1のεの値ε1は、除去すべき肌のしわ成分の振幅(ピーク-ピーク)の最大値程度とし、ε-フィルタE2のεの値ε2は、肌のしみ成分の振幅(ピーク-ピーク)の最大値程度、及びε-フィルタE3のεの値ε3は、肌の自然な凹凸成分の振幅(ピーク-ピーク)の最大値程度とする。

【0040】
このように構成されたε-フィルタバンク11Aにおいては、上述したように入力信号x(n)から顔の肌のしみ及びしわ成分を示す第3及び第4の成分y3(n),y4(n)が除去される。そして、出力される第1、第2及び第5の成分y1(n),y2(n),y5(n)のうち、特定の成分である顔の構造成分を示す第1の成分y1(n)のみがSIGM処理部12Aに入力される。

【0041】
なお、例えば図2に示す顔構造成分u(n)として、例えば上記の顔の構造成分を示す第1の成分y1(n)のような顔の大まかな構造を表す成分を採用する。そして、これに対して非線形勾配処理部12(例えば、SIGM処理部12A)にてコントラスト強調を行い、その後ε-フィルタバンク11Aにより除去された成分以外の成分の合成を行うと、顔画像の明るい箇所と暗い箇所の違いが際立ち、顔の陰影を強調することが可能となる。

【0042】
これにより、ε-フィルタバンク11Aを通過したことで肌を滑らかに見せることができるようになった顔画像情報が表す顔画像の奥行き感が、SIGM処理部12Aにて強調されて彫りの深い顔立ちを生成することができる。その結果、頬の影が強調されて小顔化されて見える顔画像を生成することができる。

【0043】
ここで、コントラスト強調の度合いを調整できるようにするために、例えば顔構造成分u(n)を次式(4)のように変換する。

【0044】
【数4】
JP0004768869B1_000005t.gif

【0045】
なお、式(4)中aは[0,1]のパラメータで、aが大きい程コントラスト強調が強く施され、aが0ならコントラスト強調は行われない。このコントラスト強調は、例えば顔構造成分u(n)に対して次に説明する非線形関数Fを用いることにより施すことができる。

【0046】
図8及び図9は、顔画像処理システムの非線形勾配処理に用いられる非線形関数の一例を示す図である。SIGM処理部12Aは、非線形勾配処理として、具体的には第1の成分y1(n)に対してコントラスト強調を行う。このコントラスト強調には、図8及び図9に示すような強調関数の一種である非線形関数Fを用いることができる。

【0047】
また、この非線形関数Fとしては、例えばシグモイド関数SIGMを用いることができる。そして、コントラスト強調における輝度の最大値を255とすると、第1の成分y1(n)を次式(5)によりy1’(n)に置き換える。

【0048】
【数5】
JP0004768869B1_000006t.gif

【0049】
ここで、シグモイド関数SIGMとしては、具体的には、例えば次式(6)のようなものを用いることができる。

【0050】
【数6】
JP0004768869B1_000007t.gif

【0051】
こうして、SIGM処理部12Aにて非線形勾配処理が施された第1の成分y1’(n)と、ε-フィルタバンク11Aにより抽出された第2及び第5の成分y2(n),y5(n)とを、加算器13にて加算する。これにより、画像情報処理部10からの出力信号y1’(n)+y2(n)+y5(n)を得ることができる。

【0052】
なお、上記式(6)のβは、SIGM(y)がy=0で0、y=255で255に近くなるような値として1/30に設定しておく。また、非線形関数Fは、例えば図8に示すような曲線形のものであっても、輝度が高いところについては顔のテカリを防止するために一部直線形とするなど、上記の他にも種々の非線形関数を用いることができる。

【0053】
画像情報処理部10の出力信号により、上記のように入力顔画像と比べると顔の頬の影が強調されて小顔化されて見える顔画像が生成される。しかし、このままでは画像全体としては多少ぼけた感じの顔画像となってしまう。このため、本実施形態に係る顔画像処理システムでは、更に強調処理部20において、輪郭強調処理としてアンシャープマスキングを行い、顔画像の輪郭を鮮明にする(例えば、強調度合いのパラメータをγとした)処理が行われる。

【0054】
そして、各処理において用いられる上述した窓サイズw0,w1、εの値ε1,ε2,ε3、αやγなどの各パラメータは、例えば公知の遺伝的アルゴリズム(Genetic Algorithm:GA)を用いたインタラクティブ進化計算(IEC)により最適値が設定される。

【0055】
ここで、アンシャープマスキングは、例えば強調処理部20への入力信号y(i)(j)に対して出力信号z(i)(j)を得ることにより行われ、このときの画像強調フィルタとしては、次式(7)で表すものを用いることができる。なお、式(7)中のγは強調の程度を決めるパラメータである。

【0056】
【数7】
JP0004768869B1_000008t.gif

【0057】
図10Aは、顔画像処理システムの顔画像処理前の顔画像を示す図である。図10B及び図10Cは、顔画像処理システムの顔画像処理による結果の顔画像を示す図である。なお、顔画像処理に用いられた原画像の大きさは256×256のRGB各8ビットのカラー画像であり、出力された結果もカラー画像であるが、図10A~Cにおいてはカラー画像をモノクロ画像に変更している。

【0058】
図10Aは、顔画像処理システムに入力された顔画像情報により表される入力顔画像を示している。また、図10Bは、ε-フィルタバンク11Aにより抽出された第1、第2及び第5の成分y1(n),y2(n),y5(n)に対し、強調処理部20にて輪郭強調処理を施した結果の顔画像を示している。更に、図10Cは、本実施形態にて説明したように非線形勾配処理が施された第1の成分y1’(n)と第2及び第5の成分とを加算したものに、強調処理部20にて輪郭強調処理を施した結果の顔画像を示している。

【0059】
図10Bに示すように、第1、第2及び第5の成分y1(n),y2(n),y5(n)のすべてに対して輪郭強調を施したものは、図10Aに示す入力顔画像よりは客観的に奇麗に見える結果となった。しかし、印象としては全体が幾分はっきりし過ぎて場合によってはきつい感じに見られる顔画像となった。すなわち、図10Bに示す顔画像では、画像全体の輪郭強調はされているが、上述したような顔の陰影は強調されていない。

【0060】
これに対し、図10Cに示すように、第1の成分y1(n)に対してコントラスト強調を行い陰影を強めた後に、第2及び第5の成分y2(n),y5(n)と合成したものに輪郭強調を施したものは、陰影が強調された上で輪郭強調がされている。このため、図10Bに示すものよりも柔らかい印象を与えつつも彫りが深くはっきりと引き締まって見える顔画像となった。これにより、小顔化された印象を与えることができるような顔画像となった。

【0061】
このように、本実施形態に係る顔画像処理システムによれば、入力された顔画像の明暗の差を強めて陰影を強調し彫りが深くはっきりと引き締まって見える顔画像を生成することができる。これにより、実際の顔画像(入力顔画像)よりもより奇麗に見える顔画像を出力することができる。

【0062】
図11は、本発明の一実施形態に係る顔画像処理方法による画像処理手順を示すフローチャートである。図12は、同顔画像処理方法による画像処理手順の一部の処理内容を示すフローチャートである。なお、以降において既に説明した部分と重複する箇所には同一の符号を附して説明を割愛する。

【0063】
この顔画像処理方法は、例えば予め用意された顔画像処理プログラムを顔画像処理システムのコンピュータ(図示せず)に実行させることにより実現する。このコンピュータは、CPUやHDD等の各種装置を備える本体と、出力手段として情報を表示画面上に表示するディスプレイと、入力手段として受け付けられた情報をCPU等に入力する入力インタフェース(入力I/F)及びキーボードやマウス等の入力デバイスとを備えた一般的な構成により実現されている。以下、処理主体は特に明記しない場合はコンピュータであるとする。

【0064】
図11に示すように、まず、図10Aに示すような入力顔画像を表す顔画像情報(画像データ)を入力I/Fを介して入力する(ステップS100)。次に、入力された顔画像情報に基づき、画像情報処理部10及び強調処理部20によって複数の初期候補顔画像を生成し(ステップS102)、これらの候補顔画像をディスプレイ上に表示する(ステップS104)。ここで、上述したようなw0,w1,ε1,ε2,ε3,α,γなどの各パラメータの値の組をランダムにM通り作成し、各パラメータの値の組毎に1つの処理画像を求める。結果的にM個の出力画像(候補顔画像)が表示される。

【0065】
このとき、顔画像処理システムの利用者(ユーザ)は、入力デバイスを利用して、表示された複数の候補顔画像の中から、最も望ましいと主観的に思える顔画像がなかった場合は所望の出力顔画像の選択指示を行う。また、最も望ましいと主観的に思える顔画像があった場合は最終的な出力顔画像の決定指示を行う。

【0066】
従って、コンピュータは、入力デバイスからの情報に基づき、出力顔画像が決定されたか否かを判断する(ステップS106)。最終的な出力顔画像の決定指示が受け付けられて出力顔画像が決定された場合(ステップS106のYes)は、その顔画像を表す顔画像情報を画像情報処理部10及び強調処理部20にて生成したときの各種パラメータを基準パラメータとして決定し(ステップS108)、記憶手段に記憶して顔画像情報を出力し(ステップS110)、本フローチャートによる一連の処理を終了する。なお、ステップS110における顔画像情報の出力は、画像データを出力したり、ディスプレイ上に表示出力したり、紙面上に印刷出力したりする種々の出力形態が含まれる。

【0067】
一方、上記ステップS106にて、出力顔画像が決定されなかった場合(ステップS106のNo)は、GAを用いたIECを行って(ステップS120)次世代の候補顔画像を複数生成する。そして、これら候補顔画像のパラメータを記憶手段に一時記憶して(ステップS130)、上記ステップS104に移行し、以降の処理を繰り返す。

【0068】
上記ステップS120のIECは、図12に示すように行われる。すなわち、上記ステップS106にて出力顔画像が決定されなかった場合は、ユーザによって所望の出力顔画像の選択指示がなされたからである。従って、コンピュータは、所望の出力顔画像の選択により指定された候補顔画像の選択を受け付け(ステップS122)、受け付けた候補顔画像に適用されたパラメータに基づいて交叉処理(ステップS124)及び突然変異処理(ステップS126)を行う。

【0069】
ここで、顔画像処理システムにおけるGAを用いたIECについて簡単に説明する。このIECにおいては、図示は省略するが、まず前提として、例えば上記窓サイズw0,w1やεの値ε1,ε2,ε3、その他の各種パラメータを連結して二進数表現する。そして、連結したものを1つの染色とし、その染色体が1つの個体を表すものとする。

【0070】
次に、この個体に対してGAを適用する。具体的には、例えばディスプレイ上に表示されたM個の候補顔画像(ステップS104)の中から、例えばユーザが好ましいと思うものをS個選択して貰う(例えば、ステップS106のNo及びステップS122)。そして、選択されたS個の候補顔画像を表す顔画像情報に適用された各種パラメータ、窓サイズw0,w1、εの値ε1,ε2,ε3等を再び連結して二進数表現の染色体とみなす。そして、選択されたS個の個体に対して交叉処理(ステップS124)を行い、T1個の個体を新たに生成する。更に、選択されたS個の個体と生成されたT1個の個体に対し突然変異処理(ステップS126)を行い、新たにT2個の個体を生成する。ここで、S+T1+T2はMに等しいとする。

【0071】
これら交叉処理及び突然変異処理で得られたS+T1+T2個の個体がそれぞれ表す各種パラメータ、窓サイズw0,w1、εの値ε1,ε2,ε3等を用いて顔画像を表す顔画像情報を処理する。これにより、S+T1+T2個の顔画像出力(すなわち、候補顔画像)が得られることとなる。

【0072】
こうして得られたS+T1+T2個の候補顔画像をディスプレイ上に表示し、ユーザが最も望ましいと主観的に思える顔画像があればそれを出力顔画像として決定し、そうでなければ所望の出力顔画像をS個選択する。

【0073】
その後、再びS個の個体を生成して交叉処理や突然変異処理を行うことを、ユーザが満足する最終的な出力顔画像が決定される(ステップS106のYes)まで繰り返す。このような処理により、ユーザの主観的評価に基づき効果的に美観化された顔画像を生成することが可能となる。

【0074】
以上述べたように、本実施形態に係る顔画像処理システム、顔画像処理方法及び顔画像処理プログラムによれば、顔画像の明暗の差を強めて陰影を強調し彫りが深くはっきりと引き締まって見える顔画像を生成し、実際の顔画像よりもより奇麗に見える顔画像を出力することが可能となる。

【0075】
なお、本実施形態で説明した顔画像処理方法は、予め用意された顔画像処理プログラムをコンピュータで実行することにより実現することができることは言うまでもなく、この顔画像処理プログラムは、HD、CD-ROM、DVD等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、この顔画像処理プログラムは、インターネット等のネットワークを介して配布することが可能な伝送媒体であっても良い。

【0076】
また、図示は省略するが、上述した顔画像処理システムにおいて、例えば画像情報処理部10の前段に、入力顔画像情報の輝度や色情報(例えば、R,G,B成分やY信号など)が所定の範囲である肌色領域部を顔画像情報から抽出する肌色抽出部を設けても良い。この場合、画像情報処理部10や強調処理部20は、この肌色抽出部で抽出された肌色領域部を示す顔画像情報に対してのみ上述したような処理を行うようにすると、顔画像の肌色領域以外への処理の影響を抑えることができ、処理も迅速になるので、より効果的である。
【符号の説明】
【0077】
10 画像情報処理部
11 フィルタ処理部
11A ε-フィルタバンク
12 非線形勾配処理部
12A SIGM処理部
13 加算器
Drawing
(In Japanese)【図1】
0
(In Japanese)【図2】
1
(In Japanese)【図3】
2
(In Japanese)【図4】
3
(In Japanese)【図5】
4
(In Japanese)【図6】
5
(In Japanese)【図7】
6
(In Japanese)【図8】
7
(In Japanese)【図9】
8
(In Japanese)【図11】
9
(In Japanese)【図12】
10
(In Japanese)【図10A】
11
(In Japanese)【図10B】
12
(In Japanese)【図10C】
13