TOP > 国内特許検索 > 顔画像処理システム、顔画像処理方法及び顔画像処理プログラム > 明細書

明細書 :顔画像処理システム、顔画像処理方法及び顔画像処理プログラム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5810384号 (P5810384)
公開番号 特開2012-238135 (P2012-238135A)
登録日 平成27年10月2日(2015.10.2)
発行日 平成27年11月11日(2015.11.11)
公開日 平成24年12月6日(2012.12.6)
発明の名称または考案の名称 顔画像処理システム、顔画像処理方法及び顔画像処理プログラム
国際特許分類 G06T   1/00        (2006.01)
FI G06T 1/00 340A
請求項の数または発明の数 9
全頁数 22
出願番号 特願2011-105899 (P2011-105899)
出願日 平成23年5月11日(2011.5.11)
新規性喪失の例外の表示 特許法第30条第1項適用 平成23年3月1日 株式会社日本評論社発行の数学セミナー 第50巻3号において発表
審査請求日 平成26年1月23日(2014.1.23)
特許権者または実用新案権者 【識別番号】801000027
【氏名又は名称】学校法人明治大学
発明者または考案者 【氏名】荒川 薫
個別代理人の代理人 【識別番号】100092820、【弁理士】、【氏名又は名称】伊丹 勝
審査官 【審査官】山内 裕史
参考文献・文献 特開2010-066943(JP,A)
特開2001-118064(JP,A)
鷲見 慎一郎,インタラクティブ進化計算を用いた顔画像陰影強調美観システム,電子情報通信学会2010年基礎・境界ソサイエティ大会講演論文集,日本,社団法人電子情報通信学会,2010年 8月31日,172ページ
田尻 文雄,インタラクティブ進化計算を用いた顔画像強調美観化システム,電子情報通信学会技術研究報告,日本,社団法人電子情報通信学会,2006年 3月15日,Vol.105 No.677,43~47ページ
調査した分野 G06T 1/00
特許請求の範囲 【請求項1】
入力された顔画像を構成する入力顔画像情報を振幅-周波数空間にて顔の構造成分を示す低周波成分である第1の成分及び大振幅成分である第2の成分、前記顔の肌のしみ成分を示す第3の成分、前記顔の肌のしわ成分を示す第4の成分、及び前記顔の肌の自然な凹凸成分を示す小振幅高周波成分である第5の成分に分割し、前記第1、第2及び第5の成分を抽出すると共に前記第3及び第4の成分を除去するフィルタ手段と、
前記フィルタ手段によって抽出された第1の成分に対して輝度強調処理を施す輝度強調処理手段と、
前記フィルタ手段によって抽出された第2及び第5の成分に対して輪郭強調処理を施す輪郭強調処理手段と、
前記輝度強調処理手段によって輝度強調処理が施された第1の成分と、前記輪郭強調処理手段によって輪郭強調処理が施された第2及び第5の成分とを合成する合成手段と、
前記合成手段によって合成された顔画像を表す出力顔画像情報を出力する出力手段と
を備えたことを特徴とする顔画像処理システム。
【請求項2】
前記出力顔画像情報は複数生成され、
前記出力手段は、複数生成された顔画像情報に基づく複数の出力顔画像を表示画面上に表示し、
前記表示された複数の出力顔画像の中から、ユーザにより指定された所望の出力顔画像の選択指示及び最終的な出力顔画像の決定指示のうちのいずれか一つを受け付ける入力手段と、
前記入力手段によって前記出力顔画像の選択指示が受け付けられた場合に、選択された出力顔画像を表す顔画像情報に基づき前記フィルタ手段、前記輝度強調処理手段及び前記輪郭強調処理手段における各処理のパラメータを、遺伝的アルゴリズムに基づく交叉処理及び突然変異処理を行ってインタラクティブ進化計算により設定する演算手段とを更に備え、
前記フィルタ手段、前記輝度強調処理手段及び前記輪郭強調処理手段は、前記演算手段によって設定されたパラメータに基づく顔画像情報の生成を、前記入力手段によって前記出力顔画像の決定指示が受け付けられるまで繰り返し行う
ことを特徴とする請求項1記載の顔画像処理システム。
【請求項3】
前記入力手段によって前記出力顔画像の決定指示が受け付けられた場合に、決定された出力顔画像を表す顔画像情報を生成する前記パラメータを基準パラメータとして記憶する記憶手段を更に備えた
ことを特徴とする請求項2記載の顔画像処理システム。
【請求項4】
前記フィルタ手段は、ε-分離型非線形フィルタバンクにより構成され、
前記輝度強調処理手段は、シグモイド関数を用いて非線形勾配処理を行う
ことを特徴とする請求項1~3のいずれか1項記載の顔画像処理システム。
【請求項5】
前記輝度強調処理手段は、非線形勾配処理によって前記第1の成分の明暗の差を強めて陰影を強調する
ことを特徴とする請求項1~4のいずれか1項記載の顔画像処理システム。
【請求項6】
前記フィルタ手段の前段に前記顔画像情報の輝度及び色情報の少なくとも1つが所定の範囲である肌色領域部を抽出する肌色抽出手段を更に備え、
前記フィルタ手段、前記輝度強調処理手段、前記輪郭強調処理手段、及び前記合成手段は、前記肌色抽出手段によって抽出された前記肌色領域部を示す顔画像情報のみに対して各処理を施す
ことを特徴とする請求項1~5のいずれか1項記載の顔画像処理システム。
【請求項7】
前記出力手段は、前記合成手段から出力された前記肌色領域部を示す顔画像情報と、前記肌色抽出手段によって前記肌色領域部以外の領域と判断された顔画像情報とを合成して前記出力顔画像情報を出力する
ことを特徴とする請求項6記載の顔画像処理システム。
【請求項8】
フィルタ手段、輝度強調処理手段、輪郭強調処理手段、合成手段、及び出力手段を備えた顔画像処理システムにおける顔画像処理方法であって、
前記フィルタ手段によって、入力された顔画像を構成する顔画像情報を振幅-周波数空間にて顔の構造成分を示す低周波成分である第1及の成分及び大振幅成分である第2の成分、前記顔の肌のしみ成分を示す第3の成分、前記顔の肌のしわ成分を示す第4の成分、及び前記顔の肌の自然な凹凸成分を示す小振幅高周波成分である第5の成分に分割し、前記第1、第2及び第5の成分を抽出すると共に前記第3及び第4の成分を除去する工程と、
前記抽出された第1の成分に対して前記輝度強調処理手段によって輝度強調処理を施す工程と、
前記抽出された第2及び第5の成分に対して前記輪郭強調処理手段によって輪郭強調処理を施す工程と、
前記輝度強調処理が施された第1の成分と前記輪郭強調処理が施された第2及び第5の成分とを前記合成手段によって合成する工程と、
前記出力手段によって、前記合成手段により合成された出力顔画像情報を出力する工程とを備えたことを特徴とする顔画像処理方法。
【請求項9】
フィルタ手段、輝度強調処理手段、輪郭強調処理手段、合成手段、及び出力手段を備えたコンピュータを有する顔画像処理システムにて顔画像処理を実行させるための顔画像処理プログラムであって、
前記コンピュータに、
前記フィルタ手段によって、入力された顔画像を構成する顔画像情報を振幅-周波数空間にて顔の構造成分を示す低周波成分である第1の成分及び大振幅成分である第2の成分、前記顔の肌のしみ成分を示す第3の成分、前記顔の肌のしわ成分を示す第4の成分、及び前記顔の肌の自然な凹凸成分を示す小振幅高周波成分である第5の成分に分割させ、前記第1、第2及び第5の成分を抽出させると共に前記第3及び第4の成分を除去させるステップと、
前記抽出された第1の成分に対して前記輝度強調処理手段によって輝度強調処理を施させるステップと、
前記抽出された第2及び第5の成分に対して前記輪郭強調処理手段によって輪郭強調処理を施させるステップと、
前記輝度強調処理が施された第1の成分と前記輪郭強調処理が施された第2及び第5の成分とを前記合成手段によって合成させるステップと、
前記出力手段によって、前記合成手段により合成された出力顔画像情報を出力させるステップとを実行させる
ことを特徴とする顔画像処理プログラム。
発明の詳細な説明 【技術分野】
【0001】
この発明は、顔画像情報を入力し美観化処理を施して出力する顔画像処理システム、顔画像処理方法及び顔画像処理プログラムに関する。
【背景技術】
【0002】
従来より、人の顔画像を表す顔画像情報を入力し、この顔画像情報に対して例えば肌色を明るくしたり肌領域の平滑化を行ったりする美観化処理を施して、実際の顔画像よりも奇麗に見えるように処理した顔画像を出力することができるシステムが知られている(例えば、非特許文献1参照)。
【0003】
このシステムは、いわゆるε-フィルタバンクなる非線形ディジタルフィルタバンクにインタラクティブ進化計算(Interactive Evolutionary Computing:IEC)を導入し、更にアンシャープマスキングによる画像強調フィルタを導入して顔画像の輪郭を強調し、画像全体のぼけを抑制するように構成されている。
【先行技術文献】
【0004】

【非特許文献1】田尻文雄、松井喬志、荒川薫、野本弘平;「インタラクティブ進化計算を用いた顔画像強調美観化システム」、社団法人電子情報通信学会技術研究報告SIS2005-67、pp.43-47、2006年3月
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上述した非特許文献1に開示されているシステムでは、顔画像の輪郭を強調して画像全体のぼけを抑制することはできるが、これと共に顔画像がはっきりし過ぎて場合によってはきつい感じに見られる顔画像が生成されてしまうという問題があった。
【0006】
この発明は、上述した従来技術による問題点を解消するため、顔画像の明暗の差を強めて陰影を強調し彫りが深くはっきりと引き締まって見えると共に、過度の強調を抑えた顔画像を生成し、実際の顔画像よりもより奇麗に見える顔画像を出力することができる顔画像処理システム、顔画像処理方法及び顔画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一態様に係る顔画像処理システムは、入力された顔画像を構成する入力顔画像情報を振幅-周波数空間にて顔の構造成分を示す第1及び第2の成分、前記顔の肌のしみ成分を示す第3の成分、前記顔の肌のしわ成分を示す第4の成分、及び前記顔の肌の自然な凹凸成分を示す第5の成分に分割し、前記第1、第2及び第5の成分を抽出すると共に前記第3及び第4の成分を除去するフィルタ手段と、前記フィルタ手段によって抽出された第1の成分に対して輝度強調処理を施す輝度強調処理手段と、前記フィルタ手段によって抽出された第2及び第5の成分に対して輪郭強調処理を施す輪郭強調処理手段と、前記輝度強調処理手段によって輝度強調処理が施された第1の成分と、前記輪郭強調処理手段によって輪郭強調処理が施された第2及び第5の成分とを合成する合成手段と、前記合成手段によって合成された顔画像を表す出力顔画像情報を出力する出力手段とを備えたことを特徴とする。
【0008】
本発明の一つの実施形態においては、出力顔画像情報は複数生成され、出力手段は、複数生成された顔画像情報に基づく複数の出力顔画像を表示画面上に表示する。そして、システムは、表示された複数の出力顔画像の中から、ユーザにより指定された所望の出力顔画像の選択指示及び最終的な出力顔画像の決定指示のうちのいずれか一つを受け付ける入力手段と、入力手段によって出力顔画像の選択指示が受け付けられた場合に、選択された出力顔画像を表す顔画像情報に基づきフィルタ手段、輝度強調処理手段及び輪郭強調処理手段における各処理のパラメータを、遺伝的アルゴリズムに基づく交叉処理及び突然変異処理を行ってインタラクティブ進化計算により設定する演算手段とを更に備える。フィルタ手段、輝度強調処理手段及び輪郭強調処理手段は、演算手段によって設定されたパラメータに基づく顔画像情報の生成を、入力手段によって出力顔画像の決定指示が受け付けられるまで繰り返し行う。
【0009】
前記入力手段によって前記出力顔画像の決定指示が受け付けられた場合に、決定された出力顔画像を表す顔画像情報を生成したときの前記パラメータを基準パラメータとして記憶する記憶手段を更に備えた構成であっても良い。
【0010】
前記フィルタ手段は、ε-分離型非線形フィルタバンクにより構成され、輝度強調処理手段は、シグモイド関数を用いて非線形勾配処理を行うものでも良い。
【0011】
前記輝度強調処理手段は、例えば非線形勾配処理によって前記第1の成分の明暗の差を強めて陰影を強調する。これにより、顔画像の彫りを深くすることができる。
【0012】
前記フィルタ手段の前段に前記顔画像情報の輝度及び色情報の少なくとも1つが所定の範囲である肌色領域部を抽出する肌色抽出手段を更に備え、前記フィルタ手段、前記輝度強調処理手段、前記輪郭強調処理手段、及び前記合成手段は、前記肌色抽出手段によって抽出された前記肌色領域部を示す顔画像情報のみに対して各処理を施す構成としても良い。このようにすれば、顔画像情報の処理対象領域を肌色領域部に対してのみと限定することができ、肌色領域部以外の顔画像領域への余計な影響を抑え、処理時間を短縮することができる。
【0013】
前記出力手段は、前記合成手段から出力された前記肌色領域部を示す顔画像情報と、前記肌色抽出手段によって前記肌色領域部以外と判断された顔画像情報とを合成して前記出力顔画像を出力するものでも良い。
【0014】
本発明の一態様に係る顔画像処理方法は、フィルタ手段、輝度強調処理手段、輪郭強調処理手段、合成手段、及び出力手段を備えた顔画像処理システムにおける顔画像処理方法であって、前記フィルタ手段によって、入力された顔画像を構成する顔画像情報を振幅-周波数空間にて顔の構造成分を示す第1及び第2の成分、前記顔の肌のしみ成分を示す第3の成分、前記顔の肌のしわ成分を示す第4の成分、及び前記顔の肌の自然な凹凸成分を示す第5の成分に分割し、前記第1、第2及び第5の成分を抽出すると共に前記第3及び第4の成分を除去する工程と、前記抽出された第1の成分に対して前記輝度強調処理手段によって輝度強調処理を施す工程と、前記抽出された第2及び第5の成分に対して前記輪郭強調処理手段によって輪郭強調処理を施す工程と、前記輝度強調処理が施された第1の成分と前記輪郭強調処理が施された第2及び第5の成分とを前記合成手段によって合成する工程と、前記合成手段により合成された出力顔画像情報を前記出力手段によって出力する工程とを備えたことを特徴とする。
【0015】
本発明の一態様に係る顔画像処理プログラムは、フィルタ手段、輝度強調処理手段、輪郭強調処理手段、合成手段、及び出力手段を備えたコンピュータを有する顔画像処理システムにて顔画像処理を実行させるための顔画像処理プログラムであって、前記コンピュータに、前記フィルタ手段によって、入力された顔画像を構成する顔画像情報を振幅-周波数空間にて顔の構造成分を示す第1及び第2の成分、前記顔の肌のしみ成分を示す第3の成分、前記顔の肌のしわ成分を示す第4の成分、及び前記顔の肌の自然な凹凸成分を示す第5の成分に分割させ、前記第1、第2及び第5の成分を抽出させると共に前記第3及び第4の成分を除去させるステップと、前記抽出された第1の成分に対して前記輝度強調処理手段によって輝度強調処理を施させるステップと、前記抽出された第2及び第5の成分に対して前記輪郭強調処理手段によって輪郭強調処理を施させるステップと、前記輝度強調処理が施された第1の成分と前記輪郭強調処理が施された第2及び第5の成分とを前記合成手段によって合成させるステップと、前記出力手段によって、前記合成手段により合成された出力顔画像情報を出力させるステップとを実行させることを特徴とする。
【発明の効果】
【0016】
本発明によれば、顔画像の明暗の差を強めて陰影を強調し彫りが深くはっきりと引き締まって見えると共に、過度の強調を抑えた顔画像を生成し、実際の顔画像よりもより奇麗に見える顔画像を出力することができる。
【図面の簡単な説明】
【0017】
【図1】本発明の一実施形態に係る顔画像処理システムの全体構成を示すブロック図である。
【図2】同顔画像処理システムの画像情報処理部の構成における演算手段を示すブロック図である。
【図3】同顔画像処理システムの画像情報処理部における非線形関数の例を示す図である。
【図4】同顔画像処理システムの画像情報処理部におけるε-フィルタ及び線形低域通過フィルタの振幅-周波数空間の分割例を示す図である。
【図5】同顔画像処理システムのε-フィルタバンクの構成を示す図である。
【図6】同顔画像処理システムのε-フィルタバンクによる振幅-周波数空間における顔画像情報の各成分の分割例を示す図である。
【図7】同顔画像処理システムの輝度強調処理に用いられる非線形関数の一例を示す図である。
【図8】同顔画像処理システムの輝度強調処理に用いられる非線形関数の一例を示す図である。
【図9A】同顔画像処理システムの顔画像処理前の顔画像を示す図である。
【図9B】比較例に係る顔画像処理システムの顔画像処理による結果の顔画像を示す図である。
【図9C】他の比較例に係る顔画像処理システムの顔画像処理による結果の顔画像を示す図である。
【図9D】他の比較例に係る顔画像処理システムの顔画像処理による結果の顔画像を示す図である。
【図9E】本実施形態に係る顔画像処理システムの顔画像処理による結果の顔画像を示す図である。
【図9F】同顔画像処理システムの顔画像処理による結果の顔画像を示す図である。
【図10A】図9Bの一部拡大図である。
【図10B】図9Eの一部拡大図である。
【図11】輝度値の測定ラインを示す図である。
【図12A】原画像の測定ラインにおける輝度値の測定値を示すグラフである。
【図12B】比較例1の測定ラインにおける輝度値の測定値を示すグラフである。
【図12C】比較例2の測定ラインにおける輝度値の測定値を示すグラフである。
【図12D】本実施形態の測定ラインにおける輝度値の測定値を示すグラフである。
【図13】図12A~Dを重ねて示したグラフである。
【図14】図13の一部拡大図である。
【図15】図13の一部拡大図である。
【図16】本発明の一実施形態に係る顔画像処理方法による画像処理手順を示すフローチャートである。
【図17】同顔画像処理方法による画像処理手順の一部の処理内容を示すフローチャートである。
【発明を実施するための形態】
【0018】
以下に、添付の図面を参照して、この発明に係る顔画像処理システム、顔画像処理方法及び顔画像処理プログラムの実施の形態を詳細に説明するが、これらの実施形態に限定されるものではなく、多くの変形が本発明の技術的思想の範囲内で当分野において通常の知識を有するものにより可能である。

【0019】
図1は、本発明の一実施形態に係る顔画像処理システムの全体構成を示すブロック図である。図2は、この顔画像処理システムの画像情報処理部を構成する演算手段2の構成を示すブロック図である。図3は、この画像処理部における非線形関数の例を示す図である。

【0020】
図1に示すように、顔画像処理システムは、コンピュータやワークステーション等のハードウェアである演算手段2上で実現されるものである。演算手段2は、例えば入力された顔画像を構成する入力顔画像情報(画像データ)に基づき各種画像処理を行う画像情報処理部として機能する。

【0021】
画像情報処理部は、例えば図2に示すように、入力された顔画像情報を振幅-周波数空間において所定の成分に分割し、抽出・除去するε-フィルタバンク11(フィルタ手段)と、このε-フィルタバンク11から出力された特定の成分に対して非線形処理の一種である非線形勾配処理による輝度強調処理を施す輝度強調処理部12と、ε-フィルタバンク11から出力された特定の成分に対して輪郭強調処理を施す輪郭強調処理部13と、輝度強調処理部12から出力された成分と輪郭強調処理部13から出力された成分とを加算する加算器14(合成手段)とを備えて構成されている。

【0022】
ε-フィルタバンク11は、より具体的にはε-分離型非線形フィルタバンクにより構成される。また、輝度強調処理部12は、より具体的にはシグモイド関数を用いた非線形勾配処理を行うシグモイド処理部(以下、「SIGM処理部」と略記する。)により構成される。

【0023】
なお、フィルタ手段としては、ε-フィルタバンク11の他にも種々の非線形フィルタを用いたフィルタバンクにより構成することができる。また、輝度強調処理部12は、シグモイド関数の他にも種々の非線形関数を用いた非線形勾配処理を行うように構成することができる。

【0024】
次に、ε-フィルタバンク11で用いられるε-フィルタの原理について説明する。本実施形態に係る顔画像処理システムにおいて、それぞれ第n時点における入力された顔画像情報を入力信号x(n)とし、出力される顔画像情報を出力信号y(n)とすると、ε-フィルタは、次式(1)からなる非再帰型低域通過フィルタに非線形関数Fを導入することにより実現され、次式(2)のように表される。

【0025】
【数1】
JP0005810384B2_000002t.gif

【0026】
【数2】
JP0005810384B2_000003t.gif

【0027】
上記式(1),(2)において、aは、総和が1なる非再帰型低域通過フィルタ係数であり、Fは図3に示すような非線形関数であって、その絶対値はある値ε以下に制限されている。このとき、入力信号x(n)と出力信号y(n)との差は、次式(3)のようにある値ε’以下に制限される。

【0028】
【数3】
JP0005810384B2_000004t.gif

【0029】
このとき、特に全てのaが正とすると、ε’=εである。振幅が十分小さな加法性高周波雑音が入力信号に含まれている場合は、εを雑音の振幅ピーク・ピーク値程度に設定すると、その雑音は上記式(1)により表される低域通過フィルタで平滑される。また、出力信号は入力信号±ε以内となるので、大きな振幅変化を保ちながら雑音の除去を行うことが可能である。

【0030】
図4は、顔画像処理システムの画像情報処理部におけるε-フィルタ及び線形低域通過フィルタの振幅-周波数空間の分割例を示す図である。このようなε-フィルタでは、出力信号y(n)としては入力における低周波数成分又は大振幅成分が得られ、それに対し振幅ε以下の小振幅高周波成分は、x(n)-y(n)として得られる。

【0031】
従って、x(n)-y(n)をu(n)と表すと、このε-フィルタは、入力信号x(n)に対して、その振幅-周波数空間を図4(a)に示すように分ける。なお、通常の線形低域通過フィルタは、その振幅-周波数空間を図4(b)に示すように分けるものに相当する。

【0032】
図5は、顔画像処理システムのε-フィルタバンクの構成を示す図である。上記のようなε-フィルタをフィルタバンク状に組み合わせると、その入力信号x(n)をその振幅-周波数に応じて複数の領域に分割することができる。従って、これをε-フィルタバンク11として、図5に示すように構成することができる。ここで、図5に示すように、ε-フィルタバンク11は、線形低域通過フィルタとε-フィルタとを組み合わせた構造からなる。

【0033】
このε-フィルタバンク11において、Lは線形低域通過フィルタであり、E1,E2,E3はε-フィルタである。各フィルタは二次元フィルタ、または水平・垂直方向一次元フィルタの組み合わせとし、nは二次元平面における画素の位置(i,j)を表すものとする。なお、各出力信号y1(n)~y5(n)の総和は入力信号x(n)に等しく、線形低域通過フィルタLとε-フィルタE2の窓サイズは等しくw0とし、更にε-フィルタE1,E3の窓サイズも等しくw1とする。また、各ε-フィルタE1,E2,E3の値ε(これを順にε1,ε2,ε3とする。)は、ε1>ε2>ε3の関係にあるとする。

【0034】
図6は、顔画像処理システムのε-フィルタバンク11による振幅-周波数空間における顔画像情報の各成分の分割例を示す図である。このように構成されたε-フィルタバンク11は、入力信号x(n)の振幅-周波数空間を図6に示すような領域に分割する。顔画像を表す顔画像情報においては、例えば目、鼻、口、眉などの顔の主要部分は一般的に大振幅信号として表されることが知られている。

【0035】
また、顔のベース部分(例えば、頬など)は低周波数信号として表され、顔のしわ(特に、小じわ)部分やしみ部分などの肌の美観を損ねる要因となる成分は、比較的小振幅で周波数が高い信号として表される。更に、顔の自然な凹凸成分はより振幅の小さな高周波数信号として表される。

【0036】
そこで、本実施形態に係る顔画像処理システムにおいては、ε-フィルタバンク11は、入力信号x(n)を図6に示すような振幅-周波数空間にて分割する。すなわち、ε-フィルタバンク11は、顔の構造成分を示す第1の成分y1(n)及び第2の成分y2(n)と、顔の肌のしみ成分を示す第3の成分y3(n)と、顔の肌のしわ成分を示す第4の成分y4(n)と、顔の肌の自然な凹凸成分を示す第5の成分y5(n)とに分割する。

【0037】
そして、顔の構造成分を示す第1及び第2の成分(すなわち、y1(n),y2(n))並びに顔の肌の自然な凹凸成分を示す第5の成分(すなわち、y5(n))を抽出する。これと共に、顔の肌のしみ成分及びしわ成分に相当する振幅周波数成分(すなわち、第3及び第4の成分y3(n),y4(n))のみを除去する。これにより、まず、ε-フィルタバンク11を通過した段階で肌を滑らかに見せることができるような顔画像情報を構築する。

【0038】
具体的には、図5に示したε-フィルタバンク11において、線形低域通過フィルタL及びε-フィルタE1,E2,E3の窓サイズw0,w1と、ε-フィルタE1,E2,E3のεの値ε1,ε2,ε3とを適切な値に設定する。すると、図6に示すように、第1の成分y1(n)及び第2の成分y2(n)を顔の主要部分及びベース部分とし、第3の成分y3(n)を肌のしみ成分及び第4の成分y4(n)を肌のしわ成分とし、第5の成分y5(n)を肌の自然な凹凸成分とすることができる。

【0039】
ここで、窓サイズw0は肌のしみ成分と顔のベース部分との周波数帯を分けるものとし、窓サイズw1は肌のしみ成分と肌の自然な凹凸成分との周波数帯を分けるものとする。また、ε-フィルタE1のεの値ε1は、除去すべき肌のしわ成分の振幅(ピーク-ピーク)の最大値程度とし、ε-フィルタE2のεの値ε2は、肌のしみ成分の振幅(ピーク-ピーク)の最大値程度、及びε-フィルタE3のεの値ε3は、肌の自然な凹凸成分の振幅(ピーク-ピーク)の最大値程度とする。

【0040】
このように構成されたε-フィルタバンク11においては、上述したように入力信号x(n)から顔の肌のしみ及びしわ成分を示す第3及び第4の成分y3(n),y4(n)が除去される。そして、出力される第1、第2及び第5の成分y1(n),y2(n),y5(n)のうち、特定の成分である顔の構造成分を示す第1の成分y1(n)のみが輝度強調処理部12に入力され、顔の構造成分を示す第2の成分y2(n)及び顔の肌の自然な凹凸成分を示す第5の成分y5(n)が輪郭強調処理部13に入力される。

【0041】
顔の構造成分を示す第1の成分y1(n)のような顔の大まかな構造を表す成分が輝度強調処理部12(例えば、SIGM処理部)にてコントラスト強調され、第2及び第5の成分y2(n),y5(n)に対して輪郭強調処理部13にて輪郭強調処理がなされて、これらの成分がその後合成されると、次のような顔画像を得ることができる。

【0042】
すなわち、ε-フィルタバンク11を通過したことで肌を滑らかに見せることができるようになった顔画像情報が表す顔画像の奥行き感が、輝度強調処理部12にて強調されて彫りの深い顔立ちを生成することができると共に、輪郭強調処理部13にて顔の特徴成分が鮮明になり、更に明暗のグラデーションがなめらかになり、過度の輪郭強調がなされるのを抑制する。その結果、頬の影が自然な明暗で強調されて小顔化されて見える顔画像を生成することができる。

【0043】
次に、輝度強調処理部12について詳細に説明する。輝度強調処理部12で、コントラスト強調の度合いを調整できるようにするために、例えば顔構造成分u(n)を次式(4)のように変換する。

【0044】
【数4】
JP0005810384B2_000005t.gif

【0045】
なお、式(4)中aは[0,1]のパラメータで、aが大きい程コントラスト強調が強く施され、aが0ならコントラスト強調は行われない。このコントラスト強調は、例えば顔構造成分u(n)に対して次に説明する非線形関数Fを用いることにより施すことができる。

【0046】
図7及び図8は、輝度強調処理部12の非線形勾配処理に用いられる非線形関数Fの例を示す図である。図7は、非線形関数Fの一例として用いられるシグモイド関数G(y)を示している。コントラスト強調における輝度の最大値を255とすると、第1の成分y1(n)を次式(5)によりy1’(n)に置き換える。

【0047】
【数5】
JP0005810384B2_000006t.gif

【0048】
ここで、シグモイド関数G(y)としては、具体的には、例えば次式(6)のようなものを用いることができる。

【0049】
【数6】
JP0005810384B2_000007t.gif

【0050】
こうして、輝度強調処理部12にて非線形勾配処理が施された第1の成分y1’(n)と、ε-フィルタバンク11により抽出された第2及び第5の成分y2(n),y5(n)を輪郭強調処理部13にて輪郭強調処理した第2及び第5の成分y2’(n),y5’(n)の合成成分z(n)とを、加算器14にて加算する。これにより、出力顔画像情報y(n)を得ることができる。

【0051】
なお、上記式(6)のγは、G(y)がy=0で0、y=255で255に近くなるような値として1/30に設定しておく。

【0052】
また、非線形関数Fは、図7のシグモイド関数G(y)のような曲線状ではなく、例えば図8に示すように、輝度が高いところについては顔のテカリを防止するために一部直線形とする関数などでも良い。上記の他にも種々の非線形関数を輝度強調処理部12に用いることができる。

【0053】
演算手段2における画像情報処理部の出力信号により、上記のように入力顔画像と比べると顔の頬の影が強調されて小顔化されて見えると共に、過度の強調が抑えられてより奇麗に見える顔画像が生成される。なお、本実施形態に係る顔画像処理システムでは、輪郭強調処理部13において、第2及び第5の成分に対して輪郭強調処理としてアンシャープマスキングを行い、顔画像の輪郭を鮮明にする(例えば、強調度合いのパラメータをαとした)処理が行われる。

【0054】
そして、各処理において用いられる上述した窓サイズw0,w1、εの値ε1,ε2,ε3、αやβなどの各パラメータは、例えば公知の遺伝的アルゴリズム(Genetic Algorithm:GA)を用いたインタラクティブ進化計算(IEC)により最適値が設定される。

【0055】
ここで、アンシャープマスキングは、例えば輪郭強調処理部13への入力信号y(i)(j)に対して出力信号z(i)(j)を得ることにより行われ、このときの画像強調フィルタとしては、次式(7)で表すものを用いることができる。なお、式(7)中のαは強調の程度を決めるパラメータである。

【0056】
【数7】
JP0005810384B2_000008t.gif

【0057】
図9Aは、顔画像処理システムの顔画像処理前の顔画像を示す図である。図9B~図9Dは、従来の顔画像処理システムの顔画像処理による結果の顔画像を示す図である。図9E及び図9Fは、本発明に係る顔画像処理システムの顔画像処理による結果の顔画像を示す図である。また、図10A及び図10Bは、それぞれ図9B及び図9Eの一部拡大図である。なお、顔画像処理に用いられた原画像の大きさは256×256のRGB各8ビットのカラー画像であり、出力された結果もカラー画像であるが、図9A~Fにおいてはカラー画像をモノクロ画像に変更している。

【0058】
図9Aは、顔画像処理システムに入力された顔画像情報により表される入力顔画像を示している。また、図9B~図9Dは、比較のために従来例を示し、ε-フィルタバンク11により抽出された第1、第2及び第5の成分y1(n),y2(n),y5(n)のうち、輝度強調処理が施された第1の成分y1’(n)と第2及び第5の成分とを加算したものに、別途輪郭強調処理を施した結果の顔画像を示している。更に、図9E及び図9Fは、本実施形態にて説明したように輝度強調処理が施された第1の成分y1’(n)と輪郭強調処理が施された第2及び第5の成分とを加算した結果の顔画像を示している。

【0059】
図9B及び図9Dは、輪郭強調処理として弱いシャープニングを施したもので、図9Cは強いシャープニングを施し、さらに輝度強調処理として、図9B及び図9Cは強めの処理を、図9Dは弱めの処理をそれぞれ施したものである。一方、図9E及び図9Fは、輪郭強調処理として弱いシャープニングを施し、さらに輝度強調処理として、図9Eは強めの処理を、図9Fは弱めの処理をそれぞれ施したものである。

【0060】
図9B~図9Dに示すように、第1の成分y1(n)に対して輝度強調を行い陰影を強めた後に、第2及び第5の成分y2(n),y5(n)と合成したものに輪郭強調を施したものは、陰影が強調された上で輪郭強調がされている。このため、図9Aに示すものよりも、図9Bの一部を拡大した図10A(b)に示すように、下顎の部分などに陰影がくっきりと表れて若干不自然な感じが目立つようになった。また、図10A(a)に示すように、目の下のしわなども若干強調されすぎている感が否めなかった。すなわち、明暗のグラデーションがくっきりと際立ちすぎている印象の顔画像となった。

【0061】
これに対し、図9E及び図9Fに示すように、第1の成分y1(n)に対して輝度強調を行い陰影を強めると共に、第2及び第5の成分y2(n),y5(n)に対してのみ輪郭強調を行い、これらを合成したものは、図10B(a)に示すような目の下のしわや、図9Eの一部を拡大した図10B(b)に示すような下顎の部分などにおける明暗のグラデーションが図9B~図9Dのものと比べてより滑らかになり、自然な感じの陰影が現われて柔らかい印象を与えつつも彫りが深くはっきりと引き締まって見える顔画像となった。これにより、小顔化された印象を与えることができるような顔画像となった。

【0062】
図11は、しわA及び顎の線Bの輝度値の測定ラインL1を説明するための図である。図12Aは入力顔画像情報の原画像が示す顔画像のラインL1上における測定輝度値を示す図である。図12Bは、入力顔画像情報に対して平滑処理のみを行った場合の比較例1の顔画像のラインL1上における測定輝度値を示す図である。図12Cは、入力顔画像情報に対して輝度強調処理を施した第1の成分と第2及び第5の成分とを加算したものに輪郭強調処理を施した比較例2の顔画像のラインL1上における測定輝度値を示す図である。図12Dは、図9Eに基づく本実施形態に係る顔画像処理システムにより生成した顔画像のラインL1上における測定輝度値を示す図である。また、図13は図12A~図12Dの横軸の37から163までを抽出し、一つにまとめて示した図であり、図14は図12Cと図12Dの横軸の53から89までを抽出し、一つにまとめて示した図であり、図15は、図12Cと図12Dの横軸の119から145までを抽出し、一つにまとめて示した図である。

【0063】
なお、図12A~図12Dにおいては、縦軸の値が小さいほど暗いことを示しており、最大輝度値は255となっている。

【0064】
図12C及び図12Dのような輝度強調を行うと、輝度値の中央の値である127.5以下の値はより小さく、それよりも大きな値はより大きくなり、図12A及び図12Bと比較して陰影が強調されることが判明した。また、図12Cのような輝度強調を行うと、図12Dに示す本実施形態と比較して、図13中C、D、Eで示すような輝度値の変化部においては変化が急峻なものとなった。これは、明るい領域から急に暗い領域に変化することを意味し、図12Cでは顔画像の明暗の境が際立つこととなる。

【0065】
特に、図12Cに示す場合では、ラインL1上におけるしわAの振幅が大きいためにしわAが目立つと共に、ラインL1上における顎の線Bの前後で輝度が急峻に変化するために顎の線の付近の影がくっきりと現われる顔画像となった。このような現象は、図12Cにおける顔画像処理が顔の大まかな構成成分である第1の成分y1(n)を輝度強調して明暗の差を大きくした結果に対して第2及び第5の成分y2(n),y5(n)を加算したものを輪郭強調したことによるものである。

【0066】
これに対し、図12Dに示すような本実施形態に係る顔画像処理システムにより生成された顔画像では、図14及び図15に示すように、顎の線Bの部分やしわAの部分のみならず、図13に示すように上記C、D、Eで示すような輝度値の変化部においても振幅が小さく変化が急峻ではないために、過度の強調を抑えつつも顔画像の陰影を強調して引き締まって見える顔画像を生成可能であることが判明した。

【0067】
このように、本実施形態に係る顔画像処理システムによれば、入力された顔画像の明暗の差を強めて陰影を強調し彫りが深くはっきりと引き締まって見えつつも、過度の強調を抑制した顔画像を生成することができる。これにより、実際の顔画像(入力顔画像)よりもより奇麗に見える顔画像を出力することができる。

【0068】
図16は、本発明の一実施形態に係る顔画像処理方法による画像処理手順を示すフローチャートである。図17は、同顔画像処理方法による画像処理手順の一部の処理内容を示すフローチャートである。なお、以降において既に説明した部分と重複する箇所には同一の符号を附して説明を割愛する。

【0069】
この顔画像処理方法は、例えば予め用意された顔画像処理プログラムを顔画像処理システムのコンピュータ(演算手段2)に実行させることにより実現する。このコンピュータは、CPUやHDD等の各種装置を備える本体と、出力手段3として情報を表示画面上に表示するディスプレイと、入力手段1として受け付けられた情報をCPU等に入力する入力インタフェース(入力I/F)及びキーボードやマウス等の入力デバイスとを備えた一般的な構成により実現されている。以下、処理主体は特に明記しない場合はコンピュータであるとする。

【0070】
図16に示すように、まず、図9Aに示すような入力顔画像を表す顔画像情報(画像データ)を入力I/Fを介して入力する(ステップS100)。次に、入力された顔画像情報に基づき、演算手段2によって複数の初期候補顔画像を生成し(ステップS102)、これらの候補顔画像をディスプレイ上に表示する(ステップS104)。ここで、上述したようなw0,w1,ε1,ε2,ε3,α,βなどの各パラメータの値の組をランダムにM通り作成し、各パラメータの値の組毎に1つの処理画像を求める。結果的にM個の出力画像(候補顔画像)が表示される。

【0071】
このとき、顔画像処理システムの利用者(ユーザ)は、入力デバイスを利用して、表示された複数の候補顔画像の中から、最も望ましいと主観的に思える顔画像がなかった場合は所望の出力顔画像の選択指示を行う。また、最も望ましいと主観的に思える顔画像があった場合は最終的な出力顔画像の決定指示を行う。

【0072】
従って、コンピュータ2は、入力デバイスからの情報に基づき、出力顔画像が決定されたか否かを判断する(ステップS106)。最終的な出力顔画像の決定指示が受け付けられて出力顔画像が決定された場合(ステップS106のYes)は、その顔画像を表す顔画像情報を演算手段2にて生成する各種パラメータを基準パラメータとして決定し(ステップS108)、記憶手段4に記憶して顔画像情報を出力し(ステップS110)、本フローチャートによる一連の処理を終了する。なお、ステップS110における顔画像情報の出力は、画像データを出力したり、ディスプレイ上に表示出力したり、紙面上に印刷出力したりする種々の出力形態が含まれる。また、上記の各種パラメータを記憶せずに、顔画像情報のみを表示又は保存するようにしても良い。

【0073】
一方、上記ステップS106にて、出力顔画像が決定されなかった場合(ステップS106のNo)は、GAを用いたIECを行って(ステップS120)次世代の候補顔画像を複数生成する。そして、これら候補顔画像のパラメータを記憶手段に一時記憶して(ステップS130)、上記ステップS104に移行し、以降の処理を繰り返す。

【0074】
上記ステップS120のIECは、図17に示すように行われる。すなわち、上記ステップS106にて出力顔画像が決定されなかった場合は、ユーザによって所望の出力顔画像の選択指示がなされたからである。従って、コンピュータ2は、所望の出力顔画像の選択により指定された候補顔画像の選択を受け付け(ステップS122)、受け付けた候補顔画像に適用されたパラメータに基づいて交叉処理(ステップS124)及び突然変異処理(ステップS126)を行う。

【0075】
ここで、顔画像処理システムにおけるGAを用いたIECについて簡単に説明する。このIECにおいては、図示は省略するが、まず前提として、例えば上記窓サイズw0,w1やεの値ε1,ε2,ε3、その他の各種パラメータを連結して二進数表現する。そして、連結したものを1つの染色とし、その染色体が1つの個体を表すものとする。

【0076】
次に、この個体に対してGAを適用する。具体的には、例えばディスプレイ上に表示されたM個の候補顔画像(ステップS104)の中から、例えばユーザが好ましいと思うものをS個選択して貰う(例えば、ステップS106のNo及びステップS122)。そして、選択されたS個の候補顔画像を表す顔画像情報に適用された各種パラメータ、窓サイズw0,w1、εの値ε1,ε2,ε3等を再び連結して二進数表現の染色体とみなす。そして、選択されたS個の個体に対して交叉処理(ステップS124)を行い、T1個の個体を新たに生成する。更に、選択されたS個の個体と生成されたT1個の個体に対し突然変異処理(ステップS126)を行い、新たにT2個の個体を生成する。ここで、S+T1+T2はMに等しいとする。

【0077】
これら交叉処理及び突然変異処理で得られたS+T1+T2個の個体がそれぞれ表す各種パラメータ、窓サイズw0,w1、εの値ε1,ε2,ε3等を用いて顔画像を表す顔画像情報を処理する。これにより、S+T1+T2個の顔画像出力(すなわち、候補顔画像)が得られることとなる。

【0078】
こうして得られたS+T1+T2個の候補顔画像をディスプレイ上に表示し、ユーザが最も望ましいと主観的に思える顔画像があればそれを出力顔画像として決定し、そうでなければ所望の出力顔画像をS個選択する。

【0079】
その後、再びS個の個体を生成して交叉処理や突然変異処理を行うことを、ユーザが満足する最終的な出力顔画像が決定される(ステップS106のYes)まで繰り返す。このような処理により、ユーザの主観的評価に基づき効果的に美観化された顔画像を生成することが可能となる。

【0080】
以上述べたように、本実施形態に係る顔画像処理システム、顔画像処理方法及び顔画像処理プログラムによれば、顔画像の明暗の差を強めて陰影を強調し彫りが深くはっきりと引き締まって見えると共に、過度の強調を抑えた顔画像を生成し、実際の顔画像よりもより奇麗に見える顔画像を出力することが可能となる。

【0081】
なお、本実施形態で説明した顔画像処理方法は、予め用意された顔画像処理プログラムをコンピュータで実行することにより実現することができることは言うまでもなく、この顔画像処理プログラムは、HD、CD-ROM、DVD等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、この顔画像処理プログラムは、インターネット等のネットワークを介して配布することが可能な伝送媒体であっても良い。

【0082】
また、図示は省略するが、上述した顔画像処理システムにおいて、例えば演算手段2のε-フィルタバンク11の前段に、入力顔画像情報の輝度や色情報(例えば、R,G,B成分やY信号など)が所定の範囲である肌色領域部を顔画像情報から抽出する肌色抽出部を設けても良い。この場合、演算手段2は、この肌色抽出部で抽出された肌色領域部を示す顔画像情報に対してのみ上述したような処理を行うようにすると、顔画像の肌色領域以外への処理の影響を抑えることができ、処理も迅速になるので、より効果的である。
【符号の説明】
【0083】
1 入力手段
2 演算手段
3 出力手段
4 記憶手段
11 ε-フィルタバンク
12 輝度強調処理部
13 輪郭強調処理部
14 加算器
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図12A】
8
【図12B】
9
【図12C】
10
【図12D】
11
【図13】
12
【図14】
13
【図15】
14
【図16】
15
【図17】
16
【図9A】
17
【図9B】
18
【図9C】
19
【図9D】
20
【図9E】
21
【図9F】
22
【図10A】
23
【図10B】
24
【図11】
25