TOP > 国内特許検索 > 画像処理装置及び画像処理方法及びプログラムを記録したコンピュータ読み取り可能な記録媒体及びプログラム > 明細書

明細書 :画像処理装置及び画像処理方法及びプログラムを記録したコンピュータ読み取り可能な記録媒体及びプログラム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4581084号 (P4581084)
公開番号 特開2006-134153 (P2006-134153A)
登録日 平成22年9月10日(2010.9.10)
発行日 平成22年11月17日(2010.11.17)
公開日 平成18年5月25日(2006.5.25)
発明の名称または考案の名称 画像処理装置及び画像処理方法及びプログラムを記録したコンピュータ読み取り可能な記録媒体及びプログラム
国際特許分類 G06T   7/00        (2006.01)
G06T   3/00        (2006.01)
FI G06T 7/00 130
G06T 3/00 400A
請求項の数または発明の数 9
全頁数 54
出願番号 特願2004-323774 (P2004-323774)
出願日 平成16年11月8日(2004.11.8)
審査請求日 平成19年5月21日(2007.5.21)
特許権者または実用新案権者 【識別番号】504182255
【氏名又は名称】国立大学法人横浜国立大学
発明者または考案者 【氏名】長尾 智晴
【氏名】小林 紘士
個別代理人の代理人 【識別番号】100111800、【弁理士】、【氏名又は名称】竹内 三明
審査官 【審査官】松永 稔
参考文献・文献 特開平11-328203(JP,A)
特開平09-016797(JP,A)
特表2004-526179(JP,A)
戸嶋 朗 AKIRA TOJIMA,絵画からの画面構成の抽出と検索への応用 Extraction of Compositional Features from Paintings and Application for Retrieval,情報処理学会論文誌 第40巻 第3号 Transactions of Information Processing Society of Japan,日本,社団法人情報処理学会 Information Processing Society of Japan,1999年 3月15日,第40巻,912~920
調査した分野 G06T 7/00
特許請求の範囲 【請求項1】
画像に対する感性に係る判定を行う画像処理装置であって、
(1)学習用画像から抽出した特徴量データを入力し、学習用画像に対する感性についての心理実験結果から得られた感性による評価である感性情報目標データを出力するように、学習用神経回路網を誤差逆伝播法で学習させて得られた結合荷重を記憶した結合荷重記憶部と、
(2)判定対象の画像から特徴量データを抽出する特徴抽出部と、
(3)学習用神経回路網と同様の構成を有し、判定対象の画像から抽出した特徴量データを入力し、結合荷重記憶部に記憶している結合荷重に従って神経回路網演算処理を行い、判定結果として感性出力データを出力する判定用神経回路網を有し、
特徴量データとして、画像を分割した各ブロックに含まれる色の平均を減色処理し、ブロック毎に連結している同色領域の面積の値をラベル番号とするラベリング処理により得られた各ブロックのラベル番号を用いることを特徴とする画像処理装置
【請求項2】
前記連結している同色領域の面積の値は、連結するブロック数であることを特徴とする請求項1記載の画像処理装置。
【請求項3】
結合荷重記憶部は、学習用画像に対する「安定又は不安定」の感性についての心理実験結果から得られた感性による評価である感性情報目標データを出力するように、学習させて得られた結合荷重を記憶し
判定用神経回路網は、判定結果として「安定又は不安定」の感性出力データを出力することを特徴とする請求項1又は2に記載の画像処理装置。
【請求項4】
学習用画像から抽出した特徴量データを入力し、学習用画像に対する感性についての心理実験結果から得られた感性による評価である感性情報目標データを出力するように、学習用神経回路網を誤差逆伝播法で学習させて得られた結合荷重を記憶した結合荷重記憶部を有し、画像に対する感性に係る判定を行う画像処理装置による
(1)判定対象の画像から特徴量データを抽出する特徴抽出処理工程と、
(2)学習用神経回路網と同様の構成の判定用神経回路網に、判定対象の画像から抽出した特徴量データを入力し、結合荷重記憶部に記憶している結合荷重に従って神経回路網演算処理を行い、判定結果として感性出力データを出力する判定用神経回路網処理工程とを有する画像処理方法であって、
特徴量データとして、画像を分割した各ブロックに含まれる色の平均を減色処理し、ブロック毎に連結している同色領域の面積の値をラベル番号とするラベリング処理により得られた各ブロックのラベル番号を用いることを特徴とする画像処理方法
【請求項5】
結合荷重記憶部は、学習用画像に対する「安定又は不安定」の感性についての心理実験結果から得られた感性による評価である感性情報目標データを出力するように、学習させて得られた結合荷重を記憶し、
判定用神経回路網処理工程は、判定結果として「安定又は不安定」の感性出力データを出力することを特徴とする請求項4に記載の画像処理方法。
【請求項6】
学習用画像から抽出した特徴量データを入力し、学習用画像に対する感性についての心理実験結果から得られた感性情報目標データを出力するように、学習用神経回路網を誤差逆伝播法で学習させて得られた感性による評価である結合荷重を記憶した結合荷重記憶部を有し、画像に対する感性に係る判定を行う画像処理装置となるコンピュータに
(1)判定対象の画像から特徴量データを抽出する特徴抽出処理と、
(2)学習用神経回路網と同様の構成の判定用神経回路網に、判定対象の画像から抽出した特徴量データを入力し、結合荷重記憶部に記憶している結合荷重に従って神経回路網演算処理を行い、判定結果として感性出力データを出力する判定用神経回路網処理とを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
特徴量データとして、画像を分割した各ブロックに含まれる色の平均を減色処理し、ブロック毎に連結している同色領域の面積の値をラベル番号とするラベリング処理により得られた各ブロックのラベル番号を用いることを特徴とするプログラムを記録したコンピュータ読み取り可能な記録媒体
【請求項7】
結合荷重記憶部は、学習用画像に対する「安定又は不安定」の感性についての心理実験結果から得られた感性による評価である感性情報目標データを出力するように、学習させて得られた結合荷重を記憶し、
判定用神経回路網処理は、判定結果として「安定又は不安定」の感性出力データを出力することを特徴とする請求項6に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項8】
学習用画像から抽出した特徴量データを入力し、学習用画像に対する感性についての心理実験結果から得られた感性情報目標データを出力するように、学習用神経回路網を誤差逆伝播法で学習させて得られた感性による評価である結合荷重を記憶した結合荷重記憶部を有し、画像に対する感性に係る判定を行う画像処理装置となるコンピュータに
(1)判定対象の画像から特徴量データを抽出する特徴抽出処理手順と、
(2)学習用神経回路網と同様の構成の判定用神経回路網に、判定対象の画像から抽出した特徴量データを入力し、結合荷重記憶部に記憶している結合荷重に従って神経回路網演算処理を行い、判定結果として感性出力データを出力する判定用神経回路網処理手順とを実行させるためのプログラムであって、
特徴量データとして、画像を分割した各ブロックに含まれる色の平均を減色処理し、ブロック毎に連結している同色領域の面積の値をラベル番号とするラベリング処理により得られた各ブロックのラベル番号を用いることを特徴とするプログラム
【請求項9】
結合荷重記憶部は、学習用画像に対する「安定又は不安定」の感性についての心理実験結果から得られた感性による評価である感性情報目標データを出力するように、学習させて得られた結合荷重を記憶し、
判定用神経回路網処理手順は、判定結果として「安定又は不安定」の感性出力データを出力することを特徴とする請求項8に記載のプログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、人の感性情報を計算機によって機械的に取り扱う、いわゆる感性情報処理の分野に属し、更に画像処理によって画像から各種の特徴量を抽出し、目的に応じてクラスタリングあるいはパターン認識する画像処理・パターン認識の分野に属し、初めて見る画像に対して人間が感じる“安定・不安定”、“賑やか・静か”などの、特にその画像の構図に関わりが強いと考えられる特徴に対する感性に合った応答出力をすることができる画像処理方法に関する。また、この画像処理方法を用いて画像からの安定な構図による自動トリミングや、画像データベースからの感性に基づく画像検索などを実現する画像処理装置に関する。
【背景技術】
【0002】
これまでにも、画像と人の感性を結びつけようとする試みは多数行われてきている。例えば、画像の検索において、各画像に対して、寒い・暖かい、安定・不安定などの相反する形容詞対における度合いをSD法(Semantic Differential method)(例えば、非特許文献1)に基づいてあらかじめ視覚心理実験によって計測し、その結果をインデクスとして手動で付与した画像データベースを作ることで、それらの感性情報をクエリ(検索要求)として入力して候補画像を検索する試みがある(例えば、非特許文献2)。しかしながら人手によるインデクスの付与を、一般に日々更新される画像データベースに適用することは実用上困難であるとともに、インデクスが付与されていない未知の画像データに対しては適用することができない。
【0003】
このため、それらの感性情報を画像から自動的に取得する必要がある。これに対して、特定の画像セットに対する人の感性応答を求め、その感性応答と、画像セット中の画像の色分布特徴や形状特徴などの特徴量を関連付ける試みもなされている。しかしながら、これらは感性情報に基づく画像データベースからの画像検索を目的としたものがほとんどである。
【0004】
また、人の感性には一般に個人差があることから、そこで求めた画像特徴は必ずしも一般性をもたないことが多く、産業応用の観点からは実用化に至らないものも多かった。
【0005】
これに対して、多くの人が共通して感じる感性を、画像から自動取得しようとする試みもあるが、いずれも類似画像検索やデザイン支援などの分野での適用例があるだけで、本発明で特に注目している“画像の構図”と人の感性との関連を調べて工学的に応用しようとするものはほとんどない。一部、絵画の構図を自動分類しようとする試みはあるが、その画像がどの程度安定であるか、といった客観的な評価を数値として具体的に与えるものではなく、画像の構図をラフに表したスケッチ画像を用意し、それをクエリとして画像データベースに与えることで、構図が類似した画像群を検索する方式が提案されているに過ぎない。また、これらの方式では、スケッチ画像(クエリ)と各画像の色分布や形状の特徴を重ね合わせて一致率を求めるテンプレートマッチングあるいは、背景・図形を分離して同様に比較する方式がほとんどであり、“画像の構図”と人の感性の関係まで立ち入って処理をする方法や装置はこれまでにほとんど提案されていない。

【非特許文献1】中森義輝著「感性データ解析」森北出版,2000年8月10日
【非特許文献2】安居院猛、長尾智晴、中嶋正之,「SD法を用いた画像検索に関する一検討」,テレビジョン学会誌,テレビジョン学会,1990年,Vol.44,No.6,pp.788-790
【発明の開示】
【発明が解決しようとする課題】
【0006】
本発明は、あらかじめインデクスなどが付与されていない、未知の画像の構図について、人の感性と照らし合わせることによって、その構図の“安定・不安定”、“賑やか・静か”などの度合いを、数値として客観的に出力することができる画像処理方法、及びその画像方法を用いて、画像中の安定な構図の部分画像の切り出し(トリミング)や、画像検索などを行うことができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明に係る画像処理装置は、
画像に対する感性に係る判定を行う画像処理装置であって、
(1)学習用画像から抽出した特徴量データを入力し、学習用画像に対する感性についての心理実験結果から得られた感性による評価である感性情報正解データ(感性情報目標データ)を出力するように、学習用神経回路網を誤差逆伝播法で学習させて得られた結合荷重を記憶した結合荷重記憶部
(2)判定対象の画像から特徴量データを抽出する特徴抽出部
(3)学習用神経回路網と同様の構成を有し、判定対象の画像から抽出した特徴量データを入力し、結合荷重記憶部に記憶している結合荷重に従って神経回路網演算処理を行い、判定結果として感性出力データを出力する判定用神経回路網。
【0008】
結合荷重記憶部は、学習用画像に対する「安定又は不安定」の感性についての心理実験結果から得られた感性による評価である感性情報正解データ(感性情報目標データ)を出力するように、学習させて得られた結合荷重を記憶していることを特徴とする。
【0009】
結合荷重記憶部は、学習用画像に対する「賑やか又は静か」の感性についての心理実験結果から得られた感性による評価である感性情報正解データ(感性情報目標データ)を出力するように、学習させて得られた結合荷重を記憶していることを特徴とする請求項1記載の画像処理装置。
【0010】
結合荷重記憶部は、特徴量データとして、画像の対称度、画像の中心に物体あるいは図形が存在する度合いである中心度、面積の大きな重要オブジェクトの重心座標、面積の大きな重要オブジェクトの外接四角形の縦横比
、面積の大きな重要オブジェクトが四角形に近似する度合である四角度、及び面積の大きな重要オブジェクトが円形に近似する度合である円形度を入力して学習させて得られた結合荷重を記憶し、
特徴抽出部は、特徴量データとして、前記対称度、前記中心度、前記重要オブジェクトの重心座標、前記重要オブジェクトの外接四角形の縦横比、前記重要オブジェクトの四角度、及び前記重要オブジェクトの円形度を算出し、
判定用神経回路網は、特徴量データとして、前記対称度、前記中心度、前記重要オブジェクトの重心座標、前記重要オブジェクトの外接四角形の縦横比、前記重要オブジェクトの四角度、及び前記重要オブジェクトの円形度を入力することを特徴とする請求項2記載の画像処理装置。
【0011】
結合荷重記憶部は、特徴量データとして、画像を分割したブロック毎の平均色、画像が有する色を減色した後の色数、ラベリング処理後のラベル値及び区画数、及び画像に対する背景の影響度である背景度を入力して学習させて得られた結合荷重を記憶し、
特徴抽出部は、特徴量データとして、前記ブロック毎の平均色、前記減色後の色数、前記ラベル値及び区画数、及び前記背景度を算出し、
判定用神経回路網は、特徴量データとして、前記ブロック毎の平均色、前記減色後の色数、前記ラベル値及び区画数、及び前記背景度を入力することを特徴とする請求項3記載の画像処理装置。
【0012】
画像処理装置は、更に、全体画像から複数の部分画像を切り出す部分画像切り出し部を有し、
特徴抽出部は、複数の部分画像を判定対象の画像として、それそれに特徴量データを抽出し、
判定用神経回路網は、部分画像毎に、判定結果として感性出力データを出力し、
画像処理装置は、更に、感性出力データに従って、複数の部分画像のうち最適な部分画像を決定する最適部分画像決定部を有することを特徴とする請求項1記載の画像処理装置。
【0013】
学習用画像から抽出した特徴量データを入力し、学習用画像に対する感性についての心理実験結果から得られた感性による評価である感性情報正解データ(感性情報目標データ)を出力するように、学習用神経回路網を誤差逆伝播法で学習させて得られた結合荷重を記憶した結合荷重記憶部を有し、画像に対する感性に係る判定を行う画像処理装置による画像処理方法であって、以下の要素を有することを特徴とする画像処理方法
(1)判定対象の画像から特徴量データを抽出する特徴抽出処理工程
(2)学習用神経回路網と同様の構成の判定用神経回路網に、判定対象の画像から抽出した特徴量データを入力し、結合荷重記憶部に記憶している結合荷重に従って神経回路網演算処理を行い、判定結果として感性出力データを出力する判定用神経回路網処理工程。
【0014】
学習用画像から抽出した特徴量データを入力し、学習用画像に対する感性についての心理実験結果から得られた感性情報正解データ(感性情報目標データ)を出力するように、学習用神経回路網を誤差逆伝播法で学習させて得られた感性による評価である結合荷重を記憶した結合荷重記憶部を有し、画像に対する感性に係る判定を行う画像処理装置となるコンピュータに、以下の処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
(1)判定対象の画像から特徴量データを抽出する特徴抽出処理
(2)学習用神経回路網と同様の構成の判定用神経回路網に、判定対象の画像から抽出した特徴量データを入力し、結合荷重記憶部に記憶している結合荷重に従って神経回路網演算処理を行い、判定結果として感性出力データを出力する判定用神経回路網処理。
【0015】
学習用画像から抽出した特徴量データを入力し、学習用画像に対する感性についての心理実験結果から得られた感性情報正解データ(感性情報目標データ)を出力するように、学習用神経回路網を誤差逆伝播法で学習させて得られた感性による評価である結合荷重を記憶した結合荷重記憶部を有し、画像に対する感性に係る判定を行う画像処理装置
となるコンピュータに、以下の手順を実行させるためのプログラム
(1)判定対象の画像から特徴量データを抽出する特徴抽出処理手順
(2)学習用神経回路網と同様の構成の判定用神経回路網に、判定対象の画像から抽出した特徴量データを入力し、結合荷重記憶部に記憶している結合荷重に従って神経回路網演算処理を行い、判定結果として感性出力データを出力する判定用神経回路網処理手順。
【発明の効果】
【0016】
本発明においては、未知の画像の構図について、人の感性と照らし合わせることによって、その構図の“安定・不安定”、“賑やか・静か”などの度合いを、数値として客観的に判定することができる。
【発明を実施するための最良の形態】
【0017】
実施の形態1.
まず、本発明について行った実験について説明する。図1中の1に示すように、始めに、図3に例示するデザイナーによって描かれた88枚の幾何学的な図形を画像セットとして用意した。
【0018】
これに対して、図1中の3に示す人による心理実験を行った。複数の被験者に対して、学習用画像セットの中からランダムに抽出した各学習用画像に対して、“安定・不安定”・“賑やか・静か”の度合いを次に示すような5段階で評価させる視覚心理実験を行った。
“安定・不安定” 1:非常に不安定
2:やや不安定
3:どちらとも言えない
4:やや安定
5:非常に安定
“賑やか・静か” 1:非常に静か
2:やや静か
3:どちらとも言えない
4:やや賑やか
5:非常に賑やか
この心理実験結果を、画像セットに対する正解の感性出力データであるとみなす。
【0019】
このように、学習用画像セットに対して視覚心理実験を行うことによって、各学習用画像に対する人の感性応答を求める。ここで、学習用画像セットとして、一般の屋内・屋外の風景画像等を用いることも可能であるが、一般の画像の場合は、視覚心理実験結果から感性応答と画像特徴量を関係づけることが困難であると考え、図3に例示するような88枚の幾何学的なカラー画像(256×256画素)を用いた。
【0020】
一方、図1の特徴抽出部5により、画像セット中の各画像に対して、後述する137種の特徴量を求めておく。このうちの60枚の画像に対する特徴量データを、図1の学習用(階層型)神経回路網6に入力し、それらに対する心理実験結果から得られた感性情報正解データ(感性情報目標データ)を出力するよう、神経回路網を誤差逆伝播法に基づいて学習する。すなわち神経回路網中の神経細胞ユニット間の結合荷重を最適化する。これにより図1の結合荷重データ7を得る。
【0021】
この結合荷重を学習用神経回路網6と同じ構造をもった検証用神経回路網9の結合荷重にコピーし、検証用神経回路網9を作る。この検証用神経回路網9に対して、前述の特徴抽出部5によって残り28枚の検証用画像に対して求めた検証用特徴データを入力し、それらに対する正解の感性情報正解データ(感性情報目標データ)が正しく出力されるか否かを図1の検証用神経回路網の有効性検証部10において調べる。このとき、検証用神経回路網の有効性が充分でないと判定された場合は、学習用画像を増やして学習用神経回路網の追加学習あるいは再学習を行う。つまり、検証用神経回路網の有効性が認められた時点での結合荷重が、本発明の画像処理装置の結合荷重記憶部に記憶される。
【0022】
次に、ここで得られた検証用神経回路網9(判定用神経回路網と同等)を用いて、画像中の画像中の最適な構図の部分画像の切り出し及び画像データベース中の個人の好みに合った構図の画像の抽出を行うプロセスについて述べる。図2に、任意の画像中の最適な構図の部分画像の決定処理を示す。図2に示す画像データベース11中の任意の画像の中から、部分画像切り出し部12により部分画像を切り出し、部分画像を、図1と同様の特徴抽出部5に入力してその特徴量を得る。これらの特徴量を図1と同様の検証用神経回路網9に入力し、その部分画像に対する感性出力値を求める。この感性出力値と部分画像番号を、図2の最適部分画像決定部16に入力することによって、最終的に切り出す部分画像を出力する。画像から、例えば“最も安定な構図”の部分画像が欲しい場合は、この最適部分画像決定部では、部分画像の中で最大の“安定度”をもった部分画像を決定することによって最終的に出力される部分画像を決定する。
【0023】
次に、特徴量について説明する。視覚心理実験結果を解析することによって、人間が画像のどのような特徴を考慮しているかを検討し、次に示す特徴量を選定した。
【表1】
JP0004581084B2_000002t.gif

【0024】
特徴抽出処理部5では、上述の各特徴量を算出する。図4は、特徴抽出処理フローを示す図である。図に示すように、特徴抽出処理部5による特徴抽出処理として、ブロック毎平均色算出処理(S401)、対称度算出処理(S402)、減色後色数算出処理(S403)、ラベリング処理後ラベル値・区画数算出処理(S404)、背景度算出処理(S405)、中心度算出処理(S406)、重要オブジェクト重心座標算出処理(S407)、重要オブジェクト外接四角形縦横比算出処理(S408)、重要オブジェクト四角度算出処理(S409)、重要オブジェクト円形度算出処理(S410)、及び色相H成分算出処理(S411)を行う。以下に、各特徴量およびその算出処理について説明する。
【0025】
(1)画像のブロック毎の平均色のRGB値(48種)
原画像を、図5に示すように4×4個のブロックに均等に分割した後、各ブロックの平均色をRGB値で求める。これによって得られる4×4×3(R,G,B)=48種のデータを特徴量とする。
【0026】
この特徴量を求めるブロック毎平均色算出処理(S401)について説明する。図6は、ブロック毎平均色算出処理フローを示す図である。まず、画像を均等に分割したブロック領域を決定する(S601)。例えば、四角形の対角座標を算出する。そして、各ブロック毎に以下の処理を繰り返す(S602)。ブロック内の画素群のRGB値の各総計を算出し(S603)、各総計(RGB値)を画素数で割り(S604)、得られた各商を、平均色(RGB値)としてブロック番号と対応付けて出力する(S605)。すべてのブロックについて処理した時点で終了する(S606)。
【0027】
(2)画像の左右対称度(1種)・上下対称度(1種)・斜め対称度(2種)
画像を図7に示すように左右・上下・斜め(2方向)にそれぞれ折り返したときの重なる画素の一致率から求めた対称度、計4種を用いる。
【0028】
この特徴量を求める対称度算出処理(S402)について説明する。図8は、対称度算出処理フローを示す図である。左右対称度算出処理(S801)、上下対称度算出処理(S802)、右上対左下斜め対称度算出処理(S803)、及び左上対右下斜め対称度算出処理(S804)を行う。
【0029】
S801からS804では、それぞれに個別の対称度算出処理を行う。図9は、個別の対称度算出処理フローを示す図である。左右対称軸、上下対称軸、右上対左下対称軸、あるいは左上対右下対称軸の個別の対称軸で分割した領域を決定する(S901)。そして、一方の領域の各画素について以下の処理を繰り返す(S902)。まず、当該画素に対する対象位置の画素を特定し(S903)。一方の領域側の当該画素の値と、他方の領域側の対称位置の画素の値を比較し、比較結果として、一致または不一致を判定する(S904)。これを一方の領域のすべての画素について処理し(S905)、一致した比較結果の数(一致数)を算出する(S906)。最後に、一致数を、比較した画素数(一方の領域の画素数)で割って(S907)、商を、一致率として出力する(S908)。
【0030】
(3)画像に含まれる色数(1種)
原画像をRGB各4階調、計64色に減色する処理を施した後の画像に含まれる色数を用いる。
【0031】
この特徴量を求める減色後色数算出処理(S403)について説明する。図10は、減色後色数算出処理フローを示す図である。画像に含まれる各画素について以下の処理を繰り返す(S1001)。RGB値をそれぞれ4階調とする64色のうち、当該画素のRGB値に最も近似する値を判定し(S1002)、当該近似する値を含有色として記憶する(S1003)。そして、すべての画素について処理した時点で(S1004)、記憶した値の種類数つまり含有色を、減色後色数としてカウントする(S1005)。
【0032】
(4)ラベリング処理後のラベル値(64種)・区画数(1種)
原画像を8×8個のブロックでそれぞれ色を平均化し、(3)の減色処理を施した後、図11に示すように、連結している同色領域に同じ番号を付けるラベリング処理を施した。本発明では、連結領域の通し番号ではなく、連結領域の面積の値(連結ブロック数)をラベル番号にした。これにより、色分布の面積情報を考慮する。また、ラベリング処理によって分割された数を区画数とした。
【0033】
この特徴量を求めるラベリング処理後ラベル値・区画数算出処理(S404)について説明する。図12と図13は、ラベリング処理後ラベル値・区画数算出処理フローを示す図である。まず、画像を均等に分割したブロック領域を決定する(S1201)。例えば、8×8個の四角形ブロックの対角座標を算出する。そして、各ブロック毎に以下の処理を繰り返す(S1202)。ブロックに含まれる画素のRGB値の平均を算出し(S1203)、RGB値をそれぞれ4階調とする64色のうち、当該平均RGB値に最も近似する値を判定する(S1204)。当該近似する値を、減色処理後の色としてブロック毎に記憶し(S1205)、すべてのブロックについて処理した時点で次の処理に移行する(S1206)。
【0034】
前記64色毎に以下の処理を繰り返す(S1301)。当該色と一致する減色処理後の色を有するブロックを特定し(S1302)、特定したブロックのうち隣接するもの同士に、共通の領域識別子を割り当てる(S1303)。また、特定したブロックのうち単独のものには、固有の領域識別子を割り当てる(S1304)。そして、領域識別子毎に以下の処理を繰り返す(S1305)。同一の領域識別子が割り当てられているブロックの数をカウントし(S1306)、カウントしたブロック数を、ラベル番号として当該同一の領域識別子が割り当てられているブロックに割り当てる(S1307)。すべての領域識別子について処理し(S1308)、更にすべての色について処理した時点で終了する(S1309)。
【0035】
(5)背景度(1種)
背景があるかないか、及び背景がある場合は背景の大きさはどのくらいかを表す特徴量である。図14に背景がある場合とない場合の例を示す。それぞれの場合の背景度について次に示す。
【0036】
・背景ありの場合
面積最大のオブジェクトの面積をS、画像全体の面積の半分をShalfとし、S≧Shalfなら、背景度bgを次式から求める。
【数1】
JP0004581084B2_000003t.gif

【0037】
・背景なしの場合
面積最大のオブジェクトの面積が、S<Shalfの場合は背景なしとして次式から背景度を定義する。
【数2】
JP0004581084B2_000004t.gif

【0038】
この特徴量を求める背景度算出処理(S405)について説明する。図15は、背景度算出処理フローを示す図である。まず、オブジェクトを特定し、オブジェクトの範囲を求める(S1501)。そして、各オブジェクトの面積を算出し(S1502)、各面積を比較し、最大の面積を有するオブジェクトを特定する(S1503)。また、画像全体の面積に所定背景基準割合(例えば1/2)を乗じて、背景基準値(例えば、全体面積の半分Shalf)を求め(S1504)、最大オブジェクトの面積Sと背景基準値を比較する(S1505)。最大オブジェクトの面積S≧背景基準値ならば、背景有りと判定し(S1506)、最大オブジェクトの面積Sから背景基準値を引いて、差を背景基準値で割って、商を背景度bgとする(S1507)。一方、最大オブジェクトの面積S<背景基準値ならば、背景無しと判定し(S1508)、背景度bgを0とする(S1509)。
【0039】
(6)中心度(3種)
本発明において中心度を、「中心に物体がある場合、もしくは図形の中心が画像の中心付近にあるか」を表す値として定義して算出した。なお、画像の中心部とは、図16の灰色の部分のことを指す。ここでは中心度として、次に示す第一中心度、第二中心度、及び第三中心度を計算して用いる。
【0040】
・第一中心度
中心部のRGB平均階調値と周辺部のRGB平均階調値の差からの算出するもので、中心部のRGB平均階調値をR,G,Bとおき、周辺部のRGB平均階調値をR,G,Bとおいて、RGB空間のユークリッド距離の式
【数3】
JP0004581084B2_000005t.gif
に代入すると、Dの値は0≦D≦31/2となる。そこで、第一中心度を次のように算出する。
【数4】
JP0004581084B2_000006t.gif

【0041】
・第二中心度
中心部のRGBにおいての平均階調値を算出してR,G,Bとおくと、中心部の分散値σ,σ,σは、中心部の各画素のRGB階調値をR,G,Bとすると、
【数5】
JP0004581084B2_000007t.gif
と算出することができる。ただし、Nは中心部の画素数である。各分散値の正規化を行った後に、1からの差をとり、次式のようになる。
【数6】
JP0004581084B2_000008t.gif
これらを用いて第二中心度を次式で算出する。
【数7】
JP0004581084B2_000009t.gif

【0042】
・第三中心度
形に関する中心度として、次のi)、ii)の2つの場合に分けて中心度を定義する。ここで、画像中心の座標はG(G,G)と表す。
【0043】
i)背景ありの場合の第三中心度
前述の処理によって背景がありと認められる画像においては、面積最大のオブジェクトが背景となるので、重要視するオブジェクトから除外し、2、3、4番目の面積のものを重要視するオブジェクトとし、その面積をそれぞれS,S,Sとし、重心座標をそれぞれ(Xg1,Yg1),(Xg2,Yg2),(Xg3,Yg3)とする。
【0044】
まず、画像中心からの距離 をそれぞれ次式で算出する。
【数8】
JP0004581084B2_000010t.gif
また、中心にそれぞれのオブジェクトが近いほど中心度を高くするために、画像中心から画像の隅までの距離をMとする。そして、3つのオブジェクトの中でも面積が大きいほど重要視する係数を掛けて、第三中心度は次のようになる。
【数9】
JP0004581084B2_000011t.gif
ここで、係数kは面積i番目の面積の係数であり、次式により算出する。
【数10】
JP0004581084B2_000012t.gif

【0045】
ii)背景なしの場合の第三中心度
一方、背景がないと認められる画像の場合は1、2、3番目の面積のものをそのまま重要視するオブジェクトとして、上と同様の処理を行って中心度を算出する。
【0046】
この特徴量を求める中心度算出処理(S406)について説明する。図17は、中心度算出処理フローを示す図である。第一中心度算出処理(S1701)、第二中心度算出処理(S1702)、及び第三中心度算出処理(S1703)を行う。
【0047】
図18は、第一中心度算出処理フローを示す図である。まず、中心部の範囲と周辺部の範囲を特定する(S1801)。中心部に含まれる画素のRGB値それぞれの合計値を求め(S1802)、RGB値のそれぞれの合計値を、中心部の画素数で割って、それぞれの商として平均値(R,G,B)を算出する(S1803)。また、周辺部に含まれる画素のRGB値それぞれの合計値を求め(S1804)、RGB値のそれぞれの合計値を、周辺部の画素数で割って、それぞれの商として平均値(R,G,B)を算出する(S1805)。そして、RGB値のそれぞれについて、中心部の平均値と周辺部の平均値の差分を求め、更に差分の自乗値((R-R,(G-G,(B-B)を求める(S1806)。これらの各差分自乗値の総和を求め、更に当該総和の平方根を求め(S1807)、当該平方根の解を、3の平方根で割って、商を第一の中心度とする(S1808)。
【0048】
図19は、第二中心度算出処理フローを示す図である。前述と同様に、中心部の範囲と周辺部の範囲を特定し(S1901)中心部に含まれる画素のRGB値それぞれの合計値を求め(S1902)、RGB値のそれぞれの合計値を、中心部の画素数で割って、それぞれの商として平均値(R,G,B)を算出する(S1903)。そして、中心部の各画素について以下の処理を繰り返す(S1904)。RGB値のそれぞれについて、当該画素の階調値と中心部の平均値の差分を求め、更に差分の自乗値((R-R,(G-G,(B-B)を求める(S1905)。すべての画素について処理した時点で(S1906)、RGB値のそれぞれについて、各画素における差分自乗値の合計値を求め、各合計値を中心部の画素数で割って、それぞれの商として分散値(σ,σ,σ)を算出する(S1907)。次に、RGB値のそれぞれについて、1から各分散値を引いて、それぞれの差を求め(S1908)、それぞれの差の総和を求め、当該総和を3で割って、商を第二の中心度とする(S1909)。
【0049】
図20と図21は、第三中心度算出処理フローを示す図である。前述と同様に、背景があるか判定する(S2001)。背景がある場合には、各オブジェクトの面積を比較し、2番目、3番目、及び4番目に大きい面積を有するオブジェクトを重要視するオブジェクトとして特定する(S2002)。背景が無い場合には、各オブジェクトの面積を比較し、最大、2番目、及び3番目に大きい面積を有するオブジェクトを重要視するオブジェクトとして特定する(S2003)。次に、各重要視するオブジェクト(1,2,3)について、オブジェクトの範囲の重心座標((Xg1,Yg1),(Xg2,Yg2),(Xg3,Yg3))を算出し(S2004)、更に画像の中心座標(G,G)を算出する(S2005)。各重要視するオブジェクトについて、画像の中心座標から重心座標までの距離(d,d,d)を算出する(S2006)。
【0050】
また、重要視するオブジェクトの面積の総和を算出し(S2101)、各重要視するオブジェクトについて、当該オブジェクトの面積を、前記面積の総和で割って、商として面積の係数(k,k,k)を算出する(S2102)。更に、画像中心から画像の隅までの距離Mを算出し(S2103)、各重要視するオブジェクトについて、中心隅間の距離Mと中心重心間の距離(d,d,d)の差を算出する(S2104)。そして、当該差を中心隅間の距離Mで割って、更にその商に面積の係数(k,k,k)を乗じて、積としてオブジェクト毎の中心度を算出する(S2105)。これらのオブジェクト毎の中心度を合計し、総和を第三の中心度とする(S2106)。
【0051】
(7)重要視するオブジェクトの重心座標(6種)
第三中心度の定義のところで述べたオブジェクトの重心座標(Xg1,Yg1),(Xg2,Yg2),(Xg3,Yg3)もオブジェクトの位置を表す形状の特徴量であると考えられる。よって、画像の中心座標G(G,G)を原点とする座標系に変換し、その座標を特徴量として追加する。
【0052】
この特徴量を求める重要オブジェクト重心座標算出処理(S407)について説明する。図22は、重要オブジェクト重心座標算出処理フローを示す図である。各重要視するオブジェクト(1,2,3)について、オブジェクトの範囲の重心座標((Xg1,Yg1),(Xg2,Yg2),(Xg3,Yg3))を算出し(S2201)、更に画像の中心座標(G,G)を算出する(S2202)。そして、各重要視するオブジェクト(1,2,3)について、オブジェクトの範囲の重心座標((Xg1,Yg1),(Xg2,Yg2),(Xg3,Yg3))から画像の中心座標(G,G)を差し引いて、中心座標を原点とする座標系におけるオブジェクト重心座標を算出する(S2203)。
【0053】
(8)重要視するオブジェクトの外接四角形の縦横比(3種)
面積1番目から3番目(背景がある場合は背景を除く)までのオブジェクトに対し図23のような外接四角形をはてはめる。外接四角形の縦をwy、横をwxとし、各オブジェクトに対し、外接四角形の縦横比率ratioを次式で定義し特徴量とする。
【数11】
JP0004581084B2_000013t.gif

【0054】
この特徴量を求める重要オブジェクト外接四角形縦横比算出処理(S408)について説明する。図24は、重要オブジェクト外接四角形縦横比算出処理フローを示す図である。各重要視するオブジェクト(1,2,3)について、以下の処理を繰り返す(S2401)。オブジェクトの範囲に含まれる各画素のx座標を比較して、最大値と最小値を判定し(S2402)、x座標の最大値からx座標の最小値を差し引いて、差として外接四角形の横の長さwxを算出する(S2403)。また、オブジェクトの範囲に含まれる各画素のy座標を比較して、最大値と最小値を判定し(S2404)、y座標の最大値からy座標の最小値を差し引いて、差として外接四角形の縦の長さwyを算出する(S2405)。そして、横の長さwxを縦の長さwyで割って、商として当該重要視するオブジェクトの縦横比率ratioを算出する(S2406)。これらの処理を、すべての重要視するオブジェクトについて処理した時点で終了する(S2407)。
【0055】
(9)重要視するオブジェクトの四角度(3種)
重要視するオブジェクト3つが角ばっているか否かの特徴量である。これは、(8)と同様にオブジェクトに対する外接四角形を考え、オブジェクトの面積と外接四角形の面積の比率から算出する。四角度sharpは次式によって定義できる。
【数12】
JP0004581084B2_000014t.gif
ここで、Sはオブジェクトの面積である。3つのオブジェクトに対し同様の処理を行い特徴量とする。
【0056】
この特徴量を求める重要オブジェクト四角度算出処理(S409)について説明する。図25は、重要オブジェクト四角度算出処理フローを示す図である。各重要視するオブジェクト(1,2,3)について、以下の処理を繰り返す(S2501)。前述の処理で求めた横の長さwxと縦の長さwyを乗じて、積として当該重要視するオブジェクトの外接四角形の面積を算出する(S2502)。また、当該オブジェクトの面積Sを算出する(S2503)。そして、オブジェクトの面積を外接四角形の面積で割って、商として重要視するオブジェクトの四角度を算出する(S2504)。これらの処理をすべての重要視するオブジェクトについて処理した時点で終了する(S2505)。
【0057】
(10)重要視するオブジェクトの円形度(3種)
重要視するオブジェクトが丸みを帯びているか否かの特徴量であり、外接四角形の縦横から半径を算出しオブジェクトの周りに図26のような円を作ったときの円の半径rを次式により定義した。
【数13】
JP0004581084B2_000015t.gif
これより、円形度roundはオブジェクトの面積Sと円の面積の比率から次式で定義した。
【数14】
JP0004581084B2_000016t.gif
3つのオブジェクトに対し同様の処理を行い特徴量とした。
【0058】
この特徴量を求める重要オブジェクト円形度算出処理(S410)について説明する。図27は、重量オブジェクト円形度算出処理フローを示す図である。各重要視するオブジェクト(1,2,3)について、以下の処理を繰り返す(S2701)。前述の処理で求めた横の長さwxと縦の長さwyを足して、得られた和を4で割って、商として基準円の半径rを算出する(S2702)。そして、当該半径を自乗し、自乗値に円周率πを乗じて、積として基準円の面積(πr)を算出する(S2703)。次に、前述の処理で求めたオブジェクトの面積Sと基準円の面積(πr)の差分を求め、その差分を基準円の面積(πr)で割って、商を得る(S2704)。最後に、当該商を1から差し引いて、差として円形度roundを算出する(S2705)。これらの処理を、すべての重要視するオブジェクトについて処理した時点で終了する(S2706)。
【0059】
(11)色相H成分(2種)
画像中の各画素のRGB値をHSV値に変換した後、色相成分であるH値を、図28のような単位円を直交座表系に分解することによって、最頻H値のx成分hxとy成分hyを求め、画像中で最も支配的な色の特徴量とした。
【0060】
この特徴量を求める色相H成分算出処理(S411)について説明する。図29は、色相H成分算出処理フローを示す図である。まず、画像に含まれる各画素について(S2901)、RGB値をHSV値(色相成分,彩度成分,明度成分)に変換する(S2902)。すべての画素について処理すると(S2903)、H値(色相成分)の出現頻度を算出し、最も出現頻度の高いH値(色相成分)を判定する(S2904)。そして、当該H値(色相成分)を単位円の直交座標系に分解し、最頻H値のx成分hとy成分hを算出する(S2905)。
【0061】
これらの特徴量は、様々な特徴量を用いた試行錯誤の結果として、画像の構図を表現するのに適した特徴量として最終的に求めたものである。以上の特徴量をそれぞれの画像から抽出し、階層型神経回路網の入力データとする。本実施例で用いた階層型神経回路網は3層構造の一般的なもので、次に示す通りである。
入力ユニット数:139(139種の画像特徴量)
中間ユニット数:18
出力ユニット数:2
【0062】

中間ユニット数は、いくつかの試行実験の結果から、学習の収束の速さ及び獲得される神経回路網の性能を考慮して決めたものである。また、出力ユニットは、“安定・不安定”及び“賑やか・静か”の度合いを示すもので、出力はそれぞれ0.0~1.0の間に正規化されており、出力値が1.0に近いものほど、非常に安定度、非常に賑やかをそれぞれ示すものとする。
【0063】
60枚の学習用画像のそれぞれに対して、139種の特徴量を求めて入力値として神経回路網に入力し、それらに対する複数の被験者による感性応答出力2種(安定・不安定、賑やか・静か)を0.0から1.0の間に正規化したものを正解の出力値として、誤差逆伝播法に基づいて階層型神経回路網の学習を行った。学習の結果、人の感性応答出力とほぼ同様な出力を行う神経回路網を獲得した。
【0064】
以上の神経回路網と特徴抽出部を組み合わせたものが、画像から“安定・不安定”及び“賑やか・静か”についての感性応答をそれぞれ0.0~1.0までの数値として出力する画像処理方法である。
【0065】
この画像処理方法によって、学習に用いていない未知の画像の安定度・賑やか度を数値で求めることが可能である。例えば図30に示す安定な構図に対しては、安定度0.98、賑やか度0.19、図31に示すような不安定な構図に対しては、安定度0.43、賑やか度0.68という妥当な出力が得られた。本発見では、学習プロセスに特徴が明確になるような幾何学的画像を用いたが、提案する画像処理方法は、一般のカラー画像に対しても有効である。
【0066】
本画像処理方法を一般のカラー画像に適用し、画像中の“安定な構図”の自動トリミングに適用した結果を風景画像1(図32~図37)、風景画像2(図38~図43)、人物を含む画像(図44~図49)に示す。ここでは、解像度の高い原画像から、それよりも小さいブロック状の部分画像として画像を切り出したとき、それぞれの位置で提案する画像処理方法によって安定度を求めた結果を例示している。これらの図から、本画像処理方法によって、人の感性に合った画像中の安定な構図の自動トリミングが実現できていることがわかる。
【0067】
このように、画像の取得・編集・検索・出力方法の分野及びそれらを実現する具体的なディジタルカメラ、画像自動現像装置などの各種画像入力・編集・検索・出力装置への適用が考えられる。
【0068】
本発明では、図1に示した神経回路網の学習における心理実験を特定の個人だけで行うことで、その個人の感性を反映した構図の画像を画像データベースから自動的に抽出することも可能である。この際、検証用神経回路網の出力は、多くの人に共通的に感じられる“安定度/賑やか度”などではなく、その個人が考える“安定度/賑やか度”などになる。これにより、画像データベース中の各画像に対する検証用神経回路網の出力値を調べることで、その個人の感性に合った画像検索や構図決定支援を行うことができる。
【0069】
本発明に係る画像処理装置は、少なくとも、結合荷重記憶部と、特徴抽出部と、判定用神経回路網を有する。そして、結合荷重記憶部は、前記結合荷重(学習用画像から抽出した特徴量データを入力し、学習用画像に対する感性についての心理実験結果から得られた感性情報正解データ(感性情報目標データ)を出力するように、学習用神経回路網を誤差逆伝播方で学習させて得られた結合荷重)を記憶している。特徴抽出部は、判定対象の画像から特徴量データを抽出する。また、判定用神経回路網は、学習用神経回路網及び検証用神経回路網と同様の構成を有し、特徴抽出部で抽出した特徴量データを入力し、結合荷重記憶部に記憶している結合荷重に従って、判定結果として感性情報正解データ(感性情報目標データ)を出力する。
【0070】
画像処理装置は、コンピュータであり、各要素はプログラムにより処理を実行することができる。また、プログラムを記憶媒体に記憶させ、記憶媒体からコンピュータに読み取られるようにすることができる。
【図面の簡単な説明】
【0071】
【図1】学習用神経回路網の学習と検証用神経回路網の有効性検証プロセスのフローを示す図である。
【図2】検証用神経回路網による任意画像からの最適切り出し画像の決定プロセスのフローを示す図である。
【図3】画像セットの一部を示す図である。
【図4】特徴抽出処理フローを示す図である。
【図5】画像のブロック毎の平均色のRGB値を求める際の説明図である。
【図6】ブロック毎平均色算出処理フローを示す図である。
【図7】画像の左右対称度・上下対称度・斜め対称度を求める際の説明図である。
【図8】対称度算出処理フローを示す図である。
【図9】個別の対称度算出処理フローを示す図である。
【図10】減色後色数算出処理フローを示す図である。
【図11】ラベリング処理後のラベル値を求める際の説明図である。
【図12】ラベリング処理後ラベル値・区画数算出処理フロー(1/2)を示す図である。
【図13】ラベリング処理後ラベル値・区画数算出処理フロー(2/2)を示す図である。
【図14】画像の背景がある場合とない場合の例を示す図である。
【図15】背景度算出処理フローを示す図である。
【図16】画像の中心部の定義を示す図である。
【図17】中心度算出処理フローを示す図である。
【図18】第一中心度算出処理フローを示す図である。
【図19】第二中心度算出処理フローを示す図である。
【図20】第三中心度算出処理フローを示す図である。
【図21】第三中心度算出処理フローを示す図である。
【図22】重要オブジェクト重心座標算出処理フローを示す図である。
【図23】重要視するオブジェクトの外接四角形の縦横比の説明図である。
【図24】重要オブジェクト外接四角形縦横比算出処理フローを示す図である。
【図25】重要オブジェクト四角度算出処理フローを示す図である。
【図26】重要視するオブジェクトの円形度の説明図である。
【図27】重量オブジェクト円形度算出処理フローを示す図である。
【図28】色相H成分の説明図である。
【図29】色相H成分算出処理フローを示す図である。
【図30】安定な未知画像の例を示す図である。
【図31】不安定な未知画像の例を示す図である。
【図32】風景画像1の原画像を示す図である。
【図33】風景画像1のトリミング画像(安定度0.99)を示す図である。
【図34】風景画像1のトリミング画像(安定度0.84)を示す図である。
【図35】風景画像1のトリミング画像(安定度0.68)を示す図である。
【図36】風景画像1のトリミング画像(安定度0.35)を示す図である。
【図37】風景画像1のトリミング画像(安定度0.01)を示す図である。
【図38】風景画像2の原画像を示す図である。
【図39】風景画像2のトリミング画像(安定度0.99)を示す図である。
【図40】風景画像2のトリミング画像(安定度0.84)を示す図である。
【図41】風景画像2のトリミング画像(安定度0.69)を示す図である。
【図42】風景画像2のトリミング画像(安定度0.36)を示す図である。
【図43】風景画像2のトリミング画像(安定度0.04)を示す図である。
【図44】人物を含む画像の原画像を示す図である。
【図45】人物を含む画像のトリミング画像(安定度0.99)を示す図である。
【図46】人物を含む画像のトリミング画像(安定度0.91)を示す図である。
【図47】人物を含む画像のトリミング画像(安定度0.81)を示す図である。
【図48】人物を含む画像のトリミング画像(安定度0.43)を示す図である。
【図49】人物を含む画像のトリミング画像(安定度0.05)を示す図である。
【符号の説明】
【0072】
1 実験用画像の作成、2 画像セット、3 人による心理実験、4 心理実験結果、5 特徴抽出部、6 学習用神経回路網、7 結合荷重データ、8 結合荷重データ、9 検証用神経回路網、10 検証用神経回路網の有効性検証部、11 画像データベース、12 部分画像切り出し部、16 最適部分画像決定部。
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14
【図16】
15
【図17】
16
【図18】
17
【図19】
18
【図20】
19
【図21】
20
【図22】
21
【図23】
22
【図24】
23
【図25】
24
【図26】
25
【図27】
26
【図28】
27
【図29】
28
【図30】
29
【図31】
30
【図32】
31
【図33】
32
【図34】
33
【図35】
34
【図36】
35
【図37】
36
【図38】
37
【図39】
38
【図40】
39
【図41】
40
【図42】
41
【図43】
42
【図44】
43
【図45】
44
【図46】
45
【図47】
46
【図48】
47
【図49】
48