Top > Search of Japanese Patents > IMAGE PROCESSING SYSTEM, IMAGE PROCESSING METHOD, COMPUTER-READABLE RECORDING MEDIUM RECORDING PROGRAM, AND PROGRAM

IMAGE PROCESSING SYSTEM, IMAGE PROCESSING METHOD, COMPUTER-READABLE RECORDING MEDIUM RECORDING PROGRAM, AND PROGRAM commons

Patent code P110004943
Posted date Aug 18, 2011
Application number P2004-323774
Publication number P2006-134153A
Patent number P4581084
Date of filing Nov 8, 2004
Date of publication of application May 25, 2006
Date of registration Sep 10, 2010
Inventor
  • (In Japanese)長尾 智晴
  • (In Japanese)小林 紘士
Applicant
  • (In Japanese)国立大学法人横浜国立大学
Title IMAGE PROCESSING SYSTEM, IMAGE PROCESSING METHOD, COMPUTER-READABLE RECORDING MEDIUM RECORDING PROGRAM, AND PROGRAM commons
Abstract PROBLEM TO BE SOLVED: To determine the degrees of evaluation for composition of an unknown image on the basis of sense such as "stability/instability", and "busy/quiet" regarding an image processing system which determines the evaluation of an image.
SOLUTION: Data for the feature quantity extracted from an image for learning are inputted, a neuron network 6 for learning is made to learn by error inverse propagation method so as to output the sensitivity information right answer data (sensitivity information target data) obtained from the results of psychological experiments regarding the sensitivity of the image for learning, and a coupled load is obtained. The data for the feature quantity is extracted from the image to be determined in a features extraction section 5, the data for the feature quantity is inputted in a neuron network 9 for determination which has a structure similar to that of the neuron network 6 for learning, and sensitivity output data are outputted as a determined result, by performing arithmetic operations, in accordance with the coupled load.
Outline of related art and contending technology (In Japanese)


これまでにも、画像と人の感性を結びつけようとする試みは多数行われてきている。例えば、画像の検索において、各画像に対して、寒い・暖かい、安定・不安定などの相反する形容詞対における度合いをSD法(Semantic Differential method)(例えば、非特許文献1)に基づいてあらかじめ視覚心理実験によって計測し、その結果をインデクスとして手動で付与した画像データベースを作ることで、それらの感性情報をクエリ(検索要求)として入力して候補画像を検索する試みがある(例えば、非特許文献2)。しかしながら人手によるインデクスの付与を、一般に日々更新される画像データベースに適用することは実用上困難であるとともに、インデクスが付与されていない未知の画像データに対しては適用することができない。



このため、それらの感性情報を画像から自動的に取得する必要がある。これに対して、特定の画像セットに対する人の感性応答を求め、その感性応答と、画像セット中の画像の色分布特徴や形状特徴などの特徴量を関連付ける試みもなされている。しかしながら、これらは感性情報に基づく画像データベースからの画像検索を目的としたものがほとんどである。



また、人の感性には一般に個人差があることから、そこで求めた画像特徴は必ずしも一般性をもたないことが多く、産業応用の観点からは実用化に至らないものも多かった。



これに対して、多くの人が共通して感じる感性を、画像から自動取得しようとする試みもあるが、いずれも類似画像検索やデザイン支援などの分野での適用例があるだけで、本発明で特に注目している“画像の構図”と人の感性との関連を調べて工学的に応用しようとするものはほとんどない。一部、絵画の構図を自動分類しようとする試みはあるが、その画像がどの程度安定であるか、といった客観的な評価を数値として具体的に与えるものではなく、画像の構図をラフに表したスケッチ画像を用意し、それをクエリとして画像データベースに与えることで、構図が類似した画像群を検索する方式が提案されているに過ぎない。また、これらの方式では、スケッチ画像(クエリ)と各画像の色分布や形状の特徴を重ね合わせて一致率を求めるテンプレートマッチングあるいは、背景・図形を分離して同様に比較する方式がほとんどであり、“画像の構図”と人の感性の関係まで立ち入って処理をする方法や装置はこれまでにほとんど提案されていない。
【非特許文献1】
中森義輝著「感性データ解析」森北出版,2000年8月10日
【非特許文献2】
安居院猛、長尾智晴、中嶋正之,「SD法を用いた画像検索に関する一検討」,テレビジョン学会誌,テレビジョン学会,1990年,Vol.44,No.6,pp.788-790

Field of industrial application (In Japanese)


本発明は、人の感性情報を計算機によって機械的に取り扱う、いわゆる感性情報処理の分野に属し、更に画像処理によって画像から各種の特徴量を抽出し、目的に応じてクラスタリングあるいはパターン認識する画像処理・パターン認識の分野に属し、初めて見る画像に対して人間が感じる“安定・不安定”、“賑やか・静か”などの、特にその画像の構図に関わりが強いと考えられる特徴に対する感性に合った応答出力をすることができる画像処理方法に関する。また、この画像処理方法を用いて画像からの安定な構図による自動トリミングや、画像データベースからの感性に基づく画像検索などを実現する画像処理装置に関する。

Scope of claims (In Japanese)
【請求項1】
 
画像に対する感性に係る判定を行う画像処理装置であって、
(1)学習用画像から抽出した特徴量データを入力し、学習用画像に対する感性についての心理実験結果から得られた感性による評価である感性情報目標データを出力するように、学習用神経回路網を誤差逆伝播法で学習させて得られた結合荷重を記憶した結合荷重記憶部と、
(2)判定対象の画像から特徴量データを抽出する特徴抽出部と、
(3)学習用神経回路網と同様の構成を有し、判定対象の画像から抽出した特徴量データを入力し、結合荷重記憶部に記憶している結合荷重に従って神経回路網演算処理を行い、判定結果として感性出力データを出力する判定用神経回路網を有し、
特徴量データとして、画像を分割した各ブロックに含まれる色の平均を減色処理し、ブロック毎に連結している同色領域の面積の値をラベル番号とするラベリング処理により得られた各ブロックのラベル番号を用いることを特徴とする画像処理装置

【請求項2】
 
前記連結している同色領域の面積の値は、連結するブロック数であることを特徴とする請求項1記載の画像処理装置。

【請求項3】
 
結合荷重記憶部は、学習用画像に対する「安定又は不安定」の感性についての心理実験結果から得られた感性による評価である感性情報目標データを出力するように、学習させて得られた結合荷重を記憶し
判定用神経回路網は、判定結果として「安定又は不安定」の感性出力データを出力することを特徴とする請求項1又は2に記載の画像処理装置。

【請求項4】
 
学習用画像から抽出した特徴量データを入力し、学習用画像に対する感性についての心理実験結果から得られた感性による評価である感性情報目標データを出力するように、学習用神経回路網を誤差逆伝播法で学習させて得られた結合荷重を記憶した結合荷重記憶部を有し、画像に対する感性に係る判定を行う画像処理装置による
(1)判定対象の画像から特徴量データを抽出する特徴抽出処理工程と、
(2)学習用神経回路網と同様の構成の判定用神経回路網に、判定対象の画像から抽出した特徴量データを入力し、結合荷重記憶部に記憶している結合荷重に従って神経回路網演算処理を行い、判定結果として感性出力データを出力する判定用神経回路網処理工程とを有する画像処理方法であって、
特徴量データとして、画像を分割した各ブロックに含まれる色の平均を減色処理し、ブロック毎に連結している同色領域の面積の値をラベル番号とするラベリング処理により得られた各ブロックのラベル番号を用いることを特徴とする画像処理方法

【請求項5】
 
結合荷重記憶部は、学習用画像に対する「安定又は不安定」の感性についての心理実験結果から得られた感性による評価である感性情報目標データを出力するように、学習させて得られた結合荷重を記憶し、
判定用神経回路網処理工程は、判定結果として「安定又は不安定」の感性出力データを出力することを特徴とする請求項4に記載の画像処理方法。

【請求項6】
 
学習用画像から抽出した特徴量データを入力し、学習用画像に対する感性についての心理実験結果から得られた感性情報目標データを出力するように、学習用神経回路網を誤差逆伝播法で学習させて得られた感性による評価である結合荷重を記憶した結合荷重記憶部を有し、画像に対する感性に係る判定を行う画像処理装置となるコンピュータに
(1)判定対象の画像から特徴量データを抽出する特徴抽出処理と、
(2)学習用神経回路網と同様の構成の判定用神経回路網に、判定対象の画像から抽出した特徴量データを入力し、結合荷重記憶部に記憶している結合荷重に従って神経回路網演算処理を行い、判定結果として感性出力データを出力する判定用神経回路網処理とを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
特徴量データとして、画像を分割した各ブロックに含まれる色の平均を減色処理し、ブロック毎に連結している同色領域の面積の値をラベル番号とするラベリング処理により得られた各ブロックのラベル番号を用いることを特徴とするプログラムを記録したコンピュータ読み取り可能な記録媒体

【請求項7】
 
結合荷重記憶部は、学習用画像に対する「安定又は不安定」の感性についての心理実験結果から得られた感性による評価である感性情報目標データを出力するように、学習させて得られた結合荷重を記憶し、
判定用神経回路網処理は、判定結果として「安定又は不安定」の感性出力データを出力することを特徴とする請求項6に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

【請求項8】
 
学習用画像から抽出した特徴量データを入力し、学習用画像に対する感性についての心理実験結果から得られた感性情報目標データを出力するように、学習用神経回路網を誤差逆伝播法で学習させて得られた感性による評価である結合荷重を記憶した結合荷重記憶部を有し、画像に対する感性に係る判定を行う画像処理装置となるコンピュータに
(1)判定対象の画像から特徴量データを抽出する特徴抽出処理手順と、
(2)学習用神経回路網と同様の構成の判定用神経回路網に、判定対象の画像から抽出した特徴量データを入力し、結合荷重記憶部に記憶している結合荷重に従って神経回路網演算処理を行い、判定結果として感性出力データを出力する判定用神経回路網処理手順とを実行させるためのプログラムであって、
特徴量データとして、画像を分割した各ブロックに含まれる色の平均を減色処理し、ブロック毎に連結している同色領域の面積の値をラベル番号とするラベリング処理により得られた各ブロックのラベル番号を用いることを特徴とするプログラム

【請求項9】
 
結合荷重記憶部は、学習用画像に対する「安定又は不安定」の感性についての心理実験結果から得られた感性による評価である感性情報目標データを出力するように、学習させて得られた結合荷重を記憶し、
判定用神経回路網処理手順は、判定結果として「安定又は不安定」の感性出力データを出力することを特徴とする請求項8に記載のプログラム。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2004323774thum.jpg
State of application right Registered
(In Japanese)掲載特許について詳しくお知りになりたい方はHPの「お問い合わせ」ページにてお問い合わせください。


PAGE TOP

close
close
close
close
close
close
close