Top > Search of Japanese Patents > (In Japanese)感情分類装置および感情分類方法

(In Japanese)感情分類装置および感情分類方法 NEW_EN commons

Patent code P190016456
File No. DP1823
Posted date Oct 31, 2019
Application number P2017-074400
Publication number P2018-180628A
Date of filing Apr 4, 2017
Date of publication of application Nov 15, 2018
Inventor
  • (In Japanese)桂井 麻里衣
  • (In Japanese)三條 智史
Applicant
  • (In Japanese)学校法人同志社
Title (In Japanese)感情分類装置および感情分類方法 NEW_EN commons
Abstract (In Japanese)
【課題】
 テキスト付き画像の感情分類に適した感情分類装置を提供する。
【解決手段】
 画像特徴の算出方法を学習するとともに画像特徴を算出する画像特徴量算出機構10と、テキスト特徴の算出方法を学習するとともにテキスト特徴を算出するテキスト特徴量算出機構20と、画像特徴およびテキスト特徴の算出方法を学習するとともにテキスト付き画像の感情極性を予測する感情極性予測機構30とを備える。
【選択図】
 図1
Outline of related art and contending technology (In Japanese)ソーシャルメディアに投稿されたテキスト付き画像の感情極性の自動分類(以下、感情分類)においては、従来から、感情分類に適した画像特徴の設計方法が検討されてきた。
しかしながら、画像特徴と感情との間には意味的な隔たりが大きい。そこで、本願発明者は、画像に付与されたテキスト情報を利用できる点に着目し、画像・テキスト・感情語という三つの側面に基づく画像の感情分類方法を提案した(例えば、非特許文献1参照)。
Field of industrial application (In Japanese)本発明は、テキスト付き画像の感情分類を行う感情分類装置および感情分類方法に関する。
Scope of claims (In Japanese)
【請求項1】
 
テキスト付き画像の感情分類を行う感情分類装置であって、
前記テキスト付き画像の画像特徴の算出方法を学習するとともに、前記画像特徴に関する第1特徴量を算出する画像特徴量算出機構と、
前記テキスト付き画像のテキスト特徴の算出方法を学習するとともに、前記テキスト特徴に関する第2特徴量を算出するテキスト特徴量算出機構と、
前記画像特徴および前記テキスト特徴の算出方法を学習するとともに、前記第1特徴量および前記第2特徴量に基づいて前記テキスト付き画像の感情極性を予測する感情極性予測機構と、
を備え、
前記画像特徴量算出機構、前記テキスト特徴量算出機構および前記感情極性予測機構は、画像と前記画像に関するテキストのペアに感情ラベルが付与された第1データセットを用いて、学習されたものである
ことを特徴とする感情分類装置。

【請求項2】
 
前記テキスト特徴量算出機構は、
単語の意味に対して感情スコアが割り振られた感情語辞書を含み、前記第2特徴量を算出する際に前記感情語辞書を用いて前記感情スコアによる重み付けを行う
ことを特徴とする請求項1に記載の感情分類装置。

【請求項3】
 
前記画像特徴量算出機構は、
画像に物体ラベルが付与された第2データセットおよび前記第1データセットを用いて学習された、前記テキスト付き画像の画像が入力されると前記画像の前記第1特徴量を出力する第1ニューラルネットワークを含む
ことを特徴とする請求項2に記載の感情分類装置。

【請求項4】
 
前記テキスト特徴量算出機構は、
感情語を含むテキストデータで構成された第3データセットを用いて事前学習された、前記テキスト付き画像のテキストが入力されると前記テキストを構成する各単語の特徴量を出力する第2ニューラルネットワークと、
前記各単語の特徴量に対して前記感情スコアによる重み付けを行い、前記テキストの特徴量を算出する重み付け手段と、
前記第1データセットを用いて学習された、前記テキストの特徴量が入力されると前記第2特徴量を出力する第3ニューラルネットワークと、を含む
ことを特徴とする請求項2または3に記載の感情分類装置。

【請求項5】
 
前記感情極性予測機構は、
前記第1特徴量を正規化する第1正規化手段と、
前記第2特徴量を正規化する第2正規化手段と、
正規化された前記第1特徴量と正規化された前記第2特徴量とを結合し、結合された特徴量を出力する結合手段と、
前記第1データセットを用いて学習された、前記結合された特徴量が入力されると前記感情極性を予測する第4ニューラルネットワークと、を含む
ことを特徴とする請求項2~4のいずれか一項に記載の感情分類装置。

【請求項6】
 
テキスト付き画像の感情分類を行う感情分類方法であって、
画像と前記画像に関するテキストのペアに感情ラベルが付与された第1データセットを用いて、画像特徴量算出機構、テキスト特徴量算出機構および感情極性予測機構の各ニューラルネットワークに学習させる学習ステップと、
前記画像特徴量算出機構により、前記テキスト付き画像の画像特徴に関する第1特徴量を算出する画像特徴量算出ステップと、
前記テキスト特徴量算出機構により、前記テキスト付き画像のテキスト特徴に関する第2特徴量を算出するテキスト特徴量算出ステップと、
前記感情極性予測機構により、前記第1特徴量および前記第2特徴量に基づいて前記テキスト付き画像の感情極性を予測する感情極性予測ステップと、を含む
ことを特徴とする感情分類方法。

【請求項7】
 
前記テキスト特徴量算出ステップでは、
単語の意味に対して感情スコアが割り振られた感情語辞書を用いて、前記第2特徴量を算出する際に前記感情スコアによる重み付けを行う
ことを特徴とする請求項6に記載の感情分類方法。

【請求項8】
 
前記学習ステップでは、
画像に物体ラベルが付与された第2データセットを用いて前記画像特徴量算出機構の第1ニューラルネットワークに事前学習させた後に、前記第1データセットを用いて前記第1ニューラルネットワークに学習させる
ことを特徴とする請求項7に記載の感情分類方法。

【請求項9】
 
前記学習ステップでは、
感情語を含むテキストデータで構成された第3データセットを用いて前記テキスト特徴量算出機構の第2ニューラルネットワークに事前学習させるとともに、前記第1データセットを用いて前記テキスト特徴量算出機構の第3ニューラルネットワークに学習させ、
前記テキスト特徴量算出ステップは、
前記第2ニューラルネットワークにより、前記テキスト付き画像のテキストを構成する各単語の特徴量を算出するステップと、
前記各単語の特徴量に対して前記感情スコアによる重み付けを行い、前記テキストの特徴量を算出するステップと、
前記第3ニューラルネットワークにより、前記テキストの特徴量に基づいて前記第2特徴量を算出するステップと、を含む
ことを特徴とする請求項7または8に記載の感情分類方法。

【請求項10】
 
上記感情分類方法において、
前記感情極性予測ステップは、
前記第1特徴量を正規化するステップと、
前記第2特徴量を正規化するステップと、
正規化された前記第1特徴量と正規化された前記第2特徴量とを結合し、結合された特徴量を算出するステップと、
前記第1データセットで学習された前記感情極性予測機構の第4ニューラルネットワークにより、前記結合された特徴量から前記感情極性を予測するステップと、を含む
ことを特徴とする請求項7~9のいずれか一項に記載の感情分類方法。
IPC(International Patent Classification)
Drawing

※Click image to enlarge.

thum_JPA 430180628_i_000002.jpg
State of application right Published
(In Japanese)ライセンスをご希望の方、特許の内容に興味を持たれた方は、下記問合せ先にご相談下さい。


PAGE TOP

close
close
close
close
close
close
close