TOP > 国内特許検索 > 感情分類装置および感情分類方法

感情分類装置および感情分類方法 NEW コモンズ

国内特許コード P190016456
整理番号 DP1823
掲載日 2019年10月31日
出願番号 特願2017-074400
公開番号 特開2018-180628
出願日 平成29年4月4日(2017.4.4)
公開日 平成30年11月15日(2018.11.15)
発明者
  • 桂井 麻里衣
  • 三條 智史
出願人
  • 学校法人同志社
発明の名称 感情分類装置および感情分類方法 NEW コモンズ
発明の概要 【課題】テキスト付き画像の感情分類に適した感情分類装置を提供する。
【解決手段】画像特徴の算出方法を学習するとともに画像特徴を算出する画像特徴量算出機構10と、テキスト特徴の算出方法を学習するとともにテキスト特徴を算出するテキスト特徴量算出機構20と、画像特徴およびテキスト特徴の算出方法を学習するとともにテキスト付き画像の感情極性を予測する感情極性予測機構30とを備える。
【選択図】図1
従来技術、競合技術の概要 ソーシャルメディアに投稿されたテキスト付き画像の感情極性の自動分類(以下、感情分類)においては、従来から、感情分類に適した画像特徴の設計方法が検討されてきた。
しかしながら、画像特徴と感情との間には意味的な隔たりが大きい。そこで、本願発明者は、画像に付与されたテキスト情報を利用できる点に着目し、画像・テキスト・感情語という三つの側面に基づく画像の感情分類方法を提案した(例えば、非特許文献1参照)。
産業上の利用分野 本発明は、テキスト付き画像の感情分類を行う感情分類装置および感情分類方法に関する。
特許請求の範囲 【請求項1】
テキスト付き画像の感情分類を行う感情分類装置であって、
前記テキスト付き画像の画像特徴の算出方法を学習するとともに、前記画像特徴に関する第1特徴量を算出する画像特徴量算出機構と、
前記テキスト付き画像のテキスト特徴の算出方法を学習するとともに、前記テキスト特徴に関する第2特徴量を算出するテキスト特徴量算出機構と、
前記画像特徴および前記テキスト特徴の算出方法を学習するとともに、前記第1特徴量および前記第2特徴量に基づいて前記テキスト付き画像の感情極性を予測する感情極性予測機構と、
を備え、
前記画像特徴量算出機構、前記テキスト特徴量算出機構および前記感情極性予測機構は、画像と前記画像に関するテキストのペアに感情ラベルが付与された第1データセットを用いて、学習されたものである
ことを特徴とする感情分類装置。

【請求項2】
前記テキスト特徴量算出機構は、
単語の意味に対して感情スコアが割り振られた感情語辞書を含み、前記第2特徴量を算出する際に前記感情語辞書を用いて前記感情スコアによる重み付けを行う
ことを特徴とする請求項1に記載の感情分類装置。

【請求項3】
前記画像特徴量算出機構は、
画像に物体ラベルが付与された第2データセットおよび前記第1データセットを用いて学習された、前記テキスト付き画像の画像が入力されると前記画像の前記第1特徴量を出力する第1ニューラルネットワークを含む
ことを特徴とする請求項2に記載の感情分類装置。

【請求項4】
前記テキスト特徴量算出機構は、
感情語を含むテキストデータで構成された第3データセットを用いて事前学習された、前記テキスト付き画像のテキストが入力されると前記テキストを構成する各単語の特徴量を出力する第2ニューラルネットワークと、
前記各単語の特徴量に対して前記感情スコアによる重み付けを行い、前記テキストの特徴量を算出する重み付け手段と、
前記第1データセットを用いて学習された、前記テキストの特徴量が入力されると前記第2特徴量を出力する第3ニューラルネットワークと、を含む
ことを特徴とする請求項2または3に記載の感情分類装置。

【請求項5】
前記感情極性予測機構は、
前記第1特徴量を正規化する第1正規化手段と、
前記第2特徴量を正規化する第2正規化手段と、
正規化された前記第1特徴量と正規化された前記第2特徴量とを結合し、結合された特徴量を出力する結合手段と、
前記第1データセットを用いて学習された、前記結合された特徴量が入力されると前記感情極性を予測する第4ニューラルネットワークと、を含む
ことを特徴とする請求項2~4のいずれか一項に記載の感情分類装置。

【請求項6】
テキスト付き画像の感情分類を行う感情分類方法であって、
画像と前記画像に関するテキストのペアに感情ラベルが付与された第1データセットを用いて、画像特徴量算出機構、テキスト特徴量算出機構および感情極性予測機構の各ニューラルネットワークに学習させる学習ステップと、
前記画像特徴量算出機構により、前記テキスト付き画像の画像特徴に関する第1特徴量を算出する画像特徴量算出ステップと、
前記テキスト特徴量算出機構により、前記テキスト付き画像のテキスト特徴に関する第2特徴量を算出するテキスト特徴量算出ステップと、
前記感情極性予測機構により、前記第1特徴量および前記第2特徴量に基づいて前記テキスト付き画像の感情極性を予測する感情極性予測ステップと、を含む
ことを特徴とする感情分類方法。

【請求項7】
前記テキスト特徴量算出ステップでは、
単語の意味に対して感情スコアが割り振られた感情語辞書を用いて、前記第2特徴量を算出する際に前記感情スコアによる重み付けを行う
ことを特徴とする請求項6に記載の感情分類方法。

【請求項8】
前記学習ステップでは、
画像に物体ラベルが付与された第2データセットを用いて前記画像特徴量算出機構の第1ニューラルネットワークに事前学習させた後に、前記第1データセットを用いて前記第1ニューラルネットワークに学習させる
ことを特徴とする請求項7に記載の感情分類方法。

【請求項9】
前記学習ステップでは、
感情語を含むテキストデータで構成された第3データセットを用いて前記テキスト特徴量算出機構の第2ニューラルネットワークに事前学習させるとともに、前記第1データセットを用いて前記テキスト特徴量算出機構の第3ニューラルネットワークに学習させ、
前記テキスト特徴量算出ステップは、
前記第2ニューラルネットワークにより、前記テキスト付き画像のテキストを構成する各単語の特徴量を算出するステップと、
前記各単語の特徴量に対して前記感情スコアによる重み付けを行い、前記テキストの特徴量を算出するステップと、
前記第3ニューラルネットワークにより、前記テキストの特徴量に基づいて前記第2特徴量を算出するステップと、を含む
ことを特徴とする請求項7または8に記載の感情分類方法。

【請求項10】
上記感情分類方法において、
前記感情極性予測ステップは、
前記第1特徴量を正規化するステップと、
前記第2特徴量を正規化するステップと、
正規化された前記第1特徴量と正規化された前記第2特徴量とを結合し、結合された特徴量を算出するステップと、
前記第1データセットで学習された前記感情極性予測機構の第4ニューラルネットワークにより、前記結合された特徴量から前記感情極性を予測するステップと、を含む
ことを特徴とする請求項7~9のいずれか一項に記載の感情分類方法。
国際特許分類(IPC)
画像

※ 画像をクリックすると拡大します。

thum_JPA 430180628_i_000002.jpg
出願権利状態 公開
ライセンスをご希望の方、特許の内容に興味を持たれた方は、下記問合せ先にご相談下さい。


PAGE TOP

close
close
close
close
close
close
close