TOP > 国内特許検索 > 感情分類装置および感情分類方法 > 明細書

明細書 :感情分類装置および感情分類方法

発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2018-180628 (P2018-180628A)
公開日 平成30年11月15日(2018.11.15)
発明の名称または考案の名称 感情分類装置および感情分類方法
国際特許分類 G06F  17/30        (2006.01)
FI G06F 17/30 210D
G06F 17/30 220Z
G06F 17/30 170B
請求項の数または発明の数 10
出願形態 OL
全頁数 13
出願番号 特願2017-074400 (P2017-074400)
出願日 平成29年4月4日(2017.4.4)
発明者または考案者 【氏名】桂井 麻里衣
【氏名】三條 智史
出願人 【識別番号】503027931
【氏名又は名称】学校法人同志社
個別代理人の代理人 【識別番号】110000475、【氏名又は名称】特許業務法人みのり特許事務所
審査請求 未請求
要約 【課題】テキスト付き画像の感情分類に適した感情分類装置を提供する。
【解決手段】画像特徴の算出方法を学習するとともに画像特徴を算出する画像特徴量算出機構10と、テキスト特徴の算出方法を学習するとともにテキスト特徴を算出するテキスト特徴量算出機構20と、画像特徴およびテキスト特徴の算出方法を学習するとともにテキスト付き画像の感情極性を予測する感情極性予測機構30とを備える。
【選択図】図1
特許請求の範囲 【請求項1】
テキスト付き画像の感情分類を行う感情分類装置であって、
前記テキスト付き画像の画像特徴の算出方法を学習するとともに、前記画像特徴に関する第1特徴量を算出する画像特徴量算出機構と、
前記テキスト付き画像のテキスト特徴の算出方法を学習するとともに、前記テキスト特徴に関する第2特徴量を算出するテキスト特徴量算出機構と、
前記画像特徴および前記テキスト特徴の算出方法を学習するとともに、前記第1特徴量および前記第2特徴量に基づいて前記テキスト付き画像の感情極性を予測する感情極性予測機構と、
を備え、
前記画像特徴量算出機構、前記テキスト特徴量算出機構および前記感情極性予測機構は、画像と前記画像に関するテキストのペアに感情ラベルが付与された第1データセットを用いて、学習されたものである
ことを特徴とする感情分類装置。
【請求項2】
前記テキスト特徴量算出機構は、
単語の意味に対して感情スコアが割り振られた感情語辞書を含み、前記第2特徴量を算出する際に前記感情語辞書を用いて前記感情スコアによる重み付けを行う
ことを特徴とする請求項1に記載の感情分類装置。
【請求項3】
前記画像特徴量算出機構は、
画像に物体ラベルが付与された第2データセットおよび前記第1データセットを用いて学習された、前記テキスト付き画像の画像が入力されると前記画像の前記第1特徴量を出力する第1ニューラルネットワークを含む
ことを特徴とする請求項2に記載の感情分類装置。
【請求項4】
前記テキスト特徴量算出機構は、
感情語を含むテキストデータで構成された第3データセットを用いて事前学習された、前記テキスト付き画像のテキストが入力されると前記テキストを構成する各単語の特徴量を出力する第2ニューラルネットワークと、
前記各単語の特徴量に対して前記感情スコアによる重み付けを行い、前記テキストの特徴量を算出する重み付け手段と、
前記第1データセットを用いて学習された、前記テキストの特徴量が入力されると前記第2特徴量を出力する第3ニューラルネットワークと、を含む
ことを特徴とする請求項2または3に記載の感情分類装置。
【請求項5】
前記感情極性予測機構は、
前記第1特徴量を正規化する第1正規化手段と、
前記第2特徴量を正規化する第2正規化手段と、
正規化された前記第1特徴量と正規化された前記第2特徴量とを結合し、結合された特徴量を出力する結合手段と、
前記第1データセットを用いて学習された、前記結合された特徴量が入力されると前記感情極性を予測する第4ニューラルネットワークと、を含む
ことを特徴とする請求項2~4のいずれか一項に記載の感情分類装置。
【請求項6】
テキスト付き画像の感情分類を行う感情分類方法であって、
画像と前記画像に関するテキストのペアに感情ラベルが付与された第1データセットを用いて、画像特徴量算出機構、テキスト特徴量算出機構および感情極性予測機構の各ニューラルネットワークに学習させる学習ステップと、
前記画像特徴量算出機構により、前記テキスト付き画像の画像特徴に関する第1特徴量を算出する画像特徴量算出ステップと、
前記テキスト特徴量算出機構により、前記テキスト付き画像のテキスト特徴に関する第2特徴量を算出するテキスト特徴量算出ステップと、
前記感情極性予測機構により、前記第1特徴量および前記第2特徴量に基づいて前記テキスト付き画像の感情極性を予測する感情極性予測ステップと、を含む
ことを特徴とする感情分類方法。
【請求項7】
前記テキスト特徴量算出ステップでは、
単語の意味に対して感情スコアが割り振られた感情語辞書を用いて、前記第2特徴量を算出する際に前記感情スコアによる重み付けを行う
ことを特徴とする請求項6に記載の感情分類方法。
【請求項8】
前記学習ステップでは、
画像に物体ラベルが付与された第2データセットを用いて前記画像特徴量算出機構の第1ニューラルネットワークに事前学習させた後に、前記第1データセットを用いて前記第1ニューラルネットワークに学習させる
ことを特徴とする請求項7に記載の感情分類方法。
【請求項9】
前記学習ステップでは、
感情語を含むテキストデータで構成された第3データセットを用いて前記テキスト特徴量算出機構の第2ニューラルネットワークに事前学習させるとともに、前記第1データセットを用いて前記テキスト特徴量算出機構の第3ニューラルネットワークに学習させ、
前記テキスト特徴量算出ステップは、
前記第2ニューラルネットワークにより、前記テキスト付き画像のテキストを構成する各単語の特徴量を算出するステップと、
前記各単語の特徴量に対して前記感情スコアによる重み付けを行い、前記テキストの特徴量を算出するステップと、
前記第3ニューラルネットワークにより、前記テキストの特徴量に基づいて前記第2特徴量を算出するステップと、を含む
ことを特徴とする請求項7または8に記載の感情分類方法。
【請求項10】
上記感情分類方法において、
前記感情極性予測ステップは、
前記第1特徴量を正規化するステップと、
前記第2特徴量を正規化するステップと、
正規化された前記第1特徴量と正規化された前記第2特徴量とを結合し、結合された特徴量を算出するステップと、
前記第1データセットで学習された前記感情極性予測機構の第4ニューラルネットワークにより、前記結合された特徴量から前記感情極性を予測するステップと、を含む
ことを特徴とする請求項7~9のいずれか一項に記載の感情分類方法。
発明の詳細な説明 【技術分野】
【0001】
本発明は、テキスト付き画像の感情分類を行う感情分類装置および感情分類方法に関する。
【背景技術】
【0002】
ソーシャルメディアに投稿されたテキスト付き画像の感情極性の自動分類(以下、感情分類)においては、従来から、感情分類に適した画像特徴の設計方法が検討されてきた。しかしながら、画像特徴と感情との間には意味的な隔たりが大きい。そこで、本願発明者は、画像に付与されたテキスト情報を利用できる点に着目し、画像・テキスト・感情語という三つの側面に基づく画像の感情分類方法を提案した(例えば、非特許文献1参照)。
【先行技術文献】
【0003】

【非特許文献1】桂井麻里衣、佐藤真一、“画像・テキスト・感情語の潜在的な相関に基づく画像の感情分類”、[online]、2016年3月1日、第8回データ工学と情報マネジメントに関するフォーラム(DEIM2016)、[平成29年3月27日検索]、インターネット<URL: http://db-event.jpn.org/deim2016/papers/336.pdf>
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記非特許文献1に記載の感情分類方法では、画像特徴、テキスト特徴および感情語特徴をそれぞれ抽出(算出)する必要がある。これらの特徴のうち画像特徴およびテキスト特徴は、従来の画像認識(例えば、犬や猫の分類など)に用いられている特徴であり、感情分類に特化しているとはいえない。
【0005】
また、特徴抽出は一般に高次元の情報を低次元の情報に削減するため、上記非特許文献1に記載の感情分類方法では、画像特徴およびテキスト特徴を抽出する際に、感情分類に有用な特徴が欠落するおそれがあった。
【0006】
本発明は上記事情に鑑みてなされたものであって、その課題とするところは、テキスト付き画像の感情分類に適した感情分類装置および感情分類方法を提供することにある。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明に係る感情分類装置は、
テキスト付き画像の感情分類を行う感情分類装置であって、
前記テキスト付き画像の画像特徴の算出方法を学習するとともに、前記画像特徴に関する第1特徴量を算出する画像特徴量算出機構と、
前記テキスト付き画像のテキスト特徴の算出方法を学習するとともに、前記テキスト特徴に関する第2特徴量を算出するテキスト特徴量算出機構と、
前記画像特徴および前記テキスト特徴の算出方法を学習するとともに、前記第1特徴量および前記第2特徴量に基づいて前記テキスト付き画像の感情極性を予測する感情極性予測機構と、
を備え、
前記画像特徴量算出機構、前記テキスト特徴量算出機構および前記感情極性予測機構は、画像と前記画像に関するテキストのペアに感情ラベルが付与された第1データセットを用いて、学習されたものである
ことを特徴とする。
【0008】
上記感情分類装置において、
前記テキスト特徴量算出機構は、
単語の意味に対して感情スコアが割り振られた感情語辞書を含み、前記第2特徴量を算出する際に前記感情語辞書を用いて前記感情スコアによる重み付けを行う
ことが好ましい。
【0009】
上記感情分類装置において、
前記画像特徴量算出機構は、
画像に物体ラベルが付与された第2データセットおよび前記第1データセットを用いて学習された、前記テキスト付き画像の画像が入力されると前記画像の前記第1特徴量を出力する第1ニューラルネットワークを含む構成にすることができる。
【0010】
上記感情分類装置において、
前記テキスト特徴量算出機構は、
感情語を含むテキストデータで構成された第3データセットを用いて事前学習された、前記テキスト付き画像のテキストが入力されると前記テキストを構成する各単語の特徴量を出力する第2ニューラルネットワークと、
前記各単語の特徴量に対して前記感情スコアによる重み付けを行い、前記テキストの特徴量を算出する重み付け手段と、
前記第1データセットを用いて学習された、前記テキストの特徴量が入力されると前記第2特徴量を出力する第3ニューラルネットワークと、を含む構成にすることができる。
【0011】
上記感情分類装置において、
前記感情極性予測機構は、
前記第1特徴量を正規化する第1正規化手段と、
前記第2特徴量を正規化する第2正規化手段と、
正規化された前記第1特徴量と正規化された前記第2特徴量とを結合し、結合された特徴量を出力する結合手段と、
前記第1データセットを用いて学習された、前記結合された特徴量が入力されると前記感情極性を予測する第4ニューラルネットワークと、を含む構成にすることができる。
【0012】
また、上記課題を解決するために、本発明に係る感情分類方法は、
テキスト付き画像の感情分類を行う感情分類方法であって、
画像と前記画像に関するテキストのペアに感情ラベルが付与された第1データセットを用いて、画像特徴量算出機構、テキスト特徴量算出機構および感情極性予測機構の各ニューラルネットワークに学習させる学習ステップと、
前記画像特徴量算出機構により、前記テキスト付き画像の画像特徴に関する第1特徴量を算出する画像特徴量算出ステップと、
前記テキスト特徴量算出機構により、前記テキスト付き画像のテキスト特徴に関する第2特徴量を算出するテキスト特徴量算出ステップと、
前記感情極性予測機構により、前記第1特徴量および前記第2特徴量に基づいて前記テキスト付き画像の感情極性を予測する感情極性予測ステップと、を含む
ことを特徴とする。
【0013】
上記感情分類方法において、
前記テキスト特徴量算出ステップでは、
単語の意味に対して感情スコアが割り振られた感情語辞書を用いて、前記第2特徴量を算出する際に前記感情スコアによる重み付けを行う
ことが好ましい。
【0014】
上記感情分類方法において、
前記学習ステップでは、
画像に物体ラベルが付与された第2データセットを用いて前記画像特徴量算出機構の第1ニューラルネットワークに事前学習させた後に、前記第1データセットを用いて前記第1ニューラルネットワークに学習させる構成にすることができる。
【0015】
上記感情分類方法において、
前記学習ステップでは、
感情語を含むテキストデータで構成された第3データセットを用いて前記テキスト特徴量算出機構の第2ニューラルネットワークに事前学習させるとともに、前記第1データセットを用いて前記テキスト特徴量算出機構の第3ニューラルネットワークに学習させ、
前記テキスト特徴量算出ステップは、
前記第2ニューラルネットワークにより、前記テキスト付き画像のテキストを構成する各単語の特徴量を算出するステップと、
前記各単語の特徴量に対して前記感情スコアによる重み付けを行い、前記テキストの特徴量を算出するステップと、
前記第3ニューラルネットワークにより、前記テキストの特徴量に基づいて前記第2特徴量を算出するステップと、を含む構成にすることができる。
【0016】
上記感情分類方法において、
前記感情極性予測ステップは、
前記第1特徴量を正規化するステップと、
前記第2特徴量を正規化するステップと、
正規化された前記第1特徴量と正規化された前記第2特徴量とを結合し、結合された特徴量を算出するステップと、
前記第1データセットで学習された前記感情極性予測機構の第4ニューラルネットワークにより、前記結合された特徴量から前記感情極性を予測するステップと、を含む構成にすることができる。
【発明の効果】
【0017】
本発明によれば、テキスト付き画像の感情分類に適した感情分類装置および感情分類方法を提供することができる。
【図面の簡単な説明】
【0018】
【図1】本発明の第1実施形態に係る感情分類装置を示す図である。
【図2】本発明の第2実施形態に係る感情分類装置を示す図である。
【図3】第1比較例に係る感情分類装置を示す図である。
【図4】第2比較例に係る感情分類装置を示す図である。
【発明を実施するための形態】
【0019】
以下、添付図面を参照して、本発明に係る感情分類装置および感情分類方法の実施形態について説明する。

【0020】
[第1実施形態]
(感情分類装置)
図1に、本発明の第1実施形態に係る感情分類装置1Aを示す。感情分類装置1Aは、画像特徴量算出機構10と、テキスト特徴量算出機構20と、感情極性予測機構30とを備え、テキスト付き画像の感情極性(本実施形態では、ポジティブまたはネガティブ)の自動分類(以下、感情分類)を行う。

【0021】
本発明におけるテキスト付き画像とは、例えば、ソーシャルメディアに投稿された画像と、その画像に関する説明文および/またはその画像を検索しやすくするためのタグを含むテキストと、のペアをいう。本実施形態では、テキストとして、説明文とタグの両方を使用する。

【0022】
感情分類装置1Aは、画像特徴量算出機構10、テキスト特徴量算出機構20および感情極性予測機構30が、教師データを用いて、画像特徴の算出方法(パラメータ)および/またはテキスト特徴の算出方法(パラメータ)を学習する点において、上記非特許文献1に記載の方法と大きく異なる。感情分類装置1Aでは、教師データとして、下記の第1~第3データセットを用いる。

【0023】
第1データセットは、テキスト付き画像(画像と当該画像に関するテキストのペア)に感情ラベルが付与されたもので、本願発明者が独自に構築したものである。例えば、テキスト付き画像の画像が「猫の画像」で、テキストとして「Cat .. after drinking milk.」の説明文と「cat, pet, animal, depth of field, mammal, texture, outdoor, people, eye」のタグが付与されている場合、第1データセットでは、この画像とテキストのペアに「ポジティブ」のような感情ラベルを付与している。このように、第1データセットでは、第1データセットに含まれるテキスト付き画像のそれぞれに「ポジティブ」、「ネガティブ」、「ニュートラル」のいずれかの感情ラベルが付与されている。

【0024】
第2データセットは、画像に物体ラベル(例えば、犬や猫などのカテゴリラベル)が付与されたもので、従来から知られている画像認識用の画像データセットである。本実施形態では、第2データセットとして、約120万枚の高品質な画像を含むImageNetの画像データセットを用いる。

【0025】
第3データセットは、感情語を含むテキストデータで構成されたもので、単語の類似性(例えば、猫はトラに近い、空は海に似ている、happyはjoyに近いなど)を学習させるためのデータセットである。本実施形態では、第3データセットとして、ウェブ上で公開されている約160万件のツイートデータを用いる。

【0026】
画像特徴量算出機構10は、第1データセットおよび第2データセットにより、感情分類に適した画像特徴の算出方法を学習する。テキスト特徴量算出機構20は、第1データセットおよび第3データセットにより、感情分類に適したテキスト特徴の算出方法を学習する。感情極性予測機構30は、第1データセットにより、感情分類に適した画像特徴およびテキスト特徴の算出方法を学習する。これらの学習のうち第1データセットによる学習は、「誤差逆伝搬法」に基づいて同時に行われる。

【0027】
画像特徴量算出機構10は、本発明の「第1ニューラルネットワーク」に相当する畳み込みニューラルネットワーク(以下、CNN)11を備える。画像特徴量算出機構10は、テキスト付き画像から画像を取得するデータ取得手段(例えば、API)と、画像を適正サイズにリサイズして中心化する入力手段と、を備えていてもよい。

【0028】
CNN11は、第1データセットおよび第2データセットにより、感情分類に適した画像特徴の算出方法を学習する。CNN11は、テキスト付き画像の画像が入力されると、当該画像の画像特徴に関する第1特徴量を出力する。本実施形態では、CNN11として、AlexNetと呼ばれる8層CNN構造を用いる。CNN11の8層目の次元数は、100次元に変更した。このため、CNN11は、画像特徴に関する第1特徴量を100次元のベクトルとして出力する。

【0029】
CNN11は、第2データセットで事前学習された後に、第1データセットで学習される。第2データセットで先に学習されることで、CNN11では、大量のパラメータが効果的に初期化される。その後、第1データセットで学習されることで、CNN11は、第2データセットで学習したパラメータをもとに、感情分類に適した画像特徴のパラメータを学習することができる。すなわち、CNN11は、第2データセットで事前学習したパラメータを、第1データセットで感情分類に適したパラメータにファインチューニングする。

【0030】
テキスト特徴量算出機構20は、本発明の「第2ニューラルネットワーク」に相当するWord2Vec(W2V)21と、感情語辞書22と、重み付け手段23と、本発明の「第3ニューラルネットワーク」に相当する多層パーセプトロン(以下、MLP)24と、を備える。テキスト特徴量算出機構20は、テキスト付き画像からテキストを取得するデータ取得手段(例えば、API)を備えていてもよい。

【0031】
Word2Vec21は、第3データセットを用いて事前学習される。Word2Vec21は、テキスト付き画像のテキストが入力されると、当該テキストを構成する各単語の特徴量を出力する。本実施形態では、Word2Vec21として、Skipgramを用いる。Word2Vec21の出力層の次元数は、CNN11と同様、100次元である。このため、Word2Vec21は、テキストを構成する各単語の特徴量を100次元のベクトルとして出力する。

【0032】
感情語辞書22は、単語の意味に対して感情スコアが割り振られた辞書である。感情語辞書22は、テキスト付き画像のテキストが入力されると、当該テキストを構成する各単語の感情スコアを出力する。本実施形態では、感情語辞書22として、SentiWordNetを用いる。

【0033】
感情語辞書22では、例えば、surprisedという単語に、4つの意味が付与されている。1つ目の意味には、ポジティブスコア0.125、ネガティブスコア0が割り振られている。2つ目の意味には、ポジティブスコア0、ネガティブスコア0が割り振られている。3つ目の意味には、ポジティブスコア0、ネガティブスコア0が割り振られている。4つ目の意味には、ポジティブスコア0.125、ネガティブスコア0.25が割り振られている。

【0034】
感情語辞書22は、ポジティブスコアの平均とネガティブスコアの平均の和を、単語の感情スコアとして出力する。surprisedという単語の場合、ポジティブスコアの平均が0.0625で、ネガティブスコアの平均も0.0625であるため、感情語辞書22は、surprisedという単語の感情スコアとして0.125を出力する。

【0035】
重み付け手段23は、Word2Vec21から入力された各単語の特徴量に対して、感情語辞書22から入力された感情スコアによる重み付けを行う。例えば、surprisedという単語の場合、重みを1.125(=1+感情スコア)にする。次いで、重み付け手段23は、重み付け後の各単語の特徴量を加算して、当該各単語で構成されるテキストの特徴量を算出する。これにより、Word2Vec21に入力されたテキストに対して、感情語を考慮した特徴量を100次元のベクトルとして得ることができる。

【0036】
MLP24は、第1データセットを用いて学習される。MLP24は、重み付け手段23からテキストの特徴量が入力されると、テキスト特徴に関する第2特徴量を出力する。本実施形態では、MLP24として、3層構造のMLPを用いる。MLP24の出力層(3層目)の次元数は、100次元である。このため、MLP24は、テキスト特徴に関する第2特徴量を100次元のベクトルとして出力する。

【0037】
MLP24は、第1データセットを用いることで、感情分類に適したテキスト特徴のパラメータを学習することができる。すなわち、MLP24は、Word2Vec21で事前学習した特徴量(テキストの特徴量)を、第1データセットで感情分類に適した特徴量にファインチューニングする。

【0038】
感情極性予測機構30は、第1正規化手段31と、第2正規化手段32と、結合手段33と、本発明の「第4ニューラルネットワーク」に相当する多層パーセプトロン(以下、MLP)34と、を備える。

【0039】
第1正規化手段31は、CNN11から出力された画像特徴に関する第1特徴量に対して、L2正規化を行う。第2正規化手段32は、MLP24から出力されたテキスト特徴に関する第2特徴量に対して、L2正規化を行う。なお、第1正規化手段31および第2正規化手段32は、L2正規化以外の正規化を行ってもよい。

【0040】
結合手段33は、正規化された第1特徴量と正規化された第2特徴量とを結合し、結合された特徴量を出力する。結合された特徴量は、200次元のベクトルとして出力される。

【0041】
MLP34は、第1データセットを用いて学習される。これにより、MLP34は、感情分類に適した画像特徴およびテキスト特徴のパラメータを学習することができる。MLP34は、結合手段33から特徴量が入力されると、感情極性の予測対象であるテキスト付き画像の感情極性を予測(出力)する。本実施形態では、MLP34として、3層構造のMLPを用いる。MLP34の出力層(3層目)の次元数は、2次元である。このため、MLP24は、感情極性(ポジティブまたはネガティブ)を2次元のベクトルとして出力する。

【0042】
上記のとおり、感情分類装置1Aでは、画像特徴量算出機構10のCNN11、テキスト特徴量算出機構20のMLP24、および感情極性予測機構30のMLP34が、第1データセットを用いた学習により、感情分類に適した画像特徴および/またはテキスト特徴の算出方法を学習する。したがって、感情分類装置1Aによれば、テキスト付き画像の感情分類を高精度に行うことができる。

【0043】
また、感情分類装置1Aは、テキスト特徴に関する第2特徴量を算出する際に感情語辞書22を用いて感情スコアによる重み付けを行う。これにより、感情分類装置1Aは、感情分類の精度をさらに高めることができる。

【0044】
(感情分類方法)
次に、本発明の第1実施形態に係る感情分類方法について説明する。

【0045】
本実施形態に係る感情分類方法は、例えば、コンピュータを感情分類装置1Aとして機能させるプログラムを実行することで、実現することができる。すなわち、本実施形態に係る感情分類方法の各ステップで行うことは、感情分類装置1Aの各機構10、20、30で行われることと共通している。よって、以下では、説明を一部省略する。

【0046】
本実施形態に係る感情分類方法は、学習ステップと、画像特徴量算出ステップと、テキスト特徴量算出ステップと、感情極性予測ステップと、を含む。最初に学習ステップが実行され、次に画像特徴量算出ステップとテキスト特徴量算出ステップが実行され、最後に感情極性予測ステップが実行される。

【0047】
学習ステップは、教師データ(第1~第3データセット)を用いて、画像特徴量算出機構10、テキスト特徴量算出機構20および感情極性予測機構30に学習させるステップである。

【0048】
具体的には、第2データセットを用いて画像特徴量算出機構10のCNN11に事前学習させるとともに、第3データセットを用いてテキスト特徴量算出機構20のWord2Vec21に事前学習させる。次に、第1データセットを用いて、CNN11、テキスト特徴量算出機構20のMLP24および感情極性予測機構30のMLP34に同時に学習させる。これにより、CNN11およびMLP24、34は、感情分類に適した画像特徴および/またはテキスト特徴の算出方法(パラメータ)を学習する。

【0049】
画像特徴量算出ステップは、感情極性の予測対象であるテキスト付き画像の画像特徴に関する第1特徴量を算出するステップである。画像特徴量算出ステップでは、テキスト付き画像の画像をCNN11に入力すると、CNN11が入力画像の画像特徴に関する第1特徴量を出力する。

【0050】
テキスト特徴量算出ステップは、感情極性の予測対象であるテキスト付き画像のテキスト特徴に関する第2特徴量を算出するステップである。テキスト特徴量算出ステップは、下記の第1~第3ステップを含む。

【0051】
テキスト特徴量算出ステップの第1ステップは、テキスト付き画像のテキストを構成する各単語の特徴量を算出するステップであり、Word2Vec21により実行される。第2ステップは、各単語の特徴量に対して感情スコアによる重み付けを行いテキストの特徴量を算出するステップであり、感情語辞書22および重み付け手段23により実行される。第3ステップは、テキストの特徴量に基づいて第2特徴量を算出するステップであり、MLP24により実行される。

【0052】
感情極性予測ステップは、感情極性の予測対象であるテキスト付き画像の感情極性(ポジティブまたはネガティブ)を予測するステップである。感情極性予測ステップは、下記の第1~第4ステップを含む。

【0053】
感情極性予測ステップの第1ステップは、CNN11から出力された第1特徴量をL2正規化するステップであり、第1正規化手段31により行われる。第2ステップは、MLP24から出力された第2特徴量をL2正規化するステップであり、第2正規化手段32により行われる。第3ステップは、正規化された第1特徴量と正規化された第2特徴量とを結合するステップであり、結合手段33により行われる。第4ステップは、結合手段33で結合された特徴量に基づいて感情極性を予測するステップであり、MLP34で行われる。

【0054】
上記のとおり、本実施形態に係る感情分類方法では、学習ステップにおいて、CNN11およびMLP24、34が感情分類に適した画像特徴および/またはテキスト特徴の算出方法を学習する。したがって、本実施形態に係る感情分類方法によれば、テキスト付き画像の感情分類を高精度に行うことができる。

【0055】
また、本実施形態に係る感情分類方法では、テキスト特徴量算出ステップにおいて、テキスト特徴に関する第2特徴量を算出する際に感情語辞書22を用いて感情スコアによる重み付けを行う。これにより、本実施形態に係る感情分類方法は、感情分類の精度をさらに高めることができる。

【0056】
[比較実験]
比較実験では、上記第1実施形態に係る感情分類装置1Aと他の感情分類装置1B~1Dで感情極性予測の精度を比較した。また、比較実験では、テキスト付き画像のトレーニングサンプル数を15000、バリデーションサンプル数を5000、テストサンプル数を5000とした。

【0057】
感情分類装置1Bは、図2に示すように、感情分類装置1Aから感情語辞書22および重み付け手段23を除去したものである。感情分類装置1Bでは、Word2Vec21の出力に対して平均化を行いMLP24に入力した。感情分類装置1Bを、本発明の第2実施形態に係る感情分類装置とする。

【0058】
感情分類装置1Cは、図3に示すように、畳み込みニューラルネットワーク(CNN)11Cのみで構成される。CNN11Cは、CNN11の8層目の次元数を2次元(ポジティブまたはネガティブ)にしたものである。感情分類装置1Cは、テキスト付き画像の画像のみで感情極性を予測する。感情分類装置1Cを、第1比較例に係る感情分類装置とする。

【0059】
感情分類装置1Dは、図4に示すように、Word2Vec21とMLP24Dとで構成される。Word2Vec21の出力は平均プーリングされてMLP24Dに入力される。MLP24Dは、MLP24の出力層の次元数を2次元(ポジティブまたはネガティブ)にしたものである。感情分類装置1Dは、テキスト付き画像のテキストのみで感情極性を予測する。感情分類装置1Dを、第2比較例に係る感情分類装置とする。

【0060】
比較実験の結果、感情分類装置1D(テキストのみ)の感情極性予測の精度は、0.667であった。感情分類装置1C(画像のみ)の感情極性予測の精度は、0.708であった。感情分類装置1B(画像+テキスト)の感情極性予測の精度は、0.730であった。そして、感情分類装置1A(画像+テキスト+感情語辞書)の感情極性予測の精度は、0.741であった。

【0061】
この結果から、本発明の第2実施形態に係る感情分類装置1Bは、画像のみで感情極性を予測する感情分類装置1Cや、テキストのみで感情極性を予測する感情分類装置1Dよりも、テキスト付き画像の感情分類に適していることが分かる。また、感情分類装置1Aと感情分類装置1Bとの比較から、感情語辞書22を用いることで、より精度の高い感情分類が可能になることが分かる。

【0062】
以上、本発明に係る感情分類装置および感情分類方法の実施形態について説明したが、本発明は上記実施形態に限定されるものではない。

【0063】
本発明に係る感情分類装置および感情分類方法が行う感情分類は、ポジティブ、ネガティブ以外のものが含まれていてもよい。すなわち、本発明に係る感情分類装置および感情分類方法は、3種類以上の感情分類を行うことができる。

【0064】
画像特徴量算出機構10は、テキスト付き画像の画像特徴の算出方法を学習するとともに、画像特徴に関する第1特徴量を算出するのであれば、適宜構成を変更することができる。例えば、CNN11以外のニューラルネットワークを用いることができる。

【0065】
テキスト特徴量算出機構20は、テキスト付き画像のテキスト特徴の算出方法を学習するとともに、テキスト特徴に関する第2特徴量を算出するのであれば、適宜構成を変更することができる。例えば、Word2Vec21やMLP24以外のニューラルネットワークを用いることができる。

【0066】
感情極性予測機構30は、画像特徴およびテキスト特徴の算出方法を学習するとともに、第1特徴量および第2特徴量に基づいてテキスト付き画像の感情極性を予測するのであれば、適宜構成を変更することができる。例えば、MLP34以外のニューラルネットワークを用いることができる。
【符号の説明】
【0067】
1A、1B 感情分類装置
10 画像特徴量算出機構
11 CNN
20、20B テキスト特徴量算出機構
21 Word2Vec
22 感情語辞書
23 重み付け手段
24 MLP
30 感情極性予測機構
31 第1正規化手段
32 第2正規化手段
33 結合手段
34 MLP
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3