TOP > 国内特許検索 > 情報処理装置、情報処理方法、及びプログラム > 明細書

明細書 :情報処理装置、情報処理方法、及びプログラム

発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2016-004494 (P2016-004494A)
公開日 平成28年1月12日(2016.1.12)
発明の名称または考案の名称 情報処理装置、情報処理方法、及びプログラム
国際特許分類 G06F  13/00        (2006.01)
G06F   3/048       (2013.01)
G06T   1/00        (2006.01)
FI G06F 13/00 650B
G06F 3/048 656A
G06T 1/00 200E
請求項の数または発明の数 12
出願形態 OL
全頁数 21
出願番号 特願2014-125781 (P2014-125781)
出願日 平成26年6月18日(2014.6.18)
新規性喪失の例外の表示 特許法第30条第2項適用申請有り 発行者名:日本大学生産工学部創生デザイン学科発行 刊行物名:日本大学生産工学部創生デザイン学科2013年度卒業研究成果集 発行年月日:平成26年02月21日発行 展示会名:日本大学生産工学部創生デザイン学科卒業研究成果展 開催日:平成26年02月21日開催
発明者または考案者 【氏名】内田 康之
【氏名】山口 詩織
【氏名】佐藤 功崇
出願人 【識別番号】899000057
【氏名又は名称】学校法人日本大学
個別代理人の代理人 【識別番号】100064908、【弁理士】、【氏名又は名称】志賀 正武
【識別番号】100126882、【弁理士】、【氏名又は名称】五十嵐 光永
【識別番号】100175824、【弁理士】、【氏名又は名称】小林 淳一
審査請求 未請求
テーマコード 5B050
5B084
5E555
Fターム 5B050BA06
5B050BA12
5B050CA07
5B050DA10
5B050EA07
5B050EA18
5B050FA02
5B050FA12
5B050GA08
5B084AA02
5B084AB06
5B084BB20
5B084CA03
5B084CB20
5B084CB22
5B084CD22
5B084CD26
5B084CF12
5B084DC05
5B084FA04
5E555AA23
5E555BA04
5E555BB04
5E555BC08
5E555CA12
5E555CB14
5E555CB45
5E555CC04
5E555DB53
5E555DC21
5E555FA01
要約 【課題】複数の画像により所望の意味を表すことができる情報処理装置を提供すること。
【解決手段】情報処理装置は、人称の群を含む2つ以上の群に予め分類されている選択候補画像から、複数の選択候補画像を順に選択済み画像として選択する選択部と、選択部によって選択された複数の選択済み画像を前記の順に並べて表示させる表示制御部と、を備える。
【選択図】図6
特許請求の範囲 【請求項1】
人称の群を含む2つ以上の群に予め分類された選択候補画像から、複数の前記選択候補画像を順に選択済み画像として選択する選択部と、
前記選択部によって選択された前記複数の前記選択済み画像を前記順に並べて表示させる表示制御部と、
を備えることを特徴とする情報処理装置。
【請求項2】
前記表示制御部は、前記選択済み画像が表示される前記複数の表示枠のうちの、前記順に対応する前記表示枠に、前記順に対応する前記選択済み画像をそれぞれ表示させる、
ことを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記表示制御部は、表示する前記選択済み画像の前記順を、受け付けられた操作に基づいて変更する、
ことを特徴とする請求項1又は2に記載の情報処理装置。
【請求項4】
前記選択候補画像は、文型の群を更に含んで予め分類されている、
ことを特徴とする請求項1から3のうちいずれか一項に記載の情報処理装置。
【請求項5】
受け付けられた操作に基づいて前記選択候補画像を加工する画像加工部を備える、
ことを特徴とする請求項1から4のうちいずれか一項に記載の情報処理装置。
【請求項6】
他装置との通信によって前記選択候補画像を取得する通信制御部を備える、
ことを特徴とする請求項1から5のうちいずれか一項に記載の情報処理装置。
【請求項7】
前記選択候補画像は、漫画である、
ことを特徴とする請求項1から6のうちいずれか一項に記載の情報処理装置。
【請求項8】
人称の群を含む2つ以上の群に予め分類されている選択候補画像から、複数の前記選択候補画像を順に選択済み画像として選択する選択部と、前記選択部によって選択された前記複数の前記選択済み画像を前記順に並べて表示させる表示制御部と、を備える他の情報処理装置から送信される前記複数の前記選択済み画像を示す画像情報と前記順を示す順序情報とを受信する受信部、
を更に備え、
前記表示制御部は、
前記受信部が受信する前記画像情報が示す前記複数の前記選択済み画像を、前記受信部が受信する前記順序情報が示す前記順に表示させる、
ことを特徴とする請求項1から7のうちいずれか一項に記載の情報処理装置。
【請求項9】
前記選択候補画像は、単位の群を更に含んで予め分類されている、
ことを特徴とする請求項1から8のうちいずれか一項に記載の情報処理装置。
【請求項10】
前記選択候補画像は、時制の群を更に含んで予め分類されている、
ことを特徴とする請求項1から9のうちいずれか一項に記載の情報処理装置。
【請求項11】
人称の群を含む2つ以上の群に予め分類されている選択候補画像から、複数の前記選択候補画像を順に選択済み画像として選択する第1ステップと、
前記第1ステップによって選択された前記複数の前記選択済み画像を前記順に並べて表示させる第2ステップと、
を有することを特徴とする情報処理方法。
【請求項12】
コンピューターに、
人称の群を含む2つ以上の群に予め分類されている選択候補画像から、複数の前記選択候補画像を順に選択済み画像として選択する第1ステップと、
前記第1ステップによって選択された前記複数の前記選択済み画像を前記順に並べて表示させる第2ステップと、
を実行させるためのプログラム。
発明の詳細な説明 【技術分野】
【0001】
この発明は、情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【0002】
スマートフォン等の情報処理端末のユーザー同士による意思疎通(コミュニケーション)を支援するための技術が研究・開発されている。
【0003】
これに関連し、情報処理端末のユーザー同士が、電子メール等の文字列(例えば、文章等)を用いたメッセージによって行われる意思疎通を支援する装置が知られている(特許文献1参照)。
【先行技術文献】
【0004】

【特許文献1】特開2001-202299号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来の装置では、文字列の意味や内容を理解できないユーザー同士の意思疎通の程度を向上させることまではできなかった。
【0006】
そこで本発明は、上記従来技術の問題に鑑みてなされたものであり、ユーザー間の意思疎通の程度を向上させることができる情報処理装置、情報処理方法、及びプログラムを提供する。
【課題を解決するための手段】
【0007】
本発明の一態様は、人称の群を含む2つ以上の群に予め分類されている選択候補画像から、複数の前記選択候補画像を順に選択済み画像として選択する選択部と、前記選択部によって選択された前記複数の前記選択済み画像を前記順に並べて表示させる表示制御部と、を備えることを特徴とする情報処理装置である。
【0008】
また、本発明の他の態様は、情報処理装置において、前記表示制御部は、前記選択済み画像が表示される前記複数の表示枠のうちの、前記順に対応する前記表示枠に、前記順に対応する前記選択済み画像をそれぞれ表示させる、構成が用いられてもよい。
【0009】
また、本発明の他の態様は、情報処理装置において、前記表示制御部は、表示する前記選択済み画像の前記順を、受け付けられた操作に基づいて変更する、構成が用いられてもよい。
【0010】
また、本発明の他の態様は、情報処理装置において、前記選択候補画像は、文型の群を更に含んで予め分類されている、構成が用いられてもよい。
【0011】
また、本発明の他の態様は、情報処理装置において、受け付けられた操作に基づいて前記選択候補画像を加工する画像加工部を備える、構成が用いられてもよい。
【0012】
また、本発明の他の態様は、情報処理装置において、他装置との通信によって前記選択候補画像を取得する画像取得部を備える、構成が用いられてもよい。
【0013】
また、本発明の他の態様は、情報処理装置において、前記選択候補画像は、漫画である、構成が用いられてもよい。
【0014】
また、本発明の他の態様は、情報処理装置において、人称の群を含む2つ以上の群に予め分類されている選択候補画像から、複数の前記選択候補画像を順に選択済み画像として選択する選択部と、前記選択部によって選択された前記複数の前記選択済み画像を前記順に並べて表示させる表示制御部と、を備える他の情報処理装置から送信される前記複数の前記選択済み画像を示す画像情報と前記順を示す順序情報とを受信する受信部、を更に備え、前記表示制御部は、前記受信部が受信する前記画像情報が示す前記複数の前記選択済み画像を、前記受信部が受信する前記順序情報が示す前記順に表示させる、構成が用いられてもよい。
【0015】
また、本発明の他の態様は、情報処理装置において、前記選択候補画像は、単位の群を更に含んで予め分類されている、構成が用いられてもよい。
【0016】
また、本発明の他の態様は、情報処理装置において、前記選択候補画像は、時制の群を更に含んで予め分類されている、構成が用いられてもよい。
【0017】
また、本発明の他の態様は、人称の群を含む2つ以上の群に予め分類されている選択候補画像から、複数の前記選択候補画像を順に選択済み画像として選択する第1ステップと、前記第1ステップによって選択された前記複数の前記選択済み画像を前記順に並べて表示させる第2ステップと、を有することを特徴とする情報処理方法である。
【0018】
また、本発明の他の態様は、情報処理装置において、以上に示した本発明の態様に記載の情報処理装置、として機能させるためのプログラムである。
【発明の効果】
【0019】
本発明によれば、ユーザー間の意思疎通の程度を向上させることができる情報処理装置、情報処理方法、及びプログラムを提供することができる。
【図面の簡単な説明】
【0020】
【図1】本実施形態における情報処理装置の機能構成の一例を示す図である。
【図2】人称カテゴリ、感情カテゴリ、行動カテゴリのそれぞれに予め分類された選択候補画像を例示する図である。
【図3】疑問カテゴリ、回答カテゴリ、数値カテゴリ、単位カテゴリのそれぞれに予め分類された選択候補画像を例示する図である。
【図4】選択済み画像の組み合わせが表示されるまでの手順の概要の一例を説明するための図である。
【図5】情報処理装置のユーザー同士が複数の選択済み画像に描かれた絵柄の組み合わせによって会話を行う様子の一例を示す図である。
【図6】制御部により選択済み画像を表示枠に表示させる処理の一例を示すフローチャートである。
【図7】カテゴリ選択画面の一例と、カテゴリ選択画面によって選択されたカテゴリに予め分類された選択候補画像が表示された画面の一例を示す図である。
【発明を実施するための形態】
【0021】
<実施形態>
以下、本発明の実施形態について、図面を参照して説明する。図1は、本実施形態における情報処理装置1の機能構成の一例を示す図である。情報処理装置1は、撮像部10と、選択候補画像情報121が予め記憶されている記憶部12と、入力受付部13と、表示部14と、通信部15と、制御部16を備える。選択候補画像情報121とは、複数の選択候補画像情報の総称である。

【0022】
情報処理装置1のユーザーは、例えば、ユーザーの母国語による意思疎通ができない外国人等と意思疎通を行いたいと思った場合に、情報処理装置1を操作することで画像を選択して組み合わせる。この時、ユーザーにより選択される画像を選択候補画像と称する。情報処理装置1は、この選択候補画像を、前述の選択候補画像情報に基づいて表示部14に表示する。選択候補画像は、表示部14に表示された際にその選択候補画像が示す絵柄に応じて、予め複数のカテゴリに分類されている。以下では、説明の便宜上、表示部14に表示された際に選択候補画像が示す絵柄を、選択候補画像に描かれた絵柄と称して説明する。なお、カテゴリは、選択候補画像の群の一例である。

【0023】
本実施形態において、このカテゴリには、人称カテゴリ、感情カテゴリ、行動カテゴリ、疑問カテゴリ、回答カテゴリ、数値カテゴリ、単位カテゴリが含まれる。ここで、図2及び図3を参照して、これらのカテゴリに予め分類された選択候補画像について説明する。図2は、人称カテゴリ、感情カテゴリ、行動カテゴリのそれぞれに予め分類された選択候補画像を例示する図である。

【0024】
図2において、領域A1に配置された選択候補画像は、人称カテゴリに分類されている。人称カテゴリに分類された選択候補画像には、名詞が示す各種の対象(例えば、人や猫、植物、機械等)を表す絵柄が描かれている。また、選択候補画像には、その対象を表す絵柄によって名詞の主格や所有格が描かれている。例えば、選択候補画像S11には、1人称の主格を表す絵柄(一例として、女性が自身を示している絵柄)が描かれている。また、画像S1に描かれた絵柄は、人称カテゴリを表す。画像S1は、人称カテゴリを表すためのサムネールである。なお、人称カテゴリは、選択候補画像の群のうちの人称の群の一例である。

【0025】
また、領域A2に配置された選択候補画像は、人称カテゴリに分類されている。感情カテゴリに分類された選択候補画像には、感嘆詞によって表される感情(喜怒哀楽)が絵柄として描かれている。例えば、選択候補画像S21には、喜びを示す感嘆詞(例えば、「わーい!」等)を表す絵柄(一例として、女性が喜んでいる絵柄)が描かれている。また、画像S2に描かれた絵柄は、感情カテゴリを表す。画像S2は、感情カテゴリを表すためのサムネールである。

【0026】
また、領域A3に配置された選択候補画像は、行動カテゴリに分類されている。行動カテゴリに分類された選択候補画像には、行動が絵柄として描かれている。例えば、選択候補画像S21には、何かを見つけた場合の行動を表す絵柄(一例として、女性が何かを発見している絵柄)が描かれている。画像S3に描かれた絵柄は、行動カテゴリを表す。また、画像S3は、行動カテゴリを表すためのサムネールである。なお、行動カテゴリに分類された選択候補画像には、語形変化(例えば、五段活用等)において変化した語形にそれぞれ相当する絵柄が描かれた選択候補画像が含まれてもよい。

【0027】
図3は、疑問カテゴリ、回答カテゴリ、数値カテゴリ、単位カテゴリのそれぞれに予め分類された選択候補画像を例示する図である。図3において、領域A4に配置された選択候補画像は、疑問カテゴリに分類されている。疑問カテゴリに分類された選択候補画像には、何かに疑問を抱いている状態を示す絵柄が描かれている。例えば、選択候補画像S41には、財布から出すべき金額が分からない状態を表す絵柄(一例として、男性が財布の中から出すべき金額について悩んでいる状態を表す絵柄)が描かれている。また、画像S4は、疑問カテゴリを表すためのサムネールである。

【0028】
また、領域A5に配置された選択候補画像は、回答カテゴリに分類されている。回答カテゴリに分類された選択候補画像には、何らかの回答を表す絵柄が描かれている。例えば、選択候補画像S51には、回答が正解であることを示す絵柄(一例として、女性が○、すなわち正解を示している絵柄)が描かれている。また、画像S5は、回答カテゴリを表すためのサムネールである。

【0029】
また、領域A6に配置された選択候補画像は、数値カテゴリに分類されている。数値カテゴリに分類された選択候補画像には、数値を表す絵柄が描かれている。例えば、選択候補画像S61には、数値が4であることを表す絵柄(一例として、女性が4を掲げている絵柄)が描かれている。また、画像S6は、数値カテゴリを表すためのサムネールである。

【0030】
また、領域A7に配置された選択候補画像は、単位カテゴリに分類されている。単位カテゴリに分類された選択候補画像には、単位を表す絵柄が描かれている。例えば、選択候補画像S71には、単位がg(グラム)であることを表す絵柄(一例として、グラムを示す秤に女性が乗っている絵柄)が描かれている。また、単位カテゴリに分類された選択候補画像には、時制(例えば、朝、昼、夕、夜、時間(時間を示す時計を含む)、現在、過去、未来等)を表す絵柄が描かれているものも含まれる。なお、時制を表す絵柄が描かれた選択候補画像は、単位カテゴリとは別の時制カテゴリに分類されていてもよい。また、画像S7は、単位カテゴリを表すためのサムネールである。なお、単位カテゴリは、選択候補画像の群のうちの単位の群の一例である。

【0031】
なお、選択候補画像が予め分類されている複数のカテゴリには、図2及び図3に示したカテゴリとは異なる他のカテゴリが含まれてもよい。他のカテゴリとは、例えば、各種の文型に基づいて選択候補画像が分類される文型カテゴリや、ユーザーにより定義されるオリジナルのカテゴリ等が含まれてもよい。ユーザーにより定義されるオリジナルのカテゴリが含まれる場合、情報処理装置1は、ユーザーから受け付けた操作に基づいて、ユーザーにより選択された選択候補画像をそのオリジナルのカテゴリに分類する。なお、文型カテゴリは、選択候補画像の群のうちの文型の群の一例である。また、時制カテゴリは、選択候補画像の群のうちの時制の群の一例である。

【0032】
また、選択候補画像が予め分類されている複数のカテゴリは、図2及び図3において説明した7つのカテゴリのうちの一部のみが含まれるとしてもよい。また、選択候補画像には、文字列(単語や、単語から構成される文章)が描かれていないことが好ましい。なお、文字列であっても、擬音語や擬態語は、描かれていても構わない。また、文字列であっても、世界共通の記号(例えば、「○」や「×」等)は、描かれていても構わない。

【0033】
ここで、図4を参照して、情報処理装置1のユーザーにより選択された選択候補画像(以下、選択済み画像と称する)の組み合わせが表示されるまでの手順の概要について説明する。図4は、選択済み画像の組み合わせが表示されるまでの手順の概要の一例を説明するための図である。

【0034】
情報処理装置1は、以下で説明する手順を繰り返すことで、予め複数のカテゴリに分類されている選択候補画像の中から複数の所望の画像を複数の選択済み画像として選択する。なお、この手順は、ユーザーから受け付けた操作に基づく手順である。以下では、説明の便宜上、ユーザーから受け付けた操作に基づく手順を、ユーザーに行われた手順と称して説明する。例えば、ユーザーから受け付けた操作に基づいて選択候補画像の中から、ユーザーが所望の画像を選択する操作を行うことを、ユーザーが選択候補画像の中からユーザーが所望の画像を選択すると称して説明する。

【0035】
また、以下では、説明の便宜上、情報処理装置1がユーザーから選択候補画像の中から所望の画像を選択する操作を受け付けた場合、選択候補画像情報121から受け付けられた操作に基づく選択候補画像を示す画像情報を、選択済み画像を示す画像情報として選択することを、情報処理装置1が選択候補画像の中から所望の画像を選択済み画像として選択すると称して説明する。

【0036】
まず、情報処理装置1は、選択候補画像が予め分類されているカテゴリをユーザーが選択する。情報処理装置1は、ユーザーにより選択されたカテゴリに分類されている選択候補画像を表示する。図4(A)において、情報処理装置1は、ユーザーにより人称カテゴリが選択され、人称カテゴリに予め分類されている選択候補画像を表示部14に表示している。図4(A)は、人称カテゴリに予め分類されている選択候補画像が表示部14に表示された様子の一例を示す図である。なお、図4に示した一例において、表示部14は、入力受付部13と一体として形成されたタッチパネルであるとして説明する。

【0037】
ユーザーは、表示部14に表示された選択候補画像から、指示体F1によってタップすることで所望の画像を選択済み画像として選択する。指示体F1とは、例えば、指であるが、これに代えて、スタイラスペン等であってもよい。情報処理装置1は、指示体F1によって選択された選択済み画像の輪郭を太線で強調し、選択済み画像と他の選択候補画像とを容易に区別できるようにする。図4(A)における選択候補画像P1は、ユーザーにより指示体F1によってタップされることで選択された選択済み画像である。前述したように、選択候補画像P1の輪郭は、選択済み画像であることを示すために太線で強調されている。これにより、情報処理装置1は、ユーザーが選択済み画像と他の選択候補画像とを誤認識してしまうことを抑制することができる。

【0038】
なお、情報処理装置1は、選択済み画像の輪郭を太線で強調する構成であるとしたが、これに代えて、選択済み画像の色を変化させる方法や、選択済み画像を点滅させる方法等の他の方法によって強調する構成であってもよく、強調しない構成であってもよい。また、情報処理装置1は、選択済み画像を表す情報(例えば、画像名等)を表示部14に表示する構成であってもよい。

【0039】
このような手順で情報処理装置1が択済み画像を1枚選択した後、情報処理装置1は、2枚目の選択済み画像をユーザーに選択させるため、再びユーザーにカテゴリを選択させる。これを所定の回数だけ繰り返すことで、情報処理装置1は、複数の選択済み画像を選択する。ここで、この複数の選択済み画像のそれぞれを示す画像情報には、ユーザーにより選択された順(以下、画像選択順と称する)を示す順序情報が含まれる。なお、この画像情報は、順序情報が含まれる構成に代えて、順序情報と対応付けられる構成であってもよい。以下では、説明の便宜上、選択済み画像を示す画像情報に含まれる順序情報に含まれる画像選択順を、選択済み画像の画像選択順と称して説明する。

【0040】
情報処理装置1は、ユーザーにより選択された複数の選択済み画像を、順序情報に含まれる画像選択順に基づいて、所定の表示枠に表示させる。ここで、所定の表示枠には、画像選択順を示す数字(以下、対応数と称する)が対応付けられている。情報処理装置1は、選択済み画像を所定の表示枠に表示させる際、選択済み画像の画像選択順と、所定の表示枠の対応数とが一致するように選択済み画像を所定の表示枠に表示させる。なお、情報処理装置1は、選択済み画像の画像選択順と、所定の表示枠の対応数とが一致するように選択済み画像を所定の表示枠に表示させる構成に代えて、他の画像選択順に基づく方法によって所定の表示枠に選択済み画像を表示させる構成であってもよい。なお、前述した所定の回数は、この所定の表示枠の数(すなわち、ユーザーが意図する意味を表すように絵柄を組み合わせるために必要な選択済み画像の数)を示す。

【0041】
図4(B)には、表示部14において選択済み画像が所望の表示枠に表示された様子の一例を示す。枠C1~枠C4は、それぞれ所定の表示枠を示している。表示枠C1には、画像選択順が1の選択済み画像が表示される。表示枠C2には、画像選択順が2の選択済み画像が表示される。表示枠C3には、画像選択順が3の選択済み画像が表示される。表示枠C4には、選択順が4の選択済み画像が表示される。

【0042】
なお、図4(B)において、所定の表示枠は、4つであるとしたが、3以下であってもよく、5以上であってもよい。また、所定の表示枠の並び方は、図4(B)に示した並び方に代えて、例えば、対応数の順に縦に並べる並び方でもよく、対応数の順に横に並べる並び方でもよく、他の対応数に基づく順に並べる並び方でもよい。図4(B)において、対応数の順の流れは、矢印によって表されているが、矢印が無い構成であってもよい。その場合、所定の表示枠は、対応数の順に縦又は横に並べる構成の方が好ましい。

【0043】
図4に示したように、情報処理装置1のユーザーは、選択候補画像の中から所望の画像を選択済み画像として選択する。情報処理装置1は、ユーザーにより選択された選択済み画像を画像選択順に基づいて所定の表示枠に表示する。このように情報処理装置1に選択済み画像を画像選択順に基づいて所定の表示枠に表示させる時、ユーザーは、画像選択順に基づいて表示させた複数の選択済み画像に描かれた絵柄の組み合わせによって所望の意味を表すことができる。この組み合わせ方は、所望の意味を表すために必要な文型によって決まる。

【0044】
例えば、主語、動詞、目的語、補語で構成される所望の意味を表したい場合、ユーザーは、それぞれ(主語、動詞、目的語、補語)に対応する選択候補画像を選択済み画像として選択し、選択された選択済み画像を所定の表示枠に選択順に基づいて表示させることで、主語、動詞、目的語、補語で構成される所望の意味を表すことができる。例えば、図4に示した例の場合、表示枠C1~表示枠C4に表示された4枚の選択済み画像に描かれた絵柄によって、「私は、ケーキを発見して喜んだ」という意味を表している。

【0045】
そして、ユーザーが所定の表示枠に表示された選択済み画像に描かれた絵柄を、ユーザーが意思疎通をしたい相手(以下、情報伝達相手と称する)に見せた場合、情報伝達相手は、情報処理装置1に表示された選択済み画像であって所定の表示枠に表示された選択済み画像に描かれた絵柄を、画像選択順(すなわち、所定の表示枠の順)に読み解くことで、ユーザーの意図を理解することができる。ユーザーの意図とは、例えば、表示枠C1~表示枠C4に表示された4枚の選択済み画像に描かれた絵柄の場合、前述したように「私は、ケーキを発見して喜んだ」ということを情報伝達相手に伝達したいということである。これにより、ユーザーは、情報伝達相手が絵柄に基づいてユーザーの意図を読み解いてくれるため、例えば、情報伝達相手がユーザーの母国語を理解できない場合であっても、情報伝達相手との意思疎通を行うことができる。

【0046】
また、ユーザーは、このようにして複数の選択済み画像に描かれた絵柄の組み合わせによって表されたユーザーの意図を他者に伝達することができるため、情報伝達相手にユーザーの意図を伝達するだけではなく、他の情報処理装置1のユーザーと絵柄の組み合わせを介した会話(双方向の意思伝達)を行うことができる。図5は、情報処理装置1のユーザー同士が複数の選択済み画像に描かれた絵柄の組み合わせによって会話を行う様子の一例を示す図である。

【0047】
情報処理装置1-1のユーザーU1は、情報処理装置1-1の表示部14-1に複数の選択済み画像に描かれた絵柄の組み合わせを所定の表示枠に表示させ、ユーザーU2に見せることで、ユーザーU1がユーザーU2に伝えたい所望の意味をユーザーU2に対して伝えることができる。一方、情報処理装置1-2のユーザーU2は、情報処理装置1-2の表示部14-2に複数の選択済み画像に描かれた絵柄の組み合わせを所定の表示枠に表示させ、ユーザーU1に見せることで、ユーザーU2がユーザーU1に伝えたい所望の意味をユーザーU1に対して伝えることができる。

【0048】
また、ユーザーU1及びユーザーU2は、絵柄の組み合わせから互いの伝達したい意図を読み解くため、選択済み画像の画像選択順が母国語の文型と異なっていた場合であっても、文字を介した会話に比べて、容易に伝達したい意図を絵柄から類推することができる。それ故、情報処理装置1は、ユーザーU1とユーザーU2の絵柄の組み合わせを介した会話における互いの意図の誤認識を抑制することができる。

【0049】
さらに、ユーザーU1とユーザーU2の母国語が異なり、互いに相手の母国語を理解できない場合であっても、ユーザーU1及びユーザーU2は、絵柄の組み合わせから互いの伝達したい意図を読み解くため、容易に伝達したい意図を類推することができる。例えば、ユーザーU1及びユーザーU2は、自身の母国語(日本語、英語、スペイン語、中国語等、任意の国)の文型に応じて、選択済み画像の選択順を決める。

【0050】
従って、行動カテゴリの選択候補画像を選択済み画像として選択する画像選択順が、ユーザーU1とユーザーU2とでは異なる場合がある。情報処理装置1は、このような場合であっても、ユーザーU1及びユーザーU2に対して、絵柄の組み合わせによって伝達意図を類推させるため、ユーザーU1とユーザーU2の間の意思疎通の程度を向上することができる。

【0051】
なお、選択候補画像に描かれた絵は、例えば、漫画で用いられる描画法を用いて描かれた絵(一例として、図2~図4に示した選択候補画像の絵)である。漫画として用いられる描画法によって描かれた絵は、その絵を見る人に想起させたい所望の意味Xを想起させたい場合に、どのように描かれるべきかという方法論が一般に広く知られている。このため、漫画で用いられる描画法によって選択候補画像が描かれている場合、漫画で用いられる描画法によって選択候補画像が描かれていない場合と比較して、情報処理装置1は、ユーザー間で行われる意思疎通において意味の誤認識を抑制することができ、その結果、ユーザー間の意思疎通がより円滑に行われるように支援することができる。

【0052】
また、選択候補画像が予め複数のカテゴリに分類されているため、情報処理装置1のユーザーは、選択候補画像が予め複数のカテゴリに分類されていない場合と比べて、ユーザーの母国語の文型に応じた画像選択順に、ユーザーが表したい意味が描かれた選択候補画像を容易に選択することができる。これにより、情報処理装置1は、ユーザーが伝達したい意味を表す絵柄の組み合わせをユーザーの操作を受け付けることで表示することができ、ユーザーに快適な意思疎通を行わせることができる。また、情報処理装置1は、ユーザーの意図しない意味の選択候補画像をユーザーが選択してしまうことを抑制することができる。

【0053】
撮像部10は、例えば、集光された光を電気信号に変換する撮像素子であるCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等を備えたカメラである。撮像部10は、ユーザーから受け付けられた操作に基づいて、撮像部10が備えるレンズによって集光可能な範囲を含む撮像画像を撮像する。そして、撮像部10は、撮像された撮像画像を制御部16に出力する。

【0054】
記憶部12は、例えば、HDD(Hard Disk Drive)やSSD(Solid State Drive)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、ROM(Read-Only Memory)、RAM(Random Access Memory)などを含み、制御部16が処理する各種情報や画像、プログラムを格納し、更に、選択候補画像情報121を格納する。なお、記憶部12は、情報処理装置1に内蔵されるものに代えて、USB等のデジタル入出力ポート等によって接続された外付け型の記憶装置でもよい。

【0055】
入力受付部13は、例えば、表示部と一体に形成されたタッチパネルであるが、これに代えて、キーボードやマウス、タッチパッド、その他の入力装置であってもよい。
表示部14は、例えば、液晶ディスプレイパネル、あるいは、有機EL(ElectroLuminescence)ディスプレイパネルであり、入力受付部13と一体に形成されたタッチパネルである。なお、表示部14は、入力受付部13と別体として情報処理装置1に備えられる構成であってもよい。
通信部15は、例えば、USB等のデジタル入出力ポートやイーサネット(登録商標)ポート、赤外線通信ポート、ブルートゥース(登録商標)ポート等を含んで構成され、他の情報処理装置1を含む他の装置と通信を行う。

【0056】
制御部16は、情報処理装置1の全体を制御する。制御部16は、撮像制御部21と、画像取得部23と、画像加工部25と、画像選択部27と、通信制御部28と、表示制御部29を備える。これらの制御部16が備える機能部のうち一部又は全部は、例えば、図示しないCPUが、記憶部12に記憶された各種プログラムを実行することで実現される。また、これらの制御部16が備える機能部のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)等のハードウェア機能部であってもよい。

【0057】
撮像制御部21は、入力受付部13によりユーザーから受け付けられた操作に基づいて、撮像部10が撮像画像を撮像するように制御する。
画像取得部23は、撮像部10により撮像された撮像画像を取得する。また、画像取得部23は、他の装置から送信された画像であって通信部15を介して取得された画像を取得する。また、画像取得部23は、表示制御部29からの要求に応じて、記憶部12から選択候補画像情報121のうち一部又は全部を読み込む(取得する)。

【0058】
画像加工部25は、入力受付部13によりユーザーから受け付けられた操作に基づいて、ユーザーにより選択された選択済み画像に描かれた絵柄の加工を行う。ここで、この加工には、画像に描かれた絵柄への文字列、図形、画像等の追記や削除が含まれる。また、この加工には、画像に描かれた絵柄に対する色の変更やクリッピングが含まれる。また、この加工には、画像同士の合成等の画像編集ソフトウェア等によって可能な任意の加工処理が含まれる。画像加工部25は、ユーザーにより加工が行われた選択済み画像を、新たな1枚の選択済み画像として生成し直す。なお、画像加工部25は、この新たな1枚を、選択候補画像を示す画像情報を、記憶部12に記憶された選択候補画像情報121に追加する構成であってもよい。

【0059】
画像選択部27は、入力受付部13によりユーザーから受け付けられた操作に基づいて、表示制御部29により表示部14に表示された選択候補画像情報121から選択済み画像を示す画像情報を選択する。この時、画像選択部27は、選択済み画像が選択された画像選択順を、選択済み画像を示す画像情報に対して付加する。

【0060】
通信制御部28は、通信部15を介して、他の装置から画像を取得し、取得された画像を示す画像情報を、選択候補画像を示す画像情報として記憶部12の選択候補画像情報121に追加する。また、通信制御部28は、ユーザーにより入力受付部13から受け付けた操作に基づいて、通信部15を介して、表示制御部29により表示された選択済み画像であって所定の表示枠に表示された選択済み画像を示す画像情報を、選択済み画像の画像選択順を示す順序情報とともに他の情報処理装置1に送信する。また、通信制御部28は、通信部15を介して、他の情報処理装置1から画像情報及び順序情報を取得する。

【0061】
表示制御部29は、予め分類された選択候補画像のカテゴリをユーザーに選択させるためのカテゴリ選択画面を表示部14に表示させる。表示制御部29は、入力受付部13によりユーザーから受け付けられた操作に基づいて、カテゴリ選択画面においてユーザーにより選択されたカテゴリ(例えば、画像S1~画像S7のうちの選択されたいずれか1つが表すカテゴリ)に分類された選択候補画像を示す画像情報を記憶部12に記憶された選択候補画像情報121から抽出して読み込む。そして、表示制御部29は、読み込まれた画像情報に基づいて、ユーザーにより選択されたカテゴリに分類された選択候補画像を表示部14に表示させる。

【0062】
また、表示制御部29は、入力受付部13によりユーザーから受け付けられた操作に基づいて、選択済み画像の画像選択順を示す数字(選択済み画像を示す画像情報に含まれる順序情報が示す数字)が対応付けられた表示枠を表示部14に表示させる。また、表示制御部29は、画像選択順を示す数字が対応付けられた表示枠に、その数字と一致する画像選択順が対応付けられた選択済み画像を表示するように表示部14を制御する。また、表示制御部29は、通信制御部28により取得された画像情報及び順序情報に基づいて、所定の表示枠に取得された画像情報に含まれる選択済み画像を表示するように表示部14を制御する。

【0063】
以下、図6を参照して、制御部16により選択済み画像を所定の表示枠に表示させる処理について説明する。図6は、制御部16により選択済み画像を所定の表示枠に表示させる処理の一例を示すフローチャートである。まず、制御部16は、入力受付部13によりユーザーから受け付けられた操作に基づいて、選択済み画像を表示させる所定の表示枠の数(以下、表示枠数と称する)を選択する(ステップS100)。

【0064】
次に、制御部16の各機能部は、ステップS120からステップS150までの処理を、ステップS100で選択された表示枠数回だけ繰り返し行う(ステップS110)。表示制御部29は、カテゴリ選択画面を表示部14に表示させる(ステップS120)。ここで、図7を参照して、カテゴリ選択画面について説明する。図7は、カテゴリ選択画面の一例と、カテゴリ選択画面によって選択されたカテゴリに予め分類された選択候補画像が表示された画面の一例を示す図である。

【0065】
図7(A)には、カテゴリ選択画面の一例を示す。図7(A)に示したように、カテゴリ選択画面には、図2及び図3に示したカテゴリを示す画像S1~画像S7が表示される。なお、画像S1~画像S7の並び順は、図7(A)に示した例に代えて、他の並び順であってもよい。図7(A)において、ユーザーは、指示体F2によって画像S7が表すカテゴリ(単位カテゴリ)を選択したとする。指示体F2とは、例えば、指であるが、これに代えて、スタイラスペン等であってもよい。以下では、ユーザーによるカテゴリを選択する操作を、カテゴリ選択操作と称して説明する。

【0066】
図7(A)において、ユーザーが画像S7(すなわち、単位カテゴリ)を選択すると、表示制御部29は、図7(B)に示したように、選択されたカテゴリ(図7(B)に示した一例では、単位カテゴリ)に分類された選択候補画像を表示する。図7(B)には、カテゴリ選択画面によって選択されたカテゴリの選択候補画像が表示された画面の一例を示す。ユーザーは、図7(B)に示したような選択候補画像が表示された画面から、所望の選択候補画像を選択済み画像として選択することができる。以下では、ユーザーによる選択候補画像から所望の画像を選択済み画像として選択する操作を、選択候補選択操作と称して説明する。

【0067】
次に、表示制御部29は、ユーザーによるカテゴリ選択操作を入力受付部13から受け付ける(ステップS130)。次に、ステップS130でカテゴリが選択されると、表示制御部29は、図7で説明したように、選択されたカテゴリに分類された選択候補画像を表示部14に表示させる(ステップS140)。次に、表示制御部29は、ユーザーによる選択候補選択操作を入力受付部13から受け付け、選択候補画像から選択された画像を選択済み画像とする(ステップS150)。この時、表示制御部29は、画像選択順(ステップS120からステップS150までの繰り返し処理における現在のルーチン回数)を示す数字を順序情報として、ステップS150で選択された選択済み画像を示す画像情報に付加する。

【0068】
ステップS100で選択された表示枠数回だけステップS120からステップS150の処理を繰り返した後、表示制御部29は、画像選択順を示す数字が対応付けられた表示枠を表示部14に表示させる。そして、表示制御部29は、表示部14に表示された所定の表示枠に対応付けられた画像選択順を示す数字と、選択済み画像に対応付けられた画像選択順とが一致するように、所定の表示枠に対して選択済み画像を表示させる(ステップS160)。

【0069】
次に、表示制御部29は、ユーザーに対して所定の表示枠を追加するか否かを問うメッセージを表示部14に表示させ、所定の表示枠を追加するか否かをユーザーに選択させる(ステップS170)。ユーザーにより所定の表示枠を追加することが選択された場合(ステップS170-Yes)、表示制御部29は、ステップS110に戻り、追加された所定の表示枠の分についてステップS120からステップS150の操作を行う。一方、ユーザーにより所定の表示枠を追加しないことが選択された場合(ステップS170-No)、表示制御部29は、表示部14に表示されている選択済み画像のうち一部又は全部を加工するか否かを問うメッセージを表示部14に表示させ、表示部14に表示されている選択済み画像のうち一部又は全部を加工するか否かをユーザーに選択させる(ステップS180)。

【0070】
表示部14に表示されている選択済み画像のうち一部又は全部を加工することが選択された場合(ステップS180-Yes)、画像加工部25は、ユーザーにより入力受付部13から受け付けられた操作に基づいて、ユーザーが加工したい所望の選択済み画像をユーザーに選択させ、選択された選択済み画像に各種の加工を施す(ステップS190)。そして、ステップS190で選択された選択済み画像に各種の加工を施した後、表示制御部29は、ユーザーにより入力受付部13から受け付けられた操作に基づいて、表示部14に表示されている所定の表示枠(すなわち、選択済み画像)の一部又は全部の表示枠順を変更するか否かを問うメッセージを表示部14に表示させ、表示部14に表示されている所定の表示枠の一部又は全部の表示枠順を変更するか否かをユーザーに選択させる(ステップS200)。

【0071】
一方、表示部14に表示されている選択済み画像のうち一部又は全部を加工しないことが選択された場合(ステップS180-No)、表示制御部29は、ステップS200に遷移し、ユーザーにより入力受付部13から受け付けられた操作に基づいて、表示部14に表示されている所定の表示枠の一部又は全部の表示枠順を変更するか否かを問うメッセージを表示部14に表示させ、表示部14に表示されている所定の表示枠の一部又は全部の表示枠順を変更するか否かをユーザーに選択させる。

【0072】
ステップS200で、表示部14に表示されている所定の表示枠の一部又は全部の表示枠順を変更することが選択された場合(ステップS200-Yes)、表示制御部29は、ユーザーの所望の表示枠順になるように表示枠順を変更する(ステップS210)。そして、ステップS210でユーザーの所望の表示枠順になるように表示枠順を変更した後、通信制御部28は、表示部14に表示された選択済み画像であって所定の表示枠に表示された選択済み画像を、通信部15を介して他の情報処理装置1に送信するか否かを問うメッセージを表示部14に表示させ、表示部14に表示された選択済み画像であって所定の表示枠に表示された選択済み画像を、通信部15を介して他の情報処理装置1に送信するか否かをユーザーに選択させる(ステップS220)。

【0073】
一方、表示部14に表示されている所定の表示枠の一部又は全部の表示枠順を変更しないことが選択された場合(ステップS200-No)、表示制御部29は、ステップS220に遷移し、表示部14に表示された選択済み画像であって所定の表示枠に表示された選択済み画像を、通信部15を介して他の情報処理装置1に送信するか否かを問うメッセージを表示部14に表示させ、表示部14に表示された選択済み画像であって所定の表示枠に表示された選択済み画像を、通信部15を介して他の情報処理装置1に送信するか否かをユーザーに選択させる。

【0074】
通信部15を介して他の情報処理装置1に送信することが選択された場合(ステップS220-Yes)、通信制御部28は、所定の表示枠に表示された選択済み画像であって画像選択順が対応付けられた選択済み画像を、通信部15を介して他の情報処理装置1に送信するように通信部15を制御し(ステップS230)、その後、処理を終了する。一方、通信部15を介して他の情報処理装置1に送信しないことが選択された場合(ステップS220-No)、制御部16は、処理を終了する。

【0075】
なお、情報処理装置1は、通信制御部28が通信部15を介して他の装置から選択候補画像を取得し、取得された選択候補画像を示す画像情報を記憶部12に記憶された選択候補画像情報121に追加する構成であってもよい。これにより、例えば、情報処理装置1は、ユーザーが所望のキャラクターの選択候補画像を利用することができる。所望のキャラクターとは、例えば、過去に放送されたアニメーションや過去に出版された漫画、イラスト等のうちユーザーが情報処理装置1の選択候補画像として利用したい任意のキャラクターを示す。また、情報処理装置1は、画像生成部を備え、ユーザーから入力受付部13により受け付けられた操作に基づいて新たな選択候補画像を生成し、生成された選択候補画像を示す画像情報を記憶部12に記憶された選択候補画像情報121に追加する構成であってもよい。これにより、例えば、情報処理装置1は、ユーザーが所望のオリジナルの選択候補画像を生成し、ユーザーが利用したい時に利用することができる。オリジナルの選択候補画像とは、ユーザーにより画像生成部を介して描画された絵柄を示す選択候補画像のことである。

【0076】
以上説明したように、本実施形態に係る情報処理装置1は、人称による分類を含んで予め分類されている選択候補画像から、複数の選択候補画像を順に選択済み画像として選択し、選択された複数の選択済み画像を画像選択順に並べて表示させる。これにより、情報処理装置1は、ユーザー間の意思疎通の程度を向上させることができる。
また、情報処理装置1は、選択済み画像が表示される複数の所定の表示枠のうちの、選択済み画像の画像選択順に対応する所定の表示枠に、画像選択順に対応する選択済み画像をそれぞれ表示させる。これにより、情報処理装置1は、表示枠の位置に応じた選択済み画像の組み合わせを表示することができる。

【0077】
また、情報処理装置1は、表示する選択済み画像の画像選択順を、受け付けられた操作に基づいて変更する。これにより、情報処理装置1は、選択済み画像を選択した後であっても、ユーザーの所望の順序に選択済み画像を表示することができる。
また、情報処理装置1は、選択候補画像が、文型による分類を更に含んで予め分類されている。これにより、情報処理装置1は、文型毎に分類された選択候補画像から、選択済み画像として表示するための画像を選択することができる。

【0078】
また、情報処理装置1は、受け付けられた操作に基づいて前記選択候補画像を加工する。これにより、情報処理装置1は、予め記憶された選択候補画像に対して付加的な加工を施すことができ、その結果、ユーザーの所望の意味を表す選択候補画像を生成することができ、ユーザーが行える表現の幅を広げることができる。例えば、情報処理装置1は、ユーザーから受け付けた操作に基づいて、選択候補画像に描かれたキャラクターの衣服を所望の衣服に着せ替えることができる。また、情報処理装置1は、ユーザーから受け付けた操作に基づいて、選択候補画像の背景を、例えば、朝、昼、夕、夜に変更することができる。また、情報処理装置1は、ユーザーから受け付けた操作に基づいて、選択候補画像に描かれたキャラクターの顔に、任意の人の顔写真を合成することができる。
また、情報処理装置1は、他装置との通信によって選択候補画像を取得する。これにより、情報処理装置1は、記憶部12に記憶されていない新たな選択候補画像を、他装置との通信によって取得することができる。

【0079】
また、情報処理装置1は、選択候補画像が漫画である。これにより、情報処理装置1は、選択済み画像により表された意味をユーザーが誤認識してしまうことを抑制することができる。
また、情報処理装置1は、人称による分類を含んで予め分類されている選択候補画像から、複数の選択候補画像を順に選択済み画像として選択し、画像選択部27によって選択された複数の選択済み画像を前記の順に並べて表示させる他の情報処理装置から送信される複数の選択済み画像を示す画像情報と前記の順を示す順序情報とを受信し、受信された画像情報が示す複数の選択済み画像を、受信された順序情報が示す順に表示させる。これにより、情報処理装置1は、情報処理装置1のユーザー同士に、選択済み画像の組み合わせを通信によって効果させることができ、その結果、交換された選択済み画像の組み合わせに基づくコミュニケーションを行わせることができる。

【0080】
また、情報処理装置1は、選択候補画像が、単位による分類を更に含んで予め分類されている。これにより、情報処理装置1は、単位による分類に分類された選択候補画像に基づいて、単位を伴う内容に係るコミュニケーションを、ユーザーに対して選択候補画像に基づいて行わせることができる。
また、情報処理装置1は、選択候補画像が、時制による分類を更に含んで予め分類されている。これにより、情報処理装置1は、時制による分類に分類された選択候補画像に基づいて、時制を伴う内容に係るコミュニケーションを、ユーザーに対して選択候補画像に基づいて行わせることができる。

【0081】
以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない限り、変更、置換、削除等されてもよい。

【0082】
また、以上に説明した装置(例えば、情報処理装置1)における任意の構成部の機能を実現するためのプログラムを、コンピューター読み取り可能な記録媒体に記録し、そのプログラムをコンピューターシステムに読み込ませて実行するようにしてもよい。なお、ここでいう「コンピューターシステム」とは、OS(Operating System)や周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM(Read Only Memory)、CD(Compact Disk)-ROM等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリー(RAM:Random Access Memory)のように、一定時間プログラムを保持しているものも含むものとする。

【0083】
また、上記のプログラムは、このプログラムを記憶装置等に格納したコンピューターシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピューターシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記のプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記のプログラムは、前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
【符号の説明】
【0084】
1 情報処理装置、10 撮像部、12 記憶部、13 入力受付部、14 表示部、15 通信部、16 制御部、21 撮像制御部、23 画像取得部、25 画像加工部、27 画像選択部、28 通信制御部、29 表示制御部、121 選択候補画像
図面
【図1】
0
【図5】
1
【図6】
2
【図2】
3
【図3】
4
【図4】
5
【図7】
6