Top > Search of Japanese Patents > SPEECH COMMUNICATION TERMINAL WITH AVATAR DISPLAY FUNCTION

SPEECH COMMUNICATION TERMINAL WITH AVATAR DISPLAY FUNCTION meetings

Patent code P110001811
Posted date Mar 17, 2011
Application number P2005-201740
Publication number P2007-018433A
Patent number P4709598
Date of filing Jul 11, 2005
Date of publication of application Jan 25, 2007
Date of registration Mar 25, 2011
Inventor
  • (In Japanese)渡辺 富夫
  • (In Japanese)山本 倫也
  • (In Japanese)大崎 浩司
Applicant
  • (In Japanese)公立大学法人岡山県立大学
Title SPEECH COMMUNICATION TERMINAL WITH AVATAR DISPLAY FUNCTION meetings
Abstract PROBLEM TO BE SOLVED: To provide a mobile phone for making the principal aware of body rhythms, by using avatar in place of the principle or an opponent and making the principal acquire nonverbal information.
SOLUTION: The mobile phone 1 with an avatar display function, comprising an image producing means for displaying rhythmic images 5 on a display 111, by making speaker's timing and listener's timing estimated from the voice signals of principal and opposite side to be rhythmic timing of the principal's avatar 51, producing the speaker's movement and listener's movement of the principal's avatar 51 as rhythmic movement executing with the rhythmic timing, and producing the rhythmic images 5 by using motion picture of the principal's avatar 51 moving along the rhythmic movement with rhythmic timing, makes the principal acquire the nonverbal information, by making the principal aware of body rhythm by the rhythmic images 5 displayed.
Outline of related art and contending technology (In Japanese)


会話する本人及び相手は、音声信号によるバーバル情報と音声信号以外のノンバーバル情報とを取得することにより、良好な意思疎通を図る。これから、例えば本人及び相手の音声信号のみを送受信する通常の携帯電話より、視覚的なノンバーバル情報として本人及び相手の実写動画を送受信できるテレビ電話機能付き携帯電話の方が、意思疎通に適していると考えられる。しかし、携帯電話は、詳細かつ円滑な本人及び相手の実写動画を送受信することが難しく、画面も小さいため、本人又は相手の実写動画からノンバーバル情報を取得しにくい。そこで、本人又は相手の代わりとして、実写動画よりデータ量又は計算量が少なく、円滑な動きができるアバター(代わりキャラクタ)を用いる携帯電話が提案されている。



例えば特許文献1は、本人又は相手に代えて、本人又は相手の音声信号に応答して動くアバター(CGキャラクタ)を用い、このアバターの動きから、本人又は相手にノンバーバル情報を取得させる携帯電話を提案している。ここで、前記アバターは、本人及び相手の音声信号から音声信号を解析し、本人又は相手の感情状態を推定して動きを制御しており、このアバターの動きを明確な感情表現として画面に表示させる。



また、特許文献2は、音声信号の強弱に応じて動くアバター(キャラクタ)をアニメーション表示する携帯電話を提案している。更に、この特許文献2は、音声信号の強弱に応じてアバターが動くだけでは十分な感情表現ができないとして、携帯電話のキーを信号入力部(挿入部)として前記キーから操作信号を入力させることにより、本人又は相手の代わりとなるアバターに特定動作をさせている。前記特定動作は、本人又は相手が意図してアバターに実行させることから、アバターにより積極的な感情表現ができ、より明確なノンバーバル情報を本人又は相手に取得させることができると考えられる。



【特許文献1】
特開2003-248841号公報
【特許文献2】
特開2005-064939号公報

Field of industrial application (In Japanese)


本発明は、隔地者として会話する本人及び相手の意思疎通を良好にするアバター表示機能付き通話端末に関する。



本発明の「通話端末」は、無線又は有線等の通信手段により、隔地者である本人及び相手が互いに音声信号をやり取りする際に本人又は相手が用いる通信装置を意味し、固定電話、携帯電話や無線装置を含む。

Scope of claims (In Japanese)
【請求項1】
 
身体リズムを本人に感得させるリズム画像を画面に表示する画像生成手段を備えたアバター表示機能付き通話端末であって、
画像生成手段は、音声取込部、動画取込部、信号取込部、アバター動画生成部、動画合成部、そして画像表示部から構成され、話し手動作及び聞き手動作を混在させて動く本人アバターの動画と相手の実写動画とを重ね合わせたリズム画像を生成してなり、
音声取込部は、本人及び相手の音声信号をアバター動画生成部に送り込み、
動画取込部は、相手の実写動画を動画合成部に送り込み、
信号取込部は、本人の操作信号をアバター動画生成部に送り込み、
アバター動画生成部は、本人の音声信号をON/OFF信号とみなし、呼気段落区分の各呼気段落に含まれるON信号の割合の移動平均として算出される本人アバターの話し手マクロ推定値が話し手マクロ閾値を超え、かつ本人の音声信号のサンプリング信号の移動平均として算出される本人アバターの話し手ミクロ推定値が話し手ミクロ閾値を超えた時点を本人アバターの話し手タイミングとして推定し、相手の音声信号をON/OFF信号とみなし、呼気段落区分の各呼気段落に含まれるON信号の割合の移動平均として算出される本人アバターの聞き手マクロ推定値が聞き手マクロ閾値を超え、かつ相手の音声信号のサンプリング信号の移動平均として算出される本人アバターの聞き手ミクロ推定値が聞き手ミクロ閾値を超えた時点を本人アバターの聞き手タイミングとして推定し、本人の操作信号が送り込まれた時点を本人アバターの特別タイミングとして、前記本人アバターの話し手タイミング聞き手タイミング及び特別タイミングを本人アバターのリズムタイミングとし、本人アバターのリズムタイミングが本人アバターの話し手タイミングであれば本人アバターの話し手動作を、本人アバターのリズムタイミングが本人アバターの聞き手タイミングであれば本人アバターの聞き手動作を、本人アバターのリズムタイミングが本人アバターの特別タイミングであれば特別動作を、それぞれ本人アバターのリズム動作として作り出し、前記本人アバターのリズムタイミングで本人アバターのリズム動作に従って動く本人アバターを後ろ向きにした動画を生成して、該本人アバターの動画を動画合成部に送り込み、
動画合成部は、後ろ向きにした本人アバターの動画と前向きにした相手の実写動画とを対面関係に重ね合わせたリズム画像を生成して、該リズム画像を画像表示部に送り込み、
画像表示部は、リズム画像を画面に表示することを特徴とするアバター表示機能付き通話端末。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2005201740thum.jpg
State of application right Registered
(In Japanese)本技術について、ライセンスや共同研究等をご希望の方は、下記「問合せ先」まで直接お問い合わせください。


PAGE TOP

close
close
close
close
close
close
close