TOP > 国内特許検索 > 携帯端末セット、携帯端末用ジャケット、携帯端末、情報処理システム、およびプログラム > 明細書

明細書 :携帯端末セット、携帯端末用ジャケット、携帯端末、情報処理システム、およびプログラム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5988141号 (P5988141)
公開番号 特開2013-254398 (P2013-254398A)
登録日 平成28年8月19日(2016.8.19)
発行日 平成28年9月7日(2016.9.7)
公開日 平成25年12月19日(2013.12.19)
発明の名称または考案の名称 携帯端末セット、携帯端末用ジャケット、携帯端末、情報処理システム、およびプログラム
国際特許分類 G06F   3/01        (2006.01)
G06F   3/0484      (2013.01)
G06F   3/0487      (2013.01)
FI G06F 3/01 510
G06F 3/0484 150
G06F 3/0487
請求項の数または発明の数 10
全頁数 22
出願番号 特願2012-130326 (P2012-130326)
出願日 平成24年6月8日(2012.6.8)
審査請求日 平成27年6月1日(2015.6.1)
特許権者または実用新案権者 【識別番号】504133110
【氏名又は名称】国立大学法人電気通信大学
発明者または考案者 【氏名】木村 尭
【氏名】野嶋 琢也
個別代理人の代理人 【識別番号】100082131、【弁理士】、【氏名又は名称】稲本 義雄
【識別番号】100121131、【弁理士】、【氏名又は名称】西川 孝
審査官 【審査官】岩橋 龍太郎
参考文献・文献 特開2004-177993(JP,A)
特開2002-230588(JP,A)
特開2004-362408(JP,A)
特開2001-101288(JP,A)
特開平06-231221(JP,A)
特開2004-133086(JP,A)
特開2011-096171(JP,A)
特開平03-109631(JP,A)
特開平11-312040(JP,A)
調査した分野 G06F 3/01
G06F 3/048-3/0489
G06F 3/14- 3/153
H04M 1/00- 1/253
H04M 1/58- 1/62
H04M 1/66- 1/82
H04M 99/00
特許請求の範囲 【請求項1】
ユーザが把持可能な携帯端末と前記携帯端末に装着されるジャケットとからなる携帯端末セットであって、
前記ジャケットは、
前記ユーザが前記携帯端末を把持したときの圧力を検知し、その結果である圧力値を出力する圧力センサを備え、
前記携帯端末は、
柔らかさの程度を表す柔らかさ情報と、前記圧力センサが示す圧力値とに応じて、前記ユーザに柔らかさを認識させる錯触覚画像の形態的属性を決定して前記錯触覚画像の表示制御を行う画像表示制御部と、
前記柔らかさ情報を変更して、複数の前記柔らかさ情報を、前記画像表示制御部に設定する柔らかさ情報制御部と、
前記画像表示制御部により表示制御された前記錯触覚画像を表示する表示部と
を備える
携帯端末セット。
【請求項2】
請求項1に記載の携帯端末セットで用いられる携帯端末用ジャケット。
【請求項3】
ユーザが把持可能な携帯端末であって、
前記ユーザが前記携帯端末を把持したときの圧力を検知する圧力センサと、
柔らかさの程度を表す柔らかさ情報と、前記圧力センサが示す圧力値とに応じて、前記ユーザに柔らかさを認識させる錯触覚画像の形態的属性を決定して前記錯触覚画像の表示制御を行う画像表示制御部と、
前記柔らかさ情報を変更して、複数の前記柔らかさ情報を、前記画像表示制御部に設定する柔らかさ情報制御部と、
前記画像表示制御部により表示制御された前記錯触覚画像を表示する表示部と
を備える携帯端末。
【請求項4】
前記錯触覚画像の形態的属性は、前記錯触覚画像の圧縮率であり、
前記画像表示制御部は、前記圧力値が大きいほど、前記錯触覚画像の圧縮率が大きくなるように、前記錯触覚画像の圧縮率を決定する
請求項3に記載の携帯端末。
【請求項5】
前記画像表示制御部は、前記圧力値に応じた前記圧縮率で前記錯触覚画像を表示させた後、前記錯触覚画像を減衰振動させる表示制御を行う
請求項4に記載の携帯端末。
【請求項6】
前記柔らかさ情報制御部は、前記柔らかさ情報を、前記錯触覚画像の前記表示部への表示時間に応じて変化させる
請求項3に記載の携帯端末。
【請求項7】
前記柔らかさ情報は、複数のパラメータに基づいて決定される
請求項3に記載の携帯端末。
【請求項8】
所望の前記柔らかさ情報を登録する登録部をさらに備える
請求項3に記載の携帯端末。
【請求項9】
携帯端末に、
柔らかさの程度を表す柔らかさ情報を変更して、複数の前記柔らかさ情報を設定し、
設定された前記柔らかさ情報と、ユーザが前記携帯端末を把持したとき圧力センサが示す圧力値とに応じて、前記ユーザに柔らかさを認識させる錯触覚画像の形態的属性を決定して前記錯触覚画像の表示制御を行う
処理を実行させるプログラム。
【請求項10】
ユーザが把持可能な携帯端末と、サーバとからなる情報処理システムであって、
前記携帯端末は、
前記ユーザが前記携帯端末を把持したときの圧力を検知する圧力センサが示す圧力値と、柔らかさの程度を表す柔らかさ情報とに応じて、前記ユーザに柔らかさを認識させる錯触覚画像の形態的属性を決定して前記錯触覚画像の表示制御を行う画像表示制御部と、
前記柔らかさ情報を変更して、複数の前記柔らかさ情報を、前記画像表示制御部に設定する柔らかさ情報制御部と、
前記画像表示制御部により表示制御された前記錯触覚画像を表示する表示部と
を備え、
前記サーバは、
複数の前記柔らかさ情報を記憶する記憶部と、
前記柔らかさ情報を前記携帯端末に送信する送信部と
を備える
情報処理システム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、携帯端末セット、携帯端末用ジャケット、携帯端末、情報処理システム、およびプログラムに関し、特に、錯触覚現象を利用して、対象物の柔らかさを認識可能にする新たなユーザインタフェースを実現することができるようにする携帯端末セット、携帯端末用ジャケット、携帯端末、情報処理システム、およびプログラムに関する。
【背景技術】
【0002】
コンピュータ等のユーザインタフェースとして触覚を用いたものが知られている。触覚を用いたユーザインタフェースの代表的なものとして、ディスプレイの表示面をタッチすることで情報の入力が可能なタッチパネルを用いたタッチ入力がある。
【0003】
また、画面上へのタッチ入力の他に、携帯端末の背面へのタッチ入力が研究・開発されている(例えば、非特許文献1,2参照)。また、携帯端末の背面を出力インタフェースに利用することも提案されている(例えば、非特許文献3,4参照)。
【0004】
さらに、ユーザの握力を検出し、検出された握力に応じて画面上のオブジェクトを操作することが提案されている。例えば、ポインティングデバイスに設けた圧力センサで、デバイスを握るユーザの握力を検出し、検出された握力に応じてディスプレイに描画される線の太さを変化させる入力インタフェースが提案されている(例えば、特許文献1参照)。
【0005】
また、自由に変形可能なコンピュータ的デバイスにおいて、デバイス表面に圧縮や張力歪みを検知するセンサアレイを設け、デバイスを圧縮する操作を検知した場合に、デバイスの画面に表示されている文書をアイコン化(小型化)する動作を行う入力インタフェースも提案されている(例えば、特許文献2参照)。
【0006】
さらに、握力を用いて気持ちを表現し、その気持ちを通信するシステムも提案されている(例えば、特許文献3参照)。そのシステムでは、具体的には、送信側は、専用の入力デバイスを用いてユーザの握力の大きさを測定し、その測定値に基づいてユーザの入力したい気持ちの種類を判別して、判別した気持ちの種類を相手方に伝送する。受信側は、送信されてきた気持ちの種類に応じた表情の顔画像を出力する。
【0007】
ところで、触覚による入力操作に対する視覚的なフィードバックを制御することにより、触覚に基づく操作感の錯覚を引き起こす視覚誘導性錯触覚という現象が知られているが、上述した非特許文献1乃至4と特許文献1から3に記載の入力インタフェースは、錯触覚現象を利用した入力インタフェースではない。
【0008】
錯触覚現象を利用した入力インタフェースとしては、例えば、非特許文献5や特許文献4に記載の技術がある。
【0009】
非特許文献5では、ピストン形状の入力装置を用いてディスプレイ画面上のピストンを操作し、画面上においてピストンの先にある物体を変形させるアプリケーションが提案されている。このアプリケーションでは、ピストン操作によって、画面上の物体の変形を大きくするほど、ユーザはその物体が柔らかいと感じるようになり、アプリケーションは、画面上の物体の変形という視覚フィードバックを制御することにより、触覚に基づく柔らかさの感覚の錯覚を引き起こしている。
【0010】
また、特許文献4では、タッチパネルの操作面に力センサを配置して指の押圧力を検出できるようにし、操作面上での指の動きと押圧力とに応じて、背景のスクロール画像のスクロール速度を変化させることによって、指の動きを軽く感じさせたり、重く感じさせたりするユーザインタフェースが提案されている。これにより、視覚情報に基づいて、実際には発生していない現象を、あたかも実際に発生しているかのごとくに感じることが可能になる。
【先行技術文献】
【0011】

【特許文献1】特開平1-095319号公報
【特許文献2】特開平11-143606号公報
【特許文献3】特開2000-066807号公報
【特許文献4】国際公開第2008/111245号
【0012】

【非特許文献1】ITmedia +D モバイル,CEATEC JAPAN 2010:端末の裏面に触れて文字入力——KDDIの「背面入力インタフェース」,インターネット<URL:http://plusd.itmedia.co.jp/mobile/articles/1010/07/news081.html>
【非特許文献2】ソニー株式会社,PlayStation(R) Vita プレイステーション(R) オフィシャルサイト,インターネット<URL:http://www.jp.playstation.com/psvita/special/>
【非特許文献3】梶本研究室ホームページ,研究内容「掌タッチパネル(A Touch Screen in the Palm)」,S. Fukushima, H. Kajimoto: Palm Touch Panel:Providing Touch Sensation Through the Device, In ACM International Conference on Interactive Tabletops and Surfaces, ITS ’11, Page 79-82, Kobe, Japan, , November 13-16, 2011.,インターネット<URL:http://kaji-lab.jp/ja/index.php?research>
【非特許文献4】Masahiro Furukawa,News 2. KUSUGURI was appeared in SIGGRAPH ASIA 2011. KUSUGURI: Visual Tactile Integration for Tickling [Web][Project Page] (Dec. 4, 2011),Masahiro Furukawa, Hiroyuki Kajimoto, Susumu Tachi, KUSUGURI: a shared tactile interface for bidirectional tickling,Augmented Human 2012, March 9-10, 2012, France Megeve,インターネット<URL:http://masahirofurukawa.jp/>
【非特許文献5】Anatole Lecuyer, Simulating Haptic Feedback Using Vision: A Survey of Research and Applications of Pseudo-Haptic Feedback, Presence, Vol.18, No.1, pp.39-53, 2009
【発明の概要】
【発明が解決しようとする課題】
【0013】
しかしながら、非特許文献5には、触覚入力装置を操作する手元と視覚フィードバックが行われる画面とが離れた状態において、柔らかさについての視覚誘導性の錯触覚の誘発が促進される旨が記載されている。逆に言えば、非特許文献5に記載の技術では、触覚入力と視覚フィードバックが同じ筐体で行われる場合には、この錯触覚が促進されない。すなわち、触覚入力を行う手元が見える状態で視覚フィードバックを受けるという条件下での錯触覚現象の発現は確認されていない。
【0014】
また、特許文献4に記載の技術は、タッチパネルの画面上の押圧力を用いて錯触覚現象を引き起こすものであるが、タッチパネルの画面上の押圧以外の触覚入力には対応していない。
【0015】
本発明は、このような状況に鑑みてなされたものであり、錯触覚現象を利用して、対象物の柔らかさを認識可能にする新たなユーザインタフェースを実現することができるようにするものである。
【課題を解決するための手段】
【0016】
本発明者らは、握力に基づく触覚入力と視覚フィードバックの提示の両方が同一筐体で実装された携帯端末を用いることによって、触覚入力が行われる手元が見える状態で、握力感の錯触覚が発現することを見出した。本発明は、この新たに発見された錯触覚現象を利用したものである。
【0017】
本発明の第1の側面の携帯端末セットは、
ユーザが把持可能な携帯端末と前記携帯端末に装着されるジャケットとからなる携帯端末セットであって、
前記ジャケットは、
前記ユーザが前記携帯端末を把持したときの圧力を検知し、その結果である圧力値を出力する圧力センサを備え、
前記携帯端末は、
柔らかさの程度を表す柔らかさ情報と、前記圧力センサが示す圧力値とに応じて、前記ユーザに柔らかさを認識させる錯触覚画像の形態的属性を決定して前記錯触覚画像の表示制御を行う画像表示制御部と、
前記柔らかさ情報を変更して、複数の前記柔らかさ情報を、前記画像表示制御部に設定する柔らかさ情報制御部と、
前記画像表示制御部により表示制御された前記錯触覚画像を表示する表示部と
を備える。
【0018】
本発明の第2の側面の携帯端末は、
ユーザが把持可能な携帯端末であって、
前記ユーザが前記携帯端末を把持したときの圧力を検知する圧力センサと、
柔らかさの程度を表す柔らかさ情報と、前記圧力センサが示す圧力値とに応じて、前記ユーザに柔らかさを認識させる錯触覚画像の形態的属性を決定して前記錯触覚画像の表示制御を行う画像表示制御部と、
前記柔らかさ情報を変更して、複数の前記柔らかさ情報を、前記画像表示制御部に設定する柔らかさ情報制御部と、
前記画像表示制御部により表示制御された前記錯触覚画像を表示する表示部と
を備える。
【0019】
本発明の第3の側面のプログラムは、
携帯端末に、
柔らかさの程度を表す柔らかさ情報を変更して、複数の前記柔らかさ情報を設定し、
設定された前記柔らかさ情報と、ユーザが前記携帯端末を把持したとき圧力センサが示す圧力値とに応じて、前記ユーザに柔らかさを認識させる錯触覚画像の形態的属性を決定して前記錯触覚画像の表示制御を行う
処理を実行させるものである。
【0020】
本発明の第4の側面の情報処理システムは、
ユーザが把持可能な携帯端末と、サーバとからなる情報処理システムであって、
前記携帯端末は、
前記ユーザが前記携帯端末を把持したときの圧力を検知する圧力センサが示す圧力値と、柔らかさの程度を表す柔らかさ情報とに応じて、前記ユーザに柔らかさを認識させる錯触覚画像の形態的属性を決定して前記錯触覚画像の表示制御を行う画像表示制御部と、
前記柔らかさ情報を変更して、複数の前記柔らかさ情報を、前記画像表示制御部に設定する柔らかさ情報制御部と、
前記画像表示制御部により表示制御された前記錯触覚画像を表示する表示部と
を備え、
前記サーバは、
複数の前記柔らかさ情報を記憶する記憶部と、
前記柔らかさ情報を前記携帯端末に送信する送信部と
を備える。
【0021】
本発明の第1乃至第4の側面においては、携帯端末において、柔らかさの程度を表す柔らかさ情報が変更されて、複数の前記柔らかさ情報が設定され、設定された前記柔らかさ情報と、ユーザが前記携帯端末を把持したとき圧力センサが示す圧力値とに応じて、前記ユーザに柔らかさを認識させる錯触覚画像の形態的属性が決定されて前記錯触覚画像の表示制御が行われる。
【発明の効果】
【0022】
本発明の第1乃至第4の側面によれば、錯触覚現象を利用して、対象物の柔らかさを認識可能にする新たなユーザインタフェースを実現することができる。
【図面の簡単な説明】
【0023】
【図1】本発明を適用した携帯端末で実現される機能的構成例を示すブロック図である。
【図2】携帯端末が実現するユーザインタフェースについて説明する図である。
【図3】携帯端末による視覚フィードバック処理を説明するフローチャートである。
【図4】携帯端末が圧力センサを有していない場合の構成例を示す図である。
【図5】携帯端末が圧力センサを有していない場合の構成例を示すブロック図である。
【図6】携帯端末のハードウェア構成例を示すブロック図である。
【図7】圧縮表現のその他の例を示す図である。
【図8】視覚フィードバック処理を適用した情報処理システムの構成例を示す図である。
【図9】商品データベースの例を示す図である。
【図10】情報処理システムの商品確認処理を説明するフローチャートである。
【図11】商品一覧画面の例を示す図である。
【図12】柔らかさ確認画面の例を示す図である。
【図13】柔らかさ条件選択画面の例を示す図である。
【発明を実施するための形態】
【0024】
<本発明を適用した実施の形態>
[携帯端末の構成例]
図1は、本発明を適用した携帯端末で実現される機能的構成例を示すブロック図である。

【0025】
図1の携帯端末1は、圧力センサ11、視覚フィードバック決定部12、柔らかさ定数制御部13、および表示部14を有する。携帯端末1は、ユーザが携帯端末1を握ることで加えた圧力を検知し、検知した圧力値に応じて表示部14に表示させた画像を変化させる。すなわち、携帯端末1は、ユーザの握力に応じたフィードバックをユーザの視覚に対して与えることで、ユーザに柔らかさを認識させるユーザインタフェースを有する。

【0026】
[ユーザインタフェースの説明]
図2を参照して、携帯端末1が実現するユーザインタフェースについて詳しく説明する。

【0027】
図2Aは、ユーザが携帯端末1を把持している状態を示す図である。

【0028】
ユーザは、図2Aに示すように、携帯端末1の側面を押さえるように携帯端末1を把持している。携帯端末1の筐体の側面には、圧力センサ11(不図示)が埋め込まれている。携帯端末1の表示部14には、視覚によるフィードバックをユーザに与えるための錯触覚画像Qが表示されている。本実施の形態では、錯触覚画像Qは、矩形(四角形)の画像とされている。

【0029】
ユーザが、図2Bに示すように、携帯端末1の側面を把持する力を強めると、その圧力の変化が圧力センサ11で検知され、携帯端末1(の側面の圧力センサ11)に加えられた圧力に応じて、表示部14に表示されている錯触覚画像Qが変化する。具体的には、携帯端末1に加えられる圧力が大きいほど、矩形の錯触覚画像Qの短辺(横の辺)の長さが短くなるように、錯触覚画像Qが圧縮表示される。

【0030】
図1に戻って、携帯端末1の各構成について説明する。

【0031】
圧力センサ11は、携帯端末1の筐体の側面に設けられ、ユーザ(の手)によって加えられた圧力を検知(検出)し、その結果得られる圧力値を、視覚フィードバック決定部12に供給する。

【0032】
視覚フィードバック決定部12は、圧力センサ11から供給される圧力値と、柔らかさ定数制御部13から供給される柔らかさ定数とに応じて、矩形の錯触覚画像Qの形態的属性を決定する。具体的には、視覚フィードバック決定部12は、圧力値と、柔らかさ定数とを用いた式(1)により、矩形の錯触覚画像Qの短辺の長さを決定する。
X=X0-PressureValue×C ・・・・・・・(1)
ただし、X0<PressureValue×C のとき、X=0 ・・・・・・・・(2)

【0033】
ここで、X0およびXは、矩形の錯触覚画像Qの短辺の真ん中の中心線を基準として、基準から短辺の端までの長さに相当し、表示部14に表示される錯触覚画像Qの短辺の1/2の値となる。X0は、初期値を表し、Xは、圧力値に応じて変形制御した制御後の値を表す。PressureValueは、圧力センサ11から供給される圧力値であり、圧力センサ11が複数の圧力センサで構成される場合には、複数の圧力センサ全体または一部の合計、平均、メジアンなどの統計値、または複数の圧力センサのなかから選択した一部の圧力値などで計算される。Cは、柔らかさの程度を表す柔らかさ情報としての柔らかさ定数である。

【0034】
式(1)は、力F(=PressureValue)、バネ係数Kで表したときのバネモデルの一般式F=K×(X0-X)を変形したものに相当し、柔らかさ定数Cは、バネ係数Kの逆数(C=1/K)に相当する。

【0035】
式(1)によれば、図2を参照して説明したように、ユーザが携帯端末1を握る力(握力)が大きいほど、表示部14に表示される錯触覚画像Qの短辺の長さが短くなる。X/X0は、錯触覚画像Qの短辺の圧縮率に相当し、圧力値PressureValueが大きいほど、錯触覚画像Qの圧縮率は大きくなるように、錯触覚画像Qが表示制御される。

【0036】
視覚フィードバック決定部12は、以上のようにして矩形の錯触覚画像Qの短辺の長さXを決定し、その短辺の長さXを有する錯触覚画像Qを表示部14に表示させる。

【0037】
柔らかさ定数制御部13は、ユーザによる操作や外部プログラム等からの柔らかさ定数Cの変更を受け付け、受け付けた柔らかさ定数Cを視覚フィードバック決定部12に供給する。

【0038】
表示部14は、視覚フィードバック決定部12の表示制御にしたがい、錯触覚画像Qを表示する。

【0039】
[視覚フィードバック処理の処理フロー]
図3のフローチャートを参照して、携帯端末1による視覚フィードバック処理について説明する。

【0040】
初めに、ステップS1において、柔らかさ定数制御部13は、ユーザによる操作や外部プログラム等から、所定の柔らかさ定数Cを受け付け、受け付けた柔らかさ定数Cを視覚フィードバック決定部12に供給する。

【0041】
ステップS2において、圧力センサ11は、ユーザ(の手)によって加えられた圧力を検知し、検知した圧力値PressureValueを、視覚フィードバック決定部12に供給する。

【0042】
ステップS3において、視覚フィードバック決定部12は、圧力センサ11から供給された圧力値PressureValueと、柔らかさ定数制御部13から供給された柔らかさ定数Cとを用いて、式(1)により、矩形の錯触覚画像Qの短辺の長さXを決定する。

【0043】
ステップS4において、視覚フィードバック決定部12は、決定した短辺の長さXを有する錯触覚画像Qを表示部14に表示させる。表示部14は、視覚フィードバック決定部12の表示制御にしたがい、短辺の長さXの錯触覚画像Qを表示する。

【0044】
ステップS5において、柔らかさ定数Cが変更されたか否かが、柔らかさ定数制御部13により判定される。

【0045】
ステップS5で、柔らかさ定数Cが変更されたと判定された場合、処理はステップS1に戻り、上述したステップS1ないしS5の処理が繰り返される。これにより、変更後の柔らかさ定数Cを用いて、検知された圧力値PressureValueに応じた短辺の長さXの錯触覚画像Qの表示制御が実行される。

【0046】
一方、ステップS5で、柔らかさ定数Cが変更されていないと判定された場合、処理はステップS6に進み、処理を終了するか否かが、視覚フィードバック決定部12により判定される。

【0047】
ステップS6で、処理を終了しないと判定された場合、処理はステップS2に戻り、上述したステップS2ないしS6の処理が繰り返される。したがって、処理を終了しないと判定された場合には、上述したステップS2ないしS6の処理が所定の時間間隔で実行される。

【0048】
一方、ステップS6で、処理を終了すると判定された場合、図3の視覚フィードバック処理が終了する。

【0049】
以上のように、視覚フィードバック処理によれば、携帯端末1は、ユーザが携帯端末1に対して加えた圧力を検知し、検知した圧力値PressureValueに応じて表示部14に表示させている錯触覚画像Qを変化させる。このとき、柔らかさ定数Cの値の違いにより、ユーザは、表示部14に表示された錯触覚画像Qの柔らかさが変化したかのように、押圧力(握力)についての錯触覚が視覚のフィードバックによって引き起こされる。例えば、ユーザがある強さで携帯端末1を握った後、力を緩めるという動作を繰り返す場合、柔らかさ定数Cの値を小さくすると、ユーザが握ったときの錯触覚画像Qの圧縮度合が小さくなるので、ユーザは、錯触覚画像Qが相対的に硬くなったと錯覚する。逆に、柔らかさ定数Cの値を大きくすると、ユーザが握ったときの錯触覚画像Qの圧縮度合が大きくなるので、ユーザは、錯触覚画像Qが相対的に柔らかくなったと錯覚する。このように、柔らかさ定数Cの値を変化させることで、所定の対象物体の柔らかさを認識可能にする新たなユーザインタフェースを実現することができる。

【0050】
携帯端末1の視覚フィードバック処理(視覚フィードバック制御)では、あくまでも握力と視覚フィードバックによる錯覚を利用するので、ユーザの手に対して直接的な触力覚フィードバックを行うための構成が不要となり、機器を小型化することができる。したがって、携帯端末のような小型の機器に一体的に実装することが可能になる。

【0051】
[携帯端末が圧力センサを有していない場合の構成例]
上述した例では、携帯端末1が圧力センサ11を備えるものとして説明したが、携帯端末1が圧力センサ11を備えていない場合も考えられる。そのような場合には、図4に示すような構成を採用することができる。

【0052】
すなわち、図4に示されるように、圧力センサ11を備えていない携帯端末21に装着可能なジャケット(カバーケース)22が用意される。ジャケット22には、携帯端末21に装着された状態において携帯端末21の側面となる部分に、圧力センサ11が埋設されている。

【0053】
図5は、図4に示した構成のブロック図を示している。図5において、図1と対応する部分には同一の符号を付してあり、その説明は省略する。

【0054】
携帯端末21は、視覚フィードバック決定部12、柔らかさ定数制御部13、および表示部14を有する。ジャケット22は、圧力センサ11を有する。

【0055】
ジャケット22の圧力センサ11と携帯端末21の視覚フィードバック決定部12とは、例えば、USB(Universal Serial Bus)により接続され、圧力センサ11で検知された圧力値PressureValueがシリアル通信により、視覚フィードバック決定部12に供給される。圧力センサ11と視覚フィードバック決定部12とのデータの授受は、その他の通信方法、例えば、Bluetooth(登録商標)やNFC (Near Field Communication) などの無線通信、圧力値PressureValueのデータを、マイク端子を介して音声信号として入力する方法、撮像部を介して光点滅を用いたビット情報として入力する方法などでも実現可能である。

【0056】
[携帯端末21のハードウェア構成ブロック図]
図6は、携帯端末21のハードウェア構成例を示すブロック図である。

【0057】
図6において、CPU(Central Processing Unit)31は、各種の処理を実行する演算処理部であり、OS(Operating System)などの基本プログラムや、上述した視覚フィードバック決定部12と柔らかさ定数制御部13に対応するプログラムなどを、必要に応じて実行する。CPU31は、バス35を介してROM(Read Only Memory)32、RAM(Random Access Memory)33、およびNVRAM(Non Volatile RAM)34と相互に接続される。このバス35にはまた、入出力インタフェース36も接続され、入出力インタフェース36には、記憶部37およびドライブ38が接続される。

【0058】
ROM32には、OSなどの基本プログラムやデータが予め格納される。RAM33およびNVRAM34には、ROM32や記憶部37に格納されているアプリケーションプログラムやデータがロードされる。RAM33およびNVRAM34にはまた、CPU31が各種の処理を実行する上において必要なデータなども適宜記憶される。

【0059】
ドライブ38は、必要に応じて装着される、半導体メモリなどのリムーバブルメディア39からのデータを読み出し、入出力インタフェース36等を介してCPU31に供給したり、CPU31から供給されるデータをリムーバブルメディア39に書き込む。読み書きされるデータには、インストールされるアプリケーションプログラムのデータが含まれていてもよい。

【0060】
入出力インタフェース36には、入力部40、音声入出力部41、タッチスクリーン42、通信部43、電話回線網通信部44、および撮影部45が接続される。

【0061】
入力部40は、メニューボタン、ホームボタン、バックボタン、および電源ボタンなどの各ハードウエアボタンにより構成され、ユーザの操作による入力を受け付けて、CPU31等に供給する。音声入出力部41は、スピーカ、マイクロホン等により構成され、通話のための音声を入出力する。

【0062】
タッチスクリーン42は、表示部42Aと位置検出部42Bとを有し、各種の画面表示と、指等を近接、又は、接触(タッチ)することによる操作入力とが可能になっている。

【0063】
表示部42Aは、液晶パネル等のデバイス(表示装置)で構成され、入出力インタフェース36を介して供給されるデータに応じて、所定の画面(画像)を表示する。

【0064】
位置検出部42Bは、例えば、静電式等のタッチパネル等の、外部からの入力(近接・接触)を受け付ける(検知する)機能を有するデバイスで構成される。

【0065】
タッチスクリーン42は、以上のような表示部42Aと位置検出部42Bとが一体的になっており、表示部42Aにおいて画面を表示し、位置検出部42Bにおいて、表示部42Aに表示された画面に対する外部からの操作入力(タッチや近接)を受け付けることができる。

【0066】
位置検出部42Bが出力する位置信号は、入出力インタフェース36を介して、CPU31に供給され、CPU31では、位置検出部42Bからの位置信号に基づき、どのような操作入力があったかが認識され、その操作入力に応じて、各種の処理が行われる。このタッチスクリーン42全体または表示部42Aが、図1および図5の表示部14に対応する。

【0067】
通信部43は、USB通信等の有線通信、および、WiFi方式等の無線通信を行う。電話回線網通信部44は、移動体電話通信網を介して他の装置と音声通信、または、パケット通信を行う。撮影部45は、CCD(Charge Coupled Device)やCMOS(Complementary Mental Oxide Semiconductor)センサ等の撮影素子などにより構成される。撮影部45は、被写体を撮影し、撮影した被写体の画像データを、入出力インタフェース36を介してCPU31等に供給する。

【0068】
携帯端末21は以上のように構成される。なお、携帯端末21には、数cm程度の近接距離で電磁誘導を利用した非接触通信を行うNFC通信部、ブルートゥース(Bluetooth(登録商標))方式による無線通信部、赤外線による通信を行う赤外線通信部などの、その他の構成をさらに備えるようにしてもよい。携帯端末1のハードウェア構成は、図6の構成に、圧力センサ11をさらに加えたものとなる。

【0069】
[変形例]
上述した例では、視覚フィードバック決定部12は、式(1)により、錯触覚画像Qの短辺の長さXを決定するものとしたが、その他の演算式を用いて、錯触覚画像Qの短辺の長さXを決定することもできる。

【0070】
例えば、視覚フィードバック決定部12は、圧力センサ11から供給される圧力値PressureValueを、以下の式(3)の2階微分方程式に代入して解くことにより、圧力値に応じた視覚フィードバック制御後の錯触覚画像Qの短辺の長さXを求めることもできる。
【数1】
JP0005988141B2_000002t.gif
式(3)のM,B,K,X1は、所定の実数でありKは、式(1)の柔らかさ定数Cを決定していたバネ係数である。(dX/dt)は、錯触覚画像Qの短辺の長さXの2階微分、(dX/dt)は、錯触覚画像Qの短辺の長さXの1階微分を表す。dtは、圧力センサ11からの圧力値PressureValueに応じた視覚フィードバック制御を行う制御サイクルに相当する微小単位時間を表す。

【0071】
このように、矩形の錯触覚画像Qの短辺の長さXの制御について複数の方法を選択できるようにすることで、多様な柔らかさの表現が可能となる。

【0072】
式(1)および式(3)は、ユーザが握り込んだときの圧力値PressureValueに対応する錯触覚画像Qの短辺の長さXを求める式である。したがって、式(1)および式(3)だけでは、ユーザが、握り込んだ手を緩めた途端、表示部14に表示された錯触覚画像Qは、初期の大きさ(短辺の長さX0)に戻ってしまう。

【0073】
これに対して、ユーザが握り込んだ手を放したときに、握り込んだときの強さ(圧力値PressureValue)に応じて、錯触覚画像Qの横幅が、ばねのようにビヨンビヨンと振動的に変化し、徐々に減衰するような映像表現を行うと、ユーザは、対象物の柔らかさをより視覚的に認識することができる。ゼリーを指で突いて放した後に、ゼリーがプルプル揺れているようなイメージで、ゼリーの柔らかさを認識するのと同様である。

【0074】
このような減衰振動の映像表現を行う場合には、まず、視覚フィードバック決定部12は、式(1)または式(3)で求められた錯触覚画像Qの短辺の長さXを、式(4)に代入し、長さXのとき有する力Fを求める。
【数2】
JP0005988141B2_000003t.gif
式(4)において、長さXは式(1)または式(3)で求めた既知の値であるので、(dX/dt)および(dX/dt)については計算することができる。そして、M,B,K,X2は、式(3)と同様、所定の実数であるので、力Fは求めることができる。

【0075】
次に、視覚フィードバック決定部12は、力Fを有するときのdt時間経過後の移動速度(dX/dt)を、式(5)により求め、さらに、dt時間経過後の移動速度(dX/dt)から、dt時間経過後の長さ(位置)Xを、式(6)により求める。
【数3】
JP0005988141B2_000004t.gif
以上のようにして得られたdt時間経過後の長さXを、再び式(4)乃至式(6)と順に代入することで、さらに次のdt時間経過後の長さXを求めることができる。したがって、式(4)乃至式(6)の演算を繰り返すことで求めた長さXとなるように、表示部14の錯触覚画像Qを表示制御することで、減衰振動の映像表現が可能となる。

【0076】
なお、上述した実施の形態では、錯触覚画像Qが圧縮されたときの形状は、縦方向のいずれの位置でも均一となる例について説明した。しかし、図7Aに示されるように、例えば、錯触覚画像Qの長辺の真ん中が特に圧縮されるように、縦方向の位置に応じて圧縮率が異なるようにしてもよい。また、図7Bに示されるように、錯触覚画像Qの横方向が圧縮されるだけでなく、圧縮された分の面積が縦方向に逃げ出すように、圧縮形状を変化させてもよい。また、横方向と縦方向の両方を圧縮(縮小)させてもよい。さらに言えば、錯触覚画像Qは、四角形以外の多角形の画像や円でもよいし、球や直方体などの立体形状の画像でもよい。

【0077】
また、上述した実施の形態では、長方形の携帯端末1の長辺側の側面に設けられた圧力センサ11によって、ユーザが携帯端末1を把持する圧力が検知され、それに応じて、錯触覚画像Qが圧力方向に圧縮されて表示されるようにしているが、ユーザによって携帯端末1が把持される位置に圧力センサ11が配置され、錯触覚画像Qが圧力センサ11で検出される圧力の方向に応じて変形されるような態様であれば、携帯端末1の形状、圧力センサ11の位置、錯触覚画像Qの形状は、上記の形態に限定されない。例えば、携帯端末1を円形とし、圧力センサ11を全周に沿って配置し、錯触覚画像Qも円形にしてもよい。

【0078】
錯触覚は、本来、対象の物体の柔らかさを表すパラメータが変化するときに最も発生しやすいと言われている。そこで、例えば、ユーザが携帯端末1を軽く握っているとき(具体的には、検知される圧力値PressureValueが所定の値PV以下まで)は柔らかさ定数Cとし、強く握り込んだら(具体的には、検知される圧力値PressureValueが値PVより大きくなったら)、柔らかさ定数Cに変更して式(1)を計算する、というように、ユーザが携帯端末1を握っている途中で柔らかさ定数Cを変化させてもよい。これにより、より強力に、錯覚を発生させることが可能となる。

【0079】
<本発明を適用したアプリケーションの例>
次に、上述した視覚フィードバック処理を適用したアプリケーション例について説明する。

【0080】
[情報処理システムの構成例]
図8は、複数種類の枕を商品とするネットショッピングに、上述した視覚フィードバック処理を適用した情報処理システムの構成例を示している。

【0081】
図8の情報処理システムは、図1に示した構成を有する携帯端末1と、商品としての複数種類の枕のデータを保持するサーバ(アプリケーションサーバ)51とを含んで構成され、携帯端末1とサーバ51とは、移動体電話通信網、インターネット、LAN(Local Area Network)、WAN(Wide Area Network)などのネットワークを介して接続される。

【0082】
携帯端末1は、例えば、スマートフォンと呼ばれる高機能の携帯端末であり、アプリケーションプログラム(Application Program)(以下、単にアプリと称する。)を、ネットワークを介して接続されたサーバ(サーバ51と同じでもよい)の記憶装置から端末内にダウンロードして、端末上で実行することができる。

【0083】
携帯端末1は、端末内にダウンロードされている、ネットショッピングを行うアプリであるショッピングアプリを実行することで、サーバ51に接続し、サーバ51から取得した商品データに基づいて商品の情報を表示する。ショッピングアプリは、図1に示した視覚フィードバック決定部12と柔らかさ定数制御部13を機能として有している。

【0084】
サーバ51の記憶部52には、商品としての複数種類の枕のデータを格納した商品データベースが記憶されており、サーバ51は、携帯端末1のショッピングアプリからの要求に応じて、所定のデータを携帯端末1のショッピングアプリに送信する。また、サーバ51は、ユーザがショッピングアプリ上から所定の枕の購入操作を行った場合の購入手続処理なども行う。なお、本明細書では、購入手続処理など、本発明と関係のない処理についての説明は省略する。

【0085】
サーバ51のハードウェア構成の図示は省略するが、サーバ51は、ハードディスク等の記憶部52のほか、CPU、ROM、RAMなどを有している。また、サーバ51は、LANやインターネット等に接続してデータ通信を行う通信部、キーボード、マウスなどよりなる入力部、スピーカ、ディスプレイなどよりなる出力部も備える。そして、サーバ51は、記憶部52またはROM等に記憶されているプログラムからRAMにロードされたプログラムに従って、後述する処理を含む各種の処理を実行することができる。

【0086】
[商品データベースの例]
図9は、サーバ51の記憶部52に記憶されている商品データベースの例を示している。

【0087】
商品としての複数種類の枕のそれぞれについて、商品を識別する商品ID、商品の名称である商品名、商品の販売価格である価格、商品の画像の画像ファイル、商品の枕に設定された柔らかさ定数Cが商品毎に関連付けられて格納されている。なお、商品データベースには、これら以外の情報項目を含んでいてもよい。

【0088】
図9の例では、1つ目の商品(枕)として、商品ID=“00001”、商品名=“特製そば殻枕”、価格=“\3500”、画像ファイル=“IMG00001.jpg”、柔らかさ定数=“C1”、・・が格納されている。また2つ目の商品(枕)として、商品ID=“00002”、商品名=“ホテル仕様 羽毛枕”、価格=“\8500”、画像ファイル=“IMG00002.jpg”、柔らかさ定数=“C2”、・・が格納されている。3目の商品(枕)として、商品ID=“00003”、商品名=“パイプ枕”、価格=“\1800”、画像ファイル=“IMG00003.jpg”、柔らかさ定数=“C3”、・・が格納されている。

【0089】
また、商品データベースには、ユーザが各商品の柔らかさを確認する際の柔らかさの基準となるサンプル(以下、基準サンプルともいう。)のデータも格納されている。換言すれば、基準サンプルは、ユーザが既知の柔らかさの程度が、ショッピングアプリの錯触覚画像Qの圧縮表現でどのように表示されるかを確認するためのものである。したがって、基準サンプルは、少なくとも1つ登録されていればよいが、本実施の形態では、図9に示されるように、最小の柔らかさ定数Cminをもつ商品である「基準・そば殻枕」と、最大の柔らかさ定数Cmaxをもつ商品である「基準・羽毛枕」の2つが登録されている。

【0090】
各商品の柔らかさ定数Cは、予めモニタユーザによるテストなどに基づいて決定される。具体的には、複数のモニタユーザに実際の商品を触って柔らかさを認識してもらい、複数のモニタユーザが、実際の商品の柔らかさと同程度の柔らかさ感が得られる柔らかさ定数Cの値を設定し、それらの統計的代表値(例えば、平均値、メジアン等)が、その商品の柔らかさ定数Cに決定される。必要に応じて、基準サンプルも用意して、基準サンプルの実際の柔らかさと、基準サンプルに設定されている柔らかさ定数と比較してもらってもよい。

【0091】
なお、基準サンプルの柔らかさ定数は、ユーザがショッピングアプリの錯触覚画像Qの圧縮表現で基準サンプルの柔らかさを体験しなくても十分に認識可能である場合や、複数の商品どうしの相対的な柔らかさを比較できればよい場合には、省略可能である。

【0092】
[商品確認処理のフローチャート]
図10のフローチャート(シーケンス図)を参照して、商品の柔らかさを確認する商品確認処理について説明する。

【0093】
初めに、ステップS21において、ショッピングアプリを起動するユーザの起動操作に応じて、携帯端末1は、ショッピングアプリを起動する。

【0094】
ステップS22において、携帯端末1のショッピングアプリは、サーバ51にアクセスし、商品データの要求を送信する。サーバ51のアクセス先のURLは、ショッピングアプリ内に記憶されている。

【0095】
ステップS23において、サーバ51は、商品データを記憶部52の商品データベースから取得し、ステップS24において、取得した商品データを、携帯端末1のショッピングアプリに送信する。ここで、携帯端末1に送信される商品データは、各商品の商品ID、商品名、価格、画像ファイルであり、柔らかさ定数は、この時点では送信されない。

【0096】
ステップS25において、携帯端末1のショッピングアプリは、サーバ51から送信されてきた商品データを受信し、受信した商品データに基づいて、商品一覧画面を表示部14に表示させる。

【0097】
図11は、ステップS25の処理により、携帯端末1の表示部14に表示される商品一覧画面の例を示している。

【0098】
商品一覧画面では、サーバ51から取得した商品データに基づいて、商品ID、商品名、価格、および画像(画像ファイルに対応する画像)が、商品ごとに表示されている。また、各商品には、商品ID、商品名、価格、および画像とともに、ユーザが商品の柔らかさを確認する際に操作される「柔らかさ確認」ボタンBが表示されている。図11の例では、商品ID=“00001”の商品には、「柔らかさ確認」ボタンB1、商品ID=“00002”には、「柔らかさ確認」ボタンB2、商品ID=“00003”には、「柔らかさ確認」ボタンB3が表示されている。

【0099】
ユーザは、所望の商品の「柔らかさ確認」ボタンBを、指でタッチするなどして操作すると、携帯端末1のショッピングアプリは、ステップS26として、所望の商品の「柔らかさ確認」ボタンBの操作を受け付けて、ステップS27において、ユーザに指定された商品(以下、指定商品という。)柔らかさ定数Cの要求を、サーバ51に送信する。

【0100】
サーバ51は、ステップS28において、ショッピングアプリからの指定商品の柔らかさ定数Cの要求を受信し、記憶部52の商品データベースから、指定商品の柔らかさ定数Cと、基準サンプルの柔らかさ定数Cを取得する。

【0101】
そして、ステップS29において、サーバ51は、取得した指定商品の柔らかさ定数Cと、基準サンプルの柔らかさ定数Cを、携帯端末1に送信する。

【0102】
ステップS30において、携帯端末1のショッピングアプリは、サーバ51から送信されてきた柔らかさ定数Cを受信し、受信した柔らかさ定数Cを用いた柔らかさ確認画面を表示部14に表示させる。

【0103】
図12は、ステップS30の処理により、携帯端末1の表示部14に表示される指定商品の柔らかさ確認画面の例を示している。図12の柔らかさ確認画面は、図11の商品一覧画面において、商品ID=“00002”の商品の「柔らかさ確認」ボタンB2が押下された場合の柔らかさ確認画面を示している。

【0104】
柔らかさ確認画面には、基準サンプル、または、指定商品を選択するコンボボックスCB、コンボボックスCBで選択された柔らかさ定数Cを有する錯触覚画像Q、商品一覧画面に戻る際に操作される「戻る」ボタンBKが設けられている。

【0105】
ステップS31において、携帯端末1のショッピングアプリは、携帯端末1の圧力センサ11で検知した圧力値PressureValueに基づく視覚フィードバック処理を実行する。換言すれば、ステップS31では、図3を参照して説明した視覚フィードバック処理が実行される。

【0106】
図12を参照して、柔らかさ確認画面における柔らかさ確認操作について説明する。

【0107】
初めに、ユーザは、コンボボックスCBを操作し、基準サンプルか、または、指定商品のいずれかの項目を選択することで、柔らかさを確認する対象を選択する。コンボボックスCBで、基準サンプルかまたは指定商品のいずれかが選択されると、ショッピングアプリの柔らかさ定数制御部13が、コンボボックスCBで選択された基準サンプルまたは指定商品の柔らかさ定数Cを視覚フィードバック決定部12に供給する。

【0108】
そして、図2を参照して説明したように、ユーザが携帯端末1の側面を握ると、圧力センサ11が、携帯端末1に加えられた圧力を検知し、検知した圧力値PressureValueに応じて、図12の柔らかさ確認画面の錯触覚画像Qの短辺の長さXが変化する。

【0109】
図10に戻り、ステップS32において、携帯端末1のショッピングアプリは、商品一覧に戻る操作がされたか、すなわち、図12の柔らかさ確認画面の「戻る」ボタンBKが押下されたか否かを判定する。

【0110】
ステップS32で、商品一覧に戻る操作がされていないと判定された場合、処理はステップS31に戻り、図12の柔らかさ確認画面を用いた視覚フィードバック処理が繰り返される。

【0111】
一方、ステップS32で、商品一覧に戻る操作がされたと判定された場合、処理はステップS25に戻り、上述したステップS25乃至S32の処理が繰り返される。

【0112】
以上のようにして、ショッピングアプリにおける商品の柔らかさを確認する商品確認処理が実行される。

【0113】
視覚フィードバック処理を適用した情報処理システムでは、サーバ51の商品データベースに、基準サンプルと各商品の柔らかさ定数Cが記憶されており、ユーザが指定した指定商品の柔らかさ定数Cが、基準サンプルの柔らかさ定数Cとともに、携帯端末1のショッピングアプリに送信される。

【0114】
そして、柔らかさ確認画面のコンボボックスCBの操作に応じて、指定商品と基準サンプルの柔らかさ定数Cが切り替えられ、設定された柔らかさ定数Cの下で、ユーザの握力に応じて、柔らかさ確認画面の錯触覚画像Qが変形表示される。これにより、ユーザは、握力の錯触覚により、自分の所望する商品の柔らかさを、基準サンプルの柔らかさとの相対的な比較によって体感することができるので、ユーザによる商品の柔らかさの理解を補助することが可能になる。したがって、実際の商品に触れることができないインターネットショッピングにおいて、柔らかさをイメージしながら商品を選択することが実現可能となる。

【0115】
上述した例では、商品一覧画面から、ユーザが所望の商品を指定し、その指定した指定商品の柔らかさを、柔らかさ確認画面を用いてユーザが確認できるようにした。しかし、ユーザが、直接、所望の柔らかさを指定して、その指定した柔らかさに対応する商品を、ショッピングアプリが、商品データベースから検索して、ユーザに提示することもできる。

【0116】
図13は、所望の柔らかさを指定する場合に、携帯端末1の表示部14に表示される柔らかさ条件選択画面の例を示している。

【0117】
柔らかさ条件選択画面には、ユーザの握力に応じて変形表示される錯触覚画像Q、柔らかさ定数Cを変更指示するスライドバーSB、現在のスライドバーSBの位置に応じた柔らかさ定数Cを設定する決定ボタンDBが設けられている。

【0118】
スライドバーSBには、基準サンプルの柔らかさとの比較が容易となるように、基準サンプルの柔らかさ定数Cのスライドバー上の位置が、「基準1」、「基準2」のように表示されている。

【0119】
ユーザは、携帯端末1の方向ボタン、+ボタンや-ボタン、または、柔らかさ条件選択画面のスライドバーSBを操作して、柔らかさ定数Cを所望の値に設定し、携帯端末1を握って錯触覚画像Qの変形具合を確認する操作を、所望の柔らかさ定数Cが見つかるまで繰り返す。そして、所望の柔らかさ定数Cが見つかった場合に、柔らかさ条件選択画面の決定ボタンDBが操作(押下)される。ショッピングアプリは、決定ボタンDBが操作されたときの柔らかさ定数Cをサーバ51に送信し、サーバ51は、送信されてきた柔らかさ定数Cに最も近い商品を商品データベースから検索する。そして、ショッピングアプリは、サーバ51から送信されてきた、ユーザが指定した柔らかさに対応する商品の柔らかさ定数Cを受信し、図12の柔らかさ確認画面を表示部14に表示させる。

【0120】
このように、柔らかさ条件選択画面を用いれば、ユーザが所望する柔らかさを直接指定することができる。

【0121】
また、この柔らかさ条件選択画面は、例えば、商品の発注元と製造元のメーカとの間で、柔らかさの要求をやりとりする場合に、言葉として「もっと柔らかいもの」や「商品Aよりも柔らかいもの」というように伝えるよりも、柔らかさ条件選択画面で所望の柔らかさを設定して、設定した柔らかさ定数Cを伝達することで、柔らかさを数値的に表現して要求することができるので、より正確に柔らかさを伝達することができる。

【0122】
さらに、上述した例では、商品データベースの柔らかさ定数Cは、モニタユーザによるテストにより決定するものとして説明したが、柔らかさ条件選択画面を用いて、商品を購入したユーザに、購入後に感じた柔らかさを送信してもらい、商品を購入したユーザから、柔らかさ定数Cのフィードバックを受け付けるようにすることもできる。

【0123】
柔らかさ定数Cのフィードバックを受け付ける場合、ショッピングアプリは、柔らかさ条件選択画面を用いて決定された柔らかさ定数Cを、購入商品の商品IDと関連付けてサーバ51に送信する。サーバ51は、ユーザが設定した柔らかさ定数をCfeedback、商品データベースに記憶されているフィードバック前の柔らかさ定数をCbeforeとすると、以下の式により、フィードバック後の柔らかさ定数Cafterを決定する。
Cafter=(Cbefore×N+Cfeedback)/(N+1)
ここで、Nは、商品データベースに記憶されているフィードバック前の柔らかさ定数Cbeforeを決定するために用いたサンプル数を表し、商品データベースに、商品IDに対応させて記憶されている。

【0124】
上述した例は、スマートフォンである携帯端末1上で実行されるショッピングアプリが、サーバ51から取得した商品データに基づいて、商品一覧画面や柔らかさ確認画面を表示し、ユーザが携帯端末1を握ったときの圧力値PressureValueに基づいて錯触覚画像Qを圧縮表示させる例について説明したが、上述の商品一覧画面や柔らかさ確認画面を、携帯端末1上で起動されるWebブラウザ上で表示するようにしてもよい。この場合、圧力センサ11で検知されたユーザの握力を示す圧力値PressureValueが、HTMLデータとしてサーバ51に送信され、サーバ51のWebアプリケーションが指定商品に基づき、変形制御後の錯触覚画像Qの短辺の長さXを決定し、決定した圧縮制御後の錯触覚画像Qを表示するHTMLデータを携帯端末1のWebブラウザに送信する。すなわち、この場合、視覚フィードバック決定部12と、柔らかさ定数制御部13は、Webアプリケーションの一部として、サーバ51に設けられる。このように、携帯端末1とサーバ51の各々に実装される機能は、各機器の性能要件等に基づき、適宜、分担させることができる。

【0125】
<その他のアプリケーションの例>
視覚フィードバック処理を適用した、その他のアプリケーション例について説明する。

【0126】
[料理レシピに適用した例]
料理のレシピに、上述した視覚フィードバック処理を適用することができる。

【0127】
例えば、うどんやパンの生地の柔らかさの程度をレシピとして提供する場合に、材料や調理の手順とともに、生地の柔らかさを確認する「柔らかさ確認」ボタンBが、レシピ画面上に設けられる。

【0128】
「柔らかさ確認」ボタンBが操作された場合に表示される柔らかさ確認画面には、例えば、こんにゃくやゼリーなどの典型的な柔らかさの食物が、基準サンプルとして提示される。このような柔らかさ確認画面を用いて、うどんやパンの生地の柔らかさを、錯触覚画像Qの圧縮具合で、より正確に体感することができる。

【0129】
また、生地の柔らかさは、こね時間で変化する。そこで、柔らかさ定数制御部13は、柔らかさ確認画面の表示時間を、こね時間と見立てて、柔らかさ確認画面の表示時間に応じて、柔らかさ定数Cを変化させるようにしてもよい。これにより、ユーザが、例えば、5分後の柔らかさ、10分後の柔らかさを、柔らかさ確認画面で体感することができる。このような制御処理は、商品データベースに記憶しておく柔らかさ定数Cを、柔らかさ確認画面の表示時間に依存する関数として定義することで実現できる。

【0130】
また、生地の柔らかさは、水の量、粉の量、および、こね時間などの組み合わせによっても変化する。そこで、例えば、料理レシピでは、柔らかさ確認画面において、水の量、粉の量、および、こね時間の各スライダバー(図13のスライダバーSBと同様のもの)を設けて、水の量、粉の量、および、こね時間のそれぞれが、スライダバーで設定された値の組み合わせとなったときの生地の柔らかさを、ユーザが確認できるようにしてもよい。このような制御処理は、柔らかさ定数Cを決定するためのパラメータとして、複数の前処理係数(水の量、粉の量、こね時間に相当)を設け、複数の前処理係数を用いた式で柔らかさ定数Cを定義することで実現できる。

【0131】
また、料理レシピでは、図13に示した柔らかさ条件選択画面と同様の画面を設けて、ユーザが、今回料理したときの好みの柔らかさなどを登録(記憶)することができるようにしてもよい。このとき、例えば、図13の柔らかさを決定する決定ボタンDBが押下された場合に、コメントなどを入力可能とし、柔らかさ定数Cと、コメントなどの情報を関連付けて登録させることができる。これにより、例えば、以前に料理したとき柔らかすぎたので、今回は少しかために作ろう、などというように、過去の柔らかさと比較した体感が可能となる。

【0132】
柔らかさを比較、体感する対象物は、同一種類の物体に限らず、異なる種類のものでもよい。例えば、ゼリー、こんにゃく、餅の柔らかさ(粘り気)を、相対関係が矛盾しないように柔らかさ定数Cを決定し、提示すれば、異なる種類の柔らかさを参考にして、餅を実際に食べなくても、柔らかさを判別することができる。

【0133】
[ゲームに適用した例]
ゲーム(ゲームプログラム)に、上述した視覚フィードバック処理を適用することができる。

【0134】
例えば、アイテムを獲得するようなロールプレイングゲームにおいて、アイテムの種類ごとに柔らかさ定数Cを設定し、ユーザが操作するキャラクタがアイテムを触ってみて、所定の固さまたは柔らかさのものをゲットするような処理に適用できる。

【0135】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

【0136】
上述した実施形態では、携帯端末1がスマートフォンであるとして説明したが、携帯端末1は、スマートフォンに限らず、PND(Portable Navigation Device)、電子書籍リーダーなどのタブレット端末でもよい。

【0137】
本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。

【0138】
本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
【符号の説明】
【0139】
1 携帯端末, 11 圧力センサ, 12 視覚フィードバック決定部, 13 柔らかさ定数制御部, 14 表示部, 21 携帯端末, 22 ジャケット, 31 CPU, 33 RAM, 37 記憶部, 42 タッチスクリーン, 43 通信部, 51 サーバ, 52 記憶部
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12