TOP > 国内特許検索 > 知覚刺激情報生成システム > 明細書

明細書 :知覚刺激情報生成システム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5598981号 (P5598981)
公開番号 特開2012-084096 (P2012-084096A)
登録日 平成26年8月22日(2014.8.22)
発行日 平成26年10月1日(2014.10.1)
公開日 平成24年4月26日(2012.4.26)
発明の名称または考案の名称 知覚刺激情報生成システム
国際特許分類 G06F   3/0487      (2013.01)
G06F   3/041       (2006.01)
G06F   3/01        (2006.01)
FI G06F 3/048 630
G06F 3/041 480
G06F 3/01 310Z
請求項の数または発明の数 7
全頁数 23
出願番号 特願2010-232035 (P2010-232035)
出願日 平成22年10月14日(2010.10.14)
審査請求日 平成25年10月10日(2013.10.10)
特許権者または実用新案権者 【識別番号】304036743
【氏名又は名称】国立大学法人宇都宮大学
発明者または考案者 【氏名】青木 恭太
【氏名】木村 正樹
【氏名】村山 慎二郎
個別代理人の代理人 【識別番号】100136504、【弁理士】、【氏名又は名称】山田 毅彦
審査官 【審査官】若林 治男
参考文献・文献 特開2000-148393(JP,A)
特開2001-242781(JP,A)
特開2010-034833(JP,A)
特開2009-204711(JP,A)
特開平11-085400(JP,A)
特開2003-225266(JP,A)
米国特許出願公開第2006/0024647(US,A1)
調査した分野 G06F 3/01-3/048
G06F 3/14-3/153
G06F 3/01
特許請求の範囲 【請求項1】
2次元画像を取得して前記2次元画像の種類を判定する種類判定手段と、
前記2次元画像に含まれるテキスト画像データをぼかす処理及び前記2次元画像に含まれる特定の色領域の拡張処理の少なくとも一方を含む画像変換処理であって、前記2次元画像の種類に応じた前記2次元画像に対する画像変換処理によって、前記2次元画像の指定位置に対応する単位領域における特徴を表す特徴情報を生成する情報変換手段と、
前記特徴情報に応じた知覚刺激が前記2次元画像のユーザに付与されるように知覚刺激装置を制御する制御手段と、
を備える知覚刺激情報生成システム。
【請求項2】
前記情報変換手段は、前記2次元画像を表示させるとともに前記指定位置を入力するためのタッチパネルから前記指定位置を取得するように構成され、
前記制御手段は、前記タッチパネル又は前記ユーザの指を振動させる振動子を制御するように構成される請求項1記載の知覚刺激情報生成システム。
【請求項3】
前記情報変換手段は、前記指定位置の履歴情報に応じて前記画像変換処理を変更するように構成される請求項1記載の知覚刺激情報生成システム。
【請求項4】
前記情報変換手段は、前記指定位置の履歴情報から予測される位置を中心とする単位領域における特徴を表す特徴情報を生成するように構成される請求項1記載の知覚刺激情報生成システム。
【請求項5】
前記2次元画像を撮影する撮影手段と、
前記ユーザの位置を指示する部分に取り付けられ、前記指定位置を求めるための前記部分の空間データを測定するセンサと、
を更に備える請求項1記載の知覚刺激情報生成システム。
【請求項6】
2次元画像を取得して前記2次元画像の種類を判定するステップと、
前記2次元画像に含まれるテキスト画像データをぼかす処理及び前記2次元画像に含まれる特定の色領域の拡張処理の少なくとも一方を含む画像変換処理であって、前記2次元画像の種類に応じた前記2次元画像に対する画像変換処理によって、前記2次元画像の指定位置に対応する単位領域における特徴を表す特徴情報を生成するステップと、
前記特徴情報に応じた知覚刺激が前記2次元画像のユーザに付与されるように知覚刺激装置を制御するステップと、
を有する知覚刺激情報生成方法。
【請求項7】
コンピュータを、
2次元画像を取得して前記2次元画像の種類を判定する種類判定手段、
前記2次元画像に含まれるテキスト画像データをぼかす処理及び前記2次元画像に含まれる特定の色領域の拡張処理の少なくとも一方を含む画像変換処理であって、前記2次元画像の種類に応じた前記2次元画像に対する画像変換処理によって、前記2次元画像の指定位置に対応する単位領域における特徴を表す特徴情報を生成する情報変換手段、及び
前記特徴情報に応じた知覚刺激が前記2次元画像のユーザに付与されるように知覚刺激装置を制御する制御手段、
として機能させる知覚刺激情報生成プログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、知覚刺激情報生成システム、知覚刺激情報生成方法及び知覚刺激情報生成プログラムに関する。
【背景技術】
【0002】
従来、視覚障害者が触覚を利用して2次元的な情報を取得できるようにした出力装置としてピンディスプレイが知られている。ピンディスプレイは、二次元に配列された複数のピンを上下させることによって、凹凸によりコンピュータの文字情報や図形情報などを表示するディスプレイである。また、ピンディスプレイをコンピュータマウスに設けることによって、マウスの動きに応じた触覚情報をユーザの指先にフィードバックできる触覚マウスも知られている(例えば特許文献1参照)。
【0003】
更に、テレビ画像データ等の2次元画像データを触覚によって認識できるようにした振動型表示パネルも考案されている(例えば特許文献2参照)。この振動型表示パネルでは、表示画素に対応する電圧を振動素子に印加することによって振動が生成されている。
【先行技術文献】
【0004】

【特許文献1】特開2009-086229号公報
【特許文献2】特開平7-306634号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ピンディスプレイには、高価である、重量が大きい、解像度が低い、出力可能な情報に制限があるといった問題がある。また、触覚マウスは、絶対位置の認識が困難であるという問題がある。更に、振動型表示パネルは、構造が複雑で高価であるという問題がある。
【0006】
また、共通の課題として、画像等の2次元情報を盲目者、弱視者及び色覚障害者等の視覚障害者に対して、より感覚的に分かり安く伝達することが望まれる。一方、視覚に障害がない対象者であっても、2次元情報を視覚以外の知覚を併用して感覚的に分かり安く伝達できれば、情報伝達を効果的に行うことができる。
【0007】
本発明は、触覚等の視覚以外の知覚を利用することによって、2次元情報をユーザにより分かり安く伝達することが可能な知覚刺激情報生成システム、知覚刺激情報生成方法及び知覚刺激情報生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の実施形態に係る知覚刺激情報生成システムは、種類判定手段、情報変換手段及び制御手段を備える。種類判定手段は、2次元画像を取得して前記2次元画像の種類を判定する。情報変換手段は、前記2次元画像に含まれるテキスト画像データをぼかす処理及び前記2次元画像に含まれる特定の色領域の拡張処理の少なくとも一方を含む画像変換処理であって、前記2次元画像の種類に応じた前記2次元画像に対する画像変換処理によって、前記2次元画像の指定位置に対応する単位領域における特徴を表す特徴情報を生成する。制御手段は、前記特徴情報に応じた知覚刺激が前記2次元画像のユーザに付与されるように知覚刺激装置を制御する。
【0009】
また、本発明の実施形態に係る知覚刺激情報生成方法は、2次元画像を取得して前記2次元画像の種類を判定するステップと、前記2次元画像に含まれるテキスト画像データをぼかす処理及び前記2次元画像に含まれる特定の色領域の拡張処理の少なくとも一方を含む画像変換処理であって、前記2次元画像の種類に応じた前記2次元画像に対する画像変換処理によって、前記2次元画像の指定位置に対応する単位領域における特徴を表す特徴情報を生成するステップと、前記特徴情報に応じた知覚刺激が前記2次元画像のユーザに付与されるように知覚刺激装置を制御するステップとを有する。
【0010】
また、本発明の実施形態に係る知覚刺激情報生成プログラムは、コンピュータを上述の種類判定手段、情報変換手段及び制御手段として機能させる。
【図面の簡単な説明】
【0011】
【図1】本発明の第1の実施形態に係る知覚刺激情報生成システムの機能ブロック図。
【図2】図1に示す画像変換部において画像変換処理として1階微分処理を行った例を示す図。
【図3】図1に示す画像変換部において画像変換処理として2階微分処理を行うことが有効な2次元画像の例を示す図。
【図4】図1に示す画像変換部において画像変換処理として2値化処理及び輪郭抽出処理を行った例を示す図。
【図5】図1に示す画像変換部において画像変換処理として空間周波数の補正処理を行った例を示す図。
【図6】図1に示す画像変換部において画像変換処理としてテキスト画像データをぼかす処理を行った例を示す図。
【図7】図1に示す画像変換部において画像変換処理として特定の色で着色された領域を抽出する処理を行った例を示す図。
【図8】図1に示す画像変換部において画像変換処理として特定の色領域の拡張処理を行った例を示す図。
【図9】図1に示す刺激制御部において波数が3つのトーンバース波形を有する制御信号を生成した例を示す図。
【図10】図1に示す刺激制御部において波の高さが周期的に変化する波形を有する制御信号を生成した例を示す図。
【図11】図1に示す画像変換部における画像変換処理及び刺激制御部における制御信号の生成処理の具体例を示す図。
【図12】入出力端子を備えたマイクロコンピュータの演算装置を用いて知覚刺激情報生成システムを構成した例を示す図。
【図13】図1に示す知覚刺激情報生成システムにより、コンピュータのディスプレイに表示された2次元画像を知覚刺激として出力する際の流れを示すフローチャート。
【図14】本発明の第2の実施形態に係る知覚刺激情報生成システムの構成図。
【図15】図14に示すマイクロコンピュータの機能ブロック図。
【発明を実施するための形態】
【0012】
本発明の実施形態に係る知覚刺激情報生成システム、知覚刺激情報生成方法及び知覚刺激情報生成プログラムについて添付図面を参照して説明する。

【0013】
(第1の実施形態)

【0014】
図1は本発明の第1の実施形態に係る知覚刺激情報生成システムの機能ブロック図である。

【0015】
知覚刺激情報生成システム1は、2次元画像に応じた知覚刺激をユーザに与えることによって視覚を用いることなくユーザに2次元画像に関する情報を伝達するシステムである。図1に示す知覚刺激情報生成システム1は、パーソナルコンピュータや携帯電話等のコンピュータ2において表示される2次元画像に応じて知覚刺激を発生させる場合の構成例を示している。

【0016】
知覚刺激情報生成システム1は、データ処理系3及び知覚刺激装置4を備えている。

【0017】
データ処理系3は、コンピュータ2において表示される2次元画像データに応じた制御信号を生成し、生成した制御信号を知覚刺激装置4又はコンピュータ2に備えられる所望のデバイスに出力することによって、知覚刺激装置4又はコンピュータ2を制御する機能を有する。このデータ処理系3は、コンピュータ2の演算装置5に知覚刺激情報生成プログラムを読み込ませることによって構築することができる。具体的には、データ処理系3は、コンピュータ2の演算装置5を画像種類判定部3A、画像変換部3B及び刺激制御部3Cとして機能させたものである。但し、データ処理系3を構成するために回路を用いてもよい。

【0018】
知覚刺激情報生成プログラムは、コンピュータ2を知覚刺激情報生成システム1のデータ処理系3として利用できるように情報記録媒体に記録してプログラムプロダクトとして流通させることができる。もちろん、情報記録媒体を介さずにネットワーク経由で知覚刺激情報生成プログラムをコンピュータ2にダウンロードすることもできる。

【0019】
コンピュータ2には、演算装置5の他、位置入力装置6、ディスプレイ7、指示入力装置8及び振動スピーカ9が備えられる。また、コンピュータ2の演算装置5は、本来の機能として、表示画像生成部10として機能する。

【0020】
ディスプレイ7は、2次元画像を表示することが可能なモニタである。従って、ユーザが視覚を用いない場合には、ディスプレイ7を省略してもよい。

【0021】
表示画像生成部10は、ディスプレイ7に表示させるための2次元画像データを生成する機能と、生成した2次元画像データをディスプレイ7に与えることによって、ディスプレイ7に2次元画像を表示させる機能を有する。

【0022】
位置入力装置6は、ディスプレイ7上に表示された2次元画像の絶対的な2次元位置を指定し、指定位置情報としてコンピュータ2に入力する機能を有する。図1には、ディスプレイ7と位置入力装置6を層状に配置して一体に構成したタッチパネル11をコンピュータ2に備えた例を示す。

【0023】
タッチパネル11には、複数の方式があり、任意の方式を用いることができる。具体的には、タッチパネル11には、抵抗膜方式、表面弾性波方式(超音波方式)、赤外線方式(光学式)、電磁誘導方式、静電容量方式等の方式がある。タッチパネル11の方式には、主にタッチペン等の指以外の指示道具を用いて位置情報を入力できる方式と、指又は指と同等の物理的特性を有する指示道具でなければ位置情報を入力できない方式とがある。この他、電磁誘導方式の場合には、位置情報を入力するために専用の電磁誘導ペンが必要である。

【0024】
このため、タッチパネル11の方式に応じて、タッチペンや電磁誘導ペン等のタッチパネル11を介して位置情報を入力するための指示器具が位置入力装置6の構成要素として備えられる。図1は、タッチパネル11の付属品としてタッチペン11Aを備えた例を示している。

【0025】
タッチパネル11を位置入力装置6及びディスプレイ7として使用すれば、ディスプレイ7に指又は指示道具を接触又は近接させた位置が指定位置情報としてコンピュータ2に入力される。このため、ユーザが、盲目者や弱視者等の視覚障害者であっても、直観的かつ感覚的に2次元画像の位置を確認しつつ指定位置情報をコンピュータ2に入力することが可能である。また、ユーザが視覚を利用して位置入力装置6を操作する場合であっても、2次元画像の参照を通じて容易に指定位置情報をコンピュータ2に入力することができる。

【0026】
但し、ディスプレイ7上に表示された2次元画像の絶対的な2次元位置の指定位置情報をコンピュータ2に入力することが可能な位置入力装置6であれば、タッチパネル11以外の位置入力装置6を用いることもできる。換言すれば、指定可能な2次元位置の範囲をユーザが認識できるようにすれば、様々な既存の入力装置を位置入力装置6として用いることができる。

【0027】
例えば、大きさが有限のタッチパッドをそのまま位置入力装置6として用いることができる。或いは、マウス、トラックボール、ポインティングデバイス等の相対的な2次元位置を入力する入力装置であっても、指定可能な2次元位置の範囲の境界が指定された場合に、振動、音又は音声により指定可能な2次元領域の境界であることをユーザに知らせる機能を入力装置自体や任意のデバイスとして設けることにより、絶対的な2次元位置の指定位置情報を入力する位置入力装置6として用いることができる。

【0028】
指示入力装置8は、コンピュータ2に位置以外の指示情報を入力するための入力装置である。指示入力装置8には、キーボードやマウス等の入力装置がある。また、タッチパネル11に表示された電子ボタンを押したり、複数の選択肢から選択する操作を、タッチパネル11を通じて行う場合には、タッチパネル11は位置入力装置6と指示入力装置8を兼ねることとなる。タッチパッド等の入力装置を位置入力装置6として用いる場合も同様である。

【0029】
ユーザが視覚障害者である場合には、スクリーンリーダ技術の利用によって指示入力装置8の操作をサポートすることができる。スクリーンリーダは、ディスプレイ7に表示された情報を音声で読み上げる技術である。

【0030】
振動スピーカ9は、演算装置5から出力される音声信号に従って振動し、音声を発生させる装置である。すなわち、振動子を備えたスピーカである。

【0031】
知覚刺激装置4は、ディスプレイ7に表示されている2次元画像に関する情報をユーザに伝達するために、データ処理系3から出力される制御信号に従って人間の視覚以外の単一又は複数の知覚を単一又は複数の方法で直接的又は間接的に刺激する装置である。

【0032】
刺激する知覚としては、より分かり安くユーザに情報を伝達できる観点から触覚が最も有効である。また、より簡易な構成で情報を伝達するために、聴覚を刺激する機能を知覚刺激装置4に設けてもよい。聴覚を刺激する場合には、知覚刺激装置4にスピーカ4Aが設けられる。

【0033】
一方、触覚を刺激する代表的な方法としては、電気刺激と振動が挙げられる。

【0034】
電気刺激は、指や手などの人体の一部に所定の強度及びパターンの電圧を印加することによって与えることができる。理論的には、人体に印加される電圧の制御によって、あらゆる材質の物を触ったときの触覚を模擬することが可能であるとされている。電気刺激を人体に付与する場合には、知覚刺激装置4に電極を有する電圧印加装置4Bが設けられる。この場合、印加電圧を可変とすることが、より詳細な情報を伝達できる観点から有効である。

【0035】
振動で触覚を刺激する場合には、偏心モータ等の振動子4Cを用いて非常に簡易に知覚刺激装置4を構成することができる。尚、振動の一種である超音波振動を利用して触覚を刺激することもできる。振動の伝導方法としては、知覚刺激装置4から人体に直接伝導させる方法と間接的に伝導させる方法がある。

【0036】
振動を直接人体に伝導させる場合には、人体に装着可能な形状及び素材の装着部に振動子4Cを固定することによって知覚刺激装置4を構成することができる。例えば、指に振動を与える場合には、弾力を有するC字状又はリング状のフレームや繊維素材に振動モータを取り付けることによって知覚刺激装置4を構成することができる。

【0037】
この場合、複数の指に振動を与えることができるように、複数の振動子4Cを複数の装着部に設けることによって知覚刺激装置4を構成してもよい。複数の指に振動子4Cを設ければ、指ごとに異なる振動を与えることができる。このため、複数の指を用いたタッチパネル11へのマルチ位置入力にも対応することができる。

【0038】
振動を間接的に人体に伝導させる場合には、指や手で操作される位置入力装置6を介して振動を人体に付与することが効果的である。従って、タッチペン11A等のタッチパネル11の指示器具やタッチパネル11自体を振動させるように知覚刺激装置4を構成することができる。位置入力装置6がマウス、タッチパッド、トラックボール、ポインタ等の入力装置である場合には、これらの入力装置を振動させてもよい。この場合、タッチパネル11やタッチペン11A等の被振動体に振動モータ等の振動子4Cを接触させればよい。従って、振動モータ等の振動子4Cに被振動体への固定器具を設けることによって知覚刺激装置4を構成することができる。

【0039】
尚、図1に示すように振動スピーカ9がコンピュータ2に備えられている場合には、振動スピーカ9を制御することによってもタッチパネル11を振動させることができる。振動スピーカ9を利用すれば、振動による触覚刺激と音による聴覚刺激とを併用することもできる。これは、知覚刺激装置4における振動子4Cとして振動スピーカを用いた場合も同様である。

【0040】
また、コンピュータ2が携帯電話である場合には、コンピュータ2に標準的に振動機構が備わっている。従って、振動スピーカ9等の振動機構がコンピュータ2に備えられ、かつ当該振動機構を制御できる場合には、知覚刺激装置4を省略してもよい。逆に、知覚刺激装置4を設ければ、コンピュータ2に振動スピーカ9等の振動機構が備わっていなくても、人体の触覚を刺激することができる。

【0041】
また、コンピュータ2からの出力が十分でない場合には、必要に応じて増幅器4Dが知覚刺激装置4に備えられる。そして、増幅器4Dの入力側がコンピュータ2と接続され、増幅器4Dの出力側に振動子4C、スピーカ4A、電圧印加装置4B等の刺激を発生させる構成要素が接続される。

【0042】
コンピュータ2の画像種類判定部3Aは、表示画像生成部10からディスプレイ7上に表示されている2次元画像データの少なくとも一部を取得して、表示されている2次元画像の種類を判定する機能を有する。

【0043】
2次元画像の種類は、様々な分類方法で特定することができる。例えば、色に着目すれば、2次元画像は、白黒の2値画像、輝度で表示される多値のグレースケール画像、2値又は多値のカラー画像、3次元(3D: three-dimensional)画像等の種類に分類できる。或いは、画像の内容や属性に着目すれば、2次元画像は、デジタル写真等の静止画、動画、テキスト文書、表、グラフ、図面、イラスト等のイメージ、CG (computer graphic)等の種類にも分類することができる。

【0044】
上述した2次元画像の種類の判定は、画像種類判定部3Aにおける2次元画像データに対するデータ処理によって自動的に行うことができる。但し、ユーザの操作によって指示入力装置8から入力された指示情報に基づいて手動で判定又は判定結果を変更することもできる。画像の種類の判定処理を自動で行う場合には、画像種類判定部3Aが、2次元画像データがカラー画像データか白黒画像データであるかの判定処理、2次元画像データが2値画像データであるか多値画像データであるかの判定処理、2次元画像データの画素値に対する閾値処理、2次元画像データの位置変化に関するn階の微分値(nは任意の自然数)に対する閾値処理等の必要なデータ処理を実行する。

【0045】
上述した判定処理の詳細な方法の例としては、2次元画像データのデータ形式に基づく方法、画素値のヒストグラムに基づく方法及び画像データに所定の変換処理を施して得られるデータに基づく方法が挙げられる。

【0046】
例えば、2次元画像データのデータ形式がモノクロのビットマップ形式である場合には、2次元画像の種類が白黒の2値画像であると判定することができる。

【0047】
また、画素値のヒストグラムが2値である場合には2値画像データであると判定することができる。一方、RGB値の各ヒストグラム間における相関係数に対する閾値処理等によってRGB値の各ヒストグラムが互いに相似であると判定される場合には、2次元画像の種類がグレースケールの画像であると判定することができる。また、RGB値の各ヒストグラムが不連続な複数のピークを呈する場合には、2次元画像の種類が特定の色を抽出することが可能な画像であると判定することができる。更に、画素値のヒストグラムに対して、平滑化処理等の任意の処理を施してもよい。

【0048】
別の例としては、2次元画像データを色相(Hue)、彩度(Saturation)及び明度(Value)の三成分からなるHSV色空間データや色相(Hue)、彩度(Saturation)及び輝度(Luminance)の三成分からなるHLS色空間データ等の色空間データに変換し、色空間データに基づいて2次元画像の種類を判定することができる。例えば、色空間データにおける色相の揺らぎを表す指標に対する閾値処理などによって、色相の揺らぎが少ないと判定される場合には、2次元画像の種類がグレースケールの画像であると判定することができる。

【0049】
ディスプレイ7には、異なる複数の種類の2次元画像が表示される場合がある。この場合には、2次元画像が位置ごとに異なる複数の種類と判定される。

【0050】
このような判定処理のため、画像種類判定部3Aは、ディスプレイ7上に表示されている2次元画像データ全体又は少なくともディスプレイ7上に表示されている2次元画像の種類を判定することが可能な範囲の2次元画像データを表示画像生成部10から取得できるように構成される。

【0051】
すなわち、2次元画像の種類の判定に2次元画像データ全体を用いる場合には、画像種類判定部3Aは、位置入力装置6から入力された指定位置情報とは無関係に2次元画像データ全体を表示画像生成部10から取得する。一方、2次元画像の種類の判定に2次元画像データの一部を用いる場合には、画像種類判定部3Aは、位置入力装置6から入力された指定位置情報に応じた範囲の2次元画像データを表示画像生成部10から取得する。例えば、画像種類判定部3Aは、位置入力装置6によって指定された位置を中心として予め設定された範囲内における2次元画像データを表示画像生成部10から取得する。

【0052】
つまり、2次元画像の種類は、位置入力装置6から入力された指定位置における画素値のみからは判定することができない。従って、指定位置の周辺を含み、画像の種類の判定に十分な範囲の画素に基づいて画像の種類が判定される。

【0053】
2次元画像の種類の判定に2次元画像データ全体を用いれば、より確実な判定が期待できる。これに対して、2次元画像の種類の判定に2次元画像データの一部を用いれば、データ処理を高速化してリアルタイム性を向上させることができる。

【0054】
画像変換部3Bは、画像種類判定部3Aにおいて判定結果として生成された画像の種類情報に基づいて、画像の種類に応じた2次元画像データの特徴を表す中間画像データとして特徴画像データを生成する機能と、位置入力装置6から取得した指定位置情報に対応する所定の範囲内における特徴画像データの画素値情報を刺激制御部3Cに与える機能を有する。また、画像変換部3Bは、特徴画像データを生成するために、表示画像生成部10から2次元画像データ全体の画素値又は少なくとも位置入力装置6から入力された指定位置を含む部分的な領域に対応する2次元画像データの画素値を取得できるように構成される。

【0055】
特徴画像データは、ユーザが視覚障害者であっても認識がより容易となるような画像データとされる。特に、画像の種類に応じた2次元画像データの特徴を単純化した画像データや画像の種類に応じた2次元画像データの特徴を強調した画像データは、認識が容易な画像データとなる場合が多い。このような特徴画像データは、経験的又は実験的に決定した2次元画像データに対する画像変換処理によって生成することができる。

【0056】
画像変換処理は、所望の単一又は複数の処理で構成し、処理の組み合わせは、画像の種類に応じて予め適切な組み合わせに決定しておくことができる。画像変換処理方法の具体例としては、空間周波数の補正処理、諧調の補正処理、2値化処理、特定の色に対応する位置又は領域の抽出処理、画像を意図的にぼかすスムージング処理、ガンマ変換、n階の微分処理が挙げられる。

【0057】
但し、指示入力装置8から入力された指示情報に基づいて複数の画像変換処理方法から所望の画像変換処理方法を選択できるようにしてもよい。すなわち、上述の画像の種類に加え、ユーザの目的に応じて画像変換処理方法を手動で変更することができる。

【0058】
図2は、図1に示す画像変換部3Bにおいて画像変換処理として1階微分処理を行った例を示す図である。

【0059】
図2(A)に示すように、指定位置周辺の2次元画像データとして、或いは2次元画像データに対する画像変換処理によって、着色された単純な図形を表す画像データが得られている場合、画像データに1階微分処理を行うと、(B)に示すように図形の輪郭が抽出された特徴画像データが生成される。すなわち、この場合、1階微分処理は、図形の輪郭抽出処理となっている。特にユーザが視覚障害者である場合には、図2(A)に示すような着色された図形情報よりも、図2(B)に示すような図形の輪郭情報の方が単純な情報であり認識が容易である。

【0060】
図3は、図1に示す画像変換部3Bにおいて画像変換処理として2階微分処理を行うことが有効な2次元画像の例を示す図である。

【0061】
図3(A)に示すように、陰影を付けることによって円柱を2次元で表現した画像データが得られている場合、1階微分処理行うと、底面の縁の輪郭を抽出することができる。しかし、円柱側面における曲率の変動を単純化した2次元画像として表すためには、図3(A)に示す画像データに対する2階微分処理が有効である。

【0062】
図4は、図1に示す画像変換部3Bにおいて画像変換処理として2値化処理及び輪郭抽出処理を行った例を示す図である。

【0063】
図4(A)に示すように、指定位置周辺の2次元画像データの種類がカラーの静止画像である場合に、静止画像データに対して2値化処理を行うと、図4(B)に示すように、白領域と黒領域を有する特徴画像データが生成される。このため、静止画像が風景画であるなどのサポート情報があれば、領域の形状から空の領域と山を含む地上の領域との識別が容易な画像データを生成することができる。一方、2次元画像データに対して微分処理などの輪郭線の抽出処理を行えば、図4(C)に示すように、領域の境界が抽出された特徴画像データが生成される。図4(C)に示す輪郭抽出画像によれば、空と山の境界の認識が容易である。

【0064】
同様な応用例としては、2次元画像データの種類が解剖図であるとのサポート情報があれば、骨領域と筋肉領域との区別が容易な単純化された特徴画像データを2次元画像データに対する画像変換により生成することができる。

【0065】
図5は、図1に示す画像変換部3Bにおいて画像変換処理として空間周波数の補正処理を行った例を示す図である。

【0066】
図5(A)に示すように、輪郭画像データが得られている場合に、空間周波数が大きいと輪郭線が細くなる。そこで、空間周波数を低減化する補正処理を輪郭画像データに施すことによって、図5(B)に示すような線の太い輪郭画像データを生成することができる。補正処理としては、例えば、空間周波数が予め設定した閾値を超える場合に、より小さい特定の値に調整する補正や、空間周波数を一定の割合で小さくする補正などがある。

【0067】
図6は、図1に示す画像変換部3Bにおいて画像変換処理としてテキスト画像データをぼかす処理を行った例を示す図である。

【0068】
図6(A)に示すようなテキストを示す画像データから視覚障害者が文字のレイアウトを確認しようとする場合、原画像データに対してスムージング処理やガンマ変換等のテキストを意図的にぼかす処理を施すと、図6(B)に示すような画像データが生成される。図6(B)に示す画像データでは、テキストが読み取れない程、不正確に表示されているものの、各文字が太くなる結果、文字の配列方向が強調される。従って、視覚障害者には、図6(B)に示す画像データが適切な場合がある。

【0069】
同様に、文書のレイアウトやOS (operating system)の操作画面のレイアウトを確認する場合には、このようなぼかし処理が有効な場合がある。逆に、文字の形状を認識しようとする場合には、文字自体の輪郭を強調する画像処理が適切となる。つまり、大局的に画像情報を得ることがユーザの目的である場合には、局所的な画像の要素を抑制する処理が適切であり、局所的な画像情報を得ることがユーザの目的である場合には、局所的な画像の要素を強調する処理が適切であることが多い。

【0070】
図7は、図1に示す画像変換部3Bにおいて画像変換処理として特定の色で着色された領域を抽出する処理を行った例を示す図である。

【0071】
図7(A)に示すようなテキストを示す画像データから視覚障害者が朱色で押された印影の有無を確認しようとする場合、原画像データに対して朱色領域の抽出処理を施すと、図7(B)に示すような画像データが生成される。図7(B)に示す画像データでは、テキストが消えているものの、印影部分は選択的に描出されている。従って、視覚障害者にとっては、図7(B)に示す画像データの方が印影の有無の認識に有効である。

【0072】
尚、抽出された特定の色領域を拡張する処理を行ってもよい。例えば、印影を抽出する場合には、隣接する朱色の領域を拡大することによって結合させることが効果的である。

【0073】
図8は、図1に示す画像変換部3Bにおいて画像変換処理として特定の色領域の拡張処理を行った例を示す図である。

【0074】
図8(A)に示すように、複数の細かい色領域が分散して抽出された場合には、図8(B)に示すように色領域を膨張させて結合することが効果的である。尚、空間周波数を低下させる処理を行っても、複数の領域を結合することが可能である。但し、特定の領域を拡張する処理を行えば、着目する領域をより強調して確実に抽出することができる。

【0075】
この他の画像変換処理の例としては、パターンやCGにおいて3次元的に表示される図形領域の模様として利用されるテクスチャを、特定の領域に付加する処理などが挙げられる。これによりテクスチャ等の周期的な模様の相違により画像データ上の領域の特定が容易となる。

【0076】
上述の例のように、適切な画像変換処理は、2次元画像データの種類のみならず、ユーザの目的にも依存する。そこで画像変換部3Bが、位置入力装置6から入力された指定位置の履歴情報に基づいてユーザの目的を自動的に予測し、予測した目的に応じて画像変換処理方法を変更するモードを設定してもよい。

【0077】
例えば、位置入力装置6から入力された指定位置が静止している場合には、ユーザは指定位置における局所的な画像情報を取得することが目的であると予測できる。逆に、位置入力装置6から入力された指定位置が断続的又は連続的に移動している場合には、大局的な画像情報を取得することが目的であると予測できる。

【0078】
そこで、指定位置が静止している場合には、より詳細な画像データを生成するための画像変換処理を実行し、指定位置が移動している場合には、より単純な画像データを生成するための画像変換処理を実行するように、画像変換部3Bにおける処理方法を予め決定することができる。

【0079】
一方、ユーザの目的に依存しない画像変換については、画像の種類に応じて自動的に実行されるようにすることができる。例えば、空間周波数の補正処理や諧調の補正処理などは、画像の種類に応じて画像変換部3Bが自動的に実行するように画像処理方法を決定することができる。

【0080】
また、刺激制御部3Cに与えられる対象となる指定位置に対応する所定の範囲についても、指示入力装置8から指示情報を画像変換部3Bに入力することによって、指定位置周辺の所望の領域に含まれる複数の画素を単位画素領域として可変設定することができる。単位画素領域は、例えば、指やタッチペン11Aをタッチパネル11に接触させたときの接触面積と同等な必要な解像度が得られる領域とすることが実用的である。

【0081】
従って、単位画素領域の広さを特徴画像データの空間周波数に対応させて設定してもよい。例えば、特徴画像データの空間周波数が高ければ、特徴画像データは細かい画像データとなる。従って、特徴画像データの情報を得るためには、より高い解像度が必要となる。このため、空間周波数に依存して要求される解像度が得られるように単位画素領域も小さく設定すれば良い。逆に、空間周波数が低ければ、特徴画像データは粗い画像データとなるので、粗い解像度が得られればよく、ユーザにおおまかな情報が伝達されるよう単位画素領域も広く設定することができる。

【0082】
但し、空間周波数等の条件に依らず、高解像度に対応するために、単一の画素を単位画素領域としてもよい。

【0083】
そして、指定位置に対応する単位画素領域の特徴画像データが画像変換部3Bから刺激制御部3Cに与えられる対象データとなる。従って、画像変換部3Bは、単位画素領域のみについて特徴画像データを生成するようにしてもよいし、単位画素領域よりも広範囲の特徴画像データを生成して単位画素領域のデータを抽出するようにしてもよい。そして、後述する刺激制御部3Cによる知覚刺激装置4又は振動スピーカ9の制御によって、単位画素領域の特徴画像データに応じた知覚刺激がユーザに付与される。

【0084】
知覚刺激を通じてユーザに情報をより分かり安く伝達する観点からは、位置入力装置6を操作して位置を指定したタイミングにおいて、指や手に知覚刺激を与えることが非常に効果的である。例えば、ユーザがタッチパネル11をタッチしたタイミングでディスプレイ7を振動させれば、タッチパネル11全体が振動しているとしても、ユーザにタッチした位置が振動すると認識させることができる。従って、指定位置の入力から知覚刺激発生までの遅延時間が長いと情報伝達の効果が低減する。遅延時間は、単位画素領域を大きくすることによってある程度短くすることができる。

【0085】
更に、予測した指定位置に基づく制御を行うことによって、単位画素領域を不必要に大きくすることなく、つまり解像度を犠牲にすることなく指定位置の入力から知覚刺激発生までの遅延時間を短くすることができる。

【0086】
将来のある時刻における指定位置は、過去の各時刻における指定位置の軌跡を示す履歴情報、すなわち指定位置の直前における移動方向及び移動速度に基づいて事前に予測することができる。従って、過去の各時刻における指定位置の移動方向及び移動速度を含む指定位置履歴情報及び位置入力装置6から取得した最新の指定位置情報に基づいて予測される将来の指定位置を中心とする領域を単位画素領域としてもよい。例えば、指定位置の入力タイミングから知覚刺激の発生までに要する時間分だけ最新の指定位置から移動させた位置を将来の指定位置として予測することができる。

【0087】
このような制御によって、データ処理及び制御信号の伝送による出力の遅れを補正することができる。そして、常にリアルタイムにユーザにタッチした位置において振動等による触覚刺激を与えることができる。この制御は、画像種類判定部3Aにおける指定位置に対応する画像の種類の判定処理にも適用することができる。

【0088】
刺激制御部3Cは、画像変換部3Bから取得した指定位置に対応する単位画素領域における特徴画像データの画素値に基づいて制御信号を生成する機能と、生成した制御信号を知覚刺激装置4又は振動スピーカ9に出力する機能を有する。つまり、刺激制御部3Cは、知覚刺激装置4又は振動スピーカ9を制御することによって、特徴画像データの指定位置付近における特徴を所定のパターンの知覚刺激としてユーザに伝達する機能を備えている。

【0089】
制御信号は、指定位置に対応する単位画素領域における画素値情報を、予め決定された規則に従って変換することによって生成することができる。制御信号への変換規則は、指示入力装置8から指示情報を刺激制御部3Cに入力することによって所望の規則に可変設定することができる。

【0090】
制御信号による制御対象が、図1に示すように振動子4C、スピーカ4A、電圧印加装置4B及び振動スピーカ9のうちの1つまたは複数の組合せである場合には、振動、音、電圧等の知覚刺激の付与主体の振幅及び周波数の他、波数(山の数)や波の面積(パワー)、唸り等のパラメータを特徴画像データの画素値に対応させて設定することができる。

【0091】
図9は、図1に示す刺激制御部3Cにおいて波数が3つのトーンバース波形を有する制御信号を生成した例を示す図であり、図10は、図1に示す刺激制御部3Cにおいて波の高さが周期的に変化する波形を有する制御信号を生成した例を示す図である。

【0092】
例えば、特徴画像データが2値の白黒画像データである場合には、指定位置で特定される単位画素領域における値の有無を、振動、電圧又は音の有無としてユーザに伝達できるように制御信号を生成することができる。この場合、ユーザは、刺激の有無で特徴画像データの輪郭や領域を認識することができる。

【0093】
一方、特徴画像データが多値の画像データであれば、特徴画像データの濃度又は輝度を制御信号の振幅の大きさ又は周波数の長さに対応させることができる。この場合、ユーザは、振動、電圧又は音の強さ及び周波数によって特徴画像データの濃度を判断することができる。

【0094】
また、特徴画像データがカラーの画像データであれば、色相や彩度を制御信号の振幅の大きさ、周波数の高低及びそれらのパターンの組合せに対応させることができる。この場合、ユーザは、振動、電圧又は音の強さ及び周波数によって特徴画像データの色相や彩度を判断することができる。また、指定位置で特定される単位画素領域内に緑色等の特定色の画素が存在する場合にのみ振動、電圧又は音を発生させるように制御信号を生成することもできる。この場合、ユーザは、振動、電圧又は音の有無によって、特定色の有無を判断することができる。

【0095】
別の例として、指定位置が既定の時間以上、既定の領域にあると判定される場合、その点における詳細な情報を伝達できるように制御信号を切換えることができる。例えば、RGB値を区切られた3個の振動における波の高さで表現したり、色相に対応する振動で表現することができる。

【0096】
図11は、図1に示す画像変換部3Bにおける画像変換処理及び刺激制御部3Cにおける制御信号の生成処理の具体例を示す図である。

【0097】
図11(A)に示すように観察対象となる画像データが事務処理等に利用される書類の画像データである場合には、白黒画像に捺印された書類データや赤色で強調された書類データのように、ごく一部において色が使用される場合が多い。そこで、図11(B)に示すように画像変換部3Bにおいて画像データの分割処理を行うと、予め局所的な領域として設定した範囲を除く領域が白黒の2値データであるかグレースケールのデータである場合には、局所的に色が使用された書類データであると判定することができる。

【0098】
そこで、図7に示すような色領域の抽出処理を画像変換部3Bにおいて行い、刺激制御部3Cにおいて着色領域では黒色領域と異なる振動を発生させる制御信号を生成すれば、ユーザが黒以外の色の存在及び領域を認識することができる。

【0099】
ところで、コンピュータ2がパーソナルコンピュータである場合には、音声出力端子やBeep用スピーカに知覚刺激装置4を接続することによって、既存の構造を変えることなく簡易に刺激制御部3Cから制御信号を知覚刺激装置4に出力させることができる。Beep用スピーカは、周波数と時間を引数とするBeep関数で生成される単純なBeep音の出力を担うスピーカである。この場合、知覚刺激装置4から十分な振動、音又は電圧を発生させるためには、振動子4C、スピーカ4A又は電圧印加装置4Bに増幅器(アンプ)4Dを接続することが必要である。

【0100】
また、図1には、情報伝達の対象となる2次元画像を出力させるコンピュータ2自体の演算装置5にデータ処理系3を内蔵する例を示したが、別の演算装置を用いてデータ処理系3を構成してもよい。

【0101】
図12は、入出力端子を備えたマイクロコンピュータの演算装置を用いて知覚刺激情報生成システム1を構成した例を示す図である。

【0102】
図12に示すように、ユニバーサル・シリアル・バス (USB: Universal Serial Bus)端子20及び出力ポート21を設けたマイクロコンピュータ22の出力ポート21側に知覚刺激装置4を接続することによっても知覚刺激情報生成システム1を構成することができる。この場合、マイクロコンピュータ22の演算装置に知覚刺激情報生成プログラムを読み込ませることによってデータ処理系3が構築される。

【0103】
図12に示すように知覚刺激情報生成システム1を構成することによって、アタッチメントとして既存のコンピュータ2Aに接続することができる。このため、コンピュータ2Aの構造を変えることなく簡易にコンピュータ2Aに表示された2次元画像に関する情報を、知覚刺激を利用してユーザに伝達することができる。特に、知覚刺激情報生成システム1を図12に示す構成とすれば、コンピュータ2Aに内蔵されるスピーカ9Aをスクリーンリーダ機能のために利用することができる。従って、スクリーンリーダと知覚刺激の併用によって、一層分かり安くユーザに情報を伝達することが可能となる。

【0104】
次に知覚刺激情報生成システム1の動作および作用について説明する。

【0105】
図13は、図1に示す知覚刺激情報生成システム1により、コンピュータ2のディスプレイ7に表示された2次元画像を知覚刺激として出力する際の流れを示すフローチャートである。

【0106】
まずステップS1において、画像種類判定部3Aが、コンピュータ2のディスプレイ7に出力される2次元画像データを表示画像生成部10から取得する。

【0107】
次に、ステップS2において、画像種類判定部3Aは、取得した2次元画像データの種類を予め設定されたデータ処理方法に従って自動的に行われる。また、必要に応じてユーザが指示入力装置8を操作することによって、2次元画像データのデータ処理方法又は2次元画像データの種類自体を指定する。

【0108】
次に、ステップS3において、画像変換部3Bは、タッチパネル11等の位置入力装置6から指定位置情報を取得する。すなわち、ユーザが位置入力装置6を操作してディスプレイ7に表示された2次元画像上の位置を指定すると、指定された位置が位置入力装置6から画像変換部3Bにより位置指定情報として取得される。

【0109】
次に、ステップS4において、画像変換部3Bは、画像種類判定部3Aにおいて判定結果として生成された画像の種類情報に基づいて、指定位置に対応する単位画素領域における2次元画像データの特徴を表し、認識が容易な特徴画像データを生成する。すなわち、画像変換部3Bは、例えば、図2、図4、図5、図6又は図7に示すような画像変換処理の組合せによって指定位置に対応する単位画素領域の特徴画像データを生成する。このとき、予測される指定位置に対応する領域を単位画素領域とすることにより、入出力間における遅延を短くすることができる。

【0110】
そして、画像変換部3Bは、指定位置に対応する単位画素領域における特徴画像データを刺激制御部3Cに与える。

【0111】
次に、ステップS5において、刺激制御部3Cは、単位画素領域における特徴画像データの画素値に基づいて予め設定された方法に従って知覚刺激装置4及び振動スピーカ9の一方又は双方の制御信号を生成する。この制御信号の生成方法は、指示入力装置8から刺激制御部3Cに指示情報を入力することによって指定することもできる。

【0112】
次に、ステップS6において、刺激制御部3Cは、生成した制御信号を知覚刺激装置4及び振動スピーカ9の一方又は双方に出力する。これにより、振動を利用して情報をユーザに伝達させる場合には、知覚刺激装置4の振動子4C及び振動スピーカ9が、制御信号に従って指定位置における特徴画像データに応じた振動を発生させる。また、音を利用して情報をユーザに伝達させる場合には、知覚刺激装置4のスピーカ4A及び振動スピーカ9が、制御信号に従って指定位置における特徴画像データに応じた音を発生させる。更に、電気刺激を利用して情報をユーザに伝達させる場合には、知覚刺激装置4の電圧印加装置4Bが制御信号に従って指定位置における特徴画像データに応じた電気刺激を直接的に又は間接的にユーザに与える。

【0113】
このため、ユーザは、2次元画像の指定位置における画像情報を、情報の種類や属性に応じた知覚刺激として認識することができる。しかも、知覚刺激は、2次元画像を画像の種類に応じて特徴を容易に認識できるように変換して生成された特徴画像に基づいて発生する。従って、ユーザは、2次元画像に関する情報をより容易に認識することができる。

【0114】
つまり以上のような、知覚刺激情報生成システム1は、ディスプレイ7に表示されている2次元画像情報を画像の種類及び目的に応じて一旦簡易化又は特徴化した特徴画像に変換し、タッチパネル11等の位置入力装置6から取得した指定位置に対応する特徴画像に基づいてユーザに振動等による知覚刺激を与えるようにしたものである。

【0115】
このため、知覚刺激情報生成システム1によれば、視覚を用いないユーザであってもディスプレイ7に表示されている2次元画像から所望の情報を選択的かつ容易に認識することができる。

【0116】
特に、知覚刺激情報生成システム1では、表示されている2次元画像データの局所的な画素値が振動や電気刺激に変換されるのではなく、予め大局的な2次元画像データに基づいて判定された画像の種類に応じて特徴の認識が容易となるように生成された特徴画像データの画素値から振動や電気刺激等の知覚刺激が生成される。しかも、ユーザは、指定位置を入力した位置において知覚刺激を受けたと認識する。このため、視覚を利用しないユーザにとっては、より認識が容易な知覚刺激として2次元画像に関する情報を得ることができる。従って、知覚刺激情報生成システム1は、視覚障害者への2次元画像情報の伝達手段として有効である。

【0117】
また、知覚刺激情報生成システム1は、構造が簡易であるため、既存のコンピュータ2,2Aに対しても容易に適用することができる。特に、従来の触覚ディスプレイであるピンディスプレイと比較すると、知覚刺激情報生成システム1は構造が簡易であり、かつ安価である。

【0118】
尚、上述の例では、コンピュータ2,2Aにおいて生成される2次元画像をユーザへの伝達対象とする例について説明したが、コンピュータ2,2A以外の機器において生成される2次元画像をユーザへの伝達対象としてもよい。例えば、アナログ放送又はデジタル放送を受信したテレビに表示された2次元画像、ハードディスク等の記録装置を備えた画像記録装置から出力される2次元画像、DVD (Digital Versatile Disc)等の画像記録媒体に記録された画像を再生する画像再生装置から出力される2次元画像を知覚刺激情報生成システム1によるユーザへの伝達対象とすることができる。このうち、実用性の高い例としては、デジタルテレビ放送におけるデータ表示のレイアウトの認識のために知覚刺激情報生成システム1を用いて知覚刺激を発生させる応用が挙げられる。

【0119】
この場合、伝達対象となる2次元画像データがアナログ信号であれば、アナログ・デジタル変換器(ADC: analog to digital converter)を知覚刺激情報生成システム1に設ければよい。また、タッチパネル11等の位置入力装置6及びディスプレイ7が別途必要であれば、知覚刺激情報生成システム1の構成要素とすればよい。例えば、図1に示すコンピュータ2,2A自体を知覚刺激情報生成システム1の構成要素としてもよい。

【0120】
また、上述の例では、ユーザへの伝達対象となる情報が2次元画像情報である場合について説明したが、画像以外の2次元情報を伝達対象とすることができる。例えば、表面粗さや材質の違いを表す2次元マップ情報をユーザへの伝達対象とすることができる。上述したように、電気刺激の制御によって、あらゆる触覚を疑似的にユーザに付与することができる。

【0121】
従って、2次元画像としても表示可能な2次元マップ情報の種類が画像種類判定部3Aにおいて2次元表面粗さマップであると判定される場合には、位置入力装置6により指定される位置における表面粗さを模擬する触覚刺激を電気刺激としてユーザに与えることができる。このため、ユーザは所望の物体の表面粗さを実際に物体に触れることなく認識することができる。一方、実際の表面粗さよりも強調した触覚刺激をユーザに与えるようにすれば、知覚刺激情報生成システム1は、表面粗さの増幅検査装置として利用することができる。この場合、熟練を要することなく、ユーザが物体の表面粗さの検査をすることが可能となる。

【0122】
また、2次元マップ情報の種類が2次元材質マップである場合には、材質の肌触りを電気刺激によって模擬することにより、ユーザは実際に物体を触ることなく材質の肌触りを認識することができる。

【0123】
このため、視覚を用いるユーザであっても視覚に加えて触覚や聴覚を併用して2次元画像情報のみならず様々な2次元情報の内容を認識することができる。特に、知覚刺激情報生成システム1により材質ごとの触覚刺激を模擬すれば、バーチャルリアリティをユーザに体験させることが期待できる。また、伝達対象が2次元画像である場合においても、視覚健常者と視覚障害者との間で知覚刺激のある部分が何を表しているのかといった様々な情報を相互に確認することができる。

【0124】
(第2の実施形態)
図14は本発明の第2の実施形態に係る知覚刺激情報生成システムの構成図であり、図15は図14に示すマイクロコンピュータ22の機能ブロック図である。尚、図1又は図12に示す第1の実施形態における知覚刺激情報生成システム1と同様の構成要素については、同符号を付して同様な内容については説明を省略する。

【0125】
図14に示された、第2の実施形態における知覚刺激情報生成システム1Aは、小型カメラ30、カメラドライバ31、センサ32、知覚刺激装置4、指固定具33、マイクロコンピュータ22及び指示入力装置8を備えている。

【0126】
小型カメラ30、カメラドライバ31、センサ32及び知覚刺激装置4は、指固定具33に固定される。すなわち、指固定具33は、小型カメラ30、カメラドライバ31、センサ32及び知覚刺激装置4を指に固定する器具である。このため、指固定具33によりユーザの指に小型カメラ30、カメラドライバ31、センサ32及び知覚刺激装置4を固定することができる。

【0127】
もちろん、ユーザの指以外の位置を指示する人体の部分に小型カメラ30、カメラドライバ31、センサ32及び知覚刺激装置4を固定してもよい。また、小型カメラ30及びカメラドライバ31は、ユーザに固定しなくてもよい。但し、十分な解像度の2次元画像を撮影する観点から小型カメラ30が指や手に追従して移動するように、ユーザに固定することが望ましい。

【0128】
小型カメラ30は、被写体Oの2次元のカラー画像又は白黒画像を静止画又は動画として撮影することが可能な可視光カメラ又は赤外線カメラ等のカメラである。被写体Oは、紙面上の画像等の平面的な2次元画像の他、風景等の立体的なものとすることもできる。また、必要に応じて近接用レンズ30Aが小型カメラ30に設けられる。これにより、被写体Oが紙面に印刷された文章のように細かい対象であっても、局所的に解像度の高い2次元画像を撮影することが可能となる。尚、カメラを指固定具33に固定しない場合には、小型でないカメラを用いてもよい。

【0129】
カメラドライバ31は、マイクロコンピュータ22からの制御下において、小型カメラ30に制御信号を出力することによって小型カメラ30を制御する装置である。例えば、小型カメラ30には、被写体Oの状況に応じた複数の撮影モードが選択可能に準備される。このような場合、カメラドライバ31は、所望の撮影モードの選択指示を小型カメラ30に与えることができる。例えば、近接用レンズ30Aを用いて解像度の高い画像を撮影する場合には、カメラドライバ31による制御によって絞り撮影モードを選択することができる。

【0130】
センサ32は、指や手等の位置を指示する人体の部分の位置及び動きの一方又は双方を求めるための空間データを測定する機能を有する。例えば、向きセンサと加速度センサとを用いて、対象物の向き及び加速度を測定すれば、測定した向き及び加速度に基づいて対象物の位置を測定することができる。従って、向きセンサ及び加速度センサを位置センサとして用いることができる。また、方位加速度センサを用いれば、対象物の動きを検知することができる。

【0131】
マイクロコンピュータ22には、ADC34、デジタル・アナログ変換器(DAC: digital to analog converter)35及び入出力(I/O: input/output)ポート36が設けられる。また、マイクロコンピュータ22に知覚刺激情報生成プログラムを読み込ませることによって、マイクロコンピュータ22はデータ処理系3として機能する。

【0132】
ADC34の入力側には、小型カメラ30及びセンサ32の出力側が接続される。このため、小型カメラ30により撮影された画像データ及びセンサ32により測定されたデータのアナログ信号がADC34によりデジタル信号に変換されてマイクロコンピュータ22に入力される。また、DAC35の出力側は、カメラドライバ31及び知覚刺激装置4の入力側と接続される。このため、マイクロコンピュータ22により生成されたデジタル制御信号が、DAC35によりアナログ制御信号に変換されてカメラドライバ31及び知覚刺激装置4に出力される。

【0133】
指示入力装置8は、マイクロコンピュータ22のI/Oポート36に接続される。指示入力装置8は、ボタン等の入力装置で構成される。そして、指示入力装置8の操作によって各種指示情報をマイクロコンピュータ22に入力することができる。

【0134】
データ処理系3は、第1の実施形態における知覚刺激情報生成システム1と同様な機能を有する画像種類判定部3A、画像変換部3B及び刺激制御部3Cに加え、カメラ制御部3Dを有する。

【0135】
カメラ制御部3Dは、カメラドライバ31に制御信号を出力することによって、カメラドライバ31を通じて小型カメラ30の撮影モード等の撮影条件を設定する機能と、小型カメラ30の撮影条件を示す情報を画像種類判定部3A及び画像変換部3Bに与える機能とを有する。

【0136】
画像種類判定部3Aは、カメラ制御部3Dから取得した小型カメラ30の撮影条件に応じて小型カメラ30から取得した一部又は全体の2次元画像データの種類を判定する機能を有する。画像データの種類の判定方法は、第1の実施形態において説明した通りである。すなわち、小型カメラ30によりカラー画像が撮影された場合には、位置ごとのRed, Green, Blueの階調を表すRGB値と輝度値とで構成される2次元画像データが画像種類判定部3Aに入力される。そして、RGB値及び輝度値に基づいて、予め設定したデータ処理方法で画像の種類が画像種類判定部3Aにより判定される。

【0137】
また、画像の種類の判定処理を開始するトリガとして、小型カメラ30の撮影条件を利用することができる。例えば、小型カメラ30の撮影条件が、絞り撮影モード等の局所撮影用のモードでない場合には、情報伝達対象となる小型カメラ30の撮影対象が、ユーザによる位置の指定範囲となる可能性が高い。従って、このような場合に、画像種類判定部3Aが画像データの種類の判定処理を自律的に行うように構成することができる。

【0138】
撮影モードが局所撮影用のモードであるか否かは、カメラ制御部3Dから取得した撮影モードの選択情報に基づく判定の他、小型カメラ30の焦点距離に対する閾値処理判定によっても行うことができる。例えば、焦点距離が30cm程度である場合には、焦点距離が閾値を超えているため、撮影目的が撮影対象の大まかな把握であると判定することができる。このため、画像の種類の判定処理が実行される。逆に、焦点距離が1cm程度であれば、撮影対象の局所的な位置を指定して詳細情報を取得することが撮影目的であると判定することができる。このため、画像の種類の判定処理は実行されない。

【0139】
画像変換部3Bは及び刺激制御部3Cも第1の実施形態と同様の機能を有する。但し、画像変換部3Bは、センサ32から位置データや加速度データ等の各種空間データを取得し、取得した空間データに基づいて画像の種類の判定対象となったデータ領域における指等の人体の部分の絶対位置を求めるように構成される。そして、求めた絶対位置が刺激制御部3Cに与えられる特徴画像データに対応する指定位置とみなされる。

【0140】
また、第1の実施形態において位置入力装置6から入力される指定位置と同様に、センサ32の測定データから推定される指定位置が静止しているか移動しているかに応じて画像変換処理方法を変更するモードを準備することができる。例えば、所定の時間を超えてセンサ32が静止した場合には、画像変換部3Bにおける画像変換処理方法を、より局所的で詳細な特徴画像データを生成する画像変換処理方法に切り換えることができる。

【0141】
このように構成された知覚刺激情報生成システム1Aによれば、2次元画像が画像信号として出力されない場合であっても、2次元画像の種類及び目的に応じて2次元画像から簡易化又は特徴化した特徴画像データを生成し、センサ32からの測定データに基づいて推定した指定位置に対応する特徴画像に応じた知覚刺激をユーザに与えることができる。

【0142】
具体的には、まず指に指固定具33を介して小型カメラ30が固定される。そして、指示入力装置8の操作によってカメラ制御部3D及びカメラドライバ31を通じて小型カメラ30が制御され、小型カメラ30の撮影モードが30cm程度の焦点距離で観察対象全体を撮影するモードに設定される。

【0143】
次に、指示入力装置8の操作によってカメラ制御部3D及びカメラドライバ31を通じて小型カメラ30が制御され、観察対象全体が小型カメラ30によって撮影される。このときカメラ制御部3Dから撮影モード情報が画像種類判定部3Aに与えられる。そうすると、画像種類判定部3Aは、小型カメラ30から2次元画像を取得し、2次元画像の種類の判定処理を行う。判定結果は、画像変換部3Bに与えられる。一方、このときの撮影条件から特定される2次元画像の位置に対するセンサ32の相対位置がセンサ32の2次元画像に対する絶対的な初期位置とされ、画像変換部3Bに出力される。

【0144】
次に、指示入力装置8の操作によってカメラ制御部3D及びカメラドライバ31を通じて小型カメラ30が制御され、小型カメラ30の撮影モードが絞り撮影モードに設定される。そして、ユーザが情報を得ようとする位置に指を移動させ、指示入力装置8の操作によって絞り撮影モードで近接画像の撮影を行う。そうすると、指とともに移動したセンサ32からは向き、加速度、方位加速度等の測定データが、小型カメラ30からは局所的な2次元画像データが、それぞれ画像変換部3Bに出力される。

【0145】
次に、画像変換部3Bは、センサ32の測定データと初期位置とから2次元画像に対する指による指定位置を推定する。また、画像変換部3Bは、2次元画像の種類に対応する画像変換処理によって、絞り撮影モードで撮影された2次元画像を特徴画像データに変換する。そして、画像変換部3Bは、指定位置に対応する単位画素領域における特徴画像データを刺激制御部3Cに与える。

【0146】
更に、図13のステップS5及びステップS6と同様な流れで特徴画像に応じた知覚刺激がユーザに与えられる。このため、ユーザは小型カメラ30の絞り撮影モードで撮影された2次元画像の局所位置における情報を知覚刺激として認識することができる。

【0147】
(他の実施形態)
以上、特定の実施形態について記載したが、記載された実施形態は一例に過ぎず、発明の範囲を限定するものではない。ここに記載された新規な方法及び装置は、様々な他の様式で具現化することができる。また、ここに記載された方法及び装置の様式において、発明の要旨から逸脱しない範囲で、種々の省略、置換及び変更を行うことができる。添付された請求の範囲及びその均等物は、発明の範囲及び要旨に包含されているものとして、そのような種々の様式及び変形例を含んでいる。
【符号の説明】
【0148】
1、1A 知覚刺激情報生成システム
2,2A コンピュータ
3 データ処理系
3A 画像種類判定部
3B 画像変換部
3C 刺激制御部
3D カメラ制御部
4 知覚刺激装置
4A スピーカ
4B 電圧印加装置
4C 振動子
4D 増幅器
5 演算装置
6 位置入力装置
7 ディスプレイ
8 指示入力装置
9 振動スピーカ
10 表示画像生成部
11 タッチパネル
11A タッチペン
20 USB端子
21 出力ポート
22 マイクロコンピュータ
30 小型カメラ
30A 近接用レンズ
31 カメラドライバ
32 センサ
33 指固定具
34 ADC、
35 DAC
36 I/Oポート
O 被写体
図面
【図1】
0
【図2】
1
【図5】
2
【図6】
3
【図7】
4
【図8】
5
【図9】
6
【図10】
7
【図11】
8
【図12】
9
【図13】
10
【図14】
11
【図15】
12
【図3】
13
【図4】
14