TOP > 国内特許検索 > 透明偏光フィルムを用いた対話システム、透明偏光フィルムを用いた対話方法及び対話システムの対話処理装置のプログラム並びに対話システムの透明偏光フィルム認識対話処理装置のプログラム > 明細書

明細書 :透明偏光フィルムを用いた対話システム、透明偏光フィルムを用いた対話方法及び対話システムの対話処理装置のプログラム並びに対話システムの透明偏光フィルム認識対話処理装置のプログラム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5499393号 (P5499393)
公開番号 特開2009-157360 (P2009-157360A)
登録日 平成26年3月20日(2014.3.20)
発行日 平成26年5月21日(2014.5.21)
公開日 平成21年7月16日(2009.7.16)
発明の名称または考案の名称 透明偏光フィルムを用いた対話システム、透明偏光フィルムを用いた対話方法及び対話システムの対話処理装置のプログラム並びに対話システムの透明偏光フィルム認識対話処理装置のプログラム
国際特許分類 G09F   9/00        (2006.01)
G02F   1/1335      (2006.01)
G02F   1/13        (2006.01)
FI G09F 9/00 357
G02F 1/1335 510
G02F 1/13 505
請求項の数または発明の数 11
全頁数 31
出願番号 特願2008-300473 (P2008-300473)
出願日 平成20年11月26日(2008.11.26)
優先権出願番号 2007314040
優先日 平成19年12月4日(2007.12.4)
優先権主張国 日本国(JP)
審査請求日 平成23年11月16日(2011.11.16)
特許権者または実用新案権者 【識別番号】504133110
【氏名又は名称】国立大学法人電気通信大学
発明者または考案者 【氏名】小池 英樹
【氏名】福地 健太郎
【氏名】西川 渉
【氏名】佐藤 一人
個別代理人の代理人 【識別番号】100083806、【弁理士】、【氏名又は名称】三好 秀和
【識別番号】100101247、【弁理士】、【氏名又は名称】高橋 俊一
【識別番号】100120455、【弁理士】、【氏名又は名称】勝 治人
審査官 【審査官】請園 信博
参考文献・文献 特開2005-323010(JP,A)
特開2000-298544(JP,A)
特開2006-112802(JP,A)
特開2002-098650(JP,A)
実開平07-026913(JP,U)
調査した分野 G09F 9/00
G02F 1/13
1/137 - 1/141
G02F 1/1335- 1/13363
特許請求の範囲 【請求項1】
映像を表示面に表示する表示手段と、
前記表示手段の表示面を撮像可能に設けられ、該表示面を撮影する毎にその映像信号を送出する撮像手段と、
前記撮像手段に近接し前記表示手段との間に設けられ、前記表示面からの映像を遮断する偏光方向を有する偏光フィルタと、
前記表示面に置され、所定の大きさの透明材料で形成され、前記表示面からの映像を前記偏光フィルタから通過させる所定の偏光方向を有する透明偏光フィルムと、
前記撮像手段からの映像信号を入力し、の映像信号をデジタル変換した画像データを得た後に、該画像データに基づいて前記表示面における前記透明偏光フィルムの画像の大きさ、位置並びに傾斜を認識して、前記表示面における表示領域を定め、該表示領域に、予め記憶されている所望の情報を表示させる対話処理装置と
を有することを特徴とする透明偏光フィルムを用いた対話システム。
【請求項2】
前記対話処理装置は、
前記表示手段の前記表示面の特性、姿勢及び前記撮像手段の特性、高さ、姿勢を含むキャリブレーション情報を記憶した第1の記憶手段と、
望の情報を記憶した第2の記憶手段と、
前記画像データに基づいて前記透明偏光フィルムの画像の輪郭抽出を行って前記透明偏光フィルムの画像の前記大きさ、前記位置並びに前記傾斜を求め、これらを透明偏光フィルム認識情報として出力する手段と、
前記第1の記憶手段の前記キャリブレーション情報、前記透明偏光フィルム認識情報に基づいて前記表示面における前記透明偏光フィルムの画像の前記表示領域を定義する手段と、
前記第2の記憶手段の前記所望の情報を前記表示手段に出力して前記表示領域に表示させる手段と
を有することを特徴とする請求項1記載の透明偏光フィルムを用いた対話システム。
【請求項3】
前記対話処理装置は、
前記透明偏光フィルムの画像の他に、予め決められた物体画像を認識したとき、この物体画像の移動又は変形に基づき、前記第2の記憶手段の前記所望の情報を前記表示領域に表示させることを特徴とする請求項記載の透明偏光フィルムを用いた対話システム。
【請求項4】
前記透明偏光フィルムは、同一平面において相互に偏光方向がπ/4異なるように重ねられた2枚の1/2波長板からなることを特徴とする請求項1乃至3のいずれかに記載の透明偏光フィルムを用いた対話システム。
【請求項5】
映像を表示面に表示する表示手段と、
前記表示手段の前記表示面を撮像可能に設けられ、該表示面を撮影する毎にその映像信号を送出する撮像手段と、
前記撮像手段に近接し前記表示手段との間に設けられ、前記表示面からの映像を遮断する偏光方向を有する偏光フィルタと、
前記表示面に置され、表示面からの映像を前記偏光フィルタから通過させる所定の偏光方向を有する透明偏光フィルムを配列して識別可能とさせる透明識別子偏光フィルム部材が貼り付けられた透明識別子偏光フィルム付き透明シートと、
前記撮像手段からの映像信号を入力し、その映像信号をデジタル変換した画像データを得た後に、該画像データに含まれる全ての前記透明識別子偏光フィルム部材を解読して識別情報を取得し、該識別情報に関連付けられている所定の大きさで、前記透明識別子偏光フィルム部材の位置並びに傾斜に従って、この識別情報に対応する所望の情報を前記表示面に表示させる透明偏光フィルム認識対話処理装置と
を有することを特徴とする透明偏光フィルムを用いた対話システム。
【請求項6】
前記透明偏光フィルム認識対話処理装置は、
前記表示手段の前記表示面の特性、姿勢及び前記撮像手段の特性、高さ、姿勢を含むキャリブレーション情報を記憶した第3の記憶手段と、
前記識別情報毎に、該識別情報に対応する前記透明識別子偏光フィルム付き透明シートの大きさ、表示させる所望の情報を記憶した第4の記憶手段と、
前記撮像手段からの映像信号を入力し、その映像信号をデジタル変換した画像データを得た後に、該画像データに含まれる全ての前記透明識別子偏光フィルム部材の画像の輪郭抽出を行って、この透明識別子偏光フィルム部材の画像の位置、傾斜を求める手段と、
前記画像データに含まれる全ての前記透明識別子偏光フィルム部材の画像毎に、前記透明偏光フィルムの配列を解読して前記識別情報を得る手段と、
前記識別情報が得られる毎に、この識別情報に対応する前記透明識別子偏光フィルム付き透明シートの大きさを、前記第4の記憶手段から読み込み、これを前記第3の記憶手段のキャリブレーション情報に基づいて前記表示面における前記透明識別子偏光フィルム付き透明シートの表示領域を求める手段と、
前記識別情報が求められる毎に、この識別情報に対応する所望の情報を読み込んで、前記求められた位置並びに傾斜に従って前記表示面の表示領域に表示させる手段と
を有することを特徴とする請求項5記載の透明偏光フィルムを用いた対話システム。
【請求項7】
前記透明識別子偏光フィルム部材は、同一平面内において相互に偏光方向がπ/4異なるように重ねられた2枚の1/2波長板からなることを特徴とする請求項5又は6に記載の透明偏光フィルムを用いた対話システム。
【請求項8】
映像を表示面に表示する表示工程と、
記表示面を撮像可能に設けられ撮影手段によって撮影し、撮影する毎にその映像信号を送出する撮像工程と、
前記表示面からの映像を遮断する偏光方向を有する偏光フィルタで偏光させる第1の偏光工程と、
前記表示面に載置され、所定の大きさの透明材料で形成され、前記表示面からの映像を前記偏光フィルタから通過させる所定の偏光方向を有する透明偏光フィルムで偏光させる第2の偏光工程と、
前記撮像工程からの映像信号を入力し、その映像信号をデジタル変換した画像データを得た後に、該画像データに基づいて前記表示面における前記透明偏光フィルムの画像の大きさ、位置並びに傾斜を認識して前記表示面における表示領域を定め、該表示領域に、予め記憶されている所望の情報を表示させる対話処理工程と
を行うことを特徴とする透明偏光フィルムを用いた対話方法。
【請求項9】
映像を表示面に表示する表示工程と、
記表示面を撮影し、撮影する毎にその映像信号を送出する撮像工程と、
前記表示面からの映像を遮断する偏光方向を有する偏光フィルタで偏光させる第1の偏光工程と、
前記表示面に載置され、前記表示面からの映像を前記偏光フィルタから通過させる所定の偏光方向を有する透明偏光フィルムを配列して識別可能とさせる透明識別子偏光フィルム部材が貼り付けられた透明識別子偏光フィルム付き透明シートで偏光させる第2の偏光工程と、
前記撮像工程からの映像信号入力し、の映像信号をデジタル変換した画像データを得た後に、該画像データに含まれる全ての前記透明識別子偏光フィルム部材を解読して識別情報を取得し、該識別情報に関連付けられている所定の大きさで、前記透明識別子偏光フィルム部材の位置並びに傾斜に従って、この識別情報に対応する所望の情報を前記表示面に表示させる透明偏光フィルム認識対話処理工程と
を行うことを特徴とする透明偏光フィルムを用いた対話方法。
【請求項10】
映像を表示面に表示する表示手段と、前記表示手段の表示面を撮像可能に設けられ、該表示面を撮影する毎にその映像信号を送出する撮像手段と、前記撮像手段に近接し前記表示手段との間に設けられ、前記表示面からの映像を遮断する偏光方向を有する偏光フィルタと、前記表示面に置され、前記表示面からの映像を前記偏光フィルタから通過させる所定の偏光方向を有し、かつ透明材料で所定の大きさに形成された透明偏光フィルムと、対話処理装置とを備えた対話システムの対話処理装置のプログラムであって、
コンピュータに、
前記表示手段の前記表示面の特性、姿勢及び前記撮像手段の特性、高さ、姿勢を含むキャリブレーション情報を第5の記憶手段に記憶する手段、
望の情報を第6の記憶手段に記憶する手段、
前記映像信号に基づいて前記透明偏光フィルムの画像の輪郭抽出を行って前記透明偏光フィルムの画像の大きさ、位置並びに傾斜を求め、これらを透明偏光フィルム認識情報として出力する手段、
前記第5の記憶手段のキャリブレーション情報、前記透明偏光フィルム認識情報に基づいて前記表示面における透明偏光フィルムの画像の表示領域定義する手段、
前記所望の情報を第6の記憶手段から読み出して前記表示手段に出力して前記表示領域に表示させる手段
としての機能を実行させるための対話システムの対話処理装置のプログラム。
【請求項11】
映像を表示面に表示する表示手段と、前記表示手段の表示面を撮像可能に設けられ、該表示面を撮影する毎にその映像信号を送出する撮像手段と、前記撮像手段に近接し前記表示手段との間に設けられ、前記表示面からの映像を遮断する偏光方向を有する偏光フィルタと、前記表示面に置され、前記表示面からの映像を前記偏光フィルタから通過させる所定の偏光方向を有する透明偏光フィルムを配列して識別可能とさせる透明識別子偏光フィルム部材が貼り付けられた透明識別子偏光フィルム付き透明シートと、透明偏光フィルム認識対話処理装置とを備えた対話システムの透明偏光フィルタ認識対話処理装置のプログラムであって、
コンピュータに、
前記表示手段の前記表示面の特性、姿勢及び前記撮像手段の特性、高さ、姿勢を含むキャリブレーション情報を第7の記憶手段に記憶する手段、
別情報毎に、該識別情報に対応する前記透明識別子偏光フィルム付き透明シートの大きさ表示させる所望の情報を第8の記憶手段に記憶する手段、
前記撮像手段からの映像信号を入力し、の映像信号をデジタル変換した画像データを得た後に、該画像データに含まれる全ての前記透明識別子偏光フィルム部材の画像の輪郭抽出を行って、この透明識別子偏光フィルム部材の画像の位置、傾斜を求める手段、
前記画像データに含まれる全ての前記透明識別子偏光フィルム部材の画像毎に、前記透明偏光フィルムの配列を解読して前記識別情報を得る手段、
前記識別情報が得られる毎に、この識別情報に対応する前記透明識別子偏光フィルム付き透明シートの大きさを、前記第8の記憶手段から読み込み、これを前記第7の記憶手段のキャリブレーション情報に基づいて前記表示面における前記透明識別子偏光フィルム付き透明シートの表示領域を求める手段、
前記識別情報が求められる毎に、この識別情報に対応する所望の情報を前記第8の記憶手段から読み込んで、前記求められた位置並びに傾斜に従って前記表示面の前記表示領域に表示させる手段
としての機能を実行させるための対話システムの透明偏光フィルム認識対話処理装置のプログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、カメラのレンズ前方に偏光フィルタを設け、かつディスプレイの表示面に偏光フィルムシート又は透明シートを載置して、これらのシートによって対話ができる対話システムに関する。
【背景技術】
【0002】
これまで、偏光という物理現像を応用したテーブルトップシステムの研究が多くなされてきた。
【0003】
このテーブルトップシステムの映像表示方法は一般に大別して以下の3種類に分類できる。
【0004】
(1) プロジェクタによる上方からの投影
(2) プロジェクタによる下方からの投影
(3) プラズマや液晶などの薄型ディスプレイによる表示
である。
【0005】
これらは、それぞれに一長一短が存在するが、プロジェクタによる投影における共通の問題点は、光量が少ないために部屋を暗くしなければ視認性が低下してしまうことである。
【0006】
これに対して、薄型ディスプレイでは明るい部屋でも十分な視認性を得られること及び近年、薄型ディスプレイは安価である。
【0007】
このような、薄型液晶ディスプレイを使用したシステムに特許文献1(特開2004-239674号公報)がある。
【0008】
特許文献1は、表示面を上に向けた液晶ディスプレイの上方向に、直交偏光フィルムをレンズ前方に設けてCCDカメラで液晶ディスプレイの表示面を撮影させて、バックライトで照射された液晶ディスプレイを通過した光を除去した画像を得ることで、保護フィルムの傷、ゴミ等を検出するシステムである。つまり、液晶ディスプレイの表面又は保護フィルムに傷があれば、その傷で乱反射した画像が検出され、ゴミが付着していれば、そのゴミによる乱反射した光による画が検出される。
【0009】
また、特許文献1は、直交用偏光フィルムをCCDカメラのレンズ前方から退避させたり、レンズ前方にセットすることによって液晶ディスプレイにおける表示素子自体の欠陥を検出する。
【0010】
一方、大型液晶ディスプレイの表示面を上に向けて設置することでテーブルトップシステムとして利用する研究も行われている。
【0011】
例えば、表示面を上に向けた大型液晶ディスプレイの表示面に手をかざしたとき、偏光フィルムを介してCCDカメラで表示面を撮影することで手指認識を容易とし、この手認識の結果でコンピュータと対話する研究がある。
【0012】
このような、テーブルトップシステムにおいては、資料を持ち込んで説明したり、あるいは透明シートに資料を入れて打合せに臨んだりしていた。

【特許文献1】特開2004-239674号公報
【発明の開示】
【発明が解決しようとする課題】
【0013】
しかしながら、液晶ディスプレイは明るい部屋でも十分な視認性を有しているのにもかかわらず、液晶ディスプレイの表示面を手等の遮蔽物で遮蔽することになるから液晶ディスプレイの特性を十分に生かしきれない。
【0014】
例えば、遮蔽物で遮蔽した表示面の場所に直ぐに判断しなければならない重要情報が表示されていた場合は、遮蔽物によってこの重要情報を人間は見ることができなくなるという課題があった。
【0015】
また、打合せ時においては、膨大な資料をテーブルに置いて、必要に応じて資料を参照しながら相手と打合せを行ったり、資料をわたして説明する場合がある。
【0016】
このような場合には、資料を人数分だけ会議室に持ち込まなければならないので説明する方に負担が大きいという課題があった。
【0017】
さらに、資料を入れることができる透明シートは、中身が何であるかが分かるし、かつ資料毎に整理できるので便利である。
【0018】
このような透明シートはもっぱら資料を入れるために使用されるのがほとんどであるが、表示面を上に向けた液晶ディスプレイを設けたテーブルで打合せする場合には、中の資料によって液晶ディスプレイの表示面の一部が遮断されてしまうという課題があった。しかし、透明シートは透けて見えるという利点がある。
【0019】
ところが、特許文献1は、表示面を上に向けた液晶ディスプレイの上方向に偏光フィルをレンズ前方に設けたCCDカメラで表示面を撮影させて、表面の傷、ゴミを検出するものであり、透明シートの利点を生かした液晶ディスプレイを用いた対話システムではない。
【0020】
本発明は以上の課題を鑑みてなされたもので、透明シートの利点を生かして表示面を遮断することなく、かつ資料を会議室等に持ち込まなくとも、並びに相互に資料を見ながら対話できる液晶ディスプレイを用いた対話システムを得ることを目的とする。
【0021】
一方、前述の透明シートの利点を生かした液晶ディスプレイを用いた対話システムであっても、資料は様々な種類があり、また担当者毎に資料は整理されていなければならない。
【0022】
従って、透明の利点を生かした液晶ディスプレイを用いた対話システムにあっては、透明でも資料、担当者等の識別ができる透明シートを用いて、担当者別に或いは資料別に対話が可能な液晶ディスプレイを用いた対話システムが望ましい。
【課題を解決するための手段】
【0023】
本発明の透明偏光フィルムを用いた対話システムは、
映像を表示面に表示する表示手段と、
前記表示手段の表示面を撮像可能に設けられ、該表示面を撮影する毎にその映像信号を送出する撮像手段と、
前記撮像手段に近接し前記表示手段との間に設けられ、前記表示面からの映像を遮断する偏光方向を有する偏光フィルタと、
前記表示面に置され、所定の大きさの透明材料で形成され、前記表示面からの映像を前記偏光フィルタから通過させる所定の偏光方向を有する透明偏光フィルムと、
前記撮像手段からの映像信号を入力し、の映像信号をデジタル変換した画像データを得た後に、該画像データに基づいて前記表示面における前記透明偏光フィルムの画像の大きさ、位置並びに傾斜を認識して、前記表示面における表示領域を定め、該表示領域に、予め記憶されている所望の情報を表示させる対話処理装置とを要旨とする。
【0024】
また、本発明の透明偏光フィルムを用いた対話システムは、
映像を表示面に表示する表示手段と、
前記表示手段の前記表示面を撮像可能に設けられ、該表示面を撮影する毎にその映像信号を送出する撮像手段と、
前記撮像手段に近接し前記表示手段との間に設けられ、前記表示面からの映像を遮断する偏光方向を有する偏光フィルタと、
前記表示面に置され、表示面からの映像を前記偏光フィルタから通過させる所定の偏光方向を有する透明偏光フィルムを配列して識別可能とさせる透明識別子偏光フィルム部材が貼り付けられた透明識別子偏光フィルム付き透明シートと、
前記撮像手段からの映像信号を入力し、その映像信号をデジタル変換した画像データを得た後に、該画像データに含まれる全ての前記透明識別子偏光フィルム部材を解読して識別情報を取得し、該識別情報に関連付けられている所定の大きさで、前記透明識別子偏光フィルム部材の位置並びに傾斜に従って、この識別情報に対応する所望の情報を前記表示面に表示させる透明偏光フィルム認識対話処理装置と
を備えたことを要旨とする。
【0025】
また、本発明の透明偏光フィルムを用いた対話方法は、
映像を表示面に表示する表示工程と、
記表示面を撮像可能に設けられ撮影手段によって撮影し、撮影する毎にその映像信号を送出する撮像工程と、
前記表示面からの映像を遮断する偏光方向を有する偏光フィルタで偏光させる第1の偏光工程と、
前記表示面に載置され、所定の大きさの透明材料で形成され、前記表示面からの映像を前記偏光フィルタから通過させる所定の偏光方向を有する透明偏光フィルムで偏光させる第2の偏光工程と、
前記撮像工程からの映像信号を入力し、その映像信号をデジタル変換した画像データを得た後に、該画像データに基づいて前記表示面における前記透明偏光フィルムの画像の大きさ、位置並びに傾斜を認識して前記表示面における表示領域を定め、該表示領域に、予め記憶されている所望の情報を表示させる対話処理工程とを行うことを要旨とする。
【0026】
また、本発明の透明偏光フィルムを用いた対話方法は、
映像を表示面に表示する表示工程と、
記表示面を撮影し、撮影する毎にその映像信号を送出する撮像工程と、
前記表示面からの映像を遮断する偏光方向を有する偏光フィルタで偏光させる第1の偏光工程と、
前記表示面に載置され、前記表示面からの映像を前記偏光フィルタから通過させる所定の偏光方向を有する透明偏光フィルムを配列して識別可能とさせる透明識別子偏光フィルム部材が貼り付けられた透明識別子偏光フィルム付き透明シートで偏光させる第2の偏光工程と、
前記撮像工程からの映像信号入力し、の映像信号をデジタル変換した画像データを得た後に、該画像データに含まれる全ての前記透明識別子偏光フィルム部材を解読して識別情報を取得し、該識別情報に関連付けられている所定の大きさで、前記透明識別子偏光フィルム部材の位置並びに傾斜に従って、この識別情報に対応する所望の情報を前記表示面に表示させる透明偏光フィルム認識対話処理工程と
を行うことを要旨とする。
【0027】
さらに、対話システムの対話処理装置のプログラムは、
【0028】
映像を表示面に表示する表示手段と、前記表示手段の表示面を撮像可能に設けられ、該表示面を撮影する毎にその映像信号を送出する撮像手段と、前記撮像手段に近接して前記表示手段との間に設けられ、前記表示面からの映像を遮断する偏光方向を有する偏光フィルタと、前記表示面に載置され、前記表示面からの映像を前記偏光フィルタから通過させる所定の偏光方向を有し、かつ透明材料で所定の大きさに形成された透明偏光フィルムと、対話処理装置とを備えた対話システムの対話処理装置のプログラムであって、
【0029】
コンピュータに、
前記表示手段の前記表示面の特性、姿勢及び前記撮像手段の特性、高さ、姿勢を含むキャリブレーション情報を第5の記憶手段に記憶する手段、
所望の情報を第6の記憶手段に記憶する手段、
前記映像信号に基づいて前記透明偏光フィルムの画像の輪郭抽出を行って前記透明偏光フィルムの画像の大きさ、位置並びに傾斜を求め、これらを透明偏光フィルム認識情報として出力する手段、
前記第5の記憶手段のキャリブレーション情報、前記透明偏光フィルム認識情報に基づいて前記表示面における透明偏光フィルムの画像の表示領域を定義する手段、
前記所望の情報を第6の記憶手段から読み出して前記表示手段に出力して前記表示領域に表示させる手段
としての機能を実行させることを要旨とする。
【0030】
さらに、本発明の対話システムの透明偏光フィルム認識対話処理装置のプログラムは、
【0031】
映像を表示面に表示する表示手段と、前記表示手段の表示面を撮像可能に設けられ、該表示面を撮影する毎にその映像信号を送出する撮像手段と、前記撮像手段に近接して前記表示手段との間に設けられ、前記表示面からの映像を遮断する偏光方向を有する偏光フィルタと、前記表示面に載置され、前記表示面からの映像を前記偏光フィルタから通過させる所定の偏光方向を有する透明偏光フィルムを配列して識別可能とさせる透明識別子偏光フィルム部材が貼り付けられた透明識別子偏光フィルム付き透明シートと、透明偏光フィルム認識対話処理装置とを備えた対話システムの透明偏光フィルタ認識対話処理装置のプログラムであって、
【0032】
コンピュータに、
前記表示手段の前記表示面の特性、姿勢及び前記撮像手段の特性、高さ、姿勢を含むキャリブレーション情報を第7の記憶手段に記憶する手段、
識別情報毎に、該識別情報に対応する前記透明識別子偏光フィルム付き透明シートの大きさ、表示させる所望の情報を第8の記憶手段に記憶する手段、
前記撮像手段からの映像信号を入力し、この映像信号をデジタル変換した画像データを得た後に、該画像データに含まれる全ての前記透明識別子偏光フィルム部材の画像の輪郭抽出を行って、この透明識別子偏光フィルム部材の画像の位置、傾斜を求める手段、
前記画像データに含まれる全ての前記透明識別子偏光フィルム部材の画像毎に、前記透明偏光フィルムの配列を解読して前記識別情報を得る手段、
前記識別情報が得られる毎に、この識別情報に対応する前記透明識別子偏光フィルム付き透明シートの大きさを、前記第8の記憶手段から読み込み、これを前記第7の記憶手段のキャリブレーション情報に基づいて前記表示面における前記透明識別子偏光フィルム付き透明シートの表示領域を求める手段、
前記識別情報が求められる毎に、この識別情報に対応する所望の情報を前記第8の記憶手段から読み込んで、前記求められた位置並びに傾斜に従って前記表示面の前記表示領域に表示させる手段
としての機能を実行させることを要旨とする。
【発明の効果】
【0033】
以上のように本発明によれば、撮像手段に近接し前記表示手段との間に設けられた偏光フィルタによって表示手段からの映像が遮断されて、表示手段に置かれた透明偏光フィルムの画像を抽出でき、この透明偏光フィルムの表示手段の表示面上の領域に所望の情報を所定の大きさでかつ透明偏光フィルムの傾きに従って表示できるので、表示手段によって表示された映像をみながら透明偏光フィルムの下に表示された所望の情報を見て、この情報を用いて対話が可能となる。
【0034】
また、本発明によれば、透明識別子偏光フィルムを設けた透明シートを表示手段に置いたときに、この透明識別偏光フィルムを解読して、識別情報を抽出し、この識別情報に応じた所望の情報を透明シートの下の領域に、その傾きで、かつ位置並びにサイズで表示する。
【0035】
このため、表示手段の表示面を上にしてテーブルに埋め込み、このテーブルの周りを複数の人数で囲んで対話するときに、それぞれの透明シートの応じた所望の情報を表示させることができる。
【0036】
さらに、所定の偏光方向又は異なる偏光方向を有する偏光フィルムを配列しているので、偏光フィルタをレンズ前方に設けたカメラによって、これらの偏光フィルムの画像を検出できるので、識別子として使用可能であると共に、透明であるので、下の映像を見ることができる。
【0037】
さらに、テーブルを囲んだ人にはその透明シートの下の映像を見せることができると共に、この透明シートの識別情報に応じた所望の情報をコンピュータがデータベースから抽出させることができる。
【発明を実施するための最良の形態】
【0038】
初めに、偏光という物理現象を応用したテーブルトップシステムの構築とその手法の概略を初めに説明する。
【0039】
偏光を応用したディスプレイ映像の遮断を行うと、カメラによるテーブル表面上の実物体認識の精度を格段に向上させることができる。この手法はプロジェクタに偏光フィルムを貼付けることでリアプロジェクション方式においても応用可能である。
【0040】
しかし、偏光フィルムの透過光は理論的に50%以下になってしまう。そのため通常時でも視認性の良くないプロジェクタで利用するよりも、液晶ディスプレイを利用した方が好ましい。
【0041】
本実施の形態では、CCDカメラのレンズ前方に液晶ディスプレイからの映像(光)を遮断する偏光フィルタを設けて、液晶ディスプレイの映像を遮断するようにする。これにより、CCDカメラで得られた映像は、液晶ディスプレイの表示面が黒く見える映像となる。
【0042】
しかし、ある特性を持った偏光フィルムを液晶ディスプレイ上に重ねると、偏光フィルムを置いた領域だけからの映像が液晶ディスプレイに映っているように見える。本実施の形態ではこの現象を利用する。
【0043】
また、テーブル上に実物体を配置すると、表示されている映像を遮蔽してしまうため、偏光フィルムは透明であることが望ましい。
【0044】
例えば、ARTagを貼付けた透明なアクリルタイルを利用して、タッチパネル、実際の紙との比較による評価実験を行い、協調作業における有用性を示した。
【0045】
しかし、一番高い評価を得たのは実際の紙を用いたときであった。そこで、より実世界に近いアフォーダンスを得るため、薄いフィルムを使うことが好ましいとした。
【0046】
また、対話方式とするには大型液晶ディスプレイの表示面を上に向けて設置したテーブルトップシステムとして利用するのが好ましい。
【0047】
そこで、本システムは、大型液晶ディスプレイの表示面を上に向けて大型液晶ディスプレイをテーブルに埋め込み、テーブル上方に取り付けたカメラによる画像認識により対話を実現する。
【0048】
大型液晶ディスプレイの原理上映像は偏光しており、その偏光方向に対して直交させた偏光フィルタ(以下直交偏光フィルタという)をCCDカメラに取り付けることで映像のみを遮断できる。
【0049】
また、透明な偏光フィルムシート(以下透明偏光フィルムという)を用いる。この透明偏光フィルムの利点は2つある。
【0050】
透明であるので大型液晶ディスプレイ上に配置しても大型液晶ディスプレイの映像を遮蔽しない点、透明偏光フィルムはシート状であるから、容易に動かして扱える点である。
【0051】
つまり、透明偏光フィルムは、大型液晶ディスプレイ上に重ねると、ユーザには透明に見えるがシステムのCCDカメラのレンズ前方に直交偏光フィルムを設けて、大型液晶ディスプレイの表示面をCCDカメラで撮影すると、この透明偏光フィルムの画像のみを得ることができる。
【0052】
本実施の形態では、これを利用し、テーブルに表示面を上に向けて大型液晶ディスプレイを配置しても、透明偏光フィルムによって、この透明偏光フィルムの領域に表示されている映像を遮断しないで人間に見えるようにすると共に、CCDカメラがレンズ前方に設けた偏光フィルタによって透明偏光フィルムの画像のみを得る。そして、大型液晶ディスプレイ上の透明偏光フィルムの領域に、所望の情報を表示させてこれを人間に見せて対話ができる透明偏光フィルムを用いた対話システムを実現する。
【0053】
以下に本実施の形態の構成を示して説明する。
【0054】
<実施の形態1>
図1は本実施の形態1の透明偏光フィルムを用いた対話システムの概略構成図である。
【0055】
図1に示すように、大型液晶ディスプレイ1の表示面(単にLCD1ともいう)を上に向けて埋め込んだテーブル2を使用している。この大型液晶ディスプレイ1の上方には、テーブル表面全体を撮影できるようにCCDカメラ5が設けられている。このCCDカメラ5は、取付治具(図示せず)によって天井又はポールで取り付けられている。また、CCDカメラ5のレンズ前方には直交偏光フィルタ4が設けられている。この直交偏光フィルタ4とCCDカメラ5とを総称して単にカメラ部6と称する。
【0056】
また、透明偏光フィルム3を大型液晶ディスプレイ1の上に置いている。この透明偏光フィルム3(透明偏光フィルム部材ともいう)は、透明であり、A4サイズ(例えば、長方形の硬質塩化ビニール)であることが望ましい。
【0057】
つまり、実際に手で動かせる透明偏光フィルム3は、シート状であるので、これを操作したい領域に重ねることで、その部分にのみ情報を表示させることができる。この透明偏光フィルムによって、大型液晶ディスプレイ1からの映像を遮断しないという利点を活かすと共に、透明偏光フィルム3を移動させるだけで、その移動した透明偏光フィルム3の下の領域に希望の情報を表示させることができる。
【0058】
さらに、前述のカメラ部6のケーブル7aは第1の対話処理装置7に接続されている。第1の対話処理装置7は、第1の画像認識用コンピュータ8と第1の描画用コンピュータ9とを備え、第1の画像認識用コンピュータ8はケーブル7aでカメラ部6に接続され、第1の描画コンピュータ9はケーブル9aで大型液晶ディスプレイ1に接続されている。
【0059】
なお、第1の画像認識用コンピュータ8と第1の描画用コンピュータ9とを一体化してもよいが、本実施の形態では分離した一例を示している。
【0060】
このような構成によって、第1の対話処理装置7からの例えば地図が大型液晶ディスプレイ1に表示されている場合に、透明偏光フィルム3の領域に表示されている地図が人間に見えると共に、CCDカメラ5がレンズ前方に設けた直交偏光フィルタ4によって透明偏光フィルム3の画像のみを得る。そして、大型液晶ディスプレイ1上の透明偏光フィルム3の領域に、所望の情報(例えば災害情報)を表示させることを実現する。
【0061】
図2は本実施の形態1の直交偏光フィルタ4と大型液晶ディスプレイ1と透明偏光フィルム3とによる映像の遮断及び透過を説明する説明図である。
【0062】
本実施の形態1は、大型液晶ディスプレイ1の上に透明偏光フィルム3を置き、大型液晶ディスプレイ1の上方向に、レンズ前方に直交偏光フィルタ4を備えたCCDカメラ5を配置しているので、大型液晶ディスプレイ1からの映像(光)はこの直交偏光フィルタ4によって遮断される。
【0063】
しかし、透明偏光フィルム3の偏光方向を大型液晶ディスプレイ1とも直交偏光フィルタ4とも一致しない方向となるように載置すると、光は直交偏光フィルタ4を通過してCCDカメラ5のレンズを介して入射する。
【0064】
このため、CCDカメラ5は透明偏光フィルム3の画像のみを得ることになり、かつ図3に示すように、大型液晶ディスプレイ1の上に透明偏光フィルム3が置かれても、透明偏光フィルム3は透明(波長360~830nm)であるから人間は、この透明偏光フィルム3の下の画像を見ることができる。
【0065】
図4は偏光を応用した映像の遮断を説明する説明図である。
【0066】
一般的なカメラによる画像認識を対話手法とするテーブルトップシステムには、テーブルに表示された映像が原因となり、背景差分による手指の切り出しが困難であるという問題がある。
【0067】
光は電磁波の一種であり、その振動方向が波の進行方向に対して垂直な横波である。自然光が360°全ての方向に振動しているのに対し、特定の方向にのみ振動しているとき、この光を偏光と言う。
【0068】
偏光フィルムは目の細かいスダレのようなもので、特定の振動方向の光だけを透過させ、他の光を遮断する性質があるためフィルムを透過した光は偏光となる。このため2枚の偏光フィルム(偏光板)を直交させて重ねると、光はすべて遮られてしまう。
【0069】
しかし、光の振動方向を変化させる物質を直交させた偏光フィルム(偏光板)の間に挟むと光が透過するようになる。液晶ディスプレイはこの原理を用いているため、表示される映像は偏光している。
【0070】
本システムでは、液晶ディスプレイからの映像の偏光方向に直交させた偏光フィルタ(直交偏光フィルタ)をカメラに取り付けることで、液晶ディスプレイの映像のみを遮断することができる。
【0071】
図5の(a)は、液晶ディスプレイ1の前方に直交偏光フィルタ4を設けていない場合を示しており、液晶ディスプレイの映像及び透明偏光フィルム3からの映像が、CCDカメラに受光されていることが分かる。すなわち、液晶ディスプレイ1、及び透明偏光フィルム3の両方からの映像がCCDカメラに受光される為、物体(透明偏フィルム3)の認識が困難ともいえる。
【0072】
他方、図5(b)は、本実施の形態である直交偏光フィルタ4をCCDカメラ前方に設けている場合を示しており、液晶ディスプレイの映像のみ遮断される。すなわち透明偏光フィルム3からの映像のみ透過する為、透明偏光フィルム3自体を容易に認識できる。このとき、「手」を液晶ディスプレイ上に置いた場合においても、「手」はそのまま撮影される為、背景画像による影響を受けずにテーブル上方の「手」も認識(物体認識)することができる。
【0073】
図6は第1の画像認識用コンピュータの概略構成図である。図7は第1の描画用コンピュータの概略構成図である。これらの概略構成図は、ソフトウエアの処理とハードウエア部(CPU、メモリ等)とを纏めて示したものである。
【0074】
第1の画像認識用コンピュータ8は、図6に示すように、キャプチャーボード11と、バッファメモリ12と、透明偏光フィルム認識部13と、LCD上領域決定部14と、第1の関連情報付加部17と、描画情報送出部19等を備えている。
【0075】
キャプチャーボード11は、カメラ部6からの1フレーム毎の映像情報をデジタル変換して内部に取り込んでバッファメモリ12に記憶する。
【0076】
透明偏光フィルム認識部13は、バッファメモリ12に記憶された1フレーム毎の画像データを読み込み、2値化処理によって透明偏光フィルム3の輪郭抽出を行い、近似した図形の辺の数が「4」であるときに四角形として認識する。この認識した四角形の重心と4頂点の座標をメモリのキャリブレーション情報を用いて求める。このとき、予め記憶している矩形サイズよりも小さい場合は除外する。この4頂点の座標と四角形の座標とを偏光フィルム認識情報HとしてLCD上領域決定部14に出力する。
【0077】
LCD上領域決定部14は、偏光フィルム認識情報Hを読み込み、メモリ18のキャリブレーション情報を用いてLCD上における透明偏光フィルム3の領域を決定し、これをメモリ16に記憶する。本システムでは、パースペクティブ変換を用いて座標変換を行う。
【0078】
このキャリブレーション情報は、表示面を上に向けた液晶ディスプレイ上で透明偏光フィルムを配置した領域に、所望の画像を正確に描画するためには、カメラとディスプレイの間の座標を合わせる必要がある。
【0079】
このため、キャリブレーション情報として、カメラのレンズ特性、カメラ高さ、CCD情報、液晶ディスプレイの表示面のサイズ、カメラの姿勢角、LCDの表示面の姿勢角等を対応させてメモリに記憶している。
【0080】
第1の関連情報付加部17は、LCD上領域決定部14が透明偏光フィルム3の領域を決定した後に、データベース15に記憶している関連情報の格納アドレスMを読み込み、この格納アドレスMを透明偏光フィルム3の領域情報に付加して描画情報送出部19に送出する。
【0081】
描画情報送出部19は、透明偏光フィルム3の領域情報と関連情報の格納アドレスMとを一組にして第1の描画用コンピュータ9に送出する。
【0082】
次に、図7の第1の描画用コンピュータの概略構成図について説明する。描画用コンピュータ9は、偏光フィルム用情報出力部24と、LCD表示情報抽出部21と、地図情報用のデータベース22と、写真情報用のデータベース23と、描画情報抽出部25と、情報書込部26と、偏光フィルム情報出力部24等を備えている。
【0083】
LCD表示情報抽出部21は、操作者が選択した地図又は写真を地図情報用のデータベース22又は写真情報用のデータベース23から読み込み、これを大型液晶ディスプレイ1に出力して表示させる。
【0084】
描画情報抽出部25は、第1の画像認識用コンピュータ8からの格納アドレス情報Mを読み込み、この格納アドレス情報Miの実情報(例えば災害関連)を読み込み、これを情報書込部26に出力する。
【0085】
情報書込部26は、第1の画像認識用コンピュータ8からのLCD上の領域情報DH(位置、方向、大きさ)を入力し、これをメモリ27のレイヤー(LCDの表示面と同じ座標系を有する)に定義して、描画情報抽出部25からの実情報をこのレイヤの領域に書き込む。
【0086】
偏光フィルム用情報出力部24は、メモリ27のレイヤー情報を読み込み、これをLCDに出力することで、透明偏光フィルム3の下に実情報を表示する。
【0087】
上記のように構成されたシステムについて以下に動作を説明する。図8は本実施の形態1の画像認識用コンピュータ8の動作を説明するフローチャートである。
【0088】
第1の画像認識用コンピュータ8の透明偏光フィルム認識部13は、バッファメモリ12に画像データが記憶されたかどうかを監視する(S1)。
【0089】
ステップS1において、画像データが記憶されたと判定したときは、透明偏光フィルム3の画像(単に透明偏光フィルムともいう)の認識処理を行う(S2)。
【0090】
この透明偏光フィルム3の認識処理は、バッファメモリ12から画像データを取得し、取得した画像に2値化処理を施して輪郭線抽出を行う。次に輪郭線の直線近似を行い、近似した図形の辺の数が「4」であるとき四角形として認識する。 最後に最小矩形サイズよりも小さい場合は除外する。そうして求めた矩形の重心と4頂点の座標を求める。この矩形の重心の座標と4頂点の座標とを偏光フィルム認識情報Hとして、LCD上領域決定部14に出力する。
【0091】
次に、LCD上領域決定部14は、偏光フィルム認識情報Hを読み込み、キャリブレーション情報に基づいて、カメラの焦点中心から表示面に投影(透明偏光フィルム用のレイヤに投影)する(S3)。そして、投影位置と領域の大きさ並びに方向等を求める(S4)。例えば、パースペクトラム変換を用いて座標変換を行う。
【0092】
例えば、図9に示すように、液晶ディスプレイの表示面の大きさを定義するLCD座標系において、偏光フィルム認識情報HをLCD座標系のレイヤーに投影する。そして、Y軸に対しての傾きθp、X軸に対しての傾きθqとを(総称して傾きθi)求めると共に、投影された領域の大きさ(4点座標で定義)及び中心位置を求め、これを透明偏光フィルム3のLCD上領域情報DHとしてメモリ16に記憶する。
【0093】
そして、第1の関連情報付加部17がデータベース15から透明フィルムに関連する関連情報の格納アドレスMを読み込み(S5)、関連情報の格納アドレスMをLCD上領域情報DHに付加したLCD上領域・関連情報Kを描画情報送出部19によって第1の描画用コンピュータ9に送出する(S6)。
【0094】
次に、終了かどうかを判断し、終了でないときは処理をステップS1に戻す(S7)。
【0095】
一方、第1の描画用コンピュータ9はこのLCD上領域・関連情報Kを入力し、図10に示すフローチャートの処理を行う。
【0096】
第1の描画用コンピュータ9の情報書込部26は、LCD上領域・関連情報Kの入力かどうかを監視する(S10)。
【0097】
ステップS10において、LCD上領域・関連情報Kの入力と判定したときは、LCD領域(透明偏光フィルムに対応する領域)の実情報が描画情報抽出部25から入力したかどうかを監視する(S11)。
【0098】
ステップS11において、実情報が入力したと判定したときは、レイヤーにLCD上の領域を生成し、この領域に実情報を書き込み、このレイヤーをLCDに出力する(S12、S13)。次に、終了かどうかを判断し、終了でないときは処理をステップS10に戻す。
【0099】
すなわち、本実施の形態は、図11の(a)に示すように、LCDに地図を表示させている場合に,透明偏光フィルム3をLCD上に置くと、この透明偏光フィルム3は透明であるから、人間は透明偏光フィルム3の下の地図を見ることができる。
【0100】
しかし、本実施の形態は、CCDカメラはレンズ前方に、直交偏光フィルタ4(LCDの偏光に対して直交)を設けているので、LCDからの光は遮断される。その結果、図11(b)に示すように、透明偏光フィルム3の画像のみがCCDカメラ5が受光することになる。
【0101】
そして、本実施の形態では、この透明偏光フィルム3の位置と傾きとをリアルタイムに検出して、その領域をLCD上に決定し、この決定した領域に図11の(c)に示すように所望の実情報を表示する。
【0102】
例えば、図1に示すように全体の地図(航空写真でもよい)を液晶ディスプレイに表示しているときに、透明偏光フィルム3の部分の領域を過去の災害情報に置き換えてもよい。
【0103】
また、過去の気温や降雨量、人口密度など様々な情報の付加が考えられる。さらに、複数の情報を重ねて表示させることで、その関連性を見出すことに有効である。例えば人口密度と1世帯当りの平均年収を重ねて表示させることで、これら2つの要素の関係を見ることができる。また文字のように明確な向きが存在する情報だけではないため、複数人でテーブルを囲んで協調作業を行う場合でも視認性があまり低下しない。
【0104】
<実施の形態2>
実施の形態2は透明偏光フィルム3を認識すると共に、手の動きを認識して、この手の動きに応じた実情報を透明偏光フィルム3の下の領域に表示する。本実施の形態では認識用コンピュータのみを説明する。
【0105】
レンズ前方に偏光フィルタを設けたCCDカメラを用い、ジェスチャなどの身体性に基づく人間の自然な動作を操作に利用する。すなわち、レンズ前方に直交偏光フィルタ4を設けたCCDカメラ5を用いることで、大型液晶ディスプレイ1の映像を遮断する。これにより、手指の変化による認識の困難さを改善することができるので、精度の高い手指認識が可能になる。
【0106】
図12は実施の形態2の画像認識用コンピュータの概略構成図である。図12において実施の形態1と同様な番号を付しているものについては説明を省略する。
【0107】
図12に示すように、本実施の形態2は手認識部30と、手動き解読部31、第2の関連情報付加部34等を備えている。
【0108】
手認識部30は、バッファメモリ12に画像データが記憶される毎に、予め記憶している基準の手の画像と比較して手画像を認識し、この手画像を手動き解読部31に出力する。手動き解読部31は、手画像が入力する毎にメモリ32に記憶している前回の手画像と比較して動いたかどうかを判定する。
【0109】
手が動いた場合は、右から左に動いたか、あるいは左から右に動いたかどうかを判定し、その判定結果に対応したページ制御情報をメモリ33から抽出する。
【0110】
メモリ33は、例えば、右から左の場合は、ページ制御情報を「次ページ」としている。また、左から右の場合は、ページ制御情報を「戻り」としている。
【0111】
第2の関連情報付加部34は、手動き解読部31からページ制御情報を入力したとき、かつLCD上領域決定部14でLCD上の透明偏光フィルムの領域が求められる毎に、データベース15の関連情報の格納アドレスMの次の格納アドレスを読み込み、これと透明偏光フィルムの領域(4点の座標と中心座標)とを描画情報送出部19によって描画用コンピュータに送出する。従って、描画用コンピュータは、手の動きに応じた次の格納アドレスに対応する実情報を透明偏光フィルム3の下の領域に表示する。
【0112】
すなわち、図13の(a)に示すように、例えば地図をLCDに表示させて、透明偏光フィルムをLCDに置くと、透明偏光フィルム3は透明であるから、下の地図も人間は見ることができる。
【0113】
しかし、本実施の形態では、CCDカメラ5のレンズ前方に直交偏光フィルタ4を設けているので、LCDからの光は遮断される。結果として透明偏光フィルム3の画像のみがCCDカメラ5に受光されることになる。図13の(b)においては、手を透明偏光フィルム3の上においている場合として示している。
【0114】
このとき、例えば手を左側に動かしたとすると、手認識部30、手動き解読部31によって手が左に動いたと判定される。このページ制御情報が第2の関連情報付加部34に送出される。従って、図13の(c)に示すように、透明偏光フィルム3の領域には、次のページの実情報が表示される。
【0115】
<実施の形態3>
透明偏光フィルムは、大型液晶ディスプレイの表示を遮蔽しないという利点があるので、この透明偏光フィルムの領域部分のみの情報に異なる情報を表示して見せることができることが分かった。
【0116】
しかし、現段階においても改善しなければならない点が多々存在する。現段階では、1種類の情報のみを重ねることしかできない。数種類の情報を重ねて表示させたいとき、それぞれの透明偏光フィルム3がユニークなIDを持つことが必要になる。
【0117】
そこで、透明偏光フィルムに識別情報を持たせる例として、例えば透明偏光フィルムの形状を異ならせて識別するようにしてもよい。
【0118】
或いは、単なる透明シート上に、透明偏光フィルムを一方向に所定間隔で配列させて貼付し、CCDカメラ5で検出させて、いわゆるバーコードとして識別情報(以下透明識別子偏光フィルムという)を持たせるようにしてもよい。
【0119】
但し、これらの偏光方向は、少なくとも大型液晶ディスプレイの映像の偏光方向と直交偏光フィルタの偏光方向と一致してはならない(例えば、液晶ディスプレイの映像の偏光方向に対して、1度~89度の範囲で45度が最も望ましい)。
【0120】
例えば、透明識別子偏光フィルムを、液晶ディスプレイからの入射光に対し+45度傾けて単なる透明シートに貼り付ける。
【0121】
なお、透明識別子偏光フィルムを、複数の偏光フィルムをそれぞれ異なる偏光方向となるように重ね合わせるようにしてもよい。
【0122】
本実施の形態では、偏光特性を有する偏光フィルムと、単なる透明ビニールフィルムとを所定数組み合わせて透明識別子偏光フィルム形成し、透明シートに貼り付けた例として説明する。
【0123】
このような透明偏光識別子偏光フィルム及び透明シートは、透明であるので様々な用途がある。例えば、絵画、写真、或いは自動車、部品、食材に使用してもよい。つまり、バーコードのように、絵画、写真、或いは自動車、部品、食材に使用しても、人間はそのものが見えることになるが、CCDカメラ(偏光フィルタ付き)は、この透明識別子偏光フィルムを検出でることになる。
【0124】
図14は実施の形態3の透明偏光フィルムを用いた対話システムの概略構成図である。
図14に示すように、透明識別子偏光フィルム40(40a、40b)をA4程度の透明シート4(4a、4b)貼り付ける(透明識別子偏光フィルム付き透明シート43又は単に透明シート43ともいう)。透明識別子偏光フィルム40は、例えば1cm×5cm程度とする。
【0125】
この透明識別子偏光フィルム40を、レンズ前方に直交偏光フィルタ4を設けたCCDカメラ5で検出し、第2の対話処理装置41が透明識別子の情報及び位置、傾斜角度を解読して、LCD上に透明識別子に対応した実情報を解読した位置及び傾斜角度で所定のサイズで表示する。
【0126】
図14はテーブルの前に2人で座って、本実施の形態の透明シート43を用いて対話している例である。本実施の形態3では、左側に座っている人の前にある透明シートを透明シート43a、右側に座っている人の前にある透明シートを透明シート43bと称する。
【0127】
図14に示すように、カメラ部6は、第2の対話処理装置41(透明偏光フィルム認識対話処理装置ともいう)の第2の画像認識用コンピュータ42とはケーブル42aで接続されている。また、第2の対話処理装置41の第2の描画用コンピュータ44はケーブル44aでLCDに接続されている。
【0128】
図15は、本実施の形態3に用いる透明識別子偏光フィルム付き透明シートを説明する説明図である。
【0129】
透明識別子偏光フィルム付き透明シート43の大きさは問わないが、本実施の形態では図15の(a)に示すようにA4サイズとする。また、透明識別子偏光フィルム40は、図15の(a)に示すように透明シート43の例えば左端部に貼り付けられている。
【0130】
前述の透明識別子偏光フィルム40は、図15の(b)に示すように一次元バーコード又は二次元バーコードを形成しているとする。これらの太バー、細バー、中太バーは、偏光フィルムであり、それぞれが所定の間隔で一直線状に配列されている。スペースは、透明シートの部材である。
【0131】
さらに、透明識別子偏光フィルム付き透明シート43は、図15の(c)に示すように、A4サイズのビニールの透明シート4の上面に透明識別子偏光フィルム40を貼り付け、裏面はすべり易いように滑剤40bが塗布されているのが好ましい。これは、表示面を上に向けた液晶ディスプレイに透明識別子偏光フィルム付き透明シート43をおいて、相手側に移動させるとき、スムーズに相手の前に移動できるようにするためである。
【0132】
また、図15の(d)に示すように透明識別子偏光フィルム40をビニールシート40aに埋め込んでもよい。
【0133】
また、透明識別子偏光フィルム40以外の透明シートの領域を本実施の形態では単にシート部という。
【0134】
図16は本実施の形態3の透明識別子偏光フィルムを付き透明シートによる偏光を説明する説明図である。
【0135】
CCDカメラ5のレンズ前方に設けた直交偏光フィルタ4は、LCDからの光は遮断し、透明識別子偏光フィルム40のバーを形成する偏光フィルムからの光は通過させ、スペース部(透明シートで形成されていることになる)からの光を遮断する。
【0136】
このため、図16に示すように、大型液晶ディスプレイ(LCDの表示面)の映像、シート部からの光は遮断されるが、透明識別子偏光フィルム40のバーを形成する偏光フィルムからの光は直交偏光フィルタ4を通過してCCDカメラ5に受光される。バーは、白、スペースは黒で検出される。
【0137】
本実施の形態では、この透明識別子偏光フィルム40のバーのみを検出し、バー、スペース同士を繋げた輪郭を求め(これを単に透明識別子偏光フルム40の画像と称する)、この輪郭の重心位置と傾斜を判断して、位置、傾斜に対応したA4サイズの情報をLCD上に表示させる。
【0138】
このため、第2の画像認識用コンピュー42は、図17に示す構成を有するのが好ましい。
【0139】
図17は実施の形態3の透明偏光フィルムを用いた対話システムの概略構成図である。
図17において、図6と同様な符号を記しているものについては説明を省略する。
【0140】
本実施の形態3は、図17に示すように、識別子認識部50と、透明識別子偏光フィルム数判定部51と、識別子情報登録部52と、シートLCD上領域決定部54と、透明識別子偏光フィルムの識別子情報が記憶されるメモリ53と、識別子毎の表示サイズを記憶したメモリ55と、識別子毎の実報の格納アドレス等を記憶したメモリ56(56a、56b、・・・)第3の関連情報付加部57等を有している。
【0141】
識別子認識部50は、1フレーム毎の画像データがバッファメモリ12に記憶されたかどうかを監視し、画像データが記憶されたとき、この1フレームの画像データから透明識別子偏光フィルム40の画像のバーを構成する偏光フィルムの画像を認識する。この認識は、透明識別子偏光フィルム40の画像がバーコードの場合は、強調処理を行って、このバーコードを解読した数字列(識別子コードhiという)を出力する。
【0142】
そして、強調された透明識別子偏光フィルム40の輪郭を求め、この輪郭の4頂点の座標と重心の座標とをキャリブレーション情報に基づいて求める。つまり、透明識別子(バーコード)のLCD上における傾きと位置を算出している。これを本実施の形態3では識別子認識情報Qiという。
【0143】
透明識別子偏光フィルム数判定部51は、識別子認識部50が透明識別子フィルムを認識する毎に個数をカウントし、この個数に応じた識別子番号Ri(R1、R2・・・)を識別子情報登録部52に出力する。
【0144】
識別子情報登録部52は、透明識別子偏光フィルム数判定部51からの識別子番号Riと識別子認識部50からの識別子認識情報Qiと識別子コードhiとを入力し、これらを対応させてメモリ53に記憶する。これを本実施の形態3ではシート領域情報Piと称する。つまり、メモリ53には1フレームにおける全ての透明識別子フィルムのシート領域情報Piが記憶されることになる。
【0145】
シートLCD上領域決定部54は、メモリ53のシート領域情報Piを読み込み、このシート領域情報Piの識別子コードhiに対応するサイズ(例えば、A4サイズ、A3さサイズ)を読み込むと共に、メモリ53の識別子認識情報Qiの位置、傾斜とを読み込み、キャリブレーション情報のLCD座標系に定義する。そして、これをメモリ16に記憶する。つまり、メモリ16には、LCDにおける透明識別子偏光フィルム(バーコード)の位置を基準とし、この位置に透明識別子偏光フィルム(バーコード)の傾斜で、透明識別子偏光フィルム(バーコード)の識別子コードに対応したサイズの領域が定義されてい
ることになる。
【0146】
第3の関連情報付加部57は、データベース56から識別子コードhiに対応する情報(氏名、年月日、実情報の格納アドレス)を読み込み、これに識別子コードに対応したサイズの領域(4点の座標)を付加して描画情報送出部19に送出する。
【0147】
すなわち、実施の形態3は、図18の(a)に示すように、透明識別子偏光フィルム(バーコード)の輪郭抽出を行い、透明識別子偏光フィルムのLCD上における傾斜θi(θp、θq)と位置を求める。そして、この傾斜θiで識別子コードhiに対応するサイズの領域Ji(J1、J2、・・・)をレイヤーに生成する(図18の(b))。
【0148】
図18の(b)は識別コードhiのサイズが全てA4の場合を示している。そして、これらの領域Ji(J1、J2、・・・)に識別コードhiの実情報を書き込む(図18の(c))図18の(c)は、J1が人口推移のグラフ、J2が年齢別の棒グラフ、J3が災害の予算の推移の点グラフとして示している。
【0149】
従って、透明識別偏光フィルム毎に、異なる情報を透明シートの操作者の透明シートの位置及び傾斜で、操作者のサイズで表示させることができる。また、透明シートは透明であるから各担当者は、この透明シートの下の情報を見ることが可能であり、かつメイン画像情報も確認できるのでシートによって対話が可能ある。
【0150】
さらに、本実施の形態は、各シートの識別子が異なるので、例えば図19の(a)に示すように、透明シートをLCD上に2枚おいた場合は、図19(b)に示すように、直交偏光フィルタ4を介してCCDカメラ5には2枚の偏光フィルムの画像のみが得られる。
【0151】
この識別子は第2の画像認識コンピュータによって全て検出され、この識別子に対応した情報がLCDに表示される(図19の(c)参照)。
【0152】
また、図19(d)に示すように、透明シートを重ねた場合は、二つの識別子に対応した情報を合わせて表示が可能である。例えば、上は識別子、下は別の識別子のものを表示させる(図19の(e)参照)。
【0153】
従って、操作者が有する透明シートでもって、LCD上で対話が可能となっている。
【0154】
なお、実施の形態3は、実施の形態2の手認識部30と、手動き解読部31とを備えて、手の動きでページ制御を行ってもよい。
【0155】
さらに、上記実施の各形態では、大型液晶ディスプレイを用いて説明したが大型でなくともよい。
【0156】
また、表示面を上に向けてテーブルに埋め込んだテーブルトップダウンシステムとして説明したが、液晶ディスプレイを壁にかけて、本実施の形態の透明偏光フィルム又は透明シートを液晶ディスプレイに貼り付けて使用してもよい。
【0157】
さらに、上記各実施の形態では、CCDカメラのレンズ前方に設けた直交偏光フィルタを固定としたが、この直交偏光フィルタは、透明偏光フィルム又は透明シートの透明識別子偏光フィルムの偏光特性に応じた偏光フィルタに変更できる制御機構を備えてもよい。
<実施の形態4>
上記の実施の形態は上記の図2及び図4並びに図16に示すように、大型液晶ディスプレイ1の上に透明偏光フィルム3又は透明識別子偏光フィルム付き透明シート430を置き、大型液晶ディスプレイ1の上方向に、レンズ前方に直交偏光フィルタ4を備えたCCDカメラ5を配置することによって、大型液晶ディスプレイ1からの映像(光)をこの直交偏光フィルタ4によって遮断させ、透明偏光フィルム3又は透明シート4(以下総称して単に光学フィルムという)を介することによって光を通過させて、CCDカメラ5のレンズを介して大型液晶ディスプレイ1からの映像(LCD映像ともいう)を入射するようにしている。
このため、光学フィルムを回転させると以下に説明する現象が発生することがある。図20は光学フィルムをLCD上で回転させた時のユーザが見る映像(図20(a))とカメラが見る映像(図20(b)) である。
上記のような光学フィルムと直交偏光フィルタ4との偏光関係においては、ユーザから見ると、光学フィルムをπ/2回転させるごとに、透過と遮断を繰り返す。
これはθ=0では、LCD 映像の偏光方向と光学フィルムの透過軸が一致しているため,LCD映像は光学フィルムを透過し,θ=π/2では光学フィルムの透過軸が直交するため映像が遮断されるからである。
一方,光学フィルムを装着したCCDカメラで見たときは,π/4回転させるごとに透過と遮断を繰り返す(図20(b)参照)。
これはディスプレイ映像の偏光方向と光学フィルムの透過軸のなす角度をθとした場合、θ=0のときはカメラに装着した直交偏光フィルタ4が映像を遮断し、θ=π/2のときは回転させている直交偏光フィルタ4が映像を遮断するためである。このため、θ=π/4のとき光の強度が最大になる。
従って、この光学フィルムをマーカとして使用すると、これを回転させた場合、ユーザにとってはπ/2毎に黒い部分が生じてしまい、カメラにとってはπ/4毎に光が透過しないことになる。
そこで、上記のような光学フィルムに変えて、以下に説明する1/2波長板光学シート500を用いる。
前述の1/2波長板について説明する。
一般に波長板(位相差フィルム)とは、水晶のような複屈折結晶を利用して位相差を生じさせるものである。
波長板には、進相軸と遅相軸が存在し、入射光線を直交する二つの偏光成分にわけ、進相軸に対して遅相軸の成分を遅らせ、その後両者を合わせて一本の光線として出すことができる。つまり、入射光の偏光面に対して1/2波長板の光学軸が角度θであるとき、出射光は180°-2θだけ回転する。このため、1/2波長板を角度aだけ回転させると、出射光の偏光面を2aだけ回転させることになる。すなわち、1/2波長板は偏光面を回転させることに利用できる。
最も一般的に用いられる波長板として1/4波長板および1/2波長板があり、それぞれ位相をπ/2およびπ遅らせることができる。
図21は2枚の1/2波長板への入射光と出射光の関係を説明する説明図である。
1/2波長板は、図21に示すように、光が通過すると、遅相軸成分の位相が進相軸成分に対してπ遅れる。この結果、両成分を合成して出射される光は、入射光の振動方向に対して2θ回転している。詳細な解析は後述する。
つまり、回転角は入射偏光と遅相軸との成す角にて調整可能であり、例えば直線偏光に対し遅相軸を45度に設定すると偏光面が90度回転する。
ここで、図21の偏光状態について説明する。
偏光状態を表す演算子としては,ジョーンズ行列が一般に用いられる.以下では図21をもとに説明を行う。
ある光学素子への入射光、出射光のジョーンズベクトルをそれぞれ以下のように置く。
【数1】
JP0005499393B2_000002t.gif

光学素子の進相軸がx軸となす角度をθとし、進相軸成分、遅相軸成分の相対位相差をεとすると、入射光と出射光の関係は回転演算子Rθ と位相演算子Tεを用いて以下の式で表すことができる。
【数2】
JP0005499393B2_000003t.gif

但し、
【数3】
JP0005499393B2_000004t.gif

ここで1/2 波長板ではε=πなので,
【数4】
JP0005499393B2_000005t.gif


これが1/2波長板のジョーンズ行列である.
ここで入射光をx軸方向の偏光、つまり、
【数5】
JP0005499393B2_000006t.gif


とすると、式(1)は、
JP0005499393B2_000007t.gif
となり、1/2波長板の出射光は2θ回転した偏光となることがわかる。
次に,2枚目の波長板を1枚目の波長板に対してπ/4だけ回転させて置くと、1枚目への入射光に対してθ+π/4回転しているので、その出射光のジョーンズベクトルは、以下のように記述できる。
【数6】
JP0005499393B2_000008t.gif

これを(2)式に代入すると、
JP0005499393B2_000009t.gif
これより、2枚目の1/2波長板の出射光はθに関係なく,最初の入射光に対して常にπ/2回転した偏光であることがわかる。
図22は1/2波長板をLCD 上で回転させたときの様子を説明する説明図である。
図22(a)はユーザからの視点である。図22(b)はCCDカメラからの視点である。
図22(a)に示すように、ユーザからの視点では回転角に依らずに常に透明に見えている。
これに対して、図22(b)ではカメラからの視点では偏光板のときと同様にπ/4回転させるごとに透過と遮断を繰り返す。
これは、偏光板のときと同じ挙動に見えるが原理は異なっており、LCDの偏光方向と波長板の進相軸のなす角度をθとしたとき,出射光の偏光方向が2θ回転しているために起こる現象である(θ=0のときそのまま映像を遮断し、θ=π/2のときはπ回転した透過光を遮断している。
つまり、先に述べたように,LCD 映像の偏光方向と波長板の進相軸のなす角度をθとしたとき,1/2波長板の出射光の偏光方向は2θ回転している。このため、図21のように、2枚目の1/2波長板を1枚目の1/2波長板とπ/4ずらして重ねると(本実施の形態の光学フィルム)、偏光方向がさらに2(θ+π/4)回転して出射される。
その結果2枚目の1/2波長板の出射光の偏光方向はLCD 映像の偏光方向を基準として常にπ/2回転した方向(偏光フィルタの透過軸)となる(図21)。従って、回転角に依らずLCD映像を透過することができるこれをLCD 上で回転させた様子が図23である。
図23(a)は本実施の形態の光学フィルムのユーザの視点の説明図である。図23(b)は本実施の形態の光学フィルムのカメラの視点の説明図である。
すなわち、図23(a)に示すように、ユーザからの視点では回転角に依らずに常に透明に見えることになり、また、図23(b)に示すように、カメラからの視点でも回転角に依らずに常に透明に見えることになる。
従って、π/4回転させた2枚の1/2波長板を利用することで,回転耐性を持つ透明なマーカ(バーコード等を含む)を作ることが可能となった。
この光学フィルムは、例えば図24に示すようにして作成する。1枚目の1/2波長板シート50aに対して、2枚目の1/2波長板シート50bをπ/4(45度)の角度だけ回転させて1枚目に重ねて(接着材)図24(b)のように生成する。これは、本実施の形態では1/2波長板光学シート50と称する。
<その他の実施の形態>
また、図15に示すような透明識別子偏光フィルム付き透明シートを使用する場合は、図25に示すように生成する。
図25は本実施の形態の1/2波長板透明識別子光学フィルム51付きの識別子付きシート52の説明図であり、図中丸枠は、1/2波長板透明識別子光学フィルム51の拡大説明図である。
識別子付きシート52は、透明シート50に対して、1/2波長板透明識別子光学フィルム51を重ねて生成している。
この1/2波長板透明識別子光学フィルム51は、図25丸枠のように、1枚目の1/2波長板51aに対して例えば45度回転させて2枚目の1/2波長板51bを重ねて生成している。
よって、CCDカメラにて、識別子付きシート52をLCD上でどの角度に回転させても、バーコードを認識できることになる。
【図面の簡単な説明】
【0158】
【図1】実施の形態1の透明偏光フィルムを用いた対話システムの概略構成図である。
【図2】実施の形態1の直交偏光フィルタ4と大型液晶ディスプレイ1と透明偏光フィルム3とによる映像の遮断及び透過を説明する説明図である。
【図3】CCDカメラのレンズ前方に偏光フィルタを設けたときに得られる映像を説明する説明図である。
【図4】偏光を応用した映像の遮断を説明する説明図である。
【図5】CCDカメラのレンズ前方に偏光フィルタを設けたときに得られる映像と偏光フィルムを介して見るLCD上の映像を説明する説明図である。
【図6】第1の画像認識用コンピュータの概略構成図である
【図7】第1の描画用コンピュータの概略構成図である。
【図8】実施の形態1の画像認識用コンピュータ8の動作を説明するフローチャートである。
【図9】透明偏光フィルムのLCD上の領域の生成を説明する説明図である。
【図10】第1の描画用コンピュータ9の動作を説明するフローチャートである。
【図11】実施の形態1の透明偏光フィルムによる画像表示を説明する説明図である。
【図12】実施の形態2の画像認識用コンピュータの概略構成図である。
【図13】実施の形態2の画像認識用コンピュータの動作を説明する説明図である。
【図14】実施の形態3の透明偏光フィルムを用いた対話システムの概略構成図である。
【図15】実施の形態3に用いる透明識別子偏光フィルム付き透明シートを説明する説明図である。
【図16】実施の形態3の透明識別子偏光フィルムを付き透明シートによる偏光を説明する説明図である。
【図17】実施の形態3の透明偏光フィルムを用いた対話システムの概略構成図である。
【図18】実施の形態3の処理を説明する説明図である。
【図19】2枚の透明シートを重ねた場合の処理を説明する説明図である。
【図20】図20は光学フィルムをLCD上で回転させた時のユーザが見る映像(図20(a))とカメラが見る映像(図20(b))である。
【図21】2枚の1/2波長板への入試光と出射光の関係を説明する説明図である。
【図22】1/2波長板をLCD上で回転させたときの様子を説明する説明図である。
【図23】本実施の形態の光学フィルムを回転させたときの様子を説明する説明図である。
【図24】本実施の形態の光学フィルムの作成を説明する説明図である。
【図25】他の実施の形態の透明識別子偏光フルム付き透明シートの作成を説明する説明図である。
【符号の説明】
【0159】
1 大型液晶ディスプレイ
2 テーブル
3 透明偏光フィルム
4 直交偏光フィルタ
5 CCDカメラ
7 第1の対話処理装置
8 第1の画像認識用コンピュータ
9 第1の描画用コンピュータ
11 キャプチャーボード
13 透明偏光フィルム認識部
14 LCD上領域決定部
17 第1の関連情報付加部
19 描画情報送出部
50a 1/2波長板
50b 1/2波長板
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図6】
4
【図7】
5
【図8】
6
【図9】
7
【図10】
8
【図11】
9
【図12】
10
【図13】
11
【図14】
12
【図15】
13
【図16】
14
【図17】
15
【図18】
16
【図19】
17
【図21】
18
【図24】
19
【図25】
20
【図5】
21
【図20】
22
【図22】
23
【図23】
24