TOP > 国内特許検索 > 情報処理装置、携帯端末、情報処理方法、情報処理プログラム、およびコンピュータ読取可能な記録媒体

情報処理装置、携帯端末、情報処理方法、情報処理プログラム、およびコンピュータ読取可能な記録媒体

国内特許コード P06P003844
掲載日 2006年6月23日
出願番号 特願2004-344849
公開番号 特開2006-155238
登録番号 特許第4061379号
出願日 平成16年11月29日(2004.11.29)
公開日 平成18年6月15日(2006.6.15)
登録日 平成20年1月11日(2008.1.11)
発明者
  • 平嶋 宗
  • 吉高 淳夫
  • 竹村 知晃
出願人
  • 学校法人広島大学
発明の名称 情報処理装置、携帯端末、情報処理方法、情報処理プログラム、およびコンピュータ読取可能な記録媒体
発明の概要

【課題】 ユーザが注目しているオブジェクトの領域を判別し、その領域に関する注釈情報を的確にユーザに提示する。
【解決手段】 眼球撮影画像に基づき、ユーザがオブジェクトに注目している状態を検出する眼球動作検出部2と、眼球動作検出部2によりユーザが注目状態にあると検出された際、視界画像内においてユーザが注目しているオブジェクトを認識するオブジェクト認識部4と、上記オブジェクトにおいてユーザが注目している注目領域を判別する注目領域判別部5と、注目領域判別部5により判別された注目領域に関する注釈情報をユーザに提示する注釈情報提示部6とを備えている。
【選択図】 図1

従来技術、競合技術の概要


拡張現実感(Augmented Reality、以下ARと略す)とは、テキストやCG等の注釈情報を実世界のオブジェクトに重ねて、あるいは近い位置に提示することによって、実世界に情報を付加する技術であり、これによりユーザはオブジェクトの外観が持つ情報以上の情報を得ることができる。ARシステムでは、ユーザが興味を持つオブジェクトの情報を提示することを目的とするため、ユーザが注目しているオブジェクトを認識する必要がある。既存のシステムにおいて、オブジェクトの認識方法は、オブジェクト認識のためのタグ付けを行う方法と、行わない方法に大別でき、それぞれの方法により研究が盛んに行われている。



オブジェクトにタグを付け、タグを読み取ることによりオブジェクトを認識し、関連付けられた情報を提示する方法(非特許文献1~4参照)では、2次元バーコードやRFIDタグ、赤外LEDをオブジェクトに取り付ける方法(非特許文献1~3参照)や、物理的なタグを貼り付けるのではなく、赤外線によりタグを投影する方法が提案されている(非特許文献4参照)。これらの方法では、注釈情報を提示するために、ユーザはタグリーダやカメラなどのデバイスによりタグを読み取るという明示的な動作が必要となる。一方、タグ付けを行わずオブジェクトの認識を行い、関連付けられた情報の提示を行う方法(非特許文献5,6参照)では、事前に獲得しておいたオブジェクトの画像を基にして、ユーザに装着したカメラに映っているオブジェクトの認識を行っている。これらの方法では、オブジェクト全体が画像に映っている場合の認識精度は100%となっている。

【非特許文献1】小林元樹, 小池英樹, “電子情報の表示と操作を実現する机型実世界インターフェース「EnhancedDesk」”, インタラクティブシステムとソフトウェアV:日本ソフトウェア科学会WISS1997.

【非特許文献2】椎尾一郎, 増井俊之, 福地健太郎, “FieldMouseによる実世界インタラクション”, インタラクティブシステムとソフトウェアVII:日本ソフトウェア科学会WISS1999.

【非特許文献3】青木恒, “カメラで読み取る赤外線タグとその応用”, インタラクティブシステムとソフトウェアVIII:日本ソフトウェア科学会WISS2000.

【非特許文献4】白井良成, 松下光範, 大黒毅, “秘映プロジェクタ:不可視情報による実環境の拡張”,インタラクティブシステムとソフトウェアXI:日本ソフトウェア科学会WISS2003.

【非特許文献5】T. Kurata, T. Okuma, M. Kourogi, T. Kato, and K. Sakaue, “VizWear: Toward HumanCentered Interaction through Wearable Vision and Visualization”, The Second IEEE PacificRim Conference on Multimedia, 2001.

【非特許文献6】T. Jebara, B. Schiele, N. Oliver, A. Pentland, “DyPERS: Dynamic Personal Enhanced Reality System”, M.I.T. Media Lab. Perceptual Computing Section Technical Report, No. 468, 1998.

【非特許文献7】池田光男, “眼はなにを見ているか”, 平凡社, 1998.

産業上の利用分野


本発明は、拡張現実感に関するものであり、注目対象となるオブジェクトの注釈情報を適応的にユーザに提示し得る情報処理装置、携帯端末、情報処理方法、情報処理プログラム、およびコンピュータ読取可能な記録媒体に関するものである。

特許請求の範囲 【請求項1】
ユーザの眼球運動を撮影した眼球撮影画像に基づき、ユーザがオブジェクトに注目している状態を検出する眼球動作検出手段と、
上記眼球動作検出手段によりユーザが注目状態にあると検出された際、ユーザの視界を撮影した視界画像内において、ユーザが注目しているオブジェクトを認識するオブジェクト認識手段と、
上記オブジェクトにおいてユーザが注目している注目領域を判別する注目領域判別手段と、
上記注目領域判別手段により判別された注目領域に関する注釈情報をユーザに提示する注釈情報提示手段とを備え
上記眼球動作検出手段は、
上記眼球撮影画像から瞳孔領域を抽出する視線検出手段と、
上記瞳孔領域における中心座標から注視点の移動距離を算出する注視点算出手段と、
上記注視点の移動距離から、オブジェクトに対するユーザの視角を算出するとともに、その視角の大きさに基づき眼球の固視状態および跳躍状態を検出し、これら固視状態および跳躍状態の回数に基づきユーザがオブジェクトに注目している状態を検出する注目状態検出手段とを備え、
上記注目状態検出手段は、さらに、ユーザが注目状態にある間の注視点の分布を内包するように複数の注視点を結ぶことにより、上記視界画像内に最小多角形領域を画定するものであり、
上記注目領域判別手段は、視界画像の候補としてデータベース内に格納された登録画像における複数の領域のうち、上記最小多角形領域との重なりが最大となる領域を判断し、その領域に対応する上記視界画像内の領域を、上記注目領域として判別するものであることを特徴とする情報処理装置。

【請求項2】
上記オブジェクト認識手段は、上記視界画像における色相と、データベース内に格納された上記視界画像の候補となり得る登録画像の色相とに基づき、ユーザが注目しているオブジェクトを認識するものであることを特徴とする請求項1に記載の情報処理装置。

【請求項3】
上記注釈情報提示手段は、さらに、上記注目領域と階層構造をなす領域に関する注釈情報をユーザに提示するものであることを特徴とする請求項1または2に記載の情報処理装置。

【請求項4】
請求項1ないし3のいずれか1項に記載の情報処理装置に用いる携帯端末であって、
上記眼球撮影画像を撮影する第1カメラを備えていることを特徴とする携帯端末。

【請求項5】
請求項1ないし3のいずれか1項に記載の情報処理装置に用いる携帯端末であって、
上記視界画像を撮影する第2カメラを備えていることを特徴とする携帯端末。

【請求項6】
請求項1ないし3のいずれか1項に記載の情報処理装置に用いる携帯端末であって、
上記眼球撮影画像を撮影する第1カメラと、上記視界画像を撮影する第2カメラとを備えていることを特徴とする携帯端末。

【請求項7】
請求項1ないし3のいずれか1項に記載の情報処理装置に用いる携帯端末であって、
上記注釈情報提示手段から上記注釈情報を取り込み、その注釈情報の再生を行うことを特徴とする携帯端末。

【請求項8】
ユーザの眼球運動を撮影した眼球撮影画像に基づき、ユーザがオブジェクトに注目している状態を検出する第1ステップと、
上記第1ステップによりユーザが注目状態にあると検出された際、ユーザの視界を撮影した視界画像内において、ユーザが注目しているオブジェクトを認識する第2ステップと、
上記オブジェクトにおいてユーザが注目している注目領域を判別する第3ステップと、
上記第3ステップにて判別された注目領域に関する注釈情報をユーザに提示する第4ステップとを備え
上記第1ステップは、
上記眼球撮影画像から瞳孔領域を抽出する視線検出ステップと、
上記瞳孔領域における中心座標から注視点の移動距離を算出する注視点算出ステップと、
上記注視点の移動距離から、オブジェクトに対するユーザの視角を算出するとともに、その視角の大きさに基づき眼球の固視状態および跳躍状態を検出し、これら固視状態および跳躍状態の回数に基づきユーザがオブジェクトに注目している状態を検出する注目状態検出ステップとからなり、
上記注目状態検出ステップは、さらに、ユーザが注目状態にある間の注視点の分布を内包するように複数の注視点を結ぶことにより、上記視界画像内に最小多角形領域を画定するステップであり、
上記第3ステップは、視界画像の候補としてデータベース内に格納された登録画像における複数の領域のうち、上記最小多角形領域との重なりが最大となる領域を判断し、その領域に対応する上記視界画像内の領域を、上記注目領域として判別するステップであることを特徴とする情報処理方法。

【請求項9】
請求項8に記載の情報処理方法の各ステップをコンピュータに実行させるための情報処理プログラム。

【請求項10】
請求項9に記載の情報処理プログラムを記録したことを特徴とするコンピュータ読取可能な記録媒体。
産業区分
  • 入出力装置
  • 計算機応用
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

JP2004344849thum.jpg
出願権利状態 権利存続中


PAGE TOP

close
close
close
close
close
close
close