Top > Search of Japanese Patents > INFORMATION PROCESSOR, PROCESSING METHOD, AND PROCESSING PROGRAM, PORTABLE TERMINAL, AND COMPUTER-READABLE RECORDING MEDIUM

INFORMATION PROCESSOR, PROCESSING METHOD, AND PROCESSING PROGRAM, PORTABLE TERMINAL, AND COMPUTER-READABLE RECORDING MEDIUM

Patent code P06P003844
Posted date Jun 23, 2006
Application number P2004-344849
Publication number P2006-155238A
Patent number P4061379
Date of filing Nov 29, 2004
Date of publication of application Jun 15, 2006
Date of registration Jan 11, 2008
Inventor
  • (In Japanese)平嶋 宗
  • (In Japanese)吉高 淳夫
  • (In Japanese)竹村 知晃
Applicant
  • (In Japanese)国立大学法人広島大学
Title INFORMATION PROCESSOR, PROCESSING METHOD, AND PROCESSING PROGRAM, PORTABLE TERMINAL, AND COMPUTER-READABLE RECORDING MEDIUM
Abstract PROBLEM TO BE SOLVED: To discriminate a region of an object watched by a user, and to surely present annotation information related with the region.
SOLUTION: This information processor comprises an eye ball movement detecting part 2 for detecting a status that an object is watched by a user, based on an eye ball pickup image; an object recognizing part 4 for recognizing the object watched by the user in a visual field image when it is detected that the user is put into a watching status; a watched region discriminating part 5 for discriminating a region watched by the user in the object; and an annotation information presenting part 6 for presenting annotation information related with the watched area discriminated by the watched area discriminating part 5 to the user.
Outline of related art and contending technology (In Japanese)


拡張現実感(Augmented Reality、以下ARと略す)とは、テキストやCG等の注釈情報を実世界のオブジェクトに重ねて、あるいは近い位置に提示することによって、実世界に情報を付加する技術であり、これによりユーザはオブジェクトの外観が持つ情報以上の情報を得ることができる。ARシステムでは、ユーザが興味を持つオブジェクトの情報を提示することを目的とするため、ユーザが注目しているオブジェクトを認識する必要がある。既存のシステムにおいて、オブジェクトの認識方法は、オブジェクト認識のためのタグ付けを行う方法と、行わない方法に大別でき、それぞれの方法により研究が盛んに行われている。



オブジェクトにタグを付け、タグを読み取ることによりオブジェクトを認識し、関連付けられた情報を提示する方法(非特許文献1~4参照)では、2次元バーコードやRFIDタグ、赤外LEDをオブジェクトに取り付ける方法(非特許文献1~3参照)や、物理的なタグを貼り付けるのではなく、赤外線によりタグを投影する方法が提案されている(非特許文献4参照)。これらの方法では、注釈情報を提示するために、ユーザはタグリーダやカメラなどのデバイスによりタグを読み取るという明示的な動作が必要となる。一方、タグ付けを行わずオブジェクトの認識を行い、関連付けられた情報の提示を行う方法(非特許文献5,6参照)では、事前に獲得しておいたオブジェクトの画像を基にして、ユーザに装着したカメラに映っているオブジェクトの認識を行っている。これらの方法では、オブジェクト全体が画像に映っている場合の認識精度は100%となっている。
【非特許文献1】
小林元樹, 小池英樹, “電子情報の表示と操作を実現する机型実世界インターフェース「EnhancedDesk」”, インタラクティブシステムとソフトウェアV:日本ソフトウェア科学会WISS1997.
【非特許文献2】
椎尾一郎, 増井俊之, 福地健太郎, “FieldMouseによる実世界インタラクション”, インタラクティブシステムとソフトウェアVII:日本ソフトウェア科学会WISS1999.
【非特許文献3】
青木恒, “カメラで読み取る赤外線タグとその応用”, インタラクティブシステムとソフトウェアVIII:日本ソフトウェア科学会WISS2000.
【非特許文献4】
白井良成, 松下光範, 大黒毅, “秘映プロジェクタ:不可視情報による実環境の拡張”,インタラクティブシステムとソフトウェアXI:日本ソフトウェア科学会WISS2003.
【非特許文献5】
T. Kurata, T. Okuma, M. Kourogi, T. Kato, and K. Sakaue, “VizWear: Toward HumanCentered Interaction through Wearable Vision and Visualization”, The Second IEEE PacificRim Conference on Multimedia, 2001.
【非特許文献6】
T. Jebara, B. Schiele, N. Oliver, A. Pentland, “DyPERS: Dynamic Personal Enhanced Reality System”, M.I.T. Media Lab. Perceptual Computing Section Technical Report, No. 468, 1998.
【非特許文献7】
池田光男, “眼はなにを見ているか”, 平凡社, 1998.

Field of industrial application (In Japanese)


本発明は、拡張現実感に関するものであり、注目対象となるオブジェクトの注釈情報を適応的にユーザに提示し得る情報処理装置、携帯端末、情報処理方法、情報処理プログラム、およびコンピュータ読取可能な記録媒体に関するものである。

Scope of claims (In Japanese)
【請求項1】
 
ユーザの眼球運動を撮影した眼球撮影画像に基づき、ユーザがオブジェクトに注目している状態を検出する眼球動作検出手段と、
上記眼球動作検出手段によりユーザが注目状態にあると検出された際、ユーザの視界を撮影した視界画像内において、ユーザが注目しているオブジェクトを認識するオブジェクト認識手段と、
上記オブジェクトにおいてユーザが注目している注目領域を判別する注目領域判別手段と、
上記注目領域判別手段により判別された注目領域に関する注釈情報をユーザに提示する注釈情報提示手段とを備え
上記眼球動作検出手段は、
上記眼球撮影画像から瞳孔領域を抽出する視線検出手段と、
上記瞳孔領域における中心座標から注視点の移動距離を算出する注視点算出手段と、
上記注視点の移動距離から、オブジェクトに対するユーザの視角を算出するとともに、その視角の大きさに基づき眼球の固視状態および跳躍状態を検出し、これら固視状態および跳躍状態の回数に基づきユーザがオブジェクトに注目している状態を検出する注目状態検出手段とを備え、
上記注目状態検出手段は、さらに、ユーザが注目状態にある間の注視点の分布を内包するように複数の注視点を結ぶことにより、上記視界画像内に最小多角形領域を画定するものであり、
上記注目領域判別手段は、視界画像の候補としてデータベース内に格納された登録画像における複数の領域のうち、上記最小多角形領域との重なりが最大となる領域を判断し、その領域に対応する上記視界画像内の領域を、上記注目領域として判別するものであることを特徴とする情報処理装置。

【請求項2】
 
上記オブジェクト認識手段は、上記視界画像における色相と、データベース内に格納された上記視界画像の候補となり得る登録画像の色相とに基づき、ユーザが注目しているオブジェクトを認識するものであることを特徴とする請求項1に記載の情報処理装置。

【請求項3】
 
上記注釈情報提示手段は、さらに、上記注目領域と階層構造をなす領域に関する注釈情報をユーザに提示するものであることを特徴とする請求項1または2に記載の情報処理装置。

【請求項4】
 
請求項1ないし3のいずれか1項に記載の情報処理装置に用いる携帯端末であって、
上記眼球撮影画像を撮影する第1カメラを備えていることを特徴とする携帯端末。

【請求項5】
 
請求項1ないし3のいずれか1項に記載の情報処理装置に用いる携帯端末であって、
上記視界画像を撮影する第2カメラを備えていることを特徴とする携帯端末。

【請求項6】
 
請求項1ないし3のいずれか1項に記載の情報処理装置に用いる携帯端末であって、
上記眼球撮影画像を撮影する第1カメラと、上記視界画像を撮影する第2カメラとを備えていることを特徴とする携帯端末。

【請求項7】
 
請求項1ないし3のいずれか1項に記載の情報処理装置に用いる携帯端末であって、
上記注釈情報提示手段から上記注釈情報を取り込み、その注釈情報の再生を行うことを特徴とする携帯端末。

【請求項8】
 
ユーザの眼球運動を撮影した眼球撮影画像に基づき、ユーザがオブジェクトに注目している状態を検出する第1ステップと、
上記第1ステップによりユーザが注目状態にあると検出された際、ユーザの視界を撮影した視界画像内において、ユーザが注目しているオブジェクトを認識する第2ステップと、
上記オブジェクトにおいてユーザが注目している注目領域を判別する第3ステップと、
上記第3ステップにて判別された注目領域に関する注釈情報をユーザに提示する第4ステップとを備え
上記第1ステップは、
上記眼球撮影画像から瞳孔領域を抽出する視線検出ステップと、
上記瞳孔領域における中心座標から注視点の移動距離を算出する注視点算出ステップと、
上記注視点の移動距離から、オブジェクトに対するユーザの視角を算出するとともに、その視角の大きさに基づき眼球の固視状態および跳躍状態を検出し、これら固視状態および跳躍状態の回数に基づきユーザがオブジェクトに注目している状態を検出する注目状態検出ステップとからなり、
上記注目状態検出ステップは、さらに、ユーザが注目状態にある間の注視点の分布を内包するように複数の注視点を結ぶことにより、上記視界画像内に最小多角形領域を画定するステップであり、
上記第3ステップは、視界画像の候補としてデータベース内に格納された登録画像における複数の領域のうち、上記最小多角形領域との重なりが最大となる領域を判断し、その領域に対応する上記視界画像内の領域を、上記注目領域として判別するステップであることを特徴とする情報処理方法。

【請求項9】
 
請求項8に記載の情報処理方法の各ステップをコンピュータに実行させるための情報処理プログラム。

【請求項10】
 
請求項9に記載の情報処理プログラムを記録したことを特徴とするコンピュータ読取可能な記録媒体。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2004344849thum.jpg
State of application right Registered


PAGE TOP

close
close
close
close
close
close
close