Top > Search of Japanese Patents > CONTROL EQUIPMENT OPERATION GESTURE RECOGNITION DEVICE; CONTROL EQUIPMENT OPERATION GESTURE RECOGNITION SYSTEM, AND CONTROL EQUIPMENT OPERATION GESTURE RECOGNITION PROGRAM

CONTROL EQUIPMENT OPERATION GESTURE RECOGNITION DEVICE; CONTROL EQUIPMENT OPERATION GESTURE RECOGNITION SYSTEM, AND CONTROL EQUIPMENT OPERATION GESTURE RECOGNITION PROGRAM commons

Patent code P110005514
File No. 2007-0012
Posted date Aug 18, 2011
Application number P2007-201447
Publication number P2009-037434A
Patent number P5207513
Date of filing Aug 2, 2007
Date of publication of application Feb 19, 2009
Date of registration Mar 1, 2013
Inventor
  • (In Japanese)山口 亨
  • (In Japanese)佐藤 英理
  • (In Japanese)藤本 泰成
Applicant
  • (In Japanese)公立大学法人首都大学東京
Title CONTROL EQUIPMENT OPERATION GESTURE RECOGNITION DEVICE; CONTROL EQUIPMENT OPERATION GESTURE RECOGNITION SYSTEM, AND CONTROL EQUIPMENT OPERATION GESTURE RECOGNITION PROGRAM commons
Abstract PROBLEM TO BE SOLVED: To precisely recognize the operation of control equipment by gesture similar to an operation to be communicated to others.
SOLUTION: This control equipment operation gesture recognition device (PC) is provided with: user image pickup means (C1, C1') for picking up the image of a user by cameras (CA1, CA2); a gesture detection means (C2) for detecting the gesture of a user; a gesture discrimination means (C3) for discriminating whether the gesture of the user is selection gesture or operation gesture; visual line direction discrimination means (C4C, C5C) for discriminating whether or not there is control equipment (K) in the direction of the visual line of the user; a control equipment selection means (C4) for, when the control equipment (K) selected by the selection gesture is matched with the control equipment (K) in the direction of the visual line of the user, selecting the control equipment (K); and a control equipment operation means (C5) for executing an operation corresponding to the operation gesture to the selected control equipment (K).
Outline of related art and contending technology (In Japanese)


従来より、身振り・手振り等の動作、いわゆる、ジェスチャをロボットや家電製品等の制御機器を操作するための入力インタフェースとして用いる技術が知られている。
前記ジェスチャを認識することにより、ロボットや家電製品等の制御機器を操作する技術として、例えば、以下の従来技術(J01),(J02)が公知である。



(J01)非特許文献1記載の技術
非特許文献1には、複数台のカメラによりユーザを撮影し(ステレオ視し)、ユーザの頭の高さからユーザの体型データ(身長、肩幅、肩の高さ、腕の長さ)を算出し、算出されたユーザの体型データに基づいて、ユーザの指差した位置(3次元座標位置)を認識してロボット等の移動経路指示等の操作をする技術が記載されている。また、非特許文献1には、指差し動作について、動作の滑らかさや速度(角速度)等の、いわゆる、ファジールールに基づいて、ユーザが指差し動作を行ったか否かを判別する技術が記載されている。



(J02)非特許文献2記載の技術
非特許文献2には、ユーザのジェスチャを認識し、テレビ、照明機器、扇風機等の家電製品を操作する、いわゆる、インテリジェントルームについての技術が記載されている。また、非特許文献2には、室内に配置された複数台のCCDカメラで、室内にいる複数の人物の中から、手振りをして操作したい意思を示している人物(操作者)をステレオ視することにより、操作者の位置(3次元位置情報)を認識し、操作者の肌色情報から操作者の手の領域(手領域)を抽出することにより、指差し方向や、指の本数、手を上下左右に振る等の動作(ジェスチャ)を認識する技術が記載されている。



【非特許文献1】
佐藤英理、山口亨、他1名、“Natural Interface Using Pointing Behavior for Human-Robot Gestural Interaction”、「IEEE TRANSACTION ON INDUSTRIAL ELECTRONICS」、2007年4月、第54巻、第2号、p.1105-1112
【非特許文献2】
若村直弘、他3名、“インテリジェンスルームの構築 -直感的なジェスチャを用いた家電製品の操作-”、「online」、2005年7月、「2007年7月3日検索」、インターネット<URL:http://www.mech.chuo-u.ac.jp/umedalab/publications/pdf/2005/suzuki_2005_miru.pdf>

Field of industrial application (In Japanese)


本発明は、ユーザのジェスチャを認識することにより、制御機器を操作する制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラムに関する。

Scope of claims (In Japanese)
【請求項1】
 
複数の制御機器とは異なる位置に配置され且つユーザのいる室内全体をステレオ視可能な位置に配置されたカメラによりユーザの唇の位置を含む画像を撮像するユーザ撮像手段と、
前記画像に基づいて、ユーザのジェスチャを検出するジェスチャ検出手段と、
検出された前記ジェスチャが、操作対象の制御機器を選択するための指差し動作としての選択ジェスチャであるか、選択された前記制御機器を操作するための操作ジェスチャであるかを判別するジェスチャ判別手段と、
検出された前記ジェスチャが前記選択ジェスチャであると判別された場合に、ユーザが指差した位置に制御機器が存在するか否かを判別する指差し位置判別手段と、
ユーザが指差した位置に制御機器が存在すると判別された場合に、前記画像に基づいて、ユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の前記制御機器に向いているか否かを判別する顔方向判別手段と、
ユーザの顔が指差した位置の前記制御機器に向いていると判別された場合に、前記制御機器を操作対象として選択する制御機器選択手段と、
検出された前記ジェスチャが前記操作ジェスチャであると判別された場合に、ユーザの顔が前記制御機器選択手段で選択された前記制御機器に向いているか否かを判別する前記顔方向判別手段であって、前記画像に基づくユーザの顔領域から顔全体の重心に対する唇の位置に応じたユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の前記制御機器に向いているか否かを判別する前記顔方向判別手段と、
ユーザの顔が前記制御機器選択手段で選択された前記制御機器に向いていると判別された場合に、前記制御機器選択手段で選択された前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する制御機器操作手段と、
を備えたことを特徴とする制御機器操作ジェスチャ認識装置。

【請求項2】
 
前記制御機器に対応する制御機器画像を表示する制御機器画像表示手段と、
検出された前記ジェスチャが前記選択ジェスチャであると判別された場合に、ユーザが指差した位置に前記制御機器画像が存在するか否かを判別する前記指差し位置判別手段と、
ユーザが指差した位置に前記制御機器画像が存在すると判別された場合に、前記画像に基づいて、ユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の前記制御機器画像に向いているか否かを判別する前記顔方向判別手段と、
ユーザの顔が指差した位置の前記制御機器画像に向いていると判別された場合に、前記制御機器を操作対象として選択する前記制御機器選択手段と、
検出された前記ジェスチャが前記操作ジェスチャであると判別された場合に、ユーザの顔が前記制御機器選択手段で選択された前記制御機器に対応する制御機器画像に向いているか否かを判別する前記顔方向判別手段と、
ユーザの顔が前記制御機器選択手段で選択された前記制御機器に対応する制御機器画像に向いていると判別された場合に、前記制御機器選択手段で選択された前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する制御機器操作手段と、
を備えたことを特徴とする請求項1に記載の前記制御機器操作ジェスチャ認識装置。

【請求項3】
 
前記選択ジェスチャで選択された制御機器が、ユーザが意図して選択した制御機器であるか否かを確認するための選択確認画像を表示する選択確認画像表示手段と、
前記選択確認画像が表示された後で、検出された前記ジェスチャが、ユーザが意図して選択した制御機器であることを肯定するための肯定ジェスチャと、ユーザが意図して選択した制御機器であることを否定するための否定ジェスチャとにより構成された確認ジェスチャのいずれかであることを判別する確認ジェスチャ判別手段と、
ユーザの顔が指差した位置の前記制御機器画像に向いていると判別された場合に、前記選択確認画像を表示し、前記選択確認画像の表示後に検出された前記ジェスチャが前記肯定ジェスチャであれば前記制御機器を操作対象として選択し、前記否定ジェスチャであれば前記制御機器を操作対象として選択しない前記制御機器選択手段と、
を備えたことを特徴とする請求項1または2に記載の前記制御機器操作ジェスチャ認識装置。

【請求項4】
 
複数の制御機器とは異なる位置に配置され且つユーザのいる室内全体をステレオ視可能な位置に配置されたカメラによりユーザの唇の位置を含む画像を撮像するユーザ撮像手段と、
前記画像に基づいて、ユーザのジェスチャを検出するジェスチャ検出手段と、
検出された前記ジェスチャが、操作対象の制御機器を選択するための指差し動作としての選択ジェスチャであるか、選択された前記制御機器を操作するための操作ジェスチャであるかを判別するジェスチャ判別手段と、
検出された前記ジェスチャが前記選択ジェスチャであると判別された場合に、ユーザが指差した位置に制御機器が存在するか否かを判別する指差し位置判別手段と、
ユーザが指差した位置に制御機器が存在すると判別された場合に、前記画像に基づいて、ユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の前記制御機器に向いているか否かを判別する顔方向判別手段と、
ユーザの顔が指差した位置の前記制御機器に向いていると判別された場合に、前記制御機器を操作対象として選択する制御機器選択手段と、
検出された前記ジェスチャが前記操作ジェスチャであると判別された場合に、ユーザの顔が前記制御機器選択手段で選択された前記制御機器に向いているか否かを判別する前記顔方向判別手段であって、前記画像に基づくユーザの顔領域から顔全体の重心に対する唇の位置に応じたユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の前記制御機器に向いているか否かを判別する前記顔方向判別手段と、
ユーザの顔が前記制御機器選択手段で選択された前記制御機器に向いていると判別された場合に、前記制御機器選択手段で選択された前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する制御機器操作手段と、
を備えたことを特徴とする制御機器操作ジェスチャ認識システム。

【請求項5】
 
コンピュータを、
複数の制御機器とは異なる位置に配置され且つユーザのいる室内全体をステレオ視可能な位置に配置されたカメラによりユーザの唇の位置を含む画像を撮像するユーザ撮像手段、
前記画像に基づいて、ユーザのジェスチャを検出するジェスチャ検出手段、
検出された前記ジェスチャが、操作対象の制御機器を選択するための指差し動作としての選択ジェスチャであるか、選択された前記制御機器を操作するための操作ジェスチャであるかを判別するジェスチャ判別手段、
検出された前記ジェスチャが前記選択ジェスチャであると判別された場合に、ユーザが指差した位置に制御機器が存在するか否かを判別する指差し位置判別手段、
ユーザが指差した位置に制御機器が存在すると判別された場合に、前記画像に基づいて、ユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の前記制御機器に向いているか否かを判別する顔方向判別手段、
ユーザの顔が指差した位置の前記制御機器に向いていると判別された場合に、前記制御機器を操作対象として選択する制御機器選択手段、
検出された前記ジェスチャが前記操作ジェスチャであると判別された場合に、ユーザの顔が前記制御機器選択手段で選択された前記制御機器に向いているか否かを判別する前記顔方向判別手段であって、前記画像に基づくユーザの顔領域から顔全体の重心に対する唇の位置に応じたユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の前記制御機器に向いているか否かを判別する前記顔方向判別手段
ユーザの顔が前記制御機器選択手段で選択された前記制御機器に向いていると判別された場合に、前記制御機器選択手段で選択された前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する制御機器操作手段、
として機能させるための制御機器操作ジェスチャ認識プログラム
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2007201447thum.jpg
State of application right Registered
(In Japanese)ライセンスをご希望の方、特許の内容に興味を持たれた方は、下記「問合せ先」までお問い合わせください。


PAGE TOP

close
close
close
close
close
close
close