CONTROL EQUIPMENT OPERATION GESTURE RECOGNITION DEVICE; CONTROL EQUIPMENT OPERATION GESTURE RECOGNITION SYSTEM, AND CONTROL EQUIPMENT OPERATION GESTURE RECOGNITION PROGRAM
| Patent code | P110005514 |
|---|---|
| File No. | 2007-0012 |
| Posted date | Aug 18, 2011 |
| Application number | P2007-201447 |
| Publication number | P2009-037434A |
| Patent number | P5207513 |
| Date of filing | Aug 2, 2007 |
| Date of publication of application | Feb 19, 2009 |
| Date of registration | Mar 1, 2013 |
| Inventor |
|
| Applicant |
|
| Title |
CONTROL EQUIPMENT OPERATION GESTURE RECOGNITION DEVICE; CONTROL EQUIPMENT OPERATION GESTURE RECOGNITION SYSTEM, AND CONTROL EQUIPMENT OPERATION GESTURE RECOGNITION PROGRAM
|
| Abstract |
PROBLEM TO BE SOLVED: To precisely recognize the operation of control equipment by gesture similar to an operation to be communicated to others. SOLUTION: This control equipment operation gesture recognition device (PC) is provided with: user image pickup means (C1, C1') for picking up the image of a user by cameras (CA1, CA2); a gesture detection means (C2) for detecting the gesture of a user; a gesture discrimination means (C3) for discriminating whether the gesture of the user is selection gesture or operation gesture; visual line direction discrimination means (C4C, C5C) for discriminating whether or not there is control equipment (K) in the direction of the visual line of the user; a control equipment selection means (C4) for, when the control equipment (K) selected by the selection gesture is matched with the control equipment (K) in the direction of the visual line of the user, selecting the control equipment (K); and a control equipment operation means (C5) for executing an operation corresponding to the operation gesture to the selected control equipment (K). |
| Outline of related art and contending technology |
(In Japanese)
|
| Field of industrial application |
(In Japanese)
|
| Scope of claims |
(In Japanese) 【請求項1】 複数の制御機器とは異なる位置に配置され且つユーザのいる室内全体をステレオ視可能な位置に配置されたカメラによりユーザの唇の位置を含む画像を撮像するユーザ撮像手段と、 前記画像に基づいて、ユーザのジェスチャを検出するジェスチャ検出手段と、 検出された前記ジェスチャが、操作対象の制御機器を選択するための指差し動作としての選択ジェスチャであるか、選択された前記制御機器を操作するための操作ジェスチャであるかを判別するジェスチャ判別手段と、 検出された前記ジェスチャが前記選択ジェスチャであると判別された場合に、ユーザが指差した位置に制御機器が存在するか否かを判別する指差し位置判別手段と、 ユーザが指差した位置に制御機器が存在すると判別された場合に、前記画像に基づいて、ユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の前記制御機器に向いているか否かを判別する顔方向判別手段と、 ユーザの顔が指差した位置の前記制御機器に向いていると判別された場合に、前記制御機器を操作対象として選択する制御機器選択手段と、 検出された前記ジェスチャが前記操作ジェスチャであると判別された場合に、ユーザの顔が前記制御機器選択手段で選択された前記制御機器に向いているか否かを判別する前記顔方向判別手段であって、前記画像に基づくユーザの顔領域から顔全体の重心に対する唇の位置に応じたユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の前記制御機器に向いているか否かを判別する前記顔方向判別手段と、 ユーザの顔が前記制御機器選択手段で選択された前記制御機器に向いていると判別された場合に、前記制御機器選択手段で選択された前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する制御機器操作手段と、 を備えたことを特徴とする制御機器操作ジェスチャ認識装置。 【請求項2】 前記制御機器に対応する制御機器画像を表示する制御機器画像表示手段と、 検出された前記ジェスチャが前記選択ジェスチャであると判別された場合に、ユーザが指差した位置に前記制御機器画像が存在するか否かを判別する前記指差し位置判別手段と、 ユーザが指差した位置に前記制御機器画像が存在すると判別された場合に、前記画像に基づいて、ユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の前記制御機器画像に向いているか否かを判別する前記顔方向判別手段と、 ユーザの顔が指差した位置の前記制御機器画像に向いていると判別された場合に、前記制御機器を操作対象として選択する前記制御機器選択手段と、 検出された前記ジェスチャが前記操作ジェスチャであると判別された場合に、ユーザの顔が前記制御機器選択手段で選択された前記制御機器に対応する制御機器画像に向いているか否かを判別する前記顔方向判別手段と、 ユーザの顔が前記制御機器選択手段で選択された前記制御機器に対応する制御機器画像に向いていると判別された場合に、前記制御機器選択手段で選択された前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する制御機器操作手段と、 を備えたことを特徴とする請求項1に記載の前記制御機器操作ジェスチャ認識装置。 【請求項3】 前記選択ジェスチャで選択された制御機器が、ユーザが意図して選択した制御機器であるか否かを確認するための選択確認画像を表示する選択確認画像表示手段と、 前記選択確認画像が表示された後で、検出された前記ジェスチャが、ユーザが意図して選択した制御機器であることを肯定するための肯定ジェスチャと、ユーザが意図して選択した制御機器であることを否定するための否定ジェスチャとにより構成された確認ジェスチャのいずれかであることを判別する確認ジェスチャ判別手段と、 ユーザの顔が指差した位置の前記制御機器画像に向いていると判別された場合に、前記選択確認画像を表示し、前記選択確認画像の表示後に検出された前記ジェスチャが前記肯定ジェスチャであれば前記制御機器を操作対象として選択し、前記否定ジェスチャであれば前記制御機器を操作対象として選択しない前記制御機器選択手段と、 を備えたことを特徴とする請求項1または2に記載の前記制御機器操作ジェスチャ認識装置。 【請求項4】 複数の制御機器とは異なる位置に配置され且つユーザのいる室内全体をステレオ視可能な位置に配置されたカメラによりユーザの唇の位置を含む画像を撮像するユーザ撮像手段と、 前記画像に基づいて、ユーザのジェスチャを検出するジェスチャ検出手段と、 検出された前記ジェスチャが、操作対象の制御機器を選択するための指差し動作としての選択ジェスチャであるか、選択された前記制御機器を操作するための操作ジェスチャであるかを判別するジェスチャ判別手段と、 検出された前記ジェスチャが前記選択ジェスチャであると判別された場合に、ユーザが指差した位置に制御機器が存在するか否かを判別する指差し位置判別手段と、 ユーザが指差した位置に制御機器が存在すると判別された場合に、前記画像に基づいて、ユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の前記制御機器に向いているか否かを判別する顔方向判別手段と、 ユーザの顔が指差した位置の前記制御機器に向いていると判別された場合に、前記制御機器を操作対象として選択する制御機器選択手段と、 検出された前記ジェスチャが前記操作ジェスチャであると判別された場合に、ユーザの顔が前記制御機器選択手段で選択された前記制御機器に向いているか否かを判別する前記顔方向判別手段であって、前記画像に基づくユーザの顔領域から顔全体の重心に対する唇の位置に応じたユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の前記制御機器に向いているか否かを判別する前記顔方向判別手段と、 ユーザの顔が前記制御機器選択手段で選択された前記制御機器に向いていると判別された場合に、前記制御機器選択手段で選択された前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する制御機器操作手段と、 を備えたことを特徴とする制御機器操作ジェスチャ認識システム。 【請求項5】 コンピュータを、 複数の制御機器とは異なる位置に配置され且つユーザのいる室内全体をステレオ視可能な位置に配置されたカメラによりユーザの唇の位置を含む画像を撮像するユーザ撮像手段、 前記画像に基づいて、ユーザのジェスチャを検出するジェスチャ検出手段、 検出された前記ジェスチャが、操作対象の制御機器を選択するための指差し動作としての選択ジェスチャであるか、選択された前記制御機器を操作するための操作ジェスチャであるかを判別するジェスチャ判別手段、 検出された前記ジェスチャが前記選択ジェスチャであると判別された場合に、ユーザが指差した位置に制御機器が存在するか否かを判別する指差し位置判別手段、 ユーザが指差した位置に制御機器が存在すると判別された場合に、前記画像に基づいて、ユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の前記制御機器に向いているか否かを判別する顔方向判別手段、 ユーザの顔が指差した位置の前記制御機器に向いていると判別された場合に、前記制御機器を操作対象として選択する制御機器選択手段、 検出された前記ジェスチャが前記操作ジェスチャであると判別された場合に、ユーザの顔が前記制御機器選択手段で選択された前記制御機器に向いているか否かを判別する前記顔方向判別手段であって、前記画像に基づくユーザの顔領域から顔全体の重心に対する唇の位置に応じたユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の前記制御機器に向いているか否かを判別する前記顔方向判別手段、 ユーザの顔が前記制御機器選択手段で選択された前記制御機器に向いていると判別された場合に、前記制御機器選択手段で選択された前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する制御機器操作手段、 として機能させるための制御機器操作ジェスチャ認識プログラム |
| IPC(International Patent Classification) |
|
| F-term |
|
|
Drawing
※Click image to enlarge. |
|
| State of application right | Registered |
※
(In Japanese)ライセンスをご希望の方、特許の内容に興味を持たれた方は、下記「問合せ先」までお問い合わせください。
Contact Information for " CONTROL EQUIPMENT OPERATION GESTURE RECOGNITION DEVICE; CONTROL EQUIPMENT OPERATION GESTURE RECOGNITION SYSTEM, AND CONTROL EQUIPMENT OPERATION GESTURE RECOGNITION PROGRAM"
- Tokyo Metropolitan University (In Japanese)産学公連携センター 知的財産部門
- URL: https://www.tmu.ac.jp/english/index.html
-
E-mail:
- Address: 1-1 Minami-Osawa, Hachioji-shi, Tokyo, Japan , 192-0397
- Fax: 042-677-5640
※ It is possible to retrieve in J-STORE by the same key word. → Retrieval result of J-STORE
