TOP > 国内特許検索 > 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム > 明細書

明細書 :制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5207513号 (P5207513)
公開番号 特開2009-037434 (P2009-037434A)
登録日 平成25年3月1日(2013.3.1)
発行日 平成25年6月12日(2013.6.12)
公開日 平成21年2月19日(2009.2.19)
発明の名称または考案の名称 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム
国際特許分類 G06F   3/01        (2006.01)
G06T   7/20        (2006.01)
G06F   3/0346      (2013.01)
FI G06F 3/01 310C
G06T 7/20 300A
G06F 3/033 422
請求項の数または発明の数 5
全頁数 23
出願番号 特願2007-201447 (P2007-201447)
出願日 平成19年8月2日(2007.8.2)
審査請求日 平成22年3月4日(2010.3.4)
特許権者または実用新案権者 【識別番号】305027401
【氏名又は名称】公立大学法人首都大学東京
発明者または考案者 【氏名】山口 亨
【氏名】佐藤 英理
【氏名】藤本 泰成
個別代理人の代理人 【識別番号】100137752、【弁理士】、【氏名又は名称】亀井 岳行
審査官 【審査官】森田 充功
参考文献・文献 特開平08-006708(JP,A)
特開平09-081309(JP,A)
特開平10-105310(JP,A)
特開平11-024694(JP,A)
特開2000-163196(JP,A)
特開2002-259989(JP,A)
特開2006-155244(JP,A)
特開2007-034515(JP,A)
特開2007-179338(JP,A)
調査した分野 G06F 3/01
G06F 3/0346
G06T 7/20
特許請求の範囲 【請求項1】
複数の制御機器とは異なる位置に配置され且つユーザのいる室内全体をステレオ視可能な位置に配置されたカメラによりユーザの唇の位置を含む画像を撮像するユーザ撮像手段と、
前記画像に基づいて、ユーザのジェスチャを検出するジェスチャ検出手段と、
検出された前記ジェスチャが、操作対象の制御機器を選択するための指差し動作としての選択ジェスチャであるか、選択された前記制御機器を操作するための操作ジェスチャであるかを判別するジェスチャ判別手段と、
検出された前記ジェスチャが前記選択ジェスチャであると判別された場合に、ユーザが指差した位置に制御機器が存在するか否かを判別する指差し位置判別手段と、
ユーザが指差した位置に制御機器が存在すると判別された場合に、前記画像に基づいて、ユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の前記制御機器に向いているか否かを判別する顔方向判別手段と、
ユーザの顔が指差した位置の前記制御機器に向いていると判別された場合に、前記制御機器を操作対象として選択する制御機器選択手段と、
検出された前記ジェスチャが前記操作ジェスチャであると判別された場合に、ユーザの顔が前記制御機器選択手段で選択された前記制御機器に向いているか否かを判別する前記顔方向判別手段であって、前記画像に基づくユーザの顔領域から顔全体の重心に対する唇の位置に応じたユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の前記制御機器に向いているか否かを判別する前記顔方向判別手段と、
ユーザの顔が前記制御機器選択手段で選択された前記制御機器に向いていると判別された場合に、前記制御機器選択手段で選択された前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する制御機器操作手段と、
を備えたことを特徴とする制御機器操作ジェスチャ認識装置。
【請求項2】
前記制御機器に対応する制御機器画像を表示する制御機器画像表示手段と、
検出された前記ジェスチャが前記選択ジェスチャであると判別された場合に、ユーザが指差した位置に前記制御機器画像が存在するか否かを判別する前記指差し位置判別手段と、
ユーザが指差した位置に前記制御機器画像が存在すると判別された場合に、前記画像に基づいて、ユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の前記制御機器画像に向いているか否かを判別する前記顔方向判別手段と、
ユーザの顔が指差した位置の前記制御機器画像に向いていると判別された場合に、前記制御機器を操作対象として選択する前記制御機器選択手段と、
検出された前記ジェスチャが前記操作ジェスチャであると判別された場合に、ユーザの顔が前記制御機器選択手段で選択された前記制御機器に対応する制御機器画像に向いているか否かを判別する前記顔方向判別手段と、
ユーザの顔が前記制御機器選択手段で選択された前記制御機器に対応する制御機器画像に向いていると判別された場合に、前記制御機器選択手段で選択された前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する制御機器操作手段と、
を備えたことを特徴とする請求項1に記載の前記制御機器操作ジェスチャ認識装置。
【請求項3】
前記選択ジェスチャで選択された制御機器が、ユーザが意図して選択した制御機器であるか否かを確認するための選択確認画像を表示する選択確認画像表示手段と、
前記選択確認画像が表示された後で、検出された前記ジェスチャが、ユーザが意図して選択した制御機器であることを肯定するための肯定ジェスチャと、ユーザが意図して選択した制御機器であることを否定するための否定ジェスチャとにより構成された確認ジェスチャのいずれかであることを判別する確認ジェスチャ判別手段と、
ユーザの顔が指差した位置の前記制御機器画像に向いていると判別された場合に、前記選択確認画像を表示し、前記選択確認画像の表示後に検出された前記ジェスチャが前記肯定ジェスチャであれば前記制御機器を操作対象として選択し、前記否定ジェスチャであれば前記制御機器を操作対象として選択しない前記制御機器選択手段と、
を備えたことを特徴とする請求項1または2に記載の前記制御機器操作ジェスチャ認識装置。
【請求項4】
複数の制御機器とは異なる位置に配置され且つユーザのいる室内全体をステレオ視可能な位置に配置されたカメラによりユーザの唇の位置を含む画像を撮像するユーザ撮像手段と、
前記画像に基づいて、ユーザのジェスチャを検出するジェスチャ検出手段と、
検出された前記ジェスチャが、操作対象の制御機器を選択するための指差し動作としての選択ジェスチャであるか、選択された前記制御機器を操作するための操作ジェスチャであるかを判別するジェスチャ判別手段と、
検出された前記ジェスチャが前記選択ジェスチャであると判別された場合に、ユーザが指差した位置に制御機器が存在するか否かを判別する指差し位置判別手段と、
ユーザが指差した位置に制御機器が存在すると判別された場合に、前記画像に基づいて、ユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の前記制御機器に向いているか否かを判別する顔方向判別手段と、
ユーザの顔が指差した位置の前記制御機器に向いていると判別された場合に、前記制御機器を操作対象として選択する制御機器選択手段と、
検出された前記ジェスチャが前記操作ジェスチャであると判別された場合に、ユーザの顔が前記制御機器選択手段で選択された前記制御機器に向いているか否かを判別する前記顔方向判別手段であって、前記画像に基づくユーザの顔領域から顔全体の重心に対する唇の位置に応じたユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の前記制御機器に向いているか否かを判別する前記顔方向判別手段と、
ユーザの顔が前記制御機器選択手段で選択された前記制御機器に向いていると判別された場合に、前記制御機器選択手段で選択された前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する制御機器操作手段と、
を備えたことを特徴とする制御機器操作ジェスチャ認識システム。
【請求項5】
コンピュータを、
複数の制御機器とは異なる位置に配置され且つユーザのいる室内全体をステレオ視可能な位置に配置されたカメラによりユーザの唇の位置を含む画像を撮像するユーザ撮像手段、
前記画像に基づいて、ユーザのジェスチャを検出するジェスチャ検出手段、
検出された前記ジェスチャが、操作対象の制御機器を選択するための指差し動作としての選択ジェスチャであるか、選択された前記制御機器を操作するための操作ジェスチャであるかを判別するジェスチャ判別手段、
検出された前記ジェスチャが前記選択ジェスチャであると判別された場合に、ユーザが指差した位置に制御機器が存在するか否かを判別する指差し位置判別手段、
ユーザが指差した位置に制御機器が存在すると判別された場合に、前記画像に基づいて、ユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の前記制御機器に向いているか否かを判別する顔方向判別手段、
ユーザの顔が指差した位置の前記制御機器に向いていると判別された場合に、前記制御機器を操作対象として選択する制御機器選択手段、
検出された前記ジェスチャが前記操作ジェスチャであると判別された場合に、ユーザの顔が前記制御機器選択手段で選択された前記制御機器に向いているか否かを判別する前記顔方向判別手段であって、前記画像に基づくユーザの顔領域から顔全体の重心に対する唇の位置に応じたユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の前記制御機器に向いているか否かを判別する前記顔方向判別手段
ユーザの顔が前記制御機器選択手段で選択された前記制御機器に向いていると判別された場合に、前記制御機器選択手段で選択された前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する制御機器操作手段、
として機能させるための制御機器操作ジェスチャ認識プログラム
発明の詳細な説明 【技術分野】
【0001】
本発明は、ユーザのジェスチャを認識することにより、制御機器を操作する制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラムに関する。
【背景技術】
【0002】
従来より、身振り・手振り等の動作、いわゆる、ジェスチャをロボットや家電製品等の制御機器を操作するための入力インタフェースとして用いる技術が知られている。
前記ジェスチャを認識することにより、ロボットや家電製品等の制御機器を操作する技術として、例えば、以下の従来技術(J01),(J02)が公知である。
【0003】
(J01)非特許文献1記載の技術
非特許文献1には、複数台のカメラによりユーザを撮影し(ステレオ視し)、ユーザの頭の高さからユーザの体型データ(身長、肩幅、肩の高さ、腕の長さ)を算出し、算出されたユーザの体型データに基づいて、ユーザの指差した位置(3次元座標位置)を認識してロボット等の移動経路指示等の操作をする技術が記載されている。また、非特許文献1には、指差し動作について、動作の滑らかさや速度(角速度)等の、いわゆる、ファジールールに基づいて、ユーザが指差し動作を行ったか否かを判別する技術が記載されている。
【0004】
(J02)非特許文献2記載の技術
非特許文献2には、ユーザのジェスチャを認識し、テレビ、照明機器、扇風機等の家電製品を操作する、いわゆる、インテリジェントルームについての技術が記載されている。また、非特許文献2には、室内に配置された複数台のCCDカメラで、室内にいる複数の人物の中から、手振りをして操作したい意思を示している人物(操作者)をステレオ視することにより、操作者の位置(3次元位置情報)を認識し、操作者の肌色情報から操作者の手の領域(手領域)を抽出することにより、指差し方向や、指の本数、手を上下左右に振る等の動作(ジェスチャ)を認識する技術が記載されている。
【0005】

【非特許文献1】佐藤英理、山口亨、他1名、“Natural Interface Using Pointing Behavior for Human-Robot Gestural Interaction”、「IEEE TRANSACTION ON INDUSTRIAL ELECTRONICS」、2007年4月、第54巻、第2号、p.1105-1112
【非特許文献2】若村直弘、他3名、“インテリジェンスルームの構築 -直感的なジェスチャを用いた家電製品の操作-”、「online」、2005年7月、「2007年7月3日検索」、インターネット<URL:http://www.mech.chuo-u.ac.jp/umedalab/publications/pdf/2005/suzuki_2005_miru.pdf>
【発明の開示】
【発明が解決しようとする課題】
【0006】
(従来技術の問題点)
前記従来技術(J02)では、ユーザの手領域が抽出され、前記手領域の手の形状だけで画像解析されるため、ユーザのジェスチャが本当に意図して行われているか否かを判別できないという問題があった。また、前記従来技術(J01)のように、ユーザの指差しの動作の滑らかさや速度(角速度)等に基づいて、ユーザが指差し動作を行ったか否かを判別しても、ユーザが本当に意図してその指差し動作を行ったかが判別できなければ、結局、意図しないジェスチャ認識は全て誤認識であり、ロボットや家電製品等を誤操作してしまうという問題があった。
したがって、前記従来技術(J01),(J02)のように、制御対象物を操作するためのジェスチャが手振りや指差し等の単純な動作である場合、普段の生活で何気なく行われる可能性があるため、ユーザの意図が判別できなければ、意図しないジェスチャ認識が行われ、ロボットや家電製品等を誤操作してしまうという問題があった。
また、多様な制御対象物の操作に対して、専用の操作ボタン、操作コマンド、操作ジェスチャが設定されている場合には、ユーザがこれらの設定を覚える必要があり、ユーザに負担を与えてしまうという問題があった。
【0007】
本発明は、前述の事情に鑑み、次の記載内容(O01)を技術的課題とする。
(O01)制御機器を操作する意図で行われたジェスチャを精度良く認識すること。
【課題を解決するための手段】
【0008】
前記技術的課題を解決するために、請求項1に記載の発明の制御機器操作ジェスチャ認識装置は、
複数の制御機器とは異なる位置に配置され且つユーザのいる室内全体をステレオ視可能な位置に配置されたカメラによりユーザの唇の位置を含む画像を撮像するユーザ撮像手段と、
前記画像に基づいて、ユーザのジェスチャを検出するジェスチャ検出手段と、
検出された前記ジェスチャが、操作対象の制御機器を選択するための指差し動作としての選択ジェスチャであるか、選択された前記制御機器を操作するための操作ジェスチャであるかを判別するジェスチャ判別手段と、
検出された前記ジェスチャが前記選択ジェスチャであると判別された場合に、ユーザが指差した位置に制御機器が存在するか否かを判別する指差し位置判別手段と、
ユーザが指差した位置に制御機器が存在すると判別された場合に、前記画像に基づいて、ユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の前記制御機器に向いているか否かを判別する顔方向判別手段と、
ユーザの顔が指差した位置の前記制御機器に向いていると判別された場合に、前記制御機器を操作対象として選択する制御機器選択手段と、
検出された前記ジェスチャが前記操作ジェスチャであると判別された場合に、ユーザの顔が前記制御機器選択手段で選択された前記制御機器に向いているか否かを判別する前記顔方向判別手段であって、前記画像に基づくユーザの顔領域から顔全体の重心に対する唇の位置に応じたユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の前記制御機器に向いているか否かを判別する前記顔方向判別手段と、
ユーザの顔が前記制御機器選択手段で選択された前記制御機器に向いていると判別された場合に、前記制御機器選択手段で選択された前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する制御機器操作手段と、
を備えたことを特徴とする。
【0012】
請求項に記載の発明は、請求項1に記載の前記制御機器操作ジェスチャ認識装置において、
前記制御機器に対応する制御機器画像を表示する制御機器画像表示手段と、
検出された前記ジェスチャが前記選択ジェスチャであると判別された場合に、ユーザが指差した位置に前記制御機器画像が存在するか否かを判別する前記指差し位置判別手段と、
ユーザが指差した位置に前記制御機器画像が存在すると判別された場合に、前記画像に基づいて、ユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の前記制御機器画像に向いているか否かを判別する前記顔方向判別手段と、
ユーザの顔が指差した位置の前記制御機器画像に向いていると判別された場合に、前記制御機器を操作対象として選択する前記制御機器選択手段と、
検出された前記ジェスチャが前記操作ジェスチャであると判別された場合に、ユーザの顔が前記制御機器選択手段で選択された前記制御機器に対応する制御機器画像に向いているか否かを判別する前記顔方向判別手段と、
ユーザの顔が前記制御機器選択手段で選択された前記制御機器に対応する制御機器画像に向いていると判別された場合に、前記制御機器選択手段で選択された前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する制御機器操作手段と、
を備えたことを特徴とする。
【0013】
請求項に記載の発明は、請求項1または2に記載の前記制御機器操作ジェスチャ認識装置において、
前記選択ジェスチャで選択された制御機器が、ユーザが意図して選択した制御機器であるか否かを確認するための選択確認画像を表示する選択確認画像表示手段と、
前記選択確認画像が表示された後で、検出された前記ジェスチャが、ユーザが意図して選択した制御機器であることを肯定するための肯定ジェスチャと、ユーザが意図して選択した制御機器であることを否定するための否定ジェスチャとにより構成された確認ジェスチャのいずれかであることを判別する確認ジェスチャ判別手段と、
ユーザの顔が指差した位置の前記制御機器画像に向いていると判別された場合に、前記選択確認画像を表示し、前記選択確認画像の表示後に検出された前記ジェスチャが前記肯定ジェスチャであれば前記制御機器を操作対象として選択し、前記否定ジェスチャであれば前記制御機器を操作対象として選択しない前記制御機器選択手段と、
を備えたことを特徴とする。
【0015】
前記技術的課題を解決するために、請求項に記載の発明の制御機器操作ジェスチャ認識システムは、
複数の制御機器とは異なる位置に配置され且つユーザのいる室内全体をステレオ視可能な位置に配置されたカメラによりユーザの唇の位置を含む画像を撮像するユーザ撮像手段と、
前記画像に基づいて、ユーザのジェスチャを検出するジェスチャ検出手段と、
検出された前記ジェスチャが、操作対象の制御機器を選択するための指差し動作としての選択ジェスチャであるか、選択された前記制御機器を操作するための操作ジェスチャであるかを判別するジェスチャ判別手段と、
検出された前記ジェスチャが前記選択ジェスチャであると判別された場合に、ユーザが指差した位置に制御機器が存在するか否かを判別する指差し位置判別手段と、
ユーザが指差した位置に制御機器が存在すると判別された場合に、前記画像に基づいて、ユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の前記制御機器に向いているか否かを判別する顔方向判別手段と、
ユーザの顔が指差した位置の前記制御機器に向いていると判別された場合に、前記制御機器を操作対象として選択する制御機器選択手段と、
検出された前記ジェスチャが前記操作ジェスチャであると判別された場合に、ユーザの顔が前記制御機器選択手段で選択された前記制御機器に向いているか否かを判別する前記顔方向判別手段であって、前記画像に基づくユーザの顔領域から顔全体の重心に対する唇の位置に応じたユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の前記制御機器に向いているか否かを判別する前記顔方向判別手段と、
ユーザの顔が前記制御機器選択手段で選択された前記制御機器に向いていると判別された場合に、前記制御機器選択手段で選択された前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する制御機器操作手段と、
を備えたことを特徴とする。
【0018】
前記技術的課題を解決するために、請求項に記載の発明の制御機器操作ジェスチャ認識プログラムは、
コンピュータを、
複数の制御機器とは異なる位置に配置され且つユーザのいる室内全体をステレオ視可能な位置に配置されたカメラによりユーザの唇の位置を含む画像を撮像するユーザ撮像手段、
前記画像に基づいて、ユーザのジェスチャを検出するジェスチャ検出手段、
検出された前記ジェスチャが、操作対象の制御機器を選択するための指差し動作としての選択ジェスチャであるか、選択された前記制御機器を操作するための操作ジェスチャであるかを判別するジェスチャ判別手段、
検出された前記ジェスチャが前記選択ジェスチャであると判別された場合に、ユーザが指差した位置に制御機器が存在するか否かを判別する指差し位置判別手段、
ユーザが指差した位置に制御機器が存在すると判別された場合に、前記画像に基づいて、ユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の前記制御機器に向いているか否かを判別する顔方向判別手段、
ユーザの顔が指差した位置の前記制御機器に向いていると判別された場合に、前記制御機器を操作対象として選択する制御機器選択手段、
検出された前記ジェスチャが前記操作ジェスチャであると判別された場合に、ユーザの顔が前記制御機器選択手段で選択された前記制御機器に向いているか否かを判別する前記顔方向判別手段であって、前記画像に基づくユーザの顔領域から顔全体の重心に対する唇の位置に応じたユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の前記制御機器に向いているか否かを判別する前記顔方向判別手段
ユーザの顔が前記制御機器選択手段で選択された前記制御機器に向いていると判別された場合に、前記制御機器選択手段で選択された前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する制御機器操作手段、
として機能させる。
【発明の効果】
【0021】
請求項1、4、5に記載の発明によれば、検出されたジェスチャが指差し動作としての選択ジェスチャであり、ユーザが指差した位置に制御機器が存在すると判別され、ユーザの顔が指差した位置の前記制御機器に向いていると判別された場合に、前記制御機器を操作対象として選択することができる。この結果、ユーザのジェスチャが前記制御機器を選択する意図で行われたジェスチャであれば、ユーザの顔の方向が前記制御機器に向いた状態で行われる可能性が高くなるため、本発明の構成を有しない場合に比べ、制御機器を選択する意図で行われた前記選択ジェスチャを精度良く認識することができる。
また、請求項1、4、5に記載の発明によれば、検出されたジェスチャが操作ジェスチャであり、ユーザの顔が選択された制御機器に向いていると判別された場合に、前記制御機器に対して、前記操作ジェスチャに応じた操作を実行することができる。したがって、本発明の構成を有しない場合に比べ、制御機器を操作する意図で行われた前記操作ジェスチャを精度良く認識することができる。
さらに、請求項1、4、5に記載の発明によれば、ユーザの顔の方向を画像解析することにより、ユーザの顔の方向に制御機器があるか否かを判別することができる。
また、請求項1、4、5に記載の発明によれば、ユーザの顔領域から顔全体の重心に対する唇の位置に応じたユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の制御機器に向いているか否かを判別することができる。
【0023】
請求項に記載の発明によれば、検出されたジェスチャが選択ジェスチャであり、ユーザが指差した位置に前記制御機器画像が存在すると判別され、ユーザの顔が指差した位置の前記制御機器画像に向いていると判別された場合に、前記制御機器画像に対応する制御機器を操作対象として選択することができる。この結果、実際の制御機器に対して前記選択ジェスチャをしなくても、前記制御機器を選択することができ、例えば、遠隔地から制御機器の選択および操作を行うことができる。
また、請求項に記載の発明によれば、検出されたジェスチャが操作ジェスチャであり、ユーザの顔が前記制御機器選択手段で選択された前記制御機器に対応する制御機器画像に向いていると判別された場合に、前記制御機器に対して、前記操作ジェスチャに応じた操作を実行することができる。この結果、実際の制御機器に対して前記操作ジェスチャをしなくても、前記制御機器を操作することができる。
【0024】
請求項に記載の発明によれば、前記選択確認画像を表示した後、前記確認ジェスチャ(肯定ジェスチャ、否定ジェスチャ)を判別することにより、前記選択ジェスチャで選択された制御機器が、ユーザが意図して選択した制御機器であるか否かを確認できる。また、請求項に記載の発明によれば、前記選択確認画像の表示後に検出されたジェスチャが前記肯定ジェスチャであれば前記制御機器を操作対象として選択できると共に、前記否定ジェスチャであれば前記制御機器を操作対象として選択しないようにすることができる。
【発明を実施するための最良の形態】
【0029】
次に図面を参照しながら、本発明の実施の形態の具体例(実施例)を説明するが、本発明は以下の実施例に限定されるものではない。
【実施例1】
【0030】
図1は本発明の実施例1の制御機器操作ジェスチャ認識システムの全体説明図である。
図1において、実施例1の制御機器操作ジェスチャ認識システムSは、制御機器操作ジェスチャ認識システムS本体としてのクライアントパソコン(パーソナルコンピュータ、制御機器操作ジェスチャ認識装置)PCを有する。
前記クライアントパソコンPCは、コンピュータ装置により構成されており、コンピュータ本体H1と、ディスプレイH2と、キーボードH3やマウスH4等の入力装置、図示しないHDドライブ(ハードディスクドライブ)、CDドライブ(コンパクトディスクドライブ)等により構成されている。
【0031】
また、前記制御機器操作ジェスチャ認識システムSは、室内のユーザを撮影するための2台のカメラCA1,CA2と、操作対象の制御機器Kとを有する。前記カメラCA1,CA2および前記制御機器Kは、接続ケーブルCを介して前記クライアントパソコンPCに接続されている。
実施例1の前記カメラCA1,CA2は、室内全体をステレオ視可能な位置に予め配置されている。すなわち、実施例1の前記クライアントパソコンPCは、前記カメラCA1,CA2で撮像された室内の動画情報(画像)により、ユーザの3次元位置を識別できる。なお、複数台のカメラで室内をステレオ視することにより、ユーザの3次元位置を識別する技術については、非特許文献1,2等に記載されており、公知である。
【0032】
また、実施例1の前記制御機器Kは、前記接続ケーブルCを介して送信される前記クライアントパソコンPCの各制御信号により、明るさ調節が可能な照明K1と、開閉可能な窓K2と、音量調節が可能なCDプレイヤーK3と、チャンネル変更および音量調節が可能なテレビK4と、再生・停止および巻戻し・早送りが可能なビデオK6とを有する。また、前記窓K2は、前記制御信号により開閉可能なカーテンK2aを有する。
【0033】
(実施例1のクライアントパソコンPCの制御部の説明)
図2は本発明の実施例1のクライアントパソコンの制御部が備えている各機能をブロック図(機能ブロック図)で示した図である。
図2において、クライアントパソコンPCのコンピュータ本体H1は、外部との信号の入出力および入出力信号レベルの調節等を行うI/O(入出力インターフェース)、必要な処理を行うためのプログラムおよびデータ等が記憶されたROM(リードオンリーメモリ)、必要なデータを一時的に記憶するためのRAM(ランダムアクセスメモリ)、ハードディスクやROM等に記憶されたプログラムに応じた処理を行うCPU(中央演算処理装置)、ならびにクロック発振器等を有している。
前記構成のクライアントパソコンPCは、前記ハードディスクやROM等に記憶されたプログラムを実行することにより種々の機能を実現することができる。
【0034】
前記クライアントパソコンPCの前記ハードディスクドライブには、クライアントパソコンの基本動作を制御する基本ソフト(オペレーティングシステム)OSや、アプリケーションプログラムとしての制御機器操作ジェスチャ認識プログラムAP1、その他の図示しないソフトウェア(文書作成ソフトウェアや製図ソフトウェア等)が記憶されている。
【0035】
(制御機器操作ジェスチャ認識プログラムAP1)
制御機器操作ジェスチャ認識プログラムAP1は、下記の機能手段(プログラムモジュール)を有する。
C1:室内動画撮像制御手段(ユーザ撮像手段)
室内動画撮像制御手段C1は、前記カメラCA1,CA2による室内の動画(ユーザの画像)の撮像を制御する。実施例1の前記室内動画撮像制御手段C1は、前記接続ケーブルCを介して制御信号を送信することにより、前記カメラCA1,CA2による室内の動画の撮像を制御する。
【0036】
C2:ジェスチャ検出手段
ジェスチャ検出手段C2は、手領域検出手段C2Aと、顔領域検出手段C2Bとを有し、前記室内動画撮像制御手段C1によって撮像された室内の動画に基づいて、ユーザのジェスチャを検出する。実施例1の前記ジェスチャ検出手段C2は、前記カメラCA1,CA2で室内がステレオ視されることにより算出されるユーザの3次元位置を認識し、前記各手段C2A,C2Bにより検出されたユーザの手領域および顔領域の変化(動き)を画像解析して、ユーザのジェスチャを検出する(非特許文献1、2参照)。
【0037】
C2A:手領域検出手段
手領域検出手段C2Aは、前記室内動画撮像制御手段C1によって撮像された室内の動画に基づいて、ユーザの肌色部分のうちの手の領域(手領域)を検出する。
C2B:顔領域検出手段
顔領域検出手段C2Bは、前記室内動画撮像制御手段C1によって撮像された室内の動画に基づいて、ユーザの肌色部分のうちの顔の領域(顔領域)を検出する。
【0038】
C3:ジェスチャ判別手段
ジェスチャ判別手段C3は、前記ジェスチャ検出手段C2で検出されたジェスチャが、制御機器Kを選択する選択ジェスチャであるか、選択された制御機器K(K1~K6)を操作する操作ジェスチャであるかを判別する。実施例1の前記ジェスチャ判別手段C3は、検出されたジェスチャが指差し動作であるか否かを判別することにより、前記ジェスチャが選択ジェスチャであるか、操作ジェスチャであるかを判別する。
【0039】
C4:制御機器選択手段
制御機器選択手段C4は、制御機器配置位置記憶手段C4Aと、指差し位置判別手段C4Bと、顔方向判別手段C4Cとを有し、前記ジェスチャ判別手段C3によりユーザのジェスチャが選択ジェスチャであると判別された場合に、前記選択ジェスチャに基づいて、前記制御機器K(K1~K6)のいずれか1つを操作対象として選択する制御機器選択処理を実行する。実施例1の前記制御機器選択手段C4は、ユーザが指差した位置に制御機器K(K1~K6)のいずれかが存在し、且つ、ユーザの顔の方向が指差した位置、すなわち、前記制御機器K(K1~K6)に向いていると判別された場合に、指差した位置の前記制御機器K(K1~K6)を操作対象として選択する。また、前記制御機器選択手段C4は、前記制御機器K(K1~K6)のいずれか1つを操作対象として選択した場合、対応する選択フラグ(F1~F5)を「1」にセットすると共に、その他の選択フラグ(F1~F5)を「0」にリセットする。
【0040】
C4A:制御機器配置位置記憶手段
制御機器配置位置記憶手段C4Aは、前記照明K1、前記窓K2、前記CDプレイヤーK3、前記テレビK4、前記ビデオK6がそれぞれ配置された位置を記憶する。
C4B:指差し位置判別手段
指差し位置判別手段C4Bは、前記手領域検出手段C2Aおよび前記顔領域検出手段C2Bにより検出されたユーザの手領域および顔領域に基づいて、ユーザの指差した位置を判別する。実施例1の前記指差し位置判別手段C4Bは、非特許文献1記載の技術と同様に、ユーザの頭の高さからユーザの体型データ(身長、肩幅、肩の高さ、腕の長さ)を算出し、算出されたユーザの体型データに基づいて、ユーザの指差した位置を判別する。例えば、頭の位置と指差した指先とを結んだ直線が到達した位置を判別する。
C4C:顔方向判別手段(視線方向判別手段)
顔方向判別手段C4Cは、前記顔領域検出手段C2Bにより検出されたユーザの顔領域に基づいて、ユーザの顔の向きを判別することにより、ユーザの視線の方向に制御機器K(K1~K6)があるか否かを判別する。実施例1の前記顔方向判別手段C4Cは、前記顔領域内の唇を検出し、顔全体の重心に対する唇の位置から、ユーザの顔の向きを判別する。
【0041】
C5:制御機器操作手段
制御機器操作手段C5は、操作ジェスチャ記憶手段C5Aと、操作ジェスチャ判別手段C5Bと、顔方向判別手段C5Cとを有し、前記ジェスチャ判別手段C3によりユーザのジェスチャが操作ジェスチャであると判別された場合に、前記操作ジェスチャに基づいて、選択された前記制御機器K(K1~K6)を操作する制御機器操作処理を実行する。実施例1の前記制御機器操作手段C5は、ユーザの動作が手を上下左右のいずれかに振る動作であり、且つ、ユーザの顔の方向が指差した位置、すなわち、前記制御機器K(K1~K6)に向いていると判別された場合に、選択された前記制御機器K(K1~K6)に対して、前記操作ジェスチャに対応する操作を実行する。
【0042】
図3は選択ジェスチャで選択された制御機器と操作ジェスチャによる操作との対応表である。
C5A:操作ジェスチャ設定記憶手段
操作ジェスチャ記憶手段C5Aは、前記制御機器K(K1~K6)を操作する前記操作ジェスチャの設定を記憶する。
実施例1の前記操作ジェスチャ記憶手段C5Aでは、図3に示すように、前記操作ジェスチャとして、手を上下左右に振る動作が予め設定されている。また、前記選択ジェスチャで照明K1が選択された場合、手を左右に振る動作では何も操作せず、手を上に振る動作では照明K1を明るくし、手を下に振る動作では照明K1を暗くするよう予め設定されている。また、前記選択ジェスチャで窓K2が選択された場合、手を左に振る動作では窓K2を開け、手を右に振る動作では窓K2を閉め、手を上に振る動作ではカーテンK2aを開け、手を下に振る動作ではカーテンK2aを閉めるよう予め設定されている。
【0043】
また、前記選択ジェスチャでCDプレイヤーK3が選択された場合、手を左右に振る動作では何も操作せず、手を上に振る動作ではCDプレイヤーK3の音量を大きくし、手を下に振る動作ではCDプレイヤーK3の音量を小さくするよう予め設定されている。また、前記選択ジェスチャでテレビK4が選択された場合、手を左に振る動作ではテレビK4のチャンネルの値が小さくなるよう変更し、手を右に振る動作ではテレビK4のチャンネルの値が大きくなるよう変更し、手を上に振る動作ではテレビK4の音量を大きくし、手を下に振る動作ではテレビK3の音量を小さくするよう予め設定されている。さらに、前記選択ジェスチャでビデオK6が選択された場合、手を左に振る動作ではビデオK6の巻戻しを実行し、手を右に振る動作ではビデオK6の早送りを実行し、手を上に振る動作ではビデオK6の再生を実行し、手を下に振る動作ではビデオK6の停止を実行するよう予め設定されている。
【0044】
C5B:操作ジェスチャ判別手段
操作ジェスチャ判別手段C5Bは、前記手領域検出手段C2Aにより検出されたユーザの手領域に基づいて、手を上下左右のどの方向に振る動作であるかを判別する。実施例1の前記操作ジェスチャ判別手段C5Bは、非特許文献2記載の技術と同様に、手の重心位置が往復運動した場合に、前記重心位置の移動方向を算出することにより、手を上下左右のどの方向に振る動作であるかを判別する。
C5C:顔方向判別手段(視線方向判別手段)
顔方向判別手段C5Cは、前記顔領域検出手段C2Bにより検出されたユーザの顔領域に基づいて、ユーザの顔の向きを判別することにより、ユーザの視線の方向に制御機器K(K1~K6)があるか否かを判別する。実施例1の前記顔方向判別手段C5Cは、前記制御機器選択手段C4の顔方向判別手段C4Cと同様に、前記顔領域内の唇を検出し、顔全体の重心に対する唇の位置から、ユーザの顔の向きを判別する。
【0045】
FL1:照明選択フラグ
照明選択フラグFL1は、初期値が「0」であり、選択ジェスチャで前記照明K1が選択されると「1」となり、選択ジェスチャでその他の制御機器K(K2~K6)が選択されると「0」となる。
FL2:窓選択フラグ
窓選択フラグFL2は、初期値が「0」であり、選択ジェスチャで前記窓K2が選択されると「1」となり、選択ジェスチャでその他の制御機器K(K1,K3~K6)が選択されると「0」となる。
FL3:CDプレイヤー選択フラグ
CDプレイヤー選択フラグFL3は、初期値が「0」であり、選択ジェスチャで前記CDプレイヤーK3が選択されると「1」となり、選択ジェスチャでその他の制御機器K(K1,K2,K4,K6)が選択されると「0」となる。
【0046】
FL4:テレビ選択フラグ
テレビ選択フラグFL4は、初期値が「0」であり、選択ジェスチャで前記テレビK4が選択されると「1」となり、選択ジェスチャでその他の制御機器K(K1~K3,K6)が選択されると「0」となる。
FL5:ビデオ選択フラグ
ビデオ選択フラグFL5は、初期値が「0」であり、選択ジェスチャで前記ビデオK6が選択されると「1」となり、選択ジェスチャでその他の制御機器K(K1~K4)が選択されると「0」となる。
【0047】
(実施例1のフローチャートの説明)
次に、実施例1のクライアントパソコンPCの制御機器操作ジェスチャ認識プログラムAP1の処理の流れをフローチャートを使用して説明する。
(実施例1のメイン処理のフローチャートの説明)
図4は本発明の実施例1の制御機器操作ジェスチャ認識プログラムのメイン処理のフローチャートである。
図4のフローチャートの各ST(ステップ)の処理は、前記クライアントパソコンPCのROM等に記憶されたプログラムに従って行われる。また、この処理は前記クライアントパソコンPCの他の各種処理と並行してマルチタスクで実行される。
【0048】
図4に示すフローチャートは前記クライアントパソコンPC、前記カメラCA1,CA2および全ての制御機器K(K1~K6)が電源オンされ、前記制御機器操作ジェスチャ認識プログラムAP1が起動された状態、すなわち、前記制御機器操作ジェスチャ認識システムSがスタンバイ状態となった場合に開始される。
図4のST1において、次の(1),(2)の処理を実行し、ST2に移る。
(1)照明選択フラグFL1、窓選択フラグFL2、CDプレイヤー選択フラグFL3、テレビ選択フラグFL4、ビデオ選択フラグFL5をそれぞれ「0」にセットする。
(2)カメラCA1,CA2による室内の動画の撮像を開始する。
【0049】
ST2において、カメラCA1,CA2により検出されるユーザの手領域および顔領域の変化(動き)を画像解析することにより、ユーザのジェスチャを検出したか否かを判別する。イエス(Y)の場合はST3に移り、ノー(N)の場合はST2を繰り返す。
ST3において、検出されたジェスチャは選択ジェスチャ、すなわち、指差し動作であるか否かを判別する。イエス(Y)の場合はST4に移り、ノー(N)の場合はST5に移る。
ST4において、選択ジェスチャに基づいて、制御機器K(K1~K6)のいずれか1つを操作対象として選択する制御機器選択処理を実行する。そして、ST2に戻る。
ST5において、操作ジェスチャに基づいて、選択された制御機器K(K1~K6)を操作する制御機器操作処理を実行する。そして、ST2に戻る。
【0050】
(実施例1の制御機器選択処理のフローチャートの説明)
図5は本発明の実施例1の制御機器操作ジェスチャ認識プログラムの制御機器選択処理のフローチャートであり、図4のST4のサブルーチンの説明図である。
図5のST11において、ユーザが指差した位置に制御機器K(K1~K6)のいずれかが存在するか否かを判別する。イエス(Y)の場合はST12に移り、ノー(N)の場合は制御機器選択処理を終了し、図4のメイン処理に戻る。
ST12において、ユーザの顔の方向が指差した位置、すなわち、制御機器K(K1~K6)に向いているか否かを判別する。イエス(Y)の場合はST13に移り、ノー(N)の場合は制御機器選択処理を終了し、図4のメイン処理に戻る。
【0051】
ST13において、次の(1),(2)の処理を実行し、制御機器選択処理を終了し、図4のメイン処理に戻る。
(1)指差された制御機器K(K1~K6)に対応する選択フラグFL1~FL5を「1」にセットする。
(2)その他の各選択フラグFL1~FL5を「0」にセットする。
【0052】
(実施例1の制御機器選択処理のフローチャートの説明)
図6は本発明の実施例1の制御機器操作ジェスチャ認識プログラムの制御機器操作処理のフローチャートであり、図4のST5のサブルーチンの説明図である。
図6のST21において、検出されたユーザのジェスチャが手を上下左右のいずれかに振る動作であるか否かを判別することにより、ユーザのジェスチャが操作ジェスチャであるか否かを判別する。イエス(Y)の場合はST22に移り、ノー(N)の場合は制御機器操作処理を終了し、図4のメイン処理に戻る。
【0053】
ST22において、選択フラグFL1~FL5のいずれか1つが「1」であるか否かを判別することにより、ユーザの選択ジェスチャにより選択された制御機器K(K1~K6)が存在するか否かを判別する。イエス(Y)の場合はST23に移り、ノー(N)の場合は制御機器操作処理を終了し、図4のメイン処理に戻る。
ST23において、ユーザの顔の方向が指差した位置、すなわち、制御機器K(K1~K6)に向いているか否かを判別する。イエス(Y)の場合はST23に移り、ノー(N)の場合は制御機器操作処理を終了し、図4のメイン処理に戻る。
ST24において、選択フラグFL1~FL5が「1」の制御機器K(K1~K6)に対して、検出された操作ジェスチャに対応する操作(図3参照)を実行する。そして、制御機器操作処理を終了し、図4のメイン処理に戻る。
【0054】
(実施例1の作用)
前記構成を備えた実施例1の制御機器操作ジェスチャ認識システムSでは、ユーザが行った動作が、前記制御機器K(K1~K6)を操作する意図で行われたジェスチャであれば、操作対象である前記制御機器K(K1~K6)の方向を向いた状態で行われる可能性が高くなる。このため、実施例1の制御機器操作ジェスチャ認識システムSは、前記ジェスチャ(選択ジェスチャ、操作ジェスチャ)を検出し、且つ、ユーザの顔の方向が前記制御機器K(K1~K6)に向いている場合に、前記制御機器K(K1~K6)のいずれか1つを操作対象として選択したり(図4のST4、図5のST11~ST13参照)、選択された前記制御機器K(K1~K6)に対して、前記操作ジェスチャに対応する操作(図3参照)を実行したりすることができる(図4のST5、図6のST21~ST24参照)。
【0055】
したがって、前記制御機器選択処理(図4のST4、図5のST11~ST13参照)では、ユーザが指差した位置に制御機器K(K1~K6)のいずれかが存在する場合でも、ユーザの顔の方向が前記制御機器K(K1~K6)に向いていると判別されなければ、前記制御機器K(K1~K6)が操作対象として選択されない(図5のST12参照)。また、前記制御機器操作処理(図4のST5、図6のST21~ST24参照)では、ユーザのジェスチャが手を上下左右のいずれかに振る動作である場合でも、ユーザの顔の方向が前記制御機器K(K1~K6)に向いていると判別されなければ、選択された前記制御機器K(K1~K6)に対して、前記操作ジェスチャに対応する操作が実行されない(図6のST22参照)。
この結果、実施例1の制御機器操作ジェスチャ認識システムSは、従来技術(J01),(J02)を適用した場合に比べて、制御機器K(K1~K6)を操作する意図で行われたジェスチャを精度良く認識することができる。
【0056】
また、実施例1では、他者に伝える意図で行われる動作と同様なジェスチャを実現するため、前記選択ジェスチャ(指差し動作と顔の方向)で選択された制御機器K(K1~K6)に応じて、前記操作ジェスチャによる操作(制御内容)を実行するように予め設定されている(図3参照)。したがって、実施例1の制御機器操作ジェスチャ認識システムSでは、前記制御機器K(K1~K6)に対応する専用の操作ボタン、操作コマンド、操作ジェスチャ等を覚えるユーザの負担を軽減できると共に、他者へ伝える動作と同様の自然なジェスチャにより、制御機器K(K1~K6)の操作を精度良く認識することができる。
【実施例2】
【0057】
図7は本発明の実施例2の制御機器操作ジェスチャ認識システムの全体説明図である。
次に本発明の実施例2の制御機器操作ジェスチャ認識システムSの説明を行うが、この実施例2の説明において、前記実施例1の構成要素に対応する構成要素には同一の符号を付して、その詳細な説明を省略する。この実施例2は、下記の点で前記実施例1と相違しているが、他の点では前記実施例1と同様に構成されている。
図7において、本発明の実施例2の制御機器操作ジェスチャ認識システムSは、実施例1の前記クライアントパソコンPCおよび前記カメラCA1,CA2が、前記制御機器Kが配置された部屋とは異なる部屋に配置されている。
【0058】
また、実施例2では、前記カメラCA1,CA2は、前記クライアントパソコンPCのディスプレイH2の前方をステレオ視できるように、前記ディスプレイH2の上端部の左右両端にそれぞれ固定支持されている。また、前記ディスプレイH2には、前記制御機器K(K1~K6)が配置された位置に基づいて作成された制御機器配置画像Gが表示されている。
実施例2では、前記制御機器配置画像(制御機器画像)Gとして室内全体を再現して作成された画像が前記ディスプレイH2に表示されている。なお、前記制御機器配置画像Gは、実施例2の表示内容に限定されず、例えば、前記制御機器K(K1~K6)を操作する度に、前記操作に応じて変化した室内の画像に更新したり、前記制御機器K(K1~K6)が配置された実際の部屋に新たなカメラを設け、前記カメラで撮像した動画を前記ディスプレイH2に表示したりすることにより、操作時の室内の状態を表示することも可能である。
【0059】
(実施例2のクライアントパソコンPCの制御部の説明)
図8は本発明の実施例2のクライアントパソコンの制御部が備えている各機能をブロック図(機能ブロック図)で示した図であり、実施例1の図2に対応する説明図である。
【0060】
(制御機器操作ジェスチャ認識プログラムAP1)
実施例2では、前記ディスプレイH2の前方のユーザが、前記制御機器K(K1~K6)に対応する前記制御機器配置画像Gの中の画像G1~G6に対して行う前記ジェスチャ(選択ジェスチャ、操作ジェスチャ)に基づいて、前記制御機器K(K1~K6)を操作対象として選択したり、操作したりする。このため、実施例2の制御機器選択手段C4および制御機器操作手段C5では、実施例1とは異なり、前記ジェスチャの対象が、前記制御機器K(K1~K6)ではなく、前記制御機器K(K1~K6)に対応する前記制御機器配置画像Gの中の画像G1~G6となる。
また、実施例2の制御機器操作ジェスチャ認識プログラムAP1は、前記ディスプレイH2の前方のユーザをステレオ視するために、実施例1の室内動画撮像制御手段C1に替えて、前記ディスプレイH2前方の動画の撮像を制御する室内動画撮像制御手段(ユーザ撮像手段)C1′を有する。さらに、前記制御機器操作ジェスチャ認識プログラムAP1には、前記制御機器配置位置記憶手段C4Aに記憶された制御機器K(K1~K6)の配置位置に基づいて作成された前記制御機器配置画像G(G1~G6)をディスプレイH2に表示する制御機器配置画像表示手段C6が新たに追加されている。
【0061】
(実施例2のフローチャートの説明)
次に、実施例2のクライアントパソコンPCの制御機器操作ジェスチャ認識プログラムAP1の処理の流れをフローチャートを使用して説明する。
【0062】
(実施例2のメイン処理のフローチャートの説明)
図9は本発明の実施例2の制御機器操作ジェスチャ認識プログラムのメイン処理のフローチャートであり、実施例1の図4に対応する説明図である。
実施例2では、前記ジェスチャの対象が、前記制御機器K(K1~K6)ではなく、前記制御機器K(K1~K6)に対応する前記制御機器配置画像Gの中の画像G1~G6となる。このため、実施例2のメイン処理は、実施例1のメイン処理(図4参照)のST1に替えてST1′を実行する。
図9のST1′において、次の(1),(2)′,(3)′を実行し、ST2に移る。
(1)照明選択フラグFL1、窓選択フラグFL2、CDプレイヤー選択フラグFL3、テレビ選択フラグFL4、ビデオ選択フラグFL5をそれぞれ「0」にセットする。
(2)′カメラCA1,CA2による前記ディスプレイH2前方の動画の撮像を開始する。
(3)′制御機器K(K1~K6)が配置された位置に基づいて作成された制御機器配置画像G(G1~G6)をディスプレイH2に表示する。
【0063】
(実施例2の作用)
前記構成を備えた実施例2の制御機器操作ジェスチャ認識システムSでは、前記制御機器Kが配置された部屋とは異なる部屋に前記ディスプレイH2が配置されている。また、前記ディスプレイH2の前方のユーザが、制御機器K(K1~K6)に対応する前記制御機器配置画像Gの中の画像G1~G6に対して行う前記ジェスチャ(選択ジェスチャ、操作ジェスチャ)に基づいて、前記制御機器K(K1~K6)を操作対象として選択したり、選択された前記制御機器K(K1~K6)を操作したりすることができる。
したがって、実施例2の制御機器操作ジェスチャ認識システムSでは、ユーザが、前記制御機器Kを配置された部屋に居なくても、前記ジェスチャ(選択ジェスチャ、操作ジェスチャ)に基づいて、前記制御機器K(K1~K6)を操作することができる。この結果、実施例2の制御機器操作ジェスチャ認識システムSは、例えば、遠隔地からの介護等に利用できる。
その他、実施例2の制御機器操作ジェスチャ認識システムSでは、実施例1の制御機器操作ジェスチャ認識システムSと同様の作用効果を奏する。
【実施例3】
【0064】
図10は本発明の実施例3のクライアントパソコンの制御部が備えている各機能をブロック図(機能ブロック図)で示した図であり、実施例1の図2に対応する説明図である。
次に本発明の実施例3の制御機器操作ジェスチャ認識システムSの説明を行うが、この実施例3の説明において、前記実施例1の構成要素に対応する構成要素には同一の符号を付して、その詳細な説明を省略する。この実施例3は、下記の点で前記実施例1と相違しているが、他の点では前記実施例1と同様に構成されている。
【0065】
(制御機器操作ジェスチャ認識プログラムAP1)
図10において、実施例3の制御機器操作ジェスチャ認識プログラムAP1は、制御機器選択手段C4に替えて、制御機器選択手段C4′を有する。実施例3の制御機器選択手段C4′には、実施例1の前記制御機器選択手段C4に比べ、選択確認画像表示手段C4Dと、確認ジェスチャ判別手段C4Eとが新たに追加されている。
【0066】
図11は実施例3の選択確認画像の説明図である。
C4D:選択確認画像表示手段
選択確認画像表示手段C4Dは、前記制御機器配置位置記憶手段C4Aおよび前記指差し位置判別手段C4Bに基づいて、前記選択ジェスチャ(指差し動作)を検出して特定した制御機器K(K1~K6)が、ユーザが意図して選択した制御機器K(K1~K6)であるかを確認するための選択確認画像Ga(図11参照)を表示する。
C4E:確認ジェスチャ判別手段
確認ジェスチャ判別手段C4Eは、前記顔領域検出手段C2Bにより検出されたユーザの顔領域に基づいて、ユーザの確認ジェスチャを判別する。なお、実施例3の前記確認ジェスチャ判別手段C4Eでは、ユーザのうなずき動作(YES、肯定ジェスチャ)と、首振り動作(NO、否定ジェスチャ)とが前記確認ジェスチャとして予め設定されている。具体的には、前記確認ジェスチャ判別手段C4Eは、顔の重心位置が往復運動した場合に、前記重心位置の移動方向を算出することにより、ユーザのうなずき動作(首を上下に振る動作)、または、首振り動作(首を左右に振る動作)のいずれかであることを判別する。
【0067】
(実施例3のフローチャートの説明)
次に、実施例3のクライアントパソコンPCの制御機器操作ジェスチャ認識プログラムAP1の処理の流れをフローチャートを使用して説明する。
(実施例3の制御機器選択処理のフローチャートの説明)
図12は本発明の実施例3の制御機器操作ジェスチャ認識プログラムの制御機器選択処理のフローチャートであり、図4のST4のサブルーチンの説明図であり、実施例1の図5に対応する説明図である。
実施例3では、前記選択確認画像Ga(図11参照)を表示し、前記確認ジェスチャ(うなずき動作、首振り動作)により、前記選択ジェスチャ(指差し動作)を検出して特定した制御機器K(K1~K6)が、ユーザが意図して選択した制御機器K(K1~K6)であるか否かを判別する。このため、実施例3の制御機器選択処理は、実施例1の制御機器選択処理のST12と13との間に、ST16~ST20を実行する。
【0068】
図12のST16において、前記選択ジェスチャ(指差し動作)を検出して特定した前記制御機器K(K1~K6)が、ユーザが意図して選択した制御機器K(K1~K6)であるか否かを確認するための選択確認画像Ga(図11参照)をディスプレイH2に表示する。そして、ST17に移る。
ST17において、ユーザの動作が首を上下、または、左右に振る動作であるか否かを判別することにより、ユーザのジェスチャが確認ジェスチャ(うなずき動作、首振り動作)であるか否かを判別する。イエス(Y)の場合はST18に移り、ノー(N)の場合はST17を繰り返す。
ST18において、ユーザの顔の方向がディスプレイH2に向いているか否かを判別する。イエス(Y)の場合はST19に移り、ノー(N)の場合はST17に戻る。
ST19において、前記選択確認画像Gaを非表示にする。そして、ST20に移る。
ST20において、前記確認ジェスチャがうなずき動作であるか否かを判別する。イエス(Y)の場合はST13に移り、ノー(N)の場合は制御機器操作処理を終了し、図4のメイン処理に戻る。
【0069】
(実施例3の作用)
前記構成を備えた実施例3の制御機器操作ジェスチャ認識システムSでは、前記選択ジェスチャを検出し、且つ、ユーザの顔の方向が前記制御機器K(K1~K6)に向いている場合に、前記選択確認画像Ga(図11参照)を前記ディスプレイH2に表示する(図12のST16参照)。
また、実施例3の制御機器操作ジェスチャ認識システムSでは、前記選択確認画像Gaが表示された後で、ユーザのうなずき動作を検出し、且つ、ユーザの顔の方向が前記ディスプレイH2に向いている場合には、前記選択ジェスチャの検出が正しかったと認識し、前記制御機器K(K1~K6)を操作対象として選択できる(図12のST13、ST17~ST20参照)。また、前記選択確認画像Gaが表示された後で、ユーザの首振り動作を検出し、且つ、ユーザの顔の方向が前記ディスプレイH2に向いている場合には、選択ジェスチャ(指差し動作)の検出が誤りであったと認識し、前記制御機器K(K1~K6)を選択しないようにすることができる(図12のST17~ST20参照)。
【0070】
この結果、実施例3の制御機器操作ジェスチャ認識システムSは、制御機器K(K1~K6)を操作する意図で行われた前記選択ジェスチャを精度良く認識することができると共に、特定した制御機器K(K1~K6)が、ユーザが意図して選択した制御機器K(K1~K6)であるかを確認することができる。
その他、実施例3の制御機器操作ジェスチャ認識システムSでは、実施例1の制御機器操作ジェスチャ認識システムSと同様の作用効果を奏する。
【0071】
(変更例)
以上、本発明の実施例を詳述したが、本発明は、前記実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内で、種々の変更を行うことが可能である。本発明の変更例(H01)~(H013)を下記に例示する。
(H01)本発明の実施例では、選択ジェスチャ(指差し動作)が行われた場合に、ユーザの顔の方向が選択ジェスチャで選択された制御機器K(K1~K6)に向いていれば前記制御機器K(K1~K6)を選択すると共に、操作ジェスチャ(手を上下左右のいずれかに動作)が行われた場合に、ユーザの顔の方向が選択された制御機器K(K1~K6)に向いていれば前記制御機器K(K1~K6)を操作したが、これに限定されず、例えば、指差し動作で制御機器K(K1~K6)を選択した場合、または、ユーザの顔が所定時間だけ制御機器K(K1~K6)に向いている場合に、前記制御機器K(K1~K6)を選択し、操作ジェスチャが行われた場合には、ユーザの顔の方向が選択された制御機器K(K1~K6)に向いていなければ前記制御機器K(K1~K6)を操作しないように構成することも可能である。また、選択ジェスチャが行われた場合に、ユーザの顔の方向が選択ジェスチャで選択された制御機器K(K1~K6)に向いていなければ前記制御機器K(K1~K6)を選択しないが、操作ジェスチャが行われた場合には、ユーザの顔の方向が選択された制御機器K(K1~K6)に向いていなくても前記制御機器K(K1~K6)を操作するように構成することも可能である。また、実施例3の前記確認ジェスチャ(うなずき動作、首振り動作)も同様に、ユーザの顔がディスプレイH2に向いていなくても、確認ジェスチャとして認識するように構成することも可能である。
【0072】
(H02)本発明の実施例では、2台のカメラCA1,CA2により室内の動画を撮影したり、ユーザをステレオ視したりしているが、カメラの台数は2台に限定されず、3台以上のカメラを配置することも可能である。また、1台のカメラだけで、ユーザの3次元位置等を画像解析したり、ジェスチャ(選択ジェスチャ、操作ジェスチャ、確認ジェスチャ)を画像解析したりすることが可能であれば、1台のカメラだけで構成することも可能である。さらに、前記カメラCA1,CA2で撮像するのは動画(動画像)に限定されず、連続的に撮像された画像(連続的な静止画像)等に置き換えることも可能である。
(H03)本発明の実施例では、前記制御機器Kは、前記照明K1と、前記窓K2と、前記CDプレイヤーK3と、前記テレビK4と、前記ビデオK6とにより構成されているが、これに限定されず、例えば、その他の制御機器を追加したり、前記構成要素K1~K6を操作対象から削除したりすることも可能である。
【0073】
(H04)本発明の実施例では、前記クライアントパソコンPCと、前記カメラCA1,CA2および前記制御機器Kを前記接続ケーブルCにより接続し、前記接続ケーブルCを介して制御信号を送信することにより、前記カメラCA1,CA2および前記制御機器Kを制御しているが、これに限定されず、例えば、前記接続ケーブルCを省略して、専用リモコンのように無線で前記制御信号を送信して前記カメラCA1,CA2や前記制御機器K(K1~K6)を制御する(操作する)ことも可能である。
(H05)本発明の実施例では、前記選択ジェスチャに指差し動作を設定したが、これに限定されず、その他の動作を前記選択ジェスチャに設定することも可能である。例えば、操作ジェスチャのみ手を上下左右に振る動きと、顔の向き(視線の方向)とによって判別する場合には、選択ジェスチャに顔の向きのみ(視線の方向のみ)を設定し、ユーザの顔が所定時間だけ前記制御機器K(K1~K6)に向いている場合に、前記制御機器K(K1~K6)が選択されたものと判別することも可能である。また、前記操作ジェスチャに手を上下左右のいずれか一方に振る動作を設定したが、これに限定されず、その他の動作を前記操作ジェスチャに設定することも可能である。また、前記操作ジェスチャによる操作も図3で示す対応表に限定されず、その他の操作を追加したりすることも可能である。さらに、実施例3では、前記確認ジェスチャにうなずき動作(首を上下に振る動作)と首振り動作(首を左右に振る動作)とを設定したが、これに限定されず、例えば、肯定ジェスチャにOKサイン(親指と人差し指で円を作る動作)、否定ジェスチャに手を左右に振る動作等を設定することも可能である。
【0074】
(H06)本発明の実施例のように、前記選択ジェスチャで操作対象の前記制御機器K(K1~K6)を選択し、前記操作ジェスチャで選択された前記制御機器K(K1~K6)の操作を実行した後、さらに前記操作ジェスチャを行うことで前記制御機器K(K1~K6)の操作を続けて実行できるように制御されるのが好ましいが、これに限定されず、前記選択ジェスチャの後で、前記操作ジェスチャを1度しか実行できないように制御することも可能である。
(H07)本発明の実施例では、前記操作ジェスチャによる操作は、例えば、明るさや音量等の調節ならば1段階だけ上下するように予め設定されているが、これに限定されず、例えば、前記操作ジェスチャを行った時間に応じて明るさや音量等の度合いを調節できるようにすることも可能である。
【0075】
(H08)本発明の実施例では、ユーザの視線の方向を、ユーザの顔の向きに基づいて判別したが、これに限定されず、例えば、実施例2の構成であれば、実際にユーザの視線に基づいて判別することも可能である。
(H09)本発明の実施例2では、前記制御機器Kが配置された部屋とは異なる部屋に前記ディスプレイH2が配置されているが、これに限定されず、例えば、前記制御機器Kが配置された部屋と同じ部屋に前記ディスプレイH2を配置することも可能である。この場合、前記制御機器配置画像G(G1~G6)に対して行われた前記ジェスチャ(選択ジェスチャ、操作ジェスチャ)を検出した場合も、実際の制御機器K(K1~K6)に対して行われた前記ジェスチャを検出した場合も、同様に前記制御機器選択処理(図4のST4、図5のST11~ST13、図12のST11~ST13,ST16~ST20参照)および前記制御機器操作処理(図4のST5、図6のST21~ST24参照)を実行することも可能である。
【0076】
(H010)本発明の実施例2では、前記制御機器配置画像GをディスプレイH2に表示するが、例えば、ユーザが顔をディスプレイH2に接近・離隔することにより、前記制御機器配置画像Gを拡大・縮小して表示することも可能である。また、ユーザの視線の方向を、ユーザの実際の視線に基づいて判別する場合には、ユーザの視線や目の開度等を検出して視線の位置を拡大・縮小して表示することも可能である。
(H011)本発明の実施例3では、前記確認ジェスチャ(うなずき動作、首振り動作)を検出した場合、前記選択確認画像Ga(図11参照)を非表示にしているが(図12のST19参照)、これに限定されず、例えば、うなずき動作を検出した場合には、操作対象として選択された前記制御機器K(K1~K6)についての操作ジェスチャとその操作とを説明する画像を表示したり、首振り動作を検出した場合には、選択ジェスチャが誤検出であったことを説明する画像を表示したりすることも可能である。
【0077】
(H012)本発明の実施例3では、前記選択確認画像Ga(図11参照)を表示した後、前記確認ジェスチャ(うなずき動作、首振り動作)により、前記選択ジェスチャ(指差し動作)を検出して特定した前記制御機器K(K1~K6)が、ユーザが意図して選択した制御機器K(K1~K6)であるか否かを確認したが(図12のST16~ST20参照)、例えば、前記操作ジェスチャについても同様に、操作確認画像を表示して、前記確認ジェスチャ(うなずき動作、首振り動作)により、ユーザが意図する操作であるか否かを確認することも可能である。
(H013)本発明の実施例3において、前記選択確認画像Ga(図11参照)を表示し、前記確認ジェスチャにより、前記選択ジェスチャ(指差し動作)を検出して特定した前記制御機器K(K1~K6)が、ユーザが意図して選択した制御機器K(K1~K6)であるか否かを確認する処理(図12のST16~ST20参照)を、ユーザが前記制御機器K(K1~K6)が配置された部屋に居て操作する場合に適用したが、これに限定されず、実施例2のように、ユーザが前記ディスプレイH2に表示された制御機器配置画像G(G1~G6)を介して、遠隔地から前記制御機器K(K1~K6)を操作する場合にも適用可能である。
【図面の簡単な説明】
【0078】
【図1】図1は本発明の実施例1の制御機器操作ジェスチャ認識システムの全体説明図である。
【図2】図2は本発明の実施例1のクライアントパソコンの制御部が備えている各機能をブロック図(機能ブロック図)で示した図である。
【図3】図3は選択ジェスチャで選択された制御機器と操作ジェスチャによる操作との対応表である。
【図4】図4は本発明の実施例1の制御機器操作ジェスチャ認識プログラムのメイン処理のフローチャートである。
【図5】図5は本発明の実施例1の制御機器操作ジェスチャ認識プログラムの制御機器選択処理のフローチャートであり、図4のST4のサブルーチンの説明図である。
【図6】図6は本発明の実施例1の制御機器操作ジェスチャ認識プログラムの制御機器操作処理のフローチャートであり、図4のST5のサブルーチンの説明図である。
【図7】図7は本発明の実施例2の制御機器操作ジェスチャ認識システムの全体説明図である。
【図8】図8は本発明の実施例2のクライアントパソコンの制御部が備えている各機能をブロック図(機能ブロック図)で示した図であり、実施例1の図2に対応する説明図である。
【図9】図9は本発明の実施例2の制御機器操作ジェスチャ認識プログラムのメイン処理のフローチャートであり、実施例1の図4に対応する説明図である。
【図10】図10は本発明の実施例3のクライアントパソコンの制御部が備えている各機能をブロック図(機能ブロック図)で示した図であり、実施例1の図2に対応する説明図である。
【図11】図11は実施例3の選択確認画像の説明図である。
【図12】図12は本発明の実施例3の制御機器操作ジェスチャ認識プログラムの制御機器選択処理のフローチャートであり、図4のST4のサブルーチンの説明図であり、実施例1の図5に対応する説明図である。
【符号の説明】
【0079】
AP1…制御機器操作ジェスチャ認識プログラム、
C1…ユーザ撮像手段、
C2…ジェスチャ検出手段、
C3…ジェスチャ判別手段、
C4…制御機器選択手段、
C4C,C5C…視線方向判別手段、
C4D…選択確認画像表示手段、
C4E…確認ジェスチャ判別手段、
C5…制御機器操作手段、
C6…制御機器画像表示手段、
CA1,CA2…カメラ、
G…制御機器画像、
Ga…選択確認画像、
K…制御機器、
PC…制御機器操作ジェスチャ認識装置、
S…制御機器操作ジェスチャ認識システム。
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11