TOP > 国内特許検索 > 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム

制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム コモンズ

国内特許コード P110005514
整理番号 2007-0012
掲載日 2011年8月18日
出願番号 特願2007-201447
公開番号 特開2009-037434
登録番号 特許第5207513号
出願日 平成19年8月2日(2007.8.2)
公開日 平成21年2月19日(2009.2.19)
登録日 平成25年3月1日(2013.3.1)
発明者
  • 山口 亨
  • 佐藤 英理
  • 藤本 泰成
出願人
  • 公立大学法人首都大学東京
発明の名称 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム コモンズ
発明の概要

【課題】他者へ伝える動作と同様なジェスチャにより、制御機器の操作を精度良く認識すること。
【解決手段】カメラ(CA1,CA2)によりユーザの画像を撮像するユーザ撮像手段(C1,C1′)と、ユーザのジェスチャを検出するジェスチャ検出手段(C2)と、選択ジェスチャであるか、操作ジェスチャであるかを判別するジェスチャ判別手段(C3)と、ユーザの視線の方向に制御機器(K)があるか否かを判別する視線方向判別手段(C4C,C5C)と、選択ジェスチャで選択された制御機器(K)とユーザの視線の方向にある制御機器(K)とが一致する場合に制御機器(K)を選択する制御機器選択手段(C4)と、選択された制御機器(K)に対して、操作ジェスチャに応じた操作を実行する制御機器操作手段(C5)とを備えたことを特徴とする制御機器操作ジェスチャ認識装置(PC)。
【選択図】図2

従来技術、競合技術の概要


従来より、身振り・手振り等の動作、いわゆる、ジェスチャをロボットや家電製品等の制御機器を操作するための入力インタフェースとして用いる技術が知られている。
前記ジェスチャを認識することにより、ロボットや家電製品等の制御機器を操作する技術として、例えば、以下の従来技術(J01),(J02)が公知である。



(J01)非特許文献1記載の技術
非特許文献1には、複数台のカメラによりユーザを撮影し(ステレオ視し)、ユーザの頭の高さからユーザの体型データ(身長、肩幅、肩の高さ、腕の長さ)を算出し、算出されたユーザの体型データに基づいて、ユーザの指差した位置(3次元座標位置)を認識してロボット等の移動経路指示等の操作をする技術が記載されている。また、非特許文献1には、指差し動作について、動作の滑らかさや速度(角速度)等の、いわゆる、ファジールールに基づいて、ユーザが指差し動作を行ったか否かを判別する技術が記載されている。



(J02)非特許文献2記載の技術
非特許文献2には、ユーザのジェスチャを認識し、テレビ、照明機器、扇風機等の家電製品を操作する、いわゆる、インテリジェントルームについての技術が記載されている。また、非特許文献2には、室内に配置された複数台のCCDカメラで、室内にいる複数の人物の中から、手振りをして操作したい意思を示している人物(操作者)をステレオ視することにより、操作者の位置(3次元位置情報)を認識し、操作者の肌色情報から操作者の手の領域(手領域)を抽出することにより、指差し方向や、指の本数、手を上下左右に振る等の動作(ジェスチャ)を認識する技術が記載されている。




【非特許文献1】佐藤英理、山口亨、他1名、“Natural Interface Using Pointing Behavior for Human-Robot Gestural Interaction”、「IEEE TRANSACTION ON INDUSTRIAL ELECTRONICS」、2007年4月、第54巻、第2号、p.1105-1112

【非特許文献2】若村直弘、他3名、“インテリジェンスルームの構築 -直感的なジェスチャを用いた家電製品の操作-”、「online」、2005年7月、「2007年7月3日検索」、インターネット<URL:http://www.mech.chuo-u.ac.jp/umedalab/publications/pdf/2005/suzuki_2005_miru.pdf>

産業上の利用分野


本発明は、ユーザのジェスチャを認識することにより、制御機器を操作する制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラムに関する。

特許請求の範囲 【請求項1】
複数の制御機器とは異なる位置に配置され且つユーザのいる室内全体をステレオ視可能な位置に配置されたカメラによりユーザの唇の位置を含む画像を撮像するユーザ撮像手段と、
前記画像に基づいて、ユーザのジェスチャを検出するジェスチャ検出手段と、
検出された前記ジェスチャが、操作対象の制御機器を選択するための指差し動作としての選択ジェスチャであるか、選択された前記制御機器を操作するための操作ジェスチャであるかを判別するジェスチャ判別手段と、
検出された前記ジェスチャが前記選択ジェスチャであると判別された場合に、ユーザが指差した位置に制御機器が存在するか否かを判別する指差し位置判別手段と、
ユーザが指差した位置に制御機器が存在すると判別された場合に、前記画像に基づいて、ユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の前記制御機器に向いているか否かを判別する顔方向判別手段と、
ユーザの顔が指差した位置の前記制御機器に向いていると判別された場合に、前記制御機器を操作対象として選択する制御機器選択手段と、
検出された前記ジェスチャが前記操作ジェスチャであると判別された場合に、ユーザの顔が前記制御機器選択手段で選択された前記制御機器に向いているか否かを判別する前記顔方向判別手段であって、前記画像に基づくユーザの顔領域から顔全体の重心に対する唇の位置に応じたユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の前記制御機器に向いているか否かを判別する前記顔方向判別手段と、
ユーザの顔が前記制御機器選択手段で選択された前記制御機器に向いていると判別された場合に、前記制御機器選択手段で選択された前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する制御機器操作手段と、
を備えたことを特徴とする制御機器操作ジェスチャ認識装置。

【請求項2】
前記制御機器に対応する制御機器画像を表示する制御機器画像表示手段と、
検出された前記ジェスチャが前記選択ジェスチャであると判別された場合に、ユーザが指差した位置に前記制御機器画像が存在するか否かを判別する前記指差し位置判別手段と、
ユーザが指差した位置に前記制御機器画像が存在すると判別された場合に、前記画像に基づいて、ユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の前記制御機器画像に向いているか否かを判別する前記顔方向判別手段と、
ユーザの顔が指差した位置の前記制御機器画像に向いていると判別された場合に、前記制御機器を操作対象として選択する前記制御機器選択手段と、
検出された前記ジェスチャが前記操作ジェスチャであると判別された場合に、ユーザの顔が前記制御機器選択手段で選択された前記制御機器に対応する制御機器画像に向いているか否かを判別する前記顔方向判別手段と、
ユーザの顔が前記制御機器選択手段で選択された前記制御機器に対応する制御機器画像に向いていると判別された場合に、前記制御機器選択手段で選択された前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する制御機器操作手段と、
を備えたことを特徴とする請求項1に記載の前記制御機器操作ジェスチャ認識装置。

【請求項3】
前記選択ジェスチャで選択された制御機器が、ユーザが意図して選択した制御機器であるか否かを確認するための選択確認画像を表示する選択確認画像表示手段と、
前記選択確認画像が表示された後で、検出された前記ジェスチャが、ユーザが意図して選択した制御機器であることを肯定するための肯定ジェスチャと、ユーザが意図して選択した制御機器であることを否定するための否定ジェスチャとにより構成された確認ジェスチャのいずれかであることを判別する確認ジェスチャ判別手段と、
ユーザの顔が指差した位置の前記制御機器画像に向いていると判別された場合に、前記選択確認画像を表示し、前記選択確認画像の表示後に検出された前記ジェスチャが前記肯定ジェスチャであれば前記制御機器を操作対象として選択し、前記否定ジェスチャであれば前記制御機器を操作対象として選択しない前記制御機器選択手段と、
を備えたことを特徴とする請求項1または2に記載の前記制御機器操作ジェスチャ認識装置。

【請求項4】
複数の制御機器とは異なる位置に配置され且つユーザのいる室内全体をステレオ視可能な位置に配置されたカメラによりユーザの唇の位置を含む画像を撮像するユーザ撮像手段と、
前記画像に基づいて、ユーザのジェスチャを検出するジェスチャ検出手段と、
検出された前記ジェスチャが、操作対象の制御機器を選択するための指差し動作としての選択ジェスチャであるか、選択された前記制御機器を操作するための操作ジェスチャであるかを判別するジェスチャ判別手段と、
検出された前記ジェスチャが前記選択ジェスチャであると判別された場合に、ユーザが指差した位置に制御機器が存在するか否かを判別する指差し位置判別手段と、
ユーザが指差した位置に制御機器が存在すると判別された場合に、前記画像に基づいて、ユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の前記制御機器に向いているか否かを判別する顔方向判別手段と、
ユーザの顔が指差した位置の前記制御機器に向いていると判別された場合に、前記制御機器を操作対象として選択する制御機器選択手段と、
検出された前記ジェスチャが前記操作ジェスチャであると判別された場合に、ユーザの顔が前記制御機器選択手段で選択された前記制御機器に向いているか否かを判別する前記顔方向判別手段であって、前記画像に基づくユーザの顔領域から顔全体の重心に対する唇の位置に応じたユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の前記制御機器に向いているか否かを判別する前記顔方向判別手段と、
ユーザの顔が前記制御機器選択手段で選択された前記制御機器に向いていると判別された場合に、前記制御機器選択手段で選択された前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する制御機器操作手段と、
を備えたことを特徴とする制御機器操作ジェスチャ認識システム。

【請求項5】
コンピュータを、
複数の制御機器とは異なる位置に配置され且つユーザのいる室内全体をステレオ視可能な位置に配置されたカメラによりユーザの唇の位置を含む画像を撮像するユーザ撮像手段、
前記画像に基づいて、ユーザのジェスチャを検出するジェスチャ検出手段、
検出された前記ジェスチャが、操作対象の制御機器を選択するための指差し動作としての選択ジェスチャであるか、選択された前記制御機器を操作するための操作ジェスチャであるかを判別するジェスチャ判別手段、
検出された前記ジェスチャが前記選択ジェスチャであると判別された場合に、ユーザが指差した位置に制御機器が存在するか否かを判別する指差し位置判別手段、
ユーザが指差した位置に制御機器が存在すると判別された場合に、前記画像に基づいて、ユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の前記制御機器に向いているか否かを判別する顔方向判別手段、
ユーザの顔が指差した位置の前記制御機器に向いていると判別された場合に、前記制御機器を操作対象として選択する制御機器選択手段、
検出された前記ジェスチャが前記操作ジェスチャであると判別された場合に、ユーザの顔が前記制御機器選択手段で選択された前記制御機器に向いているか否かを判別する前記顔方向判別手段であって、前記画像に基づくユーザの顔領域から顔全体の重心に対する唇の位置に応じたユーザの顔の方向を画像解析することにより、ユーザの顔が指差した位置の前記制御機器に向いているか否かを判別する前記顔方向判別手段
ユーザの顔が前記制御機器選択手段で選択された前記制御機器に向いていると判別された場合に、前記制御機器選択手段で選択された前記制御機器に対して、前記操作ジェスチャに応じた操作を実行する制御機器操作手段、
として機能させるための制御機器操作ジェスチャ認識プログラム
産業区分
  • 入出力装置
  • 工業用ロボット
  • 計算機応用
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

JP2007201447thum.jpg
出願権利状態 権利存続中
ライセンスをご希望の方、特許の内容に興味を持たれた方は、下記「問合せ先」までお問い合わせください。


PAGE TOP

close
close
close
close
close
close
close