TOP > 国内特許検索 > アイコンタクトコミュニケーションシステム、方法及びプログラム

アイコンタクトコミュニケーションシステム、方法及びプログラム コモンズ

国内特許コード P07A012583
整理番号 K015P10
掲載日 2008年1月4日
出願番号 特願2003-431513
公開番号 特開2005-190225
登録番号 特許第4310434号
出願日 平成15年12月25日(2003.12.25)
公開日 平成17年7月14日(2005.7.14)
登録日 平成21年5月22日(2009.5.22)
発明者
  • 山口 亨
  • 高間 康史
出願人
  • 独立行政法人科学技術振興機構
  • 公立大学法人首都大学東京
発明の名称 アイコンタクトコミュニケーションシステム、方法及びプログラム コモンズ
発明の概要 【課題】簡便な装置構成で使用者と機器とのアイコンタクトの有無を判断する。
【解決手段】使用者10の視野を撮像して視野画像データを出力する視野画像取得カメラ1と、使用者10が利用する機器3に搭載され、機器3を利用する使用者10を撮像して使用者画像データを出力する使用者画像取得カメラ4と、使用者画像取得カメラ4から得られる使用者画像データに基づき使用者10の第1視線方向θを検出する第1視線方向検出手段51bと、視野画像取得カメラ1から得られる視野画像データに基づき使用者の第2視線方向θを検出する第2視線方向検出手段21bと、第1視線方向θと第2視線方向θが所定の範囲内にある場合に、第1視線方向θ又は前記第2視線方向θのいずれかをアイコンタクト成立条件Θとして記憶するデータベース52とを有する。
【選択図】 図3
従来技術、競合技術の概要 【背景技術】従来、視線を検出することにより使用者たる人間と機械との情報通信を行う視線認識コミュニケーション装置としては、例えば特開平6-51901号公報(特許文献1)や、特公昭60-17125号公報(特許文献2)がある。これら特許文献1及び2に示されているように、眼球の方向に基づき使用者の視線を検出するものが知られている。
【特許文献1】特開平6-51901号公報
【特許文献2】特公昭60-17125号公報
産業上の利用分野 本発明は、使用者の視線を検出することにより使用者が利用する機器とのアイコンタクトの有無を判別するアイコンタクトコミュニケーションシステム、方法及びプログラムに関する。
特許請求の範囲 【請求項1】 使用者の視野を撮像して視野画像データを出力する視野画像取得カメラと、 使用者が利用する機器に搭載され、該機器を利用する使用者を撮像して使用者画像データを出力する使用者画像取得カメラと、 前記使用者画像取得カメラから得られる使用者画像データに基づき、前記使用者の口領域をマーカとして画像認識処理により当該口領域の重心を検出し、この検出された口領域の重心と前記使用者の頭部モデルとから前記使用者の第1視線方向を検出する第1視線方向検出手段と、 前記視野画像取得カメラから得られる視野画像データに基づき、前記機器のマーカの位置を画像認識処理により検出し、この検出された機器のマーカの位置をもとに前記使用者の第2視線方向を検出する第2視線方向検出手段と、 前記検出された第1視線方向と第2視線方向との差が所定の範囲内にあるか否かを判定し、所定の範囲内にある場合に、前記第1視線方向又は前記第2視線方向のいずれかをアイコンタクト成立条件として記憶装置に記憶させるキャリブレーション処理手段と、 前記アイコンタクト成立条件の記憶後に、前記第1視線方向検出手段により前記使用者画像データに基づき検出された第1視線方向と、前記記憶装置から読み出されたアイコンタクト成立条件との差が所定の範囲内にあるか否かを判定し、所定の範囲内にある場合にアイコンタクト成立と判定するアイコンタクト判定手段とを具備してなることを特徴とするアイコンタクトコミュニケーションシステム。
【請求項2】 前記キャリブレーション処理手段は、前記検出された第1視線方向と第2視線方向との差が所定の範囲内にない場合に、前記使用者の頭部モデルを補正して、この補正後の頭部モデルをもとに前記第1視線方向検出手段に第1視線方向の検出処理を再度行わせ、この再検出された第1視線方向と前記第2視線方向との差が所定の範囲内にあるか否かを判定する再判定処理を、当該差が所定の範囲内になるまで繰り返すことを特徴とする請求項1に記載のアイコンタクトコミュニケーションシステム。
【請求項3】 前記視野画像取得カメラと前記使用者画像取得カメラはネットワーク接続可能に構成され、前記第1視線方向検出手段、第2視線方向検出手段、キャリブレーション処理手段及び記憶装置は、使用者により携帯され、又は前記機器に搭載された1台の情報処理装置に設けられていることを特徴とする請求項1に記載のアイコンタクトコミュニケーションシステム。
【請求項4】 前記機器を複数の使用者が共有する場合に、使用者画像取得カメラはパンフォーカス可能なカメラであり、前記第1視線方向検出手段は、前記使用者画像取得カメラのパンフォーカス撮像動作により得られた画像データをもとに前記複数の使用者の各々について第1の視線方向を検出することを特徴とする請求項1に記載のアイコンタクトコミュニケーションシステム。
【請求項5】 使用者の視野を視野画像取得カメラにより撮像して視野画像データを出力し、 機器を操作する位置であって該機器を利用する前記使用者を使用者画像取得カメラにより撮像して使用者画像データを出力し、 前記使用者画像データに基づき、前記使用者の口領域をマーカとして画像認識処理により当該口領域の重心を検出し、この検出された口領域の重心と前記使用者の頭部モデルとから前記使用者の第1視線方向を検出し、 前記視野画像データに基づき、前記機器のマーカの位置を画像認識処理により検出し、この検出された機器のマーカの位置をもとに前記使用者の第2視線方向を検出し、 前記検出された第1視線方向と第2視線方向との差が所定の範囲内にあるか否かを判定し、所定の範囲内にある場合に、前記第1視線方向又は前記第2視線方向のいずれかをアイコンタクト成立条件として記憶し、 前記アイコンタクト成立条件の記憶後に、前記使用者画像データに基づき検出された第1視線方向と、前記記憶されたアイコンタクト成立条件との差が所定の範囲内にあるか否かを判定し、所定の範囲内にある場合にアイコンタクト成立と判定することを特徴とするアイコンタクトコミュニケーション方法。
【請求項6】 機器を操作する位置であって該機器を利用する使用者を撮像して得られる使用者画像データに基づき、前記使用者の口領域をマーカとして画像認識処理により当該口領域の重心を検出し、この検出された口領域の重心と前記使用者の頭部モデルとから前記使用者の第1視線方向を検出する処理と、 前記使用者の視野を撮像して得られた視野画像データに基づき、前記機器のマーカの位置を画像認識処理により検出し、この検出された機器のマーカの位置をもとに前記使用者の第2視線方向を検出する処理と、 前記検出された第1視線方向と第2視線方向との差が所定の範囲内にあるか否かを判定し、所定の範囲内にある場合に、前記第1視線方向又は前記第2視線方向のいずれかをアイコンタクト成立条件として記憶させるキャリブレーション処理と、 前記アイコンタクト成立条件の記憶後に、前記使用者画像データに基づき検出された第1視線方向と、前記記憶されたアイコンタクト成立条件との差が所定の範囲内にあるか否かを判定し、所定の範囲内にある場合にアイコンタクト成立と判定する処理とを、コンピュータに実行させるアイコンタクトコミュニケーションプログラム。
産業区分
  • 計算機応用
  • 入出力装置
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

23843_03SUM.gif
出願権利状態 権利存続中
参考情報 (研究プロジェクト等) さきがけ 相互作用と賢さ 領域
ライセンスをご希望の方、特許の内容に興味を持たれた方は、問合せボタンを押してください。


PAGE TOP

close
close
close
close
close
close
close