TOP > 国内特許検索 > 行動分析システム > 明細書

明細書 :行動分析システム

発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2019-148925 (P2019-148925A)
公開日 令和元年9月5日(2019.9.5)
発明の名称または考案の名称 行動分析システム
国際特許分類 G06Q  50/10        (2012.01)
A61B   5/00        (2006.01)
G06Q  50/22        (2018.01)
FI G06Q 50/10
A61B 5/00 102A
G06Q 50/22
請求項の数または発明の数 2
出願形態 OL
全頁数 10
出願番号 特願2018-032481 (P2018-032481)
出願日 平成30年2月26日(2018.2.26)
発明者または考案者 【氏名】小柴 満美子
【氏名】渡辺 英則
【氏名】張山 昌論
【氏名】仙田 満
【氏名】谷口 新
【氏名】久保田 健夫
【氏名】大豆生田 啓友
【氏名】佐藤 瞭太
【氏名】甲斐 龍生
【氏名】花本 晃太朗
【氏名】藤田 晃司
【氏名】陶 ▲亭▼
出願人 【識別番号】304020177
【氏名又は名称】国立大学法人山口大学
個別代理人の代理人 【識別番号】110001601、【氏名又は名称】特許業務法人英和特許事務所
審査請求 未請求
テーマコード 4C117
5L049
5L099
Fターム 4C117XA05
4C117XB02
4C117XC14
4C117XC15
4C117XC19
4C117XE13
4C117XE23
4C117XE26
4C117XE28
4C117XE29
4C117XE43
4C117XE52
4C117XE54
4C117XE56
4C117XG45
4C117XH02
4C117XJ38
4C117XJ48
5L049CC11
5L099AA03
5L099AA22
要約 【課題】被検者の行動を多面的に把握することのできる行動分析システムを提供すること及び複数の被検者が互いにどのような関係にあるかについて認識や分析を行うことのできる行動分析システムを提供する。
【解決手段】行動分析システムは、ビデオカメラ11、画像メモリ12、マイクロホン13及び音声メモリ14を備えるカメラ付き帽子1と、心拍計21、心拍メモリ22、加速度計23、加速度メモリ24、体表温度計25及び体表温メモリ26を備える胸部バンド2と、各種分析装置15、16、27~29と、各種分析装置の分析結果に基づいて被検者の行動及び状態を分析し、分析結果を表示する行状分析装置3を備える。
【選択図】図1
特許請求の範囲 【請求項1】
被検者の頭部に装着されたビデオカメラ及びマイクロホンと、
前記被検者の胸部に装着された心拍計、加速度計及び体表温度計のうちの少なくともいずれか一つと、
前記ビデオカメラで撮影された動画像を記録する画像メモリと、
前記マイクロホンで検知された音声を記録する音声メモリと、
前記心拍計、加速度計及び体表温度計のうちの少なくともいずれか一つで検出された計測データを記録する信号メモリと、
前記画像メモリに記録された動画像に基づいて前記被検者の視線を分析する視線分析装置と、
前記音声メモリに記録された音声に基づいて前記被検者の言葉を分析する言語分析装置と、
前記信号メモリに記録された計測データに基づいて前記被検者の生理を分析する生理分析装置と、
前記視線分析装置、前記言語分析装置及び前記生理分析装置の分析結果に基づいて、前記被検者の行動又は状態を分析する行状分析装置を備える
ことを特徴とする行動分析システム。
【請求項2】
複数の被検者の頭部に装着されたビデオカメラ及びマイクロホンと、
前記複数の被検者の胸部に装着された心拍計、加速度計及び体表温度計のうちの少なくともいずれか一つと、
前記ビデオカメラで撮影された動画像を記録する画像メモリと、
前記マイクロホンで検知された音声を記録する音声メモリと、
前記心拍計、加速度計及び体表温度計のうちの少なくともいずれか一つで検出された計測データを記録する信号メモリと、
前記画像メモリに記録された動画像に基づいて前記複数の被検者の視線を分析する視線分析装置と、
前記音声メモリに記録された音声に基づいて前記複数の被検者の言葉を分析する言語分析装置と、
前記信号メモリに記録された計測データに基づいて前記複数の被検者の生理を分析する生理分析装置と、
前記視線分析装置、前記言語分析装置及び前記生理分析装置の分析結果に基づいて、前記複数の被検者の行動又は状態を分析する行状分析装置と、
前記分析結果に基づいて、前記複数の被検者の行動又は状態の相関関係を認識する行状相関認識装置を備える
ことを特徴とする行動分析システム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、被検者の情動行動の発達を定量分析するための行動分析システムに関するものである。
【背景技術】
【0002】
従来、特許文献1(特開2004-280376号公報)に記載されるように、カメラを人等に装着し、カメラにより撮影された動画像によって人物行動の常時観察を可能にするとともに、その動画像を分析して人等の行動を認識する行動認識装置が提案されている。
また、特許文献2(特開2004-8471号公報)に記載されるように、体温と外気温を測定する温度センサを装着した装着者の体温と外気温を測定時刻と共に記憶するとともに、記憶された体温と外気温に基づいて装着者の行動を推測することができる行動状況解析システムが提案されている。
【0003】
そして、このような行動認識装置や行動状況解析システムによれば、被検者が屋内・屋外を問わずに移動する場合でも、被検者がどのような行動をしているかを認識することが可能となり、被検者の安全管理などを効率的に行うことができる。
【0004】
しかし、特許文献1の行動認識装置はカメラを装着するだけであり、特許文献2の行動状況解析システムは体温と外気温を測定する温度センサを装着するだけであるため、多面的に人等の行動を把握することができなかった。
また、特許文献1、2共に、カメラや温度センサを装着した人等の行動を認識、分析又は推測するものであって、複数の被検者にカメラや温度センサを装着して、それらの被検者が互いにどのような関係にあるかについて、認識や分析を行うシステムではなかった。
【先行技術文献】
【0005】

【特許文献1】特開2004-280376号公報
【特許文献2】特開2004-8471号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明の第1の課題は、被検者の行動を多面的に把握することのできる行動分析システムを提供することである。
また、本発明の第2の課題は、複数の被検者が互いにどのような関係にあるかについて、認識や分析を行うことのできる行動分析システムを提供することである。
【課題を解決するための手段】
【0007】
請求項1に係る発明の行動分析システムは、
被検者の頭部に装着されたビデオカメラ及びマイクロホンと、前記被検者の胸部に装着された心拍計、加速度計及び体表温度計のうちの少なくともいずれか一つと、
前記ビデオカメラで撮影された動画像を記録する画像メモリと、前記マイクロホンで検知された音声を記録する音声メモリと、前記心拍計、加速度計及び体表温度計のうちの少なくともいずれか一つで検出された計測データを記録する信号メモリと、
前記画像メモリに記録された動画像に基づいて前記被検者の視線を分析する視線分析装置と、前記音声メモリに記録された音声に基づいて前記被検者の言葉を分析する言語分析装置と、前記信号メモリに記録された計測データに基づいて前記被検者の生理を分析する生理分析装置と、
前記視線分析装置、前記言語分析装置及び前記生理分析装置の分析結果に基づいて、前記被検者の行動又は状態を分析する行状分析装置を備えることを特徴とする。
【0008】
請求項2に係る発明の行動分析システムは、
複数の被検者の頭部に装着されたビデオカメラ及びマイクロホンと、前記複数の被検者の胸部に装着された心拍計、加速度計及び体表温度計のうちの少なくともいずれか一つと、
前記ビデオカメラで撮影された動画像を記録する画像メモリと、前記マイクロホンで検知された音声を記録する音声メモリと、前記心拍計、加速度計及び体表温度計のうちの少なくともいずれか一つで検出された計測データを記録する信号メモリと、
前記画像メモリに記録された動画像に基づいて前記複数の被検者の視線を分析する視線分析装置と、前記音声メモリに記録された音声に基づいて前記複数の被検者の言葉を分析する言語分析装置と、前記信号メモリに記録された計測データに基づいて前記複数の被検者の生理を分析する生理分析装置と、
前記視線分析装置、前記言語分析装置及び前記生理分析装置の分析結果に基づいて、前記複数の被検者の行動又は状態を分析する行状分析装置と、
前記分析結果に基づいて、前記複数の被検者の行動又は状態の相関関係を認識する行状相関認識装置を備えることを特徴とする。
【発明の効果】
【0009】
請求項1に係る発明によれば、被検者にビデオカメラ及びマイクロホンだけでなく、心拍計、加速度計及び体表温度計のうちの少なくともいずれか一つを装着し、動画像、音声並びに心拍データ、加速度データ及び体表温度データのうちの少なくともいずれか一つを記録し、記録された動画像、音声及び心拍データ等に基づいて被検者の視線、音声及び生理を分析し、その分析結果に基づいて被検者の行動又は状態を分析するので、被検者の行動を多面的に把握することができる。
【0010】
請求項2に係る発明によれば、複数の被検者にビデオカメラ、マイクロホン並びに心拍計、加速度計及び体表温度計のうちの少なくともいずれか一つを装着し、動画像、音声並びに心拍データ、加速度データ及び体表温度データのうちの少なくともいずれか一つを記録し、記録された動画像、音声及び心拍データ等に基づいて複数の被検者の視線、音声及び生理を分析し、その分析結果に基づいて複数の被検者の行動又は状態を分析でき、かつ、複数の被検者の行動又は状態の相関関係を認識することができるので、複数の被検者の行動を多面的に把握することができるとともに、それらの被検者が互いにどのような関係にあるかについて認識することができる。
【図面の簡単な説明】
【0011】
【図1】実施例1の行動分析システムの基本構成を示す図。
【図2】被検者の頭部にビデオカメラ等を装着するためのカメラ付き帽子を示す図。
【図3】被検者の胸部に心拍計等を装着するための胸部バンドを示す図。
【図4】実施例2の行動分析システムの基本構成を示す図。
【図5】通常の帽子にクリップによりビデオカメラ等を装着した状態を示す図。
【図6】カメラ付き帽子の変形例を示す図。
【発明を実施するための形態】
【0012】
以下、実施例によって本発明の実施形態を説明する。
【実施例1】
【0013】
実施例1の行動分析システムは、図1に示すとおり、カメラ付き帽子1と、胸部バンド2と、各種分析装置と、各種分析装置からの分析結果に基づいて、カメラ付き帽子1及び胸部バンド2を装着した被検者の行動及び状態を分析する行状分析装置3を備えている。
カメラ付き帽子1は、図1及び図2に示すように、ビデオカメラ11と、ビデオカメラ11で撮影された動画像を記録する画像メモリ12と、マイクロホン13と、マイクロホン13で検知された音声を記録する音声メモリ14を備えている。
胸部バンド2は、図1及び図3に示すように、心拍計21と、心拍計21で検出された被検者の心拍データを記録する心拍メモリ22と、加速度計23と、加速度計23で検出された被検者の加速度データを記録する加速度メモリ24と、体表温度計25と、体表温度計25で検出された被検者の体表温データを記録する体表温メモリ26を備えている。
カメラ付き帽子1にはビデオカメラ11やマイクロホン13が被検者から見えない頭頂位置にセットされており、被検者のストレスを低く抑えることができ、かつ、被検者の見ている方向を確実に撮影することができるとともに、被検者や被検者と話している相手の言葉を確実に録音することができる。
また、胸部バンド2は、一本のベルト部分に心拍計21、加速度計23と及び体表温度計25が配置されているので、被検者にストレスを与えることなく、被検者の鼓動、動き及び体表温度の変化を確実に検出することができる。
【実施例1】
【0014】
各種分析装置としては、図1に示すように、画像メモリ12に記録された動画像に基づいて被検者の視線を分析する視線分析装置15、音声メモリ14に記録された音声に基づいて被検者の言葉や環境音を分析する音響分析装置16、心拍メモリ22に記録された心拍データに基づいて被検者の鼓動の状況を分析する心拍分析装置27、加速度メモリ24に記録された加速度データに基づいて被検者の動きを分析する加速度分析装置28及び体表温メモリ26に記録された体表温データに基づいて被検者の体表温の変化を分析する体表温分析装置29がある。
また、行状分析装置3は、各種分析装置の分析結果に基づいて被検者の行動を分析する行動分析装置31、行動分析装置31の分析結果を表示する行動分析結果表示装置32、各種分析装置の分析結果に基づいて被検者の状態を分析する状態分析装置33及び状態分析装置33の分析結果を表示する状態分析結果表示装置34を備えている。
なお、各種分析装置及び行状分析装置3は、通常パーソナルコンピュータやタブレット端末等にアプリケーションソフトを組み込むことで実現し、各種メモリからパーソナルコンピュータやタブレット端末へのデータ送信は無線送信手段が用いられる。
ただし、各種メモリを着脱式メモリとし、着脱式メモリをパーソナルコンピュータやタブレット端末に接続して記録されたデータを読み込んでも良い。
【実施例1】
【0015】
行動分析装置31は、各種分析装置の分析結果に基づいて、被検者がどのような場所でどのような会話をし、どのように動いたかを総合的に分析し、被検者がどのような行動をとったのかを推測して、行動分析結果表示装置32に、行動パターン別の時間帯を表示し、その時間帯における動画像や音声を再生できるようにしている。
また、状態分析装置33は、各種分析装置の分析結果に基づいて、被検者の身体の状態を把握し、心拍データ、加速度データ及び体表温データの変化の同期性を見出して、状態分析結果表示装置34に、被検者の体調の良否とその根拠や同期性のある時間帯についての情報を表示し、同期性のある時間帯における動画像や音声を再生できるようにしている。
【実施例1】
【0016】
実施例1の行動分析システムは、上記のように構成されているので、検査者が被検者の行動を長時間監視したり、被検者の行動を記録した動画を長時間視聴したりすることなく、被検者の行動を容易かつ多面的に把握することができる。
【実施例2】
【0017】
実施例2の行動分析システムは、実施例1の行動分析システムを複数の被検者(図4では14名の被検者a~n)に対して用意するとともに、図4に示すとおり、視線分析装置15a~15n、音響分析装置16a~16n、心拍分析装置27a~27n、加速度分析装置28a~28n、体表温分析装置29a~29n及び行状分析装置3a~3nからの分析結果に基づいて、被検者a~nの行動及び状態の相関関係を認識する行状相関認識装置4を備えることを特徴とする。
行状相関認識装置4は、各種分析装置及び行状分析装置3a~3nの分析結果に基づいて、複数の被検者の行動の相関関係を認識する行動相関認識装置41、行動相関認識装置41の認識結果を表示する行動相関認識結果表示装置42、各種分析装置及び行状分析装置3a~3nの分析結果に基づいて、複数の被検者の状態の相関関係を認識する状態相関認識装置43及び状態相関認識装置43の認識結果を表示する状態相関認識結果表示装置44を備えている。
【実施例2】
【0018】
行動相関認識装置41は、各種分析装置及び行状分析装置3a~3nの分析結果に基づいて、複数の被検者のうち、どの被検者群が同じ場所にいたか、どの被検者群が会話をしたか、どの被検者群が同様の動きをとったかを認識し、行動相関認識結果表示装置42に、認識された被検者群が同じ場所にいた時間帯、会話した時間帯、同様の動きをとった時間帯を表示し、その時間帯における被検者群の動画像や音声を再生できるようにしている。
また、状態相関認識装置43は、各種分析装置及び行状分析装置3a~3nの分析結果に基づいて、複数の被検者の身体の状態を把握し、心拍データ、加速度データ及び体表温データの変化に相関性ある被検者群を認識して、状態相関認識結果表示装置44に、認識された被検者群と、相関性が認められた時間帯についての情報を表示し、その時間帯における動画像や音声を再生できるようにしている。
【実施例2】
【0019】
実施例2の行動分析システムは、上記のように構成されているので、検査者が複数の被検者の行動を長時間監視したり、複数の被検者の行動を記録した動画を長時間視聴したりすることなく、複数の被検者の行動を容易かつ多面的に把握することができるとともに、複数の被検者が互いにどのような関係にあるかについて容易に認識することができる。
出願人らは、横浜市の幼稚園において、保護者の同意を得た上で、同幼稚園の園児(約30名の5歳児)に対し、数時間の屋外遊びに際して実施例2の行動分析システムを適用して観察を行ったが、園児達は問題なく遊び行動を示した。
また、合わせて唾液中ストレス分子濃度の計測も行った結果、心理的なストレスを受けたのではないかと分析された園児の濃度は高い傾向にあることが確認された。
さらに、向社会行動頻度が高い園児は、時空間的な同期性行動を取り易い(複数の園児で同じ場所にいる時間帯、同様の動きをとる時間帯及び同様な心拍の状態をとる時間帯が長い)ことが確認された。
そして、行動分析システムを装着した園児が社会を構成する自分を含めた人数及び社会行動の毎秒変化を動画から計測した結果、対象集団のなかの個人の向社会行動の特性を診断することができ、男女の統計的比較による有意な差異を確認することができ、幼児教員や保護者が診断結果を手掛かりに、対象集団のなかで過度な非社会行動特性(短期、または、長期一人あそび)や、過度な注意欠陥や常同行動性(短期、または長期の単種あそび)を示す児を見出して、その問題を解決する教育介入を施すことができるようになった。
なお、この観察及び分析は、各児の行動状態を熟知する幼児教育教員により行われた。
【実施例2】
【0020】
実施例1及び2の変形例を列記する。
(1)実施例1及び2の行動分析システムは、ビデオカメラ11、画像メモリ12、マイクロホン13、音声メモリ14、心拍計21、心拍メモリ22、加速度計23、加速度メモリ24、体表温度計25、体表温メモリ26を被検者に装着するものであったが、画像メモリ12、音声メモリ14、心拍メモリ22、加速度メモリ24、体表温メモリ26については、被検者に装着せずに、ビデオカメラ11、マイクロホン13、心拍計21、加速度計23、体表温度計25から、それぞれの情報を無線送信して、受信装置を備えたメモリ装置で受信して記録するようにしても良く、視線分析装置15、音響分析装置16、心拍分析装置27、加速度分析装置28及び体表温分析装置29に受信装置を設けて記録するようにしても良い。
(2)実施例1及び2の行状分析装置3、3a~3nは、被検者の行動及び状態を分析するものであったが、被検者の行動又は状態を分析するもの、すなわち、被検者の行動及び状態のうち、少なくともいずれかを分析するものとしても良い。
また、実施例2の行状相関認識装置4は、複数の被検者の行動及び状態の相関関係を認識するものであったが、複数の被検者の行動又は状態の相関関係を分析するもの、すなわち、複数の被検者の行動の相関関係及び状態の相関関係のうち、少なくともいずれかを分析するものとしても良い。
【実施例2】
【0021】
(3)実施例1及び2のカメラ付き帽子1、1a~1nは、ビデオカメラ11、画像メモリ12、マイクロホン13及び音声メモリ14を備えていたが、全地球位置計測システムであるGPS受信機等の位置定量装置及びその受信信号に基づいて被検者の位置情報を記録する位置情報メモリを追加しても良い。
(4)実施例1及び2のカメラ付き帽子1、1a~1nは、ビデオカメラ11等を帽子の頭頂部に設けるものであったが、図5に示すようなクリップ17を利用して、帽子のつばにビデオカメラやマイクロホンを固定するようにしても良く、図6に示すような円形のアタッチメント18を頭頂部に取り付けて、ビデオカメラ11等を着脱自在に固定できるようにしても良い。
そうした場合、保持できる実施例1及び2のカメラ付き帽子1、1a~1nは、ビデオカメラ11、画像メモリ12、マイクロホン13、胸部バンド2、2a~2nは、心拍計21、加速度計23及び体表温度計25を備えていたが、心拍計21、加速度計23及び体表温度計25を全て備える必要はなく、心拍計21、加速度計23及び体表温度計25のうちの少なくともいずれか一つを備えていれば良い。
【実施例2】
【0022】
(5)実施例1及び2のカメラ付き帽子1、1a~1nは、変形例(3)においても帽子を用いたが、帽子に代えてヘアバンド、はちまき、サンバイザー等を用いてビデオカメラ及びマイクロホンを固定しても良い。
(6)実施例1及び2の胸部バンド2、2a~2nは、心拍計21、加速度計23及び体表温度計25を備えていたが、心拍計21、加速度計23及び体表温度計25を全て備える必要はなく、心拍計21、加速度計23及び体表温度計25のうちの少なくともいずれか一つを備えていれば良い。
【符号の説明】
【0023】
1 カメラ付き帽子 2 胸部バンド
3 行状分析装置 4 行状相関認識装置
11 ビデオカメラ 12 画像メモリ 13 マイクロホン
14 音声メモリ 15 視線分析装置 16 音響分析装置
17 クリップ 18 アタッチメント 21 心拍計
22 心拍メモリ 23 加速度計 24 加速度メモリ
25 体表温度計 26 体表温メモリ
27 心拍分析装置 28 加速度分析装置 29 体表温分析装置
31 行動分析装置 32 行動分析結果表示装置
33 状態分析装置 34 状態分析結果表示装置
41 行動相関認識装置 42 行動相関認識結果表示装置
43 状態相関認識装置 44 状態相関認識結果表示装置
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5