LEARNING DEVICE, SPACE CONTROL DEVICE, LEARNING PROGRAM, AND SPACE CONTROL PROGRAM
| 外国特許コード | F210010288 |
|---|---|
| 整理番号 | (S2019-0502-N0) |
| 掲載日 | 2021年1月28日 |
| 出願国 | 世界知的所有権機関（ＷＩＰＯ） |
| 国際出願番号 | 2020JP022388 |
| 国際公開番号 | WO 2020246600 |
| 国際出願日 | 令和2年6月5日(2020.6.5) |
| 国際公開日 | 令和2年12月10日(2020.12.10) |
| 優先権データ |
|
| 発明の名称 （英語） |
LEARNING DEVICE, SPACE CONTROL DEVICE, LEARNING PROGRAM, AND SPACE CONTROL PROGRAM
|
| 発明の概要（英語） | A learning device 1 comprises: an input data generation unit 21 for generating input data 11 in which the amount of speech in a conversation by a plurality of talkers in a prescribed time, the feature value of a conversation content and the feature value of a spatial environment in which the talkers exist are associated; and a model learning unit 22 for learning a spatial environment model that indicates the correlation of the level of satisfaction including the amount of speech, the feature value of the conversation content and the feature value of the spatial environment. |
| 従来技術、競合技術の概要（英語） |
BACKGROUND ART A person may be aware of the conversation air (status, atmosphere, or the like), and learn the relationship between conversation air and the spatial environment from experience that the conversation air is improved or worsened. This allows a person to control the spatial environment when talking with the person. Specifically, the control of the spatial environment performed by a person includes adjusting brightness of the spatial environment, such as opening and closing a curtain, adjusting brightness of illumination, and selecting music flowing in the spatial environment. There is a method for calculating a characteristic value of a word by associating a degree of correlation between a color and a word (, for example, Patent Document 1). PTL 1 discloses a correlation strength table associating correlation strengths representing a degree of correlation between colors and predetermined words. |
|
|
|
|
| 国際特許分類(IPC) | |
| 指定国 |
National States: AE AG AL AM AO AT AU AZ BA BB BG BH BN BR BW BY BZ CA CH CL CN CO CR CU CZ DE DJ DK DM DO DZ EC EE EG ES FI GB GD GE GH GM GT HN HR HU ID IL IN IR IS JO JP KE KG KH KN KP KR KW KZ LA LC LK LR LS LU LY MA MD ME MG MK MN MW MX MY MZ NA NG NI NO NZ OM PA PE PG PH PL PT QA RO RS RU RW SA SC SD SE SG SK SL ST SV SY TH TJ TM TN TR TT TZ UA UG US UZ VC VN WS ZA ZM ZW ARIPO: BW GH GM KE LR LS MW MZ NA RW SD SL SZ TZ UG ZM ZW EAPO: AM AZ BY KG KZ RU TJ TM EPO: AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR OAPI: BF BJ CF CG CI CM GA GN GQ GW KM ML MR NE SN ST TD TG |
日本語項目の表示
| 発明の名称 |
学習装置、空間制御装置、学習プログラムおよび空間制御プログラム
|
|---|---|
| 発明の概要 | 学習装置１は、所定時間における複数の会話者による会話における発話量、会話内容の特徴値および会話者が存在する空間環境の特徴値を関連づけた入力データ１１を生成する入力データ生成部２１と、発話量を含む満足度、会話内容の特徴値および空間環境の特徴値の相関を示す空間環境モデルを学習するモデル学習部２２を備える。 |
| 特許請求の範囲 |
[請求項1] 所定時間における複数の会話者による会話における発話量、会話内容の特徴値および前記会話者が存在する空間環境の特徴値を関連づけた入力データを生成する入力データ生成部と、 前記発話量を含む満足度、前記会話内容の特徴値および前記空間環境の特徴値の相関を示す空間環境モデルを学習するモデル学習部 を備えることを特徴とする学習装置。 [請求項2] 前記入力データはさらに、前記複数の会話者による動作の同期を指標化した体動シンクロ値を含み、 前記満足度はさらに、前記体動シンクロ値を含む ことを特徴とする請求項１に記載の学習装置。 [請求項3] 前記入力データはさらに、前記複数の会話者による頷き数を含み、 前記満足度はさらに、前記頷き数を含む ことを特徴とする請求項１に記載の学習装置。 [請求項4] 前記入力データはさらに、前記複数の会話者による笑い量を含み、 前記満足度はさらに、前記笑い量を含む ことを特徴とする請求項１に記載の学習装置。 [請求項5] 前記空間環境の特徴値は、空間照明の色または明るさである ことを特徴とする請求項１に記載の学習装置。 [請求項6] 前記空間環境の特徴値は、前記空間環境の音の特徴値である ことを特徴とする請求項１に記載の学習装置。 [請求項7] 前記会話者のストレスが高い場合、前記満足度は低くなるように算出される ことを特徴とする請求項１に記載の学習装置。 [請求項8] 前記入力データはさらに、前記会話者の心情を含み、 前記満足度はさらに、前記心情を含む ことを特徴とする請求項１に記載の学習装置。 [請求項9] 前記会話者の心情は、会話に付された会話者の心情を教師データとして生成された、前記心情と会話内容の相関を示すアノテーションモデルから、特定される ことを特徴とする請求項８に記載の学習装置。 [請求項10] 前記入力データはさらに、前記会話者の発話音声の特徴量を含み、 前記満足度はさらに、前記発話音声の特徴量を含む ことを特徴とする請求項１に記載の学習装置。 [請求項11] 前記入力データはさらに、前記会話者の心拍を含み、 前記満足度はさらに、前記心拍を含む ことを特徴とする請求項１に記載の学習装置。 [請求項12] 前記入力データはさらに、前記会話者の心拍ゆらぎを含み、 前記満足度はさらに、前記心拍ゆらぎを含む ことを特徴とする請求項１に記載の学習装置。 [請求項13] 前記入力データはさらに、前記会話者の画像データを含み、 前記満足度はさらに、前記会話者の画像データを含む ことを特徴とする請求項１に記載の学習装置。 [請求項14] 所定時間における複数の会話者による会話における発話量を含む満足度、会話内容の特徴値および前記会話者が存在する空間環境の特徴値の相関を示す空間環境モデルを特定する空間環境モデルデータを記憶する記憶装置と、 現在の会話内容の特徴値と、会話者による現在の会話における発話量から現在の満足度を算出する現状解析部と、 現在の会話内容の特徴値と、前記空間環境モデルから、前記現在の満足度よりも満足度を上げる空間環境の特徴値を算出し、算出された特徴値に基づいて前記空間環境を制御する空間環境制御部 を備えることを特徴とする空間制御装置。 [請求項15] コンピュータを、 所定時間における複数の会話者による会話における発話量、会話内容の特徴値および前記会話者が存在する空間環境の特徴値を関連づけた入力データを生成する入力データ生成部と、 前記発話量を含む満足度、前記会話内容の特徴値および前記空間環境の特徴値の相関を示す空間環境モデルを学習するモデル学習部 として機能させるための学習プログラム。 [請求項16] 所定時間における複数の会話者による会話における発話量を含む満足度、会話内容の特徴値および前記会話者が存在する空間環境の特徴値の相関を示す空間環境モデルを特定する空間環境モデルデータを記憶するコンピュータを、 現在の会話内容の特徴値と、会話者による現在の会話における発話量から現在の満足度を算出する現状解析部と、 現在の会話内容の特徴値と、前記空間環境モデルから、前記現在の満足度よりも満足度を上げる空間環境の特徴値を算出し、算出された特徴値に基づいて前記空間環境を制御する空間環境制御部 として機能させるための空間制御プログラム。 |
|
|
|
|
| 明細書 |
技術分野 [0001] 本発明は、学習装置、空間制御装置、学習プログラムおよび空間制御プログラムに関する。 背景技術 [0002] 人は、会話の空気（状況、雰囲気等）を意識し、会話の空気を改善または悪化した経験から、会話の空気と、空間環境との関係を学習する場合がある。これにより人は、人と会話をする際、空間環境を制御することが可能になる。人が行う空間環境の制御は、具体的には、カーテンを開け閉め、照明の明るさの調整などの空間環境の明るさの調整、空間環境に流れる音楽の選択などである。 [0003] 色と単語の相関の度合いを対応づけることにより、単語の特徴値を算出する方法がある（例えば特許文献１）。特許文献１は、色と所定の単語との相関の度合いを表す相関強度を対応付けた相関強度テーブルを開示する。 先行技術文献 特許文献 [0004] 特許文献1 : 特許第５３４４７５６号公報 発明の概要 発明が解決しようとする課題 [0005] 人が会話の空気を意識して空間環境を変えることは日常的に行われるが、コンピュータにより、会話の空気を読んで、空間環境を制御する技術は見当たらない。 [0006] 従って本発明の目的は、会話の空気を考慮して、空間環境の制御を可能にする学習装置、空間制御装置、学習プログラムおよび空間制御プログラムを提供することである。 課題を解決するための手段 [0007] 上記課題を解決するために、本発明の第１の特徴は、所定時間における複数の会話者による会話における発話量、会話内容の特徴値および会話者が存在する空間環境の特徴値を関連づけた入力データを生成する入力データ生成部と、発話量を含む満足度、会話内容の特徴値および空間環境の特徴値の相関を示す空間環境モデルを学習するモデル学習部を備える学習装置に関する。 [0008] 入力データはさらに、複数の会話者による動作の同期を指標化した体動シンクロ値を含み、満足度はさらに、体動シンクロ値を含んでも良い。 [0009] 入力データはさらに、複数の会話者による頷き数を含み、満足度はさらに、頷き数を含んでも良い。 [0010] 入力データはさらに、複数の会話者による笑い量を含み、満足度はさらに、笑い量を含んでも良い。 [0011] 空間環境の特徴値は、空間照明の色または明るさであっても良い。 [0012] 空間環境の特徴値は、空間環境の音の特徴値であっても良い。 [0013] 本発明の第２の特徴は、所定時間における複数の会話者による会話における発話量を含む満足度、会話内容の特徴値および会話者が存在する空間環境の特徴値の相関を示す空間環境モデルを特定する空間環境モデルデータを記憶する記憶装置と、現在の会話内容の特徴値と、会話者による現在の会話における発話量から現在の満足度を算出する現状解析部と、現在の会話内容の特徴値と、空間環境モデルから、現在の満足度よりも満足度を上げる空間環境の特徴値を算出し、算出された特徴値に基づいて空間環境を制御する空間環境制御部を備える空間制御装置に関する。 [0014] 本発明の第３の特徴は、コンピュータを、所定時間における複数の会話者による会話における発話量、会話内容の特徴値および会話者が存在する空間環境の特徴値を関連づけた入力データを生成する入力データ生成部と、発話量を含む満足度、会話内容の特徴値および空間環境の特徴値の相関を示す空間環境モデルを学習するモデル学習部として機能させる学習プログラムに関する。 [0015] 本発明の第４の特徴は、所定時間における複数の会話者による会話における発話量を含む満足度、会話内容の特徴値および会話者が存在する空間環境の特徴値の相関を示す空間環境モデルを特定する空間環境モデルデータを記憶するコンピュータを、現在の会話内容の特徴値と、会話者による現在の会話における発話量から現在の満足度を算出する現状解析部と、現在の会話内容の特徴値と、空間環境モデルから、現在の満足度よりも満足度を上げる空間環境の特徴値を算出し、算出された特徴値に基づいて空間環境を制御する空間環境制御部として機能させる空間制御プログラムに関する。 発明の効果 [0016] 本発明によれば、会話の空気を考慮して、空間環境の制御を可能にする学習装置、空間制御装置、学習プログラムおよび空間制御プログラムを提供することができる。 図面の簡単な説明 [0017] [図1] 本発明の実施の形態に係る学習装置のハードウエアおよび機能ブロックを説明する図である。 [図2] 会話の特徴量の一例を説明する図である。 [図3] 体動の一例を説明する図である。 [図4] 心拍ゆらぎの一例を説明する図である。 [図5] モデル学習部によるモデル学習処理を説明するフローチャートである。 [図6] 空間環境制御部による空間環境制御処理を説明するフローチャートである。 発明を実施するための形態 [0018] 次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号を付している。 [0019] 本発明の実施の形態において、「空間」は、会話が行われている場所のことを意味する。空間は、例えば、オフィス、教育現場、住宅のほか、ホテル、レストラン、百貨店などの商業施設、病院、介護施設など、話す人が集う様々な場所である。 [0020] 「会話者」は、発話する人を意味する。会話者は、ある特定のタイミングで話している人のほか、話を聞いている人を含む。また会話者は、ディスカッションに参加する人など、１つのテーマについて話し合う人でも良いし、ホテルのラウンジなどにおいて、偶然に居合わせた人でも良い。 [0021] （学習装置） 図１に示す本発明の実施の形態に係る学習装置１は、複数人による会話と、その会話が行われる空間環境の関係を学習して、空間環境モデルを生成する。さらに学習装置１は、生成した空間環境モデルを参照して、会話における満足度が良くなるように、空間環境を制御する。 [0022] 本発明の実施の形態において学習装置１は、図１に示すように種々の装置に、有線または無線で接続する。なお学習装置１に接続する装置として図１に示した装置は、一例である。図１に示す装置の一部の装置のみが、学習装置１に接続しても良い。図１に示す装置以外の装置が、学習装置１に接続しても良い。また他の実施例において、図１において学習装置１に接続する各装置は、学習装置１と接続せずに、ＵＳＢ（Universal Serial Bus）メモリなどの記憶媒体を介して、学習装置１とデータを入出力しても良い。 [0023] 学習装置１に接続する装置は、会話と、会話者の状態を特定するための装置、空間環境を制御するための装置に区分されても良い。 [0024] 会話と、会話者の状態を特定するための装置は、空間の現状を把握するための装置である。会話と、会話者の状態を特定するための装置は、例えば図１に示すように、マイク４１、体動センサ４２、心拍ゆらぎセンサ４３等である。各装置が取得したデータは、学習装置１に入力され、会話と、会話者の状態を特定するために用いられる。図１には示さないが、会話と、会話者の状態を特定するための装置として、温度湿度計、照度計など、会話者が居る空間環境を特定するための装置が含まれても良い。 [0025] 空間環境を制御するための装置は、空間環境を変更可能な装置である。空間環境を制御するための装置は、例えば図１に示すように、スピーカー５１、アロマシューター５２、照明コントローラ５３、プロジェクター５４である。学習装置１は、空間環境モデルから会話の満足度を向上する空間環境を決定し、決定した空間環境に基づいて各装置を制御する。図１には示さないが、会話と、空間環境を制御するための装置として、空調機器などが含まれても良い。 [0026] マイク４１は、空間における会話の音声データを取得する。本発明の実施の形態において１つのマイク４１で、各会話者の発話を取得する。他の例として、各会話者に１つのマイクが設けられ、各マイクが、各会話者の発話を個別に取得しても良い。 [0027] 体動センサ４２は、会話者の体動を検知する。体動センサ４２は、会話者毎に設けられる。体動センサ４２は、会話者の会話中の動きを検知する。体動センサ４２は、例えば、会話者の襟元に設けられる動きセンサである。 [0028] 心拍ゆらぎセンサ４３は、会話者のストレスの指標として、心拍ゆらぎを検知するセンサである。心拍は、呼吸と同期した脳幹の周期的活動と、血圧の変動と同期した脳幹の周期的活動と情動などの影響を受けて、ゆらぎが発生する。呼吸と同期した脳幹の周期的活動は、0.04～0.15Ｈｚ、すなわち約10秒周期に代表されるLF（Low Frequency）成分の周期的活動である。血圧の変動と同期した脳幹の周期的活動は、0.15～0.4Hz、すなわち約4秒周期に代表されるHF（High Frequency）周期的活動である。交感神経はLFのパワーを大きくする増幅要因であり、副交感神経はLFとHF双方のパワーを大きくする増幅要因である。従って、心拍ゆらぎを検知することにより、交感神経と副交感神経の状態を把握することが可能になる。 [0029] 心拍ゆらぎセンサ４３は、各会話者に設けられ、各会話者の心拍ゆらぎの状況を、学習装置１に入力する。他の実施例として、心拍ゆらぎセンサ４３による測定結果が、学習装置１に入力され、学習装置１において心拍ゆらぎが検知されても良い。 [0030] スピーカー５１は、空間に音を出力する。スピーカー５１は、学習装置１から指定された音を出力する。音は、音楽でも良いし、水が流れる音などの環境音でも良い。また音は、音楽または環境音のように常時出力されるものに限らず、通知音等の突発的に出力されるものでも良い。 [0031] アロマシューター５２は、空間に香りを出力する装置である。アロマシューター５２は、学習装置１に指定された香りを出力する。 [0032] 照明コントローラ５３は、空間に設けられる照明器具の明るさおよび色を制御する。照明コントローラ５３は、学習装置１から指定された明るさおよび色になるように、照明器具の明るさおよび色を制御する。他の実施例として、照明コントローラ５３は、空間に設けられる照明器具の明るさおよび色のうちの一方を制御しても良い。 [0033] プロジェクター５４は、空間の壁等に画像を表示する。プロジェクター５４は、学習装置１から指定された画像を表示する。プロジェクター５４は、プロジェクションマッピング技術を用いて、画像を表示しても良い。 [0034] 図１を参照して、本発明の実施の形態に係る学習装置１を説明する。学習装置１は、記憶装置１０、処理装置２０、入出力インタフェース３０を備える一般的なコンピュータである。一般的なコンピュータが学習プログラムを実行することにより、図１に示す機能を実現する。 [0035] 記憶装置１０は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random access memory）、ハードディスク等であって、処理装置２０が処理を実行するための入力データ、出力データおよび中間データなどの各種データを記憶する。処理装置２０は、ＣＰＵ（Central Processing Unit）であって、記憶装置１０に記憶されたデータを読み書きしたり、入出力インタフェース３０とデータを入出力したりして、学習装置１における処理を実行する。 [0036] 入出力インタフェース３０は、マウス、キーボード等の入力装置（図示せず）から入力されたデータを処理装置２０に入力し、処理装置２０から出力されたデータをプリンタ、表示装置等の出力装置（図示せず）に出力する。 [0037] 本発明の実施の形態において入出力インタフェース３０は、さらに、上述したように、会話と、会話者の状態を特定するための装置、空間環境を制御するための装置等に接続する。会話と、会話者の状態を特定するための装置および空間環境を制御するための装置は、具体的には、マイク４１、体動センサ４２、心拍ゆらぎセンサ４３、スピーカー５１、アロマシューター５２、照明コントローラ５３、プロジェクター５４等の各装置に接続するインタフェースである。会話と、会話者の状態を特定するための装置および空間環境を制御するための装置として、温度湿度計、照度計、空調機器など、図１に示さない装置を含んでも良い。 [0038] 記憶装置１０は、学習プログラムを記憶するとともに、入力データ１１、空間環境モデルデータ１２、現状データ１３、現状満足度データ１４および空間環境特徴値データ１５を記憶する。 [0039] 入力データ１１は、時間よって変化する会話者の会話の状況と、空間環境を対応づけたデータである。入力データ１１は、例えば所定時間における複数の会話者による会話における発話量、会話内容の特徴値および会話者が存在する空間環境の特徴値を関連づける。入力データ１１は、入力データ生成部２１により記憶される。 [0040] 空間環境モデルデータ１２は、モデル学習部２２によって学習された空間環境モデルを特定するデータである。空間環境モデルデータ１２は、モデル学習部２２により記憶され、空間環境制御部２５により参照される。空間環境モデルは、発話量を含む満足度、会話内容の特徴値および空間環境の特徴値の相関を示す。空間環境モデルは、さらに他の要素との相関を示しても良い。空間環境モデルデータは、空間環境モデルを特定できればよく、学習手法等に応じたデータ形式を有する。 [0041] 現状データ１３は、空間環境モデルを参照して空間が制御される前の、空間環境の特徴値のデータである。現状データ１３は、現状データ取得部２３により記憶され、空間環境制御部２５により参照される。 [0042] 現状満足度データ１４は、空間環境モデルを参照して空間が制御される前の、会話者による会話の満足度に関するデータである。現状満足度データ１４は、現状解析部２４によって記憶され、空間環境制御部２５により参照される。 [0043] 空間環境特徴値データ１５は、空間環境制御部２５によって算出された空間環境の特徴値のデータである。空間環境特徴値データ１５は、空間環境制御部２５によって記憶される。空間環境特徴値データ１５は、図１に示すスピーカー等の空間を変更するための装置に入力される。 [0044] 処理装置２０は、入力データ生成部２１、モデル学習部２２、現状データ取得部２３、現状解析部２４、空間環境制御部２５を備える。 [0045] 入力データ生成部２１は、入出力インタフェース３０を介して、学習装置１に接続する各装置からデータを取得し、入力データ１１を生成して、記憶装置１０に記憶する。 [0046] 入力データ生成部２１は、会話と会話者の状態を特定するためのデータと、会話者が存在する空間環境の状態を特定するデータから、入力データ１１を生成する。 [0047] 入力データ生成部２１は、空間に設けられた装置からデータを逐次取得する。入力データ生成部２１は、各装置から取得したデータを所定時間毎に集計して、所定時間毎の会話と会話者の状態を特定するためのデータと、会話者が存在する空間環境の状態を特定するデータを算出する。所定時間は、入力データ１１に含まれるデータ種別毎に定められても良い。例えば、発話量は３０秒毎に集計され、会話内容の特徴値は１分ごとに集計されても良い。入力データ生成部２１は、所定時間毎に集計されたデータを、モデル学習部２２に入力可能なデータに変換して、入力データ１１を生成する。 [0048] 会話と会話者の状態を特定するためのデータと、会話者が存在する空間環境の状態を特定するデータを、それぞれ説明する。 [0049] 会話と会話者の状態を特定するためのデータは、所定時間における複数の会話者による会話における発話量および会話内容の特徴値である。会話と会話者の状態を特定するためのデータはさらに、複数の会話者の体動シンクロ値、複数の会話者による頷き数、複数の会話者による笑い量を含んでも良い。 [0050] 発話量は、各会話者による会話の量である。発話量は、例えばマイク４１によって測定された音声の量である。音声の量は、例えば発話時間の合計である。入力データ生成部２１は、マイク４１から取得した音声データの発話部分を特定し、所定時間毎に、各会話者の発話時間の合計を、発話量として算出する。入力データ生成部２１は、所定時間毎の発話量を、入力データ１１に含める。 [0051] 会話内容の特徴値は、マイク４１によって測定された音声から音声認識により特定された会話の内容に基づいて算出される。入力データ生成部２１は、マイク４１から取得した所定時間の音声データから、音声認識により各会話者による会話内容を特定し、所定時間毎の会話内容の特徴値を算出する。本発明の実施の形態において会話内容の特徴値は、会話に用いられる単語の特徴値から算出される。単語の特徴値は、例えば、例えば特許文献１に示すように、単語と色の相関強度から特定されても良い。あるいは、単語の特徴値は、図２に示す形容詞対を指標としたベクトルで表現されても良い。このベクトルは、例えば特許５６７８８３６号公報に記載されるように、単語の音韻特性と評価尺度の関係から算出されても良い。なお、本発明の実施の形態において、会話に用いられる単語から会話内容の特徴値を算出する場合を説明したが、これに限られない。例えば、会話の意味内容を特定し、その意味内容から会話内容の特徴量を算出しても良い。会話の入力データ生成部２１は、所定時間毎の会話内容の特徴値を、入力データ１１に含める。 [0052] 複数の会話者の体動シンクロ値は、所定時間毎の複数の会話者による動作の同期を指標化した値である。体動シンクロ値は、各会話者の体動が同期する場合は高くなり、同期しない場合は低くなる。入力データ生成部２１は、体動センサ４２から、各会話者の体動を取得し、体動シンクロ値などの指標を算出する。体動センサ４２は、例えば図３（ａ）ないし（ｃ）に示すように、各会話者の体動の推移を出力する。入力データ生成部２１は、図３に示す各参加者の体動の推移を、所定時間毎に比較する。入力データ生成部２１は、所定時間毎の各会話者の体動の同期の程度を指標化して、体動シンクロ値を算出する。入力データ生成部２１は、所定時間毎の体動シンクロ値を、入力データ１１に含める。 [0053] 複数の会話者による頷き数は、所定時間における各会話者の頷き数の合計である。入力データ生成部２１は、体動センサ４２から取得したデータに基づいて、所定時間毎の各会話者の頷き数を合計して、複数の会話者による頷き数を算出する。入力データ生成部２１は、所定時間毎の頷き数を、入力データ１１に含める。 [0054] 複数の会話者による笑い量は、所定時間における各会話者の笑いの時間の合計である。入力データ生成部２１は、マイク４１から取得した音声データに基づいて、所定時間毎の笑い時間を合計して、複数の会話者による笑い量を算出する。入力データ生成部２１は、所定時間毎の笑い量を、入力データ１１に含める。 [0055] 会話と会話者の状態を特定するためのデータとして、上記以外のデータが含まれても良い。例えば、入力データ生成部２１は、入力データ１１に、溜め息量、生体センサから取得した所定時間の心拍数、体温、血圧、および心拍ゆらぎセンサ４３から取得したデータ等を含めても良い。 [0056] 心拍数は、所定時間における会話者の心拍数である。心拍数は、例えば心拍を検知するセンサから取得される。体温、血圧は、会話者に設置した生体センサから取得される。また、溜め息量は、上述の笑い量と同様に、マイク４１より取得した音声データに基づいて算出することができる。心拍ゆらぎセンサ４３から取得したデータは、図４に示すように、時間毎の副交感神経の増幅要因となるLF/HFと、交換神経の増幅要因となるLFのデータである。図４に示すグラフは、一人の会話者に設けられた心拍ゆらぎセンサ４３のデータである。入力データ生成部２１は、各会話者に設けられた心拍ゆらぎセンサ４３のデータを、入力データ１１に含ませても良い。 [0057] 会話者が存在する空間環境の状態を特定するデータは、空間環境の特徴値である。空間環境の特徴値は、空間環境の温度、湿度、空間照明の色または明るさ、空間環境の音の特徴値、香りの特徴値、空間環境で投影される画像の特徴値、空間環境の風向きおよび風量等である。空間環境の各特徴値は、所定時間毎に計測され、入力データ１１に含まれる。 [0058] 入力データ生成部２１は、空間環境を制御するための装置から取得したデータから空間環境の状態を特定するデータを生成して、入力データ１１に含ませても良い。例えば、空間環境の音の特徴値は、空間環境で流れる音楽の特徴値であって、具体的には時間毎のメル周波数である。入力データ生成部２１は、空間に流れる音楽を、時間毎にメル周波数に変換して、入力データ１１に含ませる。また入力データ生成部２１は、マイク４１から取得したデータに基づいて空間に流れる音楽を特定し、音量、テンポ等のデータに変換して、入力データ１１に含ませても良い。なお空間に流れる音楽は、マイク４１から取得が音楽でも良いし、学習装置１がスピーカーに出力を指示した音楽であっても良い。 [0059] また空間環境の音は、上述のとおり、音楽のほか、水が流れる音などの環境音、効果音などの単発的に発生する音、スピーカー５１で出力する音、空間近傍で発生する音など、空間環境で感知できる様々な音を含んでも良い。 [0060] 空間環境の特徴値は、学習装置１が各装置を制御するための指示値であっても良い。例えば空間環境の特徴値の空間照明の色または明るさは、学習装置１が照明コントローラに入力した色または明るさの指示値であっても良い。空間環境で流れる音楽の特徴値は、学習装置１がスピーカー５１に入力した音楽から特定されても良い。香りの特徴値は、学習装置１が、アロマシューター５２に入力した香りの識別子から特定されても良い。画像の特徴値は、学習装置１がプロジェクター５４に入力した画像の識別子から特定されても良い。 [0061] 入力データ生成部２１が生成した入力データ１１は、モデル学習部２２によって参照される。 [0062] モデル学習部２２は、入力データ１１から空間環境モデルを学習する。空間環境モデルは、会話の満足度、会話内容の特徴値および空間環境の特徴値の相関を示す。空間環境モデルは、空間の状況の変更または会話内容の変更に伴って、会話の満足度がどのように変わるかを示す。 [0063] モデル学習部２２における学習手法は、機械学習、ディープラーニング等の任意のアルゴリズムが用いられる。ディープラーニングを用いる場合、現在の状況を第１層に入力し、出力層が未来の状況の予想を出力する。中間層として、例えば１４層以上の層が用いられても良い。過学習を避けるために、モデル学習部２２は、ドロップアウトを用いても良い。モデル学習部２２は、学習により得られた空間環境モデルを特定する空間環境モデルデータ１２を、記憶装置１０に記憶する。 [0064] 図５を参照してモデル学習部２２によるモデル学習処理を説明する。 [0065] まずステップＳ１１においてモデル学習部２２は、入力データ１１を参照して、所定時間毎の発話量から、その時間における会話の満足度を算出する。 [0066] ステップＳ１２においてモデル学習部２２は、ステップＳ１１で算出した会話の満足度、その時の会話内容の特徴値および空間環境の特徴値の相関を学習して、空間環境モデルを生成する。 [0067] 本発明の実施の形態において、会話の満足度は、発話量に基づいて算出される。本発明の実施の形態において、「会話の空気」を、発話量による会話の満足度の指標として表現する。例えばディスカッションが行われる現場において発話量が多い場合、活発に意見交換がされていると考えられるので会話の満足度が高くなるように決定される。また、会話量が少ない場合、充分な意見交換がされていないと考えられるので、会話の満足度が低くなるように決定される。また会話の量が多すぎる場合、会話者のそれぞれが他者の意見を聞かずに話していると考えられるので、会話の満足度が低くなるように決定される。 [0068] ここで示す会話の満足度の決定方法は一例であって、これに限るものではない。例えば、モデル学習部２２は、各会話者の発話の合計量のみならず、各会話者の発話量のバランスも考慮して、会話の満足度を算出しても良い。 [0069] また会話の満足度を算出する手法は、空間の特性に応じて適宜変更されても良い。例えば、ディスカッションが行われる会議室では、発話量が大きい方が会話の満足度が高いと考えられる。一方、病院の待合室、ホテルのラウンジ等では、発話量が少ない方が会話の満足度が高いと考えられる。空間毎に発話量と会話の満足度の相関を示す関数を用意し、モデル学習部２２は、空間に応じた関数を参照して、発話量から会話の満足度を算出しても良い。 [0070] モデル学習部２２は、会話の満足度として、さらに、体動シンクロ値、頷き数、笑い量、心拍ゆらぎ、溜め息量等を用いても良い。 [0071] 例えば体動シンクロ値が高い場合、各会話者が同様の動作をして共感が体現されていると考えられるので、会話の満足度が高くなるように算出される。体動シンクロ値が低い場合、各会話者が同様の動作をして共感が体現されていると考えられるので、会話の満足度が高くなるように算出される。 [0072] 頷き数が多い場合、発話に共感している会話者が多いと推測されるので、会話の満足度が高くなるように算出される。頷き数が少ない場合、発話に共感している会話者が少ないと推測されるので、会話の満足度が低くなるように算出される。 [0073] 笑い量が多い場合、発話に共感している会話者が多いと推測されるので、会話の満足度が高くなるように算出される。笑い量が少ない場合、発話に共感している会話者が少ないと推測されるので、会話の満足度が低くなるように算出される。 [0074] 溜め息量が多い場合、発話に不満を抱く会話者が多いと推測されるので、会話の満足度が低くなるように算出される。溜め息量が少ない場合、発話に不満を抱く会話者が少ないと推測されるので、会話の満足度が高くなるように算出される。 [0075] 心拍ゆらぎから推測される会話者のストレスが高い場合、会話の満足度が低くなるように算出される。ストレスが低い場合、会話の満足度が高くなるように算出される。 [0076] 上記の例において、体動シンクロ、頷き数、笑い量および心拍ゆらぎの高低に基づいて、会話の満足度の高低が算出される場合を説明したが、これに限られない。例えば、所定の関数に基づいて会話の満足度が算出されるなど、会話の満足度は適宜算出されれば良い。また発話量に基づいて会話の満足度を算出する場合と同様に、モデル学習部２２は、空間に応じた関数を参照して、会話の満足度を算出しても良い。 [0077] モデル学習部２２が生成した空間環境モデルは、空間環境制御部２５によって参照される。空間環境制御部２５は、空間環境モデルを参照して、「会話の空気」、具体的には会話の満足度が高くなるように、空間を制御する。空間環境制御部２５が空間を制御するのに先立ち、現状データ取得部２３および現状解析部２４によって、制御対象空間における現在の状態が把握される。 [0078] なお、本発明の実施の形態において、発話量以外のデータは、任意のデータとして扱われても良い。任意のデータは、例えば体動シンクロ値、頷き数、笑い量、心拍ゆらぎ、空間環境の温度、湿度、空間照明の色または明るさ、空間環境で流れる音楽の特徴値、香りの特徴値、空間環境で投影される画像の特徴値等である。 [0079] モデル学習部２２は、空間環境モデルを参照する場面において、これらの任意のデータが取得されず、制御できないことを考慮して、空間環境モデルを生成するのが好ましい。例えば、温度湿度計を設置されない空間または温度湿度を制御できない空間を考慮して、入力データ１１において、温度湿度に関するデータに、適用可能か否かを示すダミー変数を設定しても良い。 [0080] 現状データ取得部２３は、空間環境制御部２５による制御対象空間における現状データを取得する。現状データ取得部２３は、入力データ生成部２１が、学習装置１に接続する各装置からデータを取得し入力データ１１を生成したのと同様の方法で、現状データ１３を生成して、記憶装置１０に記憶する。 [0081] 現状解析部２４は、現状データ１３を参照して、現在の会話内容の特徴値と、会話者による現在の会話における発話量から現在の満足度を算出する。現状解析部２４は、制御対象空間に設けられたマイク４１から取得された音声データから、会話内容の特徴値と会話の発話量を算出する。現状解析部２４はさらに、算出した発話量から、現在の満足度を算出する。 [0082] 現状解析部２４は、入力データ生成部２１における処理と同様に、会話内容の特徴値と会話の満足度を算出するのが好ましい。このとき現状解析部２４は、会話の満足度として、さらに、体動シンクロ値、頷き数、笑い量、心拍ゆらぎ等を用いても良い。 [0083] 空間環境制御部２５は、現在の会話内容の特徴値と、空間環境モデルから、現在の満足度よりも満足度を上げる空間環境の特徴値を算出する。空間環境制御部２５は、算出された特徴値に基づいて空間環境を制御する。空間環境モデルは、空間の状況および会話内容を変更に伴って、会話の満足度がどのように変わるかを示す。従って、空間環境制御部２５は、空間環境モデルを参照して、現在の会話内容から、会話の満足度が現在よりも高くなる空間環境を特定する。 [0084] 図６を参照して、空間環境制御部２５による空間環境制御処理を説明する。 [0085] まずステップＳ２１において空間環境制御部２５は、現状解析部２４が算出した現在の満足度を取得する。ステップＳ２２において空間環境制御部２５は、現状解析部２４が算出した現在の会話内容の特徴値を取得する。 [0086] ステップＳ２３において空間環境制御部２５は、空間環境モデルを参照して、ステップＳ２１で取得した現在の満足度よりも高い満足度になるような、空間環境の制御値を算出する。ステップＳ２４において空間環境制御部２５は、ステップＳ２３で算出した制御値に従って、空間環境を制御するための装置を制御する。 [0087] 空間環境制御部２５は、空間環境モデルに、現状解析部２４が算出した現在の会話内容の特徴値を入力して、現状解析部２４が算出した現在の満足度よりも高い満足度となるような、空間環境の特徴値を算出する。目標とする満足度は、現在の満足度よりも満足度が高くなればよく、どのように設定されても良い。例えば、目標とする満足度は、固定値で示されても良い。あるいは目標とする満足度は、現在の満足度に対して１５０％など、現在の満足度に対する割合で示されても良い。満足度は、発話量、体動シンクロ値、頷き数、笑い量、心拍ゆらぎ等により算出される。 [0088] 空間環境制御部２５は、算出した空間環境の制御値に基づいて、空間環境を制御するための装置を制御する。空間環境制御部２５は、現在の満足度が高くなる条件として、空間照明の色または明るさ、空間環境で流れる音楽の特徴値等を算出する。空間環境制御部２５は、算出された空間照明の色または明るさを、照明コントローラ５３に入力する。これにより空間を、会話の満足度が高くなる色または明るさに変更することができる。また空間環境制御部２５は、空間環境で流れる音楽の特徴値に対応する音楽データを、スピーカー５１に入力する。これにより空間に、会話の満足度が高くなる音楽を流すことができる。 [0089] また空間環境制御部２５は、現在の満足度が高くなる条件として、空間の香り、プロジェクター５４が表示する画像等を算出しても良い。空間環境制御部２５は、算出された空間の香りをアロマシューター５２に入力する。これにより空間を、会話の満足度が高くなる香りに変更することができる。空間環境制御部２５は、算出された画像をプロジェクター５４に入力する。これにより空間に、会話の満足度が高くなる画像に表示することができる。 [0090] このような本発明の実施の形態にかかる学習装置１によれば、会話の空気を考慮して、空間環境の制御を可能にすることができる。学習装置１は、会話が行われる空間のＢＧＭ、温度、湿度、香り、照明等を変更し、会話の満足度が高い空間を提供することができる。 [0091] （変形例） 変形例に係る学習装置１における、入力データと空間環境モデルのバリエーションについて説明する。入力データ１１は、所定時間における発話量、会話内容の特徴値および空間環境の特徴値等を関連づけるデータである。空間環境モデルは、入力データ１１を学習することにより得られ、満足度、会話内容の特徴値および空間環境の特徴値の相関を示す。なおここで挙げるバリエーションは一例であってこれに限るものではない。 [0092] 入力データ１１はさらに、会話者の心情を含み、空間環境モデルの満足度はさらに、会話者の心情を含んでも良い。会話者の心情は、笑うなどのポジティブな心情と、怒るなどのネガティブな心情に区分されても良い。ポジティブな心情の場合、満足度が高くなるように算出され、ネガティブな心情の場合、満足度が低くなるように算出される。 [0093] ここで心情の特定する際、会話に付された心情を教師データとして生成された、心情と会話内容の相関を示すアノテーションモデルを用いても良い。空間環境モデルの学習の前に、アノテーションモデルが生成される。アノテーションモデルの生成に際し、予め、会話内容に対する会話者の心情を、会話者自身または作業者により付して、教師データが生成される。生成された教師データを学習して、心情と会話内容の相関を示すアノテーションモデルが生成される。学習の際、会話内容は、図２に示す形容詞尺度で、会話の特徴量に変換されても良い。アノテーションモデルは、学習により、会話内容のみならず、会話者の発話音声等の他の指標との相関を示しても良い。これにより、入力データ生成部２１は、会話者の会話内容等を取得すると、アノテーションモデルに照会して、コンピュータ処理により会話者の心情を生成することができる。また空間制御モデルを参照して空間制御する際、現状解析部２４は、現在進行中の会話内容等から会話者の心情を取得し、満足度を算出することができる。 [0094] 入力データ１１はさらに、会話者の発話音声の特徴量を含み、空間環境モデルの満足度はさらに、発話音声の特徴量を含んでも良い。発話音声の特徴量は、会話者の声のトーンであって、具体的にはメル周波数である。発話音声の特徴量により、会話者の会話の雰囲気を指標化することができる。 [0095] 入力データ１１はさらに、会話者の心拍を含み、空間環境モデルの満足度はさらに、心拍を含んでも良い。心拍数から、リラックス状態であるか、ストレス状態であるかなどの会話者の状態を把握することができる。例えば、心拍数が正常値の低い所定範囲に収まる場合、リラックス状態を示し、心拍数が高くその所定範囲を超える場合、ストレス状態を示す。心拍数が、リラックス状態を示す場合、満足度が高くなるように算出され、ストレス状態を示す場合、満足度が低くなるように算出される。 [0096] 入力データ１１はさらに、会話者の心拍ゆらぎを含み、空間環境モデルの満足度はさらに、心拍ゆらぎを含んでも良い。心拍ゆらぎから、リラックス状態であるか、ストレス状態であるかなどの会話者の状態を把握することができる。会話者がリラックス状態の場合、満足度が高くなるように算出され、ストレス状態の場合、満足度が低くなるように算出される。 [0097] 入力データ１１はさらに、会話者の画像データを含み、空間環境モデルの満足度はさらに、会話者の画像データを含んでも良い。画像データは、カメラで撮影した会話者の動画データから取得される。会話者の画像データから会話者の表情が判断され、ポジティブな表情の場合、満足度が高くなるように算出され、ネガティブな表情の場合、満足度が低くなるように算出される。例えば会話者が笑っている表情の場合、満足度は高くなるように算出される。会話者が怒っている表情の場合、満足度は低くなるように算出される。 [0098] モデル学習部２２は、会話者のストレス度を考慮して満足度を算出し、空間環境モデルを生成しても良い。具体的には、会話者のストレスが高い場合、満足度は低くなるように算出され、会話者のストレスが低い場合、満足度は高くなるように算出される。会話者のストレス度は、例えば、心拍、心拍ゆらぎ、会話者の画像データなどから把握される。 [0099] また空間制御モデルの処理において、ストレス度を満足度に変換してストレス度を処理する例を説明したが、満足度とストレス度とを別の指標として処理しても良い。この場合、空間制御モデルは、発話量を含む満足度、会話者のストレス度、会話内容の特徴値および空間環境の特徴値の相関を示す。 [0100] 学習装置１は、空間環境モデルの学習時および学習済みの空間環境モデルを利用して空間を制御する時に入出力されるデータを、ディスプレイ等に表示しても良い。入出力されるデータは、例えば、学習装置１に入力される各測定機器の測定値、あるいは生成した入力データ１１の会話における発話量等の満足度、ストレス度、会話内容の特徴量、空間環境の特徴量等の各項目のデータである。学習装置１は、これらのデータ推移をグラフ等で表示しても良い。 [0101] なお本発明の実施の形態に係る学習プログラムおよび空間制御プログラムは、HDD（Hard Disk Drive）、SSD（Solid State Drive）、USB（Universal Serial Bus）メモリ、CD (Compact Disc)、DVD (Digital Versatile Disc)などのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。 [0102] （その他の実施の形態） 上記のように、本発明の実施の形態とその変形例によって記載したが、この開示の一部をなす論述および図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例および運用技術が明らかとなる。 [0103] 例えば、本発明の実施の形態に記載した学習装置は、図１に示すように一つのハードウエア上に構成されても良いし、その機能や処理数に応じて複数のハードウエア上に構成されても良い。また、本発明の実施の形態に係る学習装置は、スピーカー、照明等の家電と一体として構成されても良い。また、他の処理プログラムを実行するコンピュータ上に実現されても良い。 [0104] 本発明の実施の形態において、学習装置が、空間環境モデルの作成と、作成した空間環境モデルを用いた空間環境の制御を行う場合を説明したが、これに限られない。例えば、学習装置が、空間環境モデルを作成し、空間制御装置（図示せず）が、学習装置が生成した空間環境モデルを用いて、空間環境を制御しても良い。空間制御装置は、一般的なコンピュータが空間制御プログラムを実行することにより、空間制御装置の各機能を実現する。本発明の実施の形態に係る空間制御装置についても上述の学習装置と同様に、一つのハードウエア上に構成されても良いし、その機能や処理数に応じて複数のハードウエア上に構成されても良い。また、本発明の実施の形態に係る空間制御装置は、スピーカー、照明等の家電と一体として構成されても良い。 [0105] 本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。従って、本発明の技術的範囲は上記の説明から妥当な請求の範囲に係る発明特定事項によってのみ定められるものである。 符号の説明 [0106] １ 学習装置 １０ 記憶装置 １１ 入力データ １２ 空間環境モデルデータ １３ 現状データ １４ 現状満足度データ １５ 空間環境特徴値データ ２０ 処理装置 ２１ 入力データ生成部 ２２ モデル学習部 ２３ 現状データ取得部 ２４ 現状解析部 ２５ 空間環境制御部 ３０ 入出力インタフェース ４１ マイク ４２ 体動センサ ４３ 心拍ゆらぎセンサ ５１ スピーカー ５２ アロマシューター ５３ 照明コントローラ ５４ プロジェクター |
※
ライセンスをご希望の方、特許の内容に興味を持たれた方は、下記までご連絡ください
『 LEARNING DEVICE, SPACE CONTROL DEVICE, LEARNING PROGRAM, AND SPACE CONTROL PROGRAM 』に関するお問合せ
- 電気通信大学 産学官連携センター知的財産部門
- URL: http://www.ip.uec.ac.jp/
-
E-mail:
- Address: 〒182-8585 東京都調布市調布ヶ丘1－5－1
- TEL: 042-443-5838
- FAX: 042-443-5839
※ 同じキーワードでJ-STORE内を検索することが出来ます。→ J-STORE内を検索
