Top > Search of Japanese Patents > WORK ESTIMATION DEVICE, WORK ESTIMATION METHOD AND WORK ESTIMATION PROGRAM > Specification

Specification :(In Japanese)作業推定装置、作業推定方法、および作業推定プログラム

Country (In Japanese)日本国特許庁(JP)
Gazette (In Japanese)特許公報(B2)
Patent Number P6738084
Publication number P2018-005789A
Date of registration Jul 21, 2020
Date of issue Aug 12, 2020
Date of publication of application Jan 11, 2018
Title of the invention, or title of the device (In Japanese)作業推定装置、作業推定方法、および作業推定プログラム
IPC (International Patent Classification) G06Q  10/04        (2012.01)
FI (File Index) G06Q 10/04
Number of claims or invention 11
Total pages 18
Application Number P2016-135361
Date of filing Jul 7, 2016
Date of request for substantive examination May 17, 2019
Patentee, or owner of utility model right (In Japanese)【識別番号】504196300
【氏名又は名称】国立大学法人東京海洋大学
Inventor, or creator of device (In Japanese)【氏名】麻生 敏正
Representative (In Japanese)【識別番号】100106909、【弁理士】、【氏名又は名称】棚井 澄雄
【識別番号】100188558、【弁理士】、【氏名又は名称】飯田 雅人
【識別番号】100154852、【弁理士】、【氏名又は名称】酒井 太一
Examiner (In Japanese)【審査官】山内 裕史
Document or reference (In Japanese)特開2010-146223(JP,A)
特開2014-180335(JP,A)
特開2006-202255(JP,A)
特開2007-229488(JP,A)
特開2001-327472(JP,A)
国際公開第2011/114620(WO,A1)
米国特許出願公開第2011/0022432(US,A1)
米国特許出願公開第2012/0317066(US,A1)
Field of search G06Q 10/00 - 99/00
Scope of claims (In Japanese)【請求項1】
作業に含まれる作業要素であって、複数の動作要素を含みうる作業要素のそれぞれに対応付けて、前記作業要素を行った作業者から検出された挙動の時系列データに対して前記挙動の加速度および角度を平準化する所定の量子化処理を施した参照データと、前記作業に対応付けて、複数の作業要素の出現順を示す情報と、を記憶する記憶部と、
作業者が作業を行った際に前記作業者に取り付けられた検出部により検出された時系列データに対して前記所定の量子化処理を施し、前記参照データとの相違が最も小さくなるように前記所定の量子化処理が施されたデータの時間軸を圧縮または伸長する信号処理部と、
前記記憶部に記憶された参照データと前記信号処理部により処理が施されたデータとの第1の類似度に基づいて、前記時系列データにおいて順次出現する作業要素を推定し、推定した前記複数の作業要素の出現順と前記記憶部に記憶した複数の作業要素の出現順との第2の類似度に基づいて、前記作業を推定する推定部と、
を備える、作業推定装置。
【請求項2】
前記推定部は、前記作業要素のそれぞれについて、開始時刻から終了時刻までの所要時間を推定する、
請求項1に記載の作業推定装置。
【請求項3】
前記推定部により推定された作業要素ごとの所要時間の割合をグラフ化した画像を表示させるための情報を生成する情報生成部を更に備える、
請求項1または2のうちいずれか1項に記載の作業推定装置。
【請求項4】
作業者を撮像した画像を取得する画像取得部を更に備え、
前記推定部は、前記画像取得部により取得された画像に含まれる作業者の姿勢と、推定した作業要素との時間的な関係に基づいて、推定した作業要素における作業者の負荷を推定する、
請求項1から3のうちいずれか1項に記載の作業推定装置。
【請求項5】
作業者が静止した状態で作業者が携帯する携帯端末により受け付けられた音声と、前記携帯端末により受け付けられた音声に基づいて認識された作業要素と、前記携帯端末により音声が受け付けられた後において作業要素を行った作業者から検出された挙動の時系列データとに基づいて、前記作業要素のそれぞれに対応付けられた参照データを生成する参照データ生成部を更に備える、
請求項1から4のうちいずれか1項に記載の作業推定装置。
【請求項6】
前記作業要素には、物流対象物の取り出しおよび搬送ための移動、前記物流対象物の探索、および前記物流対象物の取り出しが含まれる、
請求項1から5のうちいずれか1項に記載の作業推定装置。
【請求項7】
前記物流対象物または前記物流対象物をグループ化したグループ毎に、前記推定部により推定された物流対象物を取り出しおよび搬送ための移動、前記物流対象物の探索、前記物流対象物の取り出しの所要時間、または所要時間の割合をグラフ化した画像を表示させるための情報を生成する情報生成部を備える、
請求項6に記載の作業推定装置。
【請求項8】
記憶部が、作業に含まれる作業要素であって、複数の動作要素を含みうる作業要素のそれぞれに対応付けて、前記作業要素を行った作業者から検出された挙動の時系列データに対して前記挙動の加速度および角度を平準化する所定の量子化処理を施した参照データと、前記作業に対応付けて、複数の作業要素の出現順を示す情報と、を記憶し、
信号処理部が、作業者が作業を行った際に前記作業者に取り付けられた検出部により検出された時系列データに対して前記所定の量子化処理を施し、前記参照データとの相違が最も小さくなるように前記所定の量子化処理が施されたデータの時間軸を圧縮または伸長する
推定部が、前記参照データと前記量子化処理が施されたデータとの第1の類似度に基づいて、前記時系列データにおいて順次出現する作業要素を推定し、推定した前記複数の作業要素の出現順と前記記憶部に記憶した複数の作業要素の出現順との第2の類似度に基づいて、前記作業を推定する
作業推定方法。
【請求項9】
前記記憶部が前記参照データを記憶する際に、
参照データ生成部が、作業者が静止した状態で作業者が携帯する携帯端末から音声を受け付け、
前記携帯端末から受け付けた音声に基づいて作業要素を認識し、
前記携帯端末により音声が受け付けられた後において作業要素を行った作業者から挙動の時系列データを検出し、
前記信号処理部が、検出した時系列データに対して前記所定の量子化処理を施し、
前記記憶部が、認識した作業要素に、前記所定の量子化処理を施したデータを記憶する、
請求項8に記載の作業推定方法。
【請求項10】
コンピュータに、
作業に含まれる作業要素であって、複数の動作要素を含みうる作業要素のそれぞれに対応付けて、前記作業要素を行った作業者から検出された挙動の時系列データに対して前記挙動の加速度および角度を平準化する所定の量子化処理を施した参照データと、前記作業に対応付けて、複数の作業要素の出現順を示す情報と、を記憶部に記憶させ、
作業者が作業を行った際に前記作業者に取り付けられた検出部により検出された時系列データに対して前記所定の量子化処理を施させ、前記参照データとの相違が最も小さくなるように前記所定の量子化処理が施されたデータの時間軸を圧縮または伸長させ、
前記参照データと前記量子化処理が施されたデータとの第1の類似度に基づいて、前記時系列データにおいて順次出現する作業要素を推定させ、推定した前記複数の作業要素の出現順と前記記憶部に記憶した複数の作業要素の出現順との第2の類似度に基づいて、前記作業を推定させる、
作業推定プログラム。
【請求項11】
前記参照データを記憶させる際に、
コンピュータに、
作業者が静止した状態で作業者が携帯する携帯端末から音声を受け付けさせ、
前記携帯端末から受け付けた音声に基づいて作業要素を認識させ、
前記携帯端末により音声が受け付けられた後において作業要素を行った作業者から挙動の時系列データを検出させ、
検出した時系列データに対して前記所定の量子化処理を施させ、
認識した作業要素に、前記所定の量子化処理を施したデータを記憶させる、
請求項10に記載の作業推定プログラム。
Detailed description of the invention (In Japanese)【技術分野】
【0001】
本発明は、作業推定装置、作業推定方法、および作業推定プログラムに関する。
【背景技術】
【0002】
従来、例えば物流過程や工場、洋上などにおける作業者の作業効率を向上させるための技術が知られている。これに関連して、特許文献1には、主にビニールハウスで作業している作業員の作業履歴を自動的に記録するための技術が記載されている。具体的には、複数のビニールハウスの各出入口に設置されたセンサにより人に反応した入退室時刻に基づいて入退室した作業員を特定し、作業者の入室時刻から退室時刻までの位置情報に基づいて、施設領域内における作業者の作業を記録している。
【0003】
特許文献2には、複数の工程を含む生産ラインにおける各工程に関する作業時間の測定開始および測定終了の指示に従って、各工程の作業時間を繰り返して測定し、測定した各工程の作業時間に基づいて生産ラインに含まれる各工程別に平均作業時間を算出して、表示することが記載されている。
【0004】
特許文献3には、薬局業務の監視システムにおいて、薬局内に設定されたワークエリア毎における業務の様子を撮影することで、業務を行っている作業者および作業者が扱うマーク表示物を撮像し、画像内のマークを認識した場合に、マークの撮影時間、ワークエリアIDを含むインデックスを作成し、画像データをインデックスと関連づけて記憶することが記載されている。
【0005】
特許文献4には、所定のセンサ値の出力値が所定の出力条件に該当するか否かを判定することで、時間と共にイベントデータを抽出し、一連の作業手順である正規作業手順について状態と遷移で示される作業グラフと、実際のイベントデータの時系列情報とから、作業内容を推定することが記載されている。
【0006】
非特許文献1には、工場でのピッキング作業について、専用端末(時計型)を用いて、地磁気または加速度を収集し、作業員による癖など動きの違いを吸収してピッキング作業員の動きをトレースし、ピッキング作業の精度を判断するための手法が記載されている。
【0007】
非特許文献2には、胸ポケットに入れたスマートフォンを用いて、棚から荷を取り出すという作業をした際における上体の動かし方(上体の角度)と取りにくさ(アンケート結果)を数値から推定することが記載されている。
【先行技術文献】
【0008】

【特許文献1】特開2013-3925号公報
【特許文献2】特開2013-211000号公報
【特許文献3】特開2010-258729号公報
【特許文献4】特開2011-184121号公報
【0009】

【非特許文献1】「加速度センサを用いた工場でのピッキング作業モニタリングシステム」、情報処理学会第74回全国大会(2012/3)、河野悠,佐藤永欣,高山毅,村田嘉利,岩手県立大学
【非特許文献2】「スマートフォンを用いた倉庫内作業プローブシステムにおける作業負荷の認識に関する一検討」、電子情報通信学会総合大会講演論文集(2016/3)、佐藤 佑香,麻生敏正,東京海洋大学
【発明の概要】
【発明が解決しようとする課題】
【0010】
しかしながら、上述した特許文献1~4、および非特許文献1~2に記載された技術は、一つの作業に含まれる一連の作業要素のそれぞれを推定することをしていない。
【0011】
さらに、出荷作業には、例えば、台車と移動する、荷をとる、荷を台車に載せる、台車と移動する、荷を台車から下ろす、という一連の作業要素が含まれる。一連の作業要素のそれぞれは、例えば、物品をつかむ、はなす、移動する、止まる等の作業者の基本の動作要素を含む。これらの動作要素は、実際の作業現場の状況に応じて大きく異なる場合が多い。具体的には、動作要素は、作業の場所、物品が載置されている棚までの距離、棚の高さ、作業者の体格等により大きく異なる可能性が高い。そのため、加速度や角度の経時的なデータから動作要素の内容を推定しようとすると、個人差による誤差が大きく、精度よく作業を推定することは困難であった。
【0012】
本発明は、このような事情を考慮してなされたものであり、作業に含まれる一連の作業要素を高精度に推定することができる作業推定装置、作業推定方法、および作業推定プログラムを提供することを目的の一つとする。
【課題を解決するための手段】
【0013】
本発明の一態様は、作業に含まれる作業要素であって、複数の動作要素を含みうる作業要素のそれぞれに対応付けて、前記作業要素を行った作業者から検出された挙動の時系列データに対して所定の量子化処理を施した参照データを記憶する記憶部と、作業者が作業を行った際に前記作業者に取り付けられた検出部により検出された時系列データに対して前記所定の量子化処理を施す信号処理部と、前記記憶部に記憶された参照データと前記信号処理部により処理が施されたデータとの比較に基づいて、前記時系列データにおいて順次出現する作業要素を推定する推定部と、を備える作業推定装置である。
【発明の効果】
【0014】
本発明の一態様によれば、作業に含まれる一連の作業要素を高精度に推定することができる。
【図面の簡単な説明】
【0015】
【図1】集荷作業の流れの一例を示す図である。
【図2】第1の実施形態の作業推定システム1の一例を示す構成図である。
【図3】携帯端末100および作業推定装置300の一例を示す内部構成図である。
【図4】参照データを生成する処理の流れの一例を示すフローチャートである。
【図5】挙動データの一例を示す図である。
【図6】挙動データのうちのY軸加速度の挙動データを示す図である。
【図7】Y軸加速度の挙動データを所定の量子化処理により変換した参照データの一例を示す図である。
【図8】作業要素を推定する処理、および情報を管理端末400に提供する処理の流れの一例を示すフローチャートである。
【図9】挙動データのうちY軸加速度の一例を示す図である。
【図10】挙動データのうちY軸加速度に対して量子化処理を施したデータの一例を示す図である。
【図11】比較処理の一例を示す図である。
【図12】第1の集荷作業における、実際の作業要素の時間的な変化、および作業推定装置300により作業要素を推定した実験結果を示す図である。
【図13】第2の集荷作業における、実際の作業要素の時間的な変化、および作業推定装置300により作業要素を推定した実験結果を示す図である。
【図14】管理端末400に提供される提供情報360Aおよび360Bの一例を示す図である。
【図15】第1の実施形態の作業推定システム1の変形例を示す構成図である。
【図16】第2の実施形態の作業推定システム1Aの一例を示す構成図である。
【図17】物流管理データベース612の一例を示す図である。
【図18】第2の実施形態における提供情報360Cの一例を示す図である。
【図19】第2の実施形態における提供情報360Dの一例を示す図である。
【図20】変形例の作業推定システム1Bの構成図である。
【発明を実施するための形態】
【0016】
以下、図面を参照し、本発明の作業推定装置、作業推定方法、および作業推定プログラムの実施形態について説明する。本発明を適用した作業推定システムは、物流現場や工場、洋上等の作業現場において作業の効率化を図るために、作業者が保持する端末を利用して、作業者の作業に含まれる作業要素のそれぞれを推定するためのシステムである。「作業」とは、作業者が作業現場において繰り返し行う行動であって、一連の作業要素を含む行動である。「作業要素」とは、作業を完了させるための、複数の動作要素を含みうる作業者の一連の行動である。「動作要素」とは、作業者が各作業要素を完了させるための、作業者の単位行動、例えば、手を上げる、しゃがむ、歩く、荷をつかむ、荷を下ろすといった行動であり、挙動の時系列データにおいて特徴が一様になりやすい行動をいう。

【0017】
以下、「作業」が物流対象物を仕分けして発送する集荷作業である場合について説明する。図1は、集荷作業の流れの一例を示す図である。作業者P1は、例えば倉庫に設置された棚12から荷10(物流対象物の一例)を探索し、探索した荷10を取り出し、取り出した荷10を台車14に載置する。次に作業者P1は、荷10を載せた台車14を集荷場所まで移動させ、集荷場所において荷10を車両20に載せる。次に作業者P1は、次の荷10がある棚12へ向けて荷10を載せていない台車14を移動させる。

【0018】
上述した集荷作業において、「作業」には、台車と共に荷に向けて移動する、および台車と共に荷を搬送する、荷を探索する、荷を取り出す、という3種の「作業要素」が含まれる。すなわち、3種の作業要素とは、「移動」、「探索」、「取り出し」である。「移動」という作業要素には、例えば、台車を掴む、歩行する、という「動作要素」が含まれる。また、「探索」という作業要素には、例えば、頭部を左右に動かす、体を捻る、歩行する、という「動作要素」が含まれる。「取り出し」という作業要素には、荷に向けて手を伸ばす、荷を掴む、荷を降ろす、という「動作要素」が含まれる。

【0019】
[第1の実施形態]
(作業推定システム1の構成)
以下、第1の実施形態について説明する。図2は、第1の実施形態の作業推定システム1の一例を示す構成図である。作業推定システム1は、例えば、携帯端末100と、作業推定装置300と、管理端末400とを備える。携帯端末100と、管理端末400と作業推定装置300とは、ネットワーク(不図示)を介して接続されている。ネットワークは、例えば、無線基地局、Wi-Fiアクセスポイント、通信回線、プロバイダ、インターネットなどを含む。なお、これらの構成要素の全ての組み合わせが相互に通信可能である必要はなく、ネットワークは、一部にローカルなネットワークを含んでもよい。

【0020】
携帯端末100は、作業者P1に携帯されるスマートフォンや携帯電話などの携帯型の端末装置である。携帯端末100は、例えば作業者P1の胸ポケットに収容される。携帯端末100は、作業者P1の挙動に関連した挙動データを作業推定装置300に送信する。なお、本実施形態は、挙動データを送信する装置が携帯端末100であるが、これに限らず、ヘルメットや時計などの装着物に内蔵されたコンピュータであってよい。

【0021】
作業推定装置300は、挙動データに対して処理を行うサーバ装置である。作業推定装置300は、処理結果として作業要素の推定結果に関連する情報を管理端末400に送信する。管理端末400は、倉庫や荷物の管理者P2により操作されるパーソナルコンピュータなどの端末装置である。管理端末400は、作業要素の推定結果に関連する情報に基づいて、情報を管理者P2に提示する。

【0022】
図3は、携帯端末100および作業推定装置300の一例を示す内部構成図である。携帯端末100は、例えば、端末側通信部110と、センサ部120と、ユーザインターフェース部130と、制御部140とを備える。

【0023】
端末側通信部110は、NIC(Network Interface Card)や無線通信モジュールなどの通信インターフェースである。センサ部120は、例えば、加速度センサ122と、角度センサ124とを含む。加速度センサ122は、例えば、平面方向のX軸およびY軸それぞれの加速度と、鉛直方向のZ方向の加速度を検出する。角度センサ124は、ピッチ角、ロール角、およびヨー角を検出する。なお、センサ部120は、GNSS(Global Navigation Satellite System)を利用した位置情報(緯度および経度)を取得してもよい。ユーザインターフェース部130は、作業者P1の操作を受け付け、画像を表示するタッチパネルや、スピーカなどの各種の機器を含む。

【0024】
制御部140は、例えばCPU(Central Processing Unit)等のプロセッサがプログラムメモリに格納されたプログラムを実行することにより実現される。また、制御部140のうち一部または全部は、LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、またはFPGA(Field-Programmable Gate Array)等のハードウェアにより実現されてもよいし、ソフトウェアとハードウェアが協働することで実現されてもよい。制御部140は、端末側通信部110を用いて、X軸およびY軸、およびZ方向の加速度データと、ピッチ角、ロール角、およびヨー角の角度データとを含む挙動データを作業推定装置300に送信する。挙動データは、作業要素を行った作業者P1から検出された挙動の時系列データの一例に相当する。

【0025】
作業推定装置300は、例えば、通信部310と、参照データ記憶部320と、参照データ生成部330と、信号処理部340と、推定部350と、提供情報生成部360とを備える。通信部310は、NICや無線通信モジュールなどの通信インターフェースである。

【0026】
参照データ記憶部320は、例えば、HDD(Hard Disc Drive)、フラッシュメモリ、EEPROM(Electrically Erasable Programmable Read Only Memory)、ROM(Read Only Memory)、またはRAM(Random Access Memory)、或いはこれらを複数用いたハイブリッド型記憶装置により実現される。また、記憶部には、ファームウェアやアプリケーションプログラム等の各種プログラム、各種機能部による処理結果などが記憶される。なお、参照データ記憶部320の一部または全部は、作業推定装置300が各種ネットワークを介してアクセス可能な外部記憶装置によって実現されてもよい。外部記憶装置の一例として、NAS(Network Attached Storage)装置が挙げられる。参照データ記憶部320には、作業者P1の作業要素を推定するためのデータである参照データが記憶される。また、参照データ記憶部320には、作業推定装置300における処理結果などの他の情報が記憶されていてもよい。

【0027】
参照データ生成部330、信号処理部340、推定部350、および提供情報生成部360は、例えばCPU等のプロセッサがプログラムメモリに格納されたプログラムを実行することにより実現される。また、これらの機能部のうち一部または全部は、LSI、ASIC、またはFPGA等のハードウェアにより実現されてもよいし、ソフトウェアとハードウェアが協働することで実現されてもよい。

【0028】
参照データ生成部330は、参照データを生成する。信号処理部340は、通信部310により受信した挙動データに対して所定の量子化処理を行う。推定部350は、参照データと信号処理部340により所定の量子化処理が施されたデータとの比較に基づいて、挙動データにおいて順次出現する作業要素を推定する。提供情報生成部360は、推定部350の推定結果に基づいて、管理者P2に提供する提供情報を生成する。

【0029】
(参照データ生成処理)
図4は、参照データを生成する処理の流れの一例を示すフローチャートである。参照データを生成する処理は、作業推定装置300に登録する作業要素ごとに実行される。具体的には、参照データを生成する処理は、「移動」、「探索」、「取り出し」、という3種の「作業要素」ごとに、実行される。

【0030】
まず携帯端末100は、加速度センサ122および角度センサ124により検出されている加速度および方位に基づいて作業者P1が静止しているか否かを判定する(ステップS100)。携帯端末100は、作業者P1が静止している場合、音声アナウンスを出力する(ステップS102)。携帯端末100は、ユーザインターフェース部130を用いて、例えば、「登録する作業要素を言ってください。」という音声を出力する。携帯端末100は、音声認識処理を開始する(ステップS104)。

【0031】
携帯端末100は、音声認識処理により認識した文字列が作業要素であるか否かを判定する(ステップS106)。携帯端末100は、文字列が作業要素である場合、挙動データを取得する(ステップS108)。携帯端末100は、挙動データの取得が終了したか否かを判定する(ステップS110)。携帯端末100は、例えば、音声認識処理により「終了」という音声を取得した場合に、挙動データの取得が終了したと判定する。なお、携帯端末100は、ステップS106において音声が作業要素ではない場合、処理を終了する。

【0032】
次に作業推定装置300は、携帯端末100により取得された挙動データを取り込む(ステップS112)。作業推定装置300は、通信部310を用いて携帯端末100から送信された端末側通信部110を受信することで、挙動データを取り込む。図5は、挙動データの一例を示す図である。図6は、挙動データのうちのY軸加速度の挙動データを示す図である。例えば、時刻t1およびt4において音声認識処理が行われ、Y軸加速度の挙動データ取得の開始時刻と終了時刻が記録され、挙動データの取得が検出される。また、作業推定装置300は、時刻t1~t2およびt3~t4において作業者P1の静止した状態を検出することで、取得した挙動データから時刻t2~t3の期間の必要な挙動データを切り出して、参照データ記憶部320に記録することができる。

【0033】
次に作業推定装置300は、参照データ生成部330により所定の量子化処理を行う(ステップS114)。所定の量子化処理は、例えば、X軸、Y軸、およびZ軸の加速度のそれぞれの加速度データ、ピッチ角、ロール角、およびヨー角の角度のそれぞれのデータを平準化する処理である。平準化する処理は、例えば、所定の範囲に含まれる値を「1」所定の範囲を超える値を「2」、所定の範囲未満の値を「0」に分類する処理である。作業推定装置300は、所定の量子化処理により、例えば、挙動データを0、1、2の3値間で変化するデータに変換する。図7は、Y軸加速度の挙動データを所定の量子化処理により変換した参照データの一例を示す図である。図7に示した参照データは、挙動データが取得された時刻t2からt3までの期間において量子化したデータである。

【0034】
次に作業推定装置300は、所定の量子化処理が施されたデータ(参照データ)を参照データ記憶部320に記憶する(ステップS116)。

【0035】
なお、作業推定装置300は、例えば集荷作業を行う荷10の種類、棚12や台車14の種類、倉庫毎に、参照データをカスタマイズしてもよく、荷10の種類、棚12や台車14の種類、倉庫を指定して、カスタマイズした参照データを選択することができるようにしてもよい。

【0036】
(作業要素の推定処理、および情報提供処理)
図8は、作業要素を推定する処理、および情報を管理端末400に提供する処理の流れの一例を示すフローチャートである。作業要素を推定する処理、および情報を管理端末400に提供する処理は、所定の期間毎に繰り返して実行されるが、これに限らず、挙動データを取得したタイミングで開始されてもよい。

【0037】
まず、作業推定装置300は、通信部310を用いて、携帯端末100から時系列の挙動データを取得する(ステップS200)。次に作業推定装置300は、信号処理部340を用いて、取得した挙動データに対して所定の量子化処理を行う(ステップS202)。信号処理部340における所定の量子化処理は、参照データ生成部330における所定の量子化処理と同じ処理である。

【0038】
次に作業推定装置300は、参照データ記憶部320に記憶されている参照データを一つ選択する(ステップS204)。次に作業推定装置300は、推定部350を用いて、量子化処理が施されたデータと参照データとを比較する(ステップS206)。作業推定装置300は、例えばDPマッチングと称される手法を用いて、参照データの時間軸を伸長または圧縮して、双方のデータを比較する。また、作業推定装置300は、量子化処理が施されたデータの時間軸を圧縮または伸長してもよく、双方の時間軸を伸長または圧縮をしてもよい。これにより、作業推定装置300は、参照データと実際の集荷作業に要した時間の差を小さくして双方のデータを比較することができる。

【0039】
次に作業推定装置300は、比較された結果としてスコアを算出する(ステップS208)。作業推定装置300は、例えば、ある時刻において比較している双方のデータの値が一致している場合にはスコアを高くし、ある時刻において比較している双方のデータの値が一致していない場合にはスコアを低くする。なお、作業推定装置300は、スコアに限らず、双方のデータが一致していない割合を表すコストを算出してもよく、さらには双方のデータが一致している割合を表す類似度を算出してもよい。

【0040】
次に作業推定装置300は、所定の量子化処理が施されたデータについて、全ての参照データを選択したか否かを判定する(ステップS210)。作業推定装置300は、全ての参照データを選択していない場合、ステップS204に処理を戻す。

【0041】
作業推定装置300は、全ての参照データを選択した場合、スコアが最も高い作業要素が、取得した挙動データにおいて出現した作業要素であることを推定する(ステップS212)。

【0042】
次に作業推定装置300は、推定した作業要素に基づいて作業全体を推定する(ステップS214)。作業推定装置300は、移動、探索、取り出し、という3種の作業要素が順次出現した場合、作業全体が集荷作業であることを推定する。

【0043】
次に作業推定装置300は、推定結果の送信タイミングが到来したか否かを判定する(ステップS216)。作業推定装置300は、例えば、管理端末400から推定結果を要求するコマンドを受信した場合、推定結果の送信タイミングが到来したと判定する。作業推定装置300は、コマンドを受信したタイミングに限らず、所定の繰り返し期間が到来したことに応じて推定結果の送信タイミングが到来したと判定してもよい。

【0044】
作業推定装置300は、推定結果の送信タイミングが到来した場合、提供情報生成部360により提供情報を生成する(ステップS218)。次に作業推定装置300は、生成した提供情報を管理端末400に送信する(ステップS220)。

【0045】
(作業要素の推定処理)
図9は、挙動データのうちY軸加速度の一例を示す図である。作業推定装置300は、上述したステップS200において図9に示すような挙動データを取得したものとする。図10は、挙動データのうちY軸加速度に対して量子化処理を施したデータの一例を示す図である。作業推定装置300は、図9に示した挙動データに対して、略静止期間に時間的に挟まれる期間を切り出し、所定の量子化処理を施すことで、図10に示すようなデータを取得する。

【0046】
図11は、比較処理の一例を示す図である。推定部350は、図11(a)に示す量子化処理が施されたデータD1のうち所定期間の枠に含まれるデータD1-1と、図11(b)に示す参照データD11、図11(c)に示す参照データD12、および図11(d)に示す参照データD13のそれぞれとを比較する。推定部350は、データD1-1からオフセット期間だけずらしたデータD1-2と、図11(b)に示す参照データD11、図11(c)に示す参照データD12、および図11(d)に示す参照データD13のそれぞれとを比較する。さらに、推定部350は、データD1-2からオフセット期間だけずらしたデータD1-3と、図11(b)に示す参照データD11、図11(c)に示す参照データD12、および図11(d)に示す参照データD13のそれぞれとを比較する。このように、推定部350は、オフセット期間だけずらしたデータと、参照データのそれぞれとを比較する処理を繰り返す。

【0047】
推定部350は、所定期間の枠に含まれるデータと参照データとを比較する際に、参照データを時間軸において圧縮または伸長する処理(スケーリング処理)を行って、スケーリング処理が施された参照データと所定期間の枠に含まれるデータとを比較する。推定部350は、例えば、参照データを時間軸において、1.1倍、1.2倍、或いは0.9倍、0.8倍といったスケーリング処理を行ってから比較する。その場合、推定部350は、一つの作業要素に対応する参照データに対して当てはめた倍率を、他の作業要素に対応する参照データに援用してもよい。

【0048】
そして、推定部350は、比較した結果として所定期間の枠に含まれるデータ毎にスコアを算出し、所定期間の枠に含まれるデータ毎に最も高いスコアに対応する作業要素を推定する。これにより、推定部350は、作業に含まれる作業要素の出現順で、作業要素を推定することができる。

【0049】
また、推定部350は、作業要素が連続して出現する場合、それを合算することで、作業要素のそれぞれの開始時刻から終了時刻までの所要時間として推定することができる。

【0050】
(作業全体の推定処理)
図12は、第1の集荷作業における、実際の作業要素の時間的な変化、および作業推定装置300により作業要素を推定した実験結果を示す図である。図12の真値は、実際の作業者の作業に対応した作業要素の変化を表す。作業要素IDは、作業要素を特定する情報である。

【0051】
第1の集荷作業は、台車14と共に荷10に向けて移動する(ID=1)、荷10を探索する(ID=2)、荷10を取り出す(ID=0)、荷10を載せた台車と共に移動する(ID=1)という順で作業要素が出現する。作業推定装置300は、順次出現する作業要素をそれぞれ推定することで、1、2、0、1の順序で作業要素が推定できていることが分かる。また、図12(a)に示す作業要素IDの変化と、図12(b)に示す作業要素IDの変化とは、作業者が異なるため、各作業要素に要する時間が異なっている。この場合であっても、作業推定装置300によれば、真値に近い作業要素の推定結果を得ることができることが分かる。

【0052】
作業推定装置300は、第1の集荷作業の真値に対応する作業要素IDの時系列パターンを表す情報を、例えば、参照データ記憶部320に記憶する。推定部350は、推定した作業要素に対応した作業要素IDの配列が、1、2、0、1の順序であるかを、類似度から判定する。なお、推定部350は、推定した結果と、予め設定した順序とを比較し、上述した比較処理と同様に、類似度(またはコスト)を算出すればよい。推定部350は、推定した作業要素に対応した作業要素IDの配列が、予め設定した1、2、0、1の順序に類似する場合、作業者P1が行った作業が第1の集荷作業であることを判定する。推定部350は、推定した作業要素に対応した作業要素IDの配列が、予め設定した1、2、0、1の順序に類似しない場合、作業者P1が行った作業が第1の集荷作業ではないことを判定する。これにより、作業推定装置300は、作業全体を推定することができる。

【0053】
図13は、第2の集荷作業における、実際の作業要素の時間的な変化、および作業推定装置300により作業要素を推定した実験結果を示す図である。第2の集荷作業は、台車14と共に荷10に向けて移動する(ID=1)、荷10を取り出す(ID=0)、台車14と共に荷10を移動する(ID=1)という順で作業要素が出現する。作業推定装置300は、順次出現する作業要素をそれぞれ推定することで、1、0、1の順序で作業要素が推定できていることが分かる。また、図13(a)に示す作業要素IDの変化と、図13(b)に示す作業要素IDの変化とは、作業者が異なるため、各作業要素に要する時間が異なっている。この場合であっても、作業推定装置300によれば、真値に近い作業要素の推定結果を得ることができることが分かる。

【0054】
作業推定装置300は、第1の集荷作業の真値に対応する作業要素IDの時系列パターンを表す情報を、例えば、参照データ記憶部320に記憶する。推定部350は、推定した作業要素に対応した作業要素IDの配列が、1、0、1の順序であるかを、類似度から判定する。推定部350は、推定した作業要素に対応した作業要素IDの配列が、予め設定した1、0、1の順序に類似する場合、作業者P1が行った作業が第2の集荷作業であることを判定する。推定部350は、推定した作業要素に対応した作業要素IDの配列が、予め設定した1、0、1の順序に類似しない場合、作業者P1が行った作業が第2の集荷作業ではないことを判定する。これにより、作業推定装置300は、作業全体を推定することができる。

【0055】
(提供情報の生成処理)
図14は、管理端末400に提供される提供情報360Aおよび360Bの一例を示す図である。提供情報360Aおよび360Bは、推定部350により推定された作業要素ごとの所要時間の割合を円グラフ化した画像を表示させるための情報である。提供情報生成部360は、作業者P1の作業時間における推定部350により推定された作業要素ごとの所要時間の割合を算出する。提供情報生成部360は、算出した作業要素ごとの所要時間の割合に基づいて、円グラフを表示させるための情報を生成する。

【0056】
作業推定装置300は、推定結果の送信タイミングにおいて提供情報360Aを管理端末400に送信し、管理端末400によりグラフ化した画像を表示させる。これにより、作業推定装置300は、提供情報360Aに対応した円グラフを表示させることができる。この結果、管理者P2は、集荷作業における探索の割合が多いことを直感的に認識することができ、荷10や棚12の配置などの改善作業を行うことができる。

【0057】
荷10や棚12の配置を変更した後の推定結果の送信タイミングが到来したことに応じ、作業推定装置300は、提供情報360Bを管理端末400に送信し、管理端末400によりグラフ化した画像を表示させる。これにより、作業推定装置300は、提供情報360Bに対応した円グラフを表示させることができる。この結果、管理者P2は、探索の割合が少なくなったことを直感的に認識することができ、荷10や棚12の配置などの改善作業が効果的に実施できたことを認識することができる。

【0058】
(姿勢の抽出処理)
なお、提供情報の生成処理には、作業を行っている最中における姿勢のうち作業者P1にとって負担が大きい姿勢を抽出する処理を含めてもよい。図15は、第1の実施形態の作業推定システム1の変形例を示す構成図である。この場合、作業推定装置300は、倉庫内の空間を撮像するカメラ装置200をさらに備え、撮像した結果としての動画データを取得し、通信部310に送る。通信部310により取得した動画データから作業者P1の姿勢のうち、負担が大きい姿勢を抽出する。負担が大きい姿勢とは、例えば、床面の荷10を取るため、作業者P1が腰を大きく曲げる姿勢である。作業推定装置300は、負担が大きい姿勢を抽出した動画データの時刻に推定された作業要素を特定し、特定した作業要素における作業者P1の負荷が高いことを推定する。

【0059】
(第1の実施形態の効果)
第1の実施形態の作業推定システム1によれば、作業者から検出された挙動の時系列データに対して所定の量子化処理を施した参照データを記憶しておき、参照データと、挙動データに対して量子化処理が施されたデータとの比較に基づいて、挙動データにおいて順次出現する作業要素を推定することにより、作業に含まれる一連の作業要素を高精度に推定することができる。前述したように、動作要素は、作業者P1の行動から検出される挙動において出現する特徴が一様であり、また作業者の体格、作業場所の条件等により変動するため、これを単体で推定するには複雑かつ高度な情報処理が必要となる。一方、動作要素間では、検出される特徴が大きく異なるため、動作要素全体として捉えた場合の特徴の変化は、個人差や条件の差に余り依存せず、判別しやすいものとなる。すなわち、作業要素においては、各動作要素の特徴の差が順次現れるため、一般化してコンピュータにより判別するのが比較的容易である。

【0060】
また、第1の実施形態の作業推定システム1によれば、作業に対応付けた複数の作業要素の出現順を示す情報と、推定した複数の作業要素の出現順との比較に基づいて作業を推定することができる。これにより、作業推定システム1によれば、予め設定された作業を作業者P1が行っているか否かを監視することができる。

【0061】
さらに、第1の実施形態の作業推定システム1によれば、順次出現する作業要素のそれぞれを開始時刻から終了時刻までの所要時間を推定することができるので、所要時間に基づいて荷10や棚12の配置を変更するなどの改善を行うことができる。例えば、作業要素の「探索」の所要時間の割合を少なくするように、荷10や棚12の配置を変更することができる。

【0062】
さらに、第1の実施形態の作業推定システム1によれば、推定された作業要素ごとの所要時間の割合をグラフ化した画像を表示させるための情報を生成することにより、管理者P2にグラフ化した画像を提示することができる。これにより、作業推定システム1によれば、作業要素をわかりやすく認識させることができ、利便性を向上させることができる。

【0063】
さらに、第1の実施形態の作業推定システム1によれば、動画データから抽出した作業者P1の姿勢と、推定した作業要素との時間的な関係に基づいて、推定した作業要素における作業者P1の負荷を推定するので、作業者P1の負荷を抑制するような改善を行うことができる。

【0064】
[第2の実施形態]
以下、第2の実施形態について説明する。図16は、第2の実施形態の作業推定システム1Aの一例を示す構成図である。第2の実施形態の作業推定システム1Aは、荷10ごと、または棚12毎、または倉庫毎に、推定部350により推定された作業要素ごとの所要時間の割合をグラフ化した画像を表示させるための情報を生成する点で、第1の実施形態とは異なる。棚12、または倉庫は、荷10をグループ化したグループの一例である。以下、この相違点を中心に説明する。

【0065】
第2の実施形態の作業推定システム1Aは、第1の実施形態の作業推定システム1に加えて、例えば、物流管理サーバ600と、ハンディターミナル500とを備える。物流管理サーバ600は、例えばCPU等のプロセッサがプログラムメモリに格納されたプログラムを実行することにより実現されるサーバ装置である。物流管理サーバ600は、荷10を管理するための物流管理データベース記憶部610に対して情報を登録する。図17は、物流管理データベース612の一例を示す図である。物流管理データベース612は、例えば、荷IDに対応付けて、倉庫ID、棚ID、および集荷時刻を記憶する。

【0066】
ハンディターミナル500は、例えば、コード読み取り装置、無線通信用のNIC、CPU等の処理部を備える端末装置である。ハンディターミナル500は、作業者P1が荷10を集荷する際に、例えば、コード読取装置により荷10に貼付されたコードを読み取ることで、荷IDを取得する。ハンディターミナル500は、NICにより、荷10のIDに、集荷時刻としての時刻情報および作業者IDを付加して、物流管理サーバ600および作業推定装置300Aに送信する。

【0067】
作業推定装置300Aは、ハンディターミナル500から荷ID、利用者IDおよび集荷時刻を受信した場合、荷ID、利用者IDおよび集荷時刻を記憶する。作業推定装置300Aは、受信した作業者IDに基づいて、作業者IDに対応する作業者P1の作業要素を取得する。作業推定装置300Aは、例えば、携帯端末100の識別情報に対応付けられた作業者IDに、作業者P1から検出された挙動データに基づいて推定した作業要素を対応付けて予め記憶しておくことで、ハンディターミナル500から受信した作業者IDに対応する作業者P1の作業要素を取得する。また、作業推定装置300Aは、取得した作業者P1の作業要素からハンディターミナル500から受信した集荷時刻に対応する作業要素を抽出し、抽出した作業要素を含む作業を取得する。これにより、作業推定装置300Aは、荷IDに対応する荷10の集荷作業について、作業要素ごとの所要時間、および所要時間の割合を算出することができる。

【0068】
また、作業推定装置300Aは、物流管理サーバ600から荷IDに対応付けられた、倉庫IDまたは棚IDを取得してもよい。作業推定装置300Aは、荷IDに対応付けられた倉庫IDごとに、作業要素ごとの所要時間、および所要時間の割合を算出することができる。また、作業推定装置300Aは、荷IDに対応付けられた棚IDごとに、作業要素ごとの所要時間、および所要時間の割合を算出することができる。

【0069】
図18は、第2の実施形態における提供情報360Cの一例を示す図である。作業推定装置300Aは、荷ID、棚ID、または倉庫IDと、移動時間、探索時間、または取り出し時間との関係を棒グラフにした提供情報360Cを作成して、管理端末400に提供することができる。これにより、管理者P2は、長い作業時間を要する荷10、棚12または倉庫を認識することができる。

【0070】
図19は、第2の実施形態における提供情報360Dの一例を示す図である。作業推定装置300Aは、荷10ごと、倉庫ごと、または棚ごとに、作業要素間における所要時間の割合を表す提供情報360Cを作成して、管理端末400に提供することができる。これにより、管理者P2は、移動時間、探索時間、取り出し時間のうちどの作業要素に長い作業時間を要するかを認識することができる。

【0071】
[変形例]
以下、第1の実施形態および第2の実施形態の変形例について説明する。図20は、変形例の作業推定システム1Bの構成図である。変形例の作業推定システム1Bは、倉庫W-1、・・・W-Nごとに、倉庫で集荷作業を行う作業者の携帯端末100から挙動データを収集する中継装置700-1、・・・700-Nを備える。中継装置700-1、・・・700-Nは、無線通信、または有線通信を利用して複数の携帯端末100から挙動データを取得して蓄積する。中継装置700-1、・・・700-Nは、例えば、集荷作業を行っている最中には挙動データを収集せず、集荷作業をしていない終業時間などに有線ケーブルにより携帯端末100から挙動データを収集する。中継装置700-1、・・・700-Nは、例えば1日に1回、複数の携帯端末100から収集した挙動データを作業推定装置300Bに送信する。作業推定装置300Bは、例えば、作業者毎、荷10毎、棚12毎、または倉庫W毎に、荷IDに対応する荷10の集荷作業について、作業要素ごとの所要時間の割合を算出することができる。

【0072】
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【符号の説明】
【0073】
1、1A、1B…作業推定システム、10…荷、12…棚、14…台車、100…携帯端末、110…端末側通信部、120…センサ部、122…加速度センサ、124…角度センサ、130…ユーザインターフェース部、140…制御部、200…カメラ装置、300、300A、300B…作業推定装置、310…通信部、320…参照データ記憶部、330…参照データ生成部、340…信号処理部、350…推定部、360…提供情報生成部、360A、360B、360C…提供情報、400…管理端末、500…ハンディターミナル、600…物流管理サーバ、610…物流管理データベース記憶部、612…物流管理データベース、700-1、700-N…中継装置
Drawing
(In Japanese)【図1】
0
(In Japanese)【図2】
1
(In Japanese)【図3】
2
(In Japanese)【図4】
3
(In Japanese)【図5】
4
(In Japanese)【図6】
5
(In Japanese)【図7】
6
(In Japanese)【図8】
7
(In Japanese)【図9】
8
(In Japanese)【図10】
9
(In Japanese)【図11】
10
(In Japanese)【図12】
11
(In Japanese)【図13】
12
(In Japanese)【図14】
13
(In Japanese)【図15】
14
(In Japanese)【図16】
15
(In Japanese)【図17】
16
(In Japanese)【図18】
17
(In Japanese)【図19】
18
(In Japanese)【図20】
19