TOP > 国内特許検索 > 人物検索システム > 明細書

明細書 :人物検索システム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5959093号 (P5959093)
公開番号 特開2013-186546 (P2013-186546A)
登録日 平成28年7月1日(2016.7.1)
発行日 平成28年8月2日(2016.8.2)
公開日 平成25年9月19日(2013.9.19)
発明の名称または考案の名称 人物検索システム
国際特許分類 G06T   7/00        (2006.01)
G06T   1/00        (2006.01)
G06F  17/30        (2006.01)
H04N   7/18        (2006.01)
FI G06T 7/00 300F
G06T 1/00 200E
G06F 17/30 170B
G06F 17/30 210A
G06F 17/30 350C
H04N 7/18 K
請求項の数または発明の数 8
全頁数 22
出願番号 特願2012-049300 (P2012-049300)
出願日 平成24年3月6日(2012.3.6)
審査請求日 平成27年2月25日(2015.2.25)
特許権者または実用新案権者 【識別番号】800000068
【氏名又は名称】学校法人東京電機大学
発明者または考案者 【氏名】中村 明生
【氏名】大槻 雅文
【氏名】吉田 隆之
個別代理人の代理人 【識別番号】100083806、【弁理士】、【氏名又は名称】三好 秀和
【識別番号】100100712、【弁理士】、【氏名又は名称】岩▲崎▼ 幸邦
【識別番号】100095500、【弁理士】、【氏名又は名称】伊藤 正和
【識別番号】100101247、【弁理士】、【氏名又は名称】高橋 俊一
【識別番号】100098327、【弁理士】、【氏名又は名称】高松 俊雄
審査官 【審査官】▲広▼島 明芳
参考文献・文献 特開2010-152552(JP,A)
国際公開第2011/046128(WO,A1)
特開2009-199322(JP,A)
山口 純平 Junpei YAMAGUCHI,顔特徴とコンテキスト情報に基づく顔の隠れに頑健な人物識別 Personal Identification Using Facial Feature and Context for Partially Occluded Images,電子情報通信学会技術研究報告 Vol.109 No.470 IEICE Technical Report,日本,社団法人電子情報通信学会 The Institute of Electronics,Information and Communication Engineers,2010年 3月 8日,第109巻、第470号,p.25-30
齋藤益美、森俊夫,被服形態の美しさに及ぼす構成学的要因,岐阜女子大学紀要,日本,2011年 3月10日,40巻,p.53-60
調査した分野 G06T 1/00 - 7/60
H04N 7/18
G06F 17/30
特許請求の範囲 【請求項1】
静止状態または移動状態の人物を含む環境を撮影する第1の撮影手段と、
該第1の撮影手段で撮影された画像データに基づいて人物の衣服特徴に関する情報を抽出する衣服特徴抽出手段と、
前記衣服特徴抽出手段で抽出された前記人物の衣服特徴に関する情報をデータベースとして記憶する記憶手段と、
他の環境において、静止状態または移動状態の人物を含む環境を撮影する1または2以上の第2の撮影手段と、
前記衣服特徴抽出手段により、前記第2の撮影手段で撮影された画像データに基づいて人物の衣服特徴に関する情報を抽出し、前記記憶手段に記憶されている人物の衣服特徴に関するデータベースとの照合を行って所定の人物を検索する人物検索手段と、を有し、
前記衣服特徴抽出手段は、
前記第1の撮影手段または前記第2の撮影手段で撮影された画像データに基づいて、人物が存在する人領域を抽出する人領域抽出手段と、
該人領域抽出手段で抽出された人領域から人物画像のみを抽出する人抽出手段と、
該人抽出手段で抽出された人物画像から衣服の領域を取得する衣服領域取得手段と、
該衣服領域取得手段で取得された衣服の領域を所定の分割数の衣服画像に分割する衣服領域分割手段と、
該衣服領域分割手段で分割された各衣服画像から衣服の特徴を取得する衣服特徴取得手段と、
該衣服特徴取得手段で取得された特徴に基づいて衣服を特定する衣服特定手段と
から構成され、
前記衣服領域分割手段は、人物画像の首位置および腰位置を推定して、上半身部の衣服画像と下半身部の衣服画像とに分割することを特徴とする人物検索システム。
【請求項2】
前記人抽出手段は、前記第1の撮影手段または前記第2の撮影手段で撮影された画像データに含まれる距離画像に、背景差分法およびクラスタリング手法を適用して前記人領域から人物画像のみを抽出することを特徴とする請求項1に記載の人物検索システム。
【請求項3】
前記衣服特徴抽出手段は、前記各衣服画像に基づいて、衣服の大局的特徴と局所的特徴を衣服の特徴として取得し、
前記衣服の大局的特徴は、前記各衣服画像の色特徴または周波数特徴であり、前記局所的特徴は同時生成行列特徴であることを特徴とする請求項1または請求項2に記載の人物検索システム。
【請求項4】
前記第1の撮影手段および前記第2の撮影手段の少なくとも一方は、人物の三次元情報を取得する三次元カメラで構成されることを特徴とする請求項1から請求項3の何れか1項に記載の人物検索システム。
【請求項5】
前記第1の撮影手段および前記第2の撮影手段の少なくとも一方は、人物を2以上の方向から撮影する2台以上のデジタルカメラで構成されることを特徴とする請求項1から請求項3の何れか1項に記載の人物検索システム。
【請求項6】
前記第1の撮影手段または前記第2の撮影手段で撮影された画像データに基づいて、人物の向きを判別する人向き判別手段をさらに備え、
前記記憶手段は、前記人物の衣服特徴に関する情報を前記人向き判別手段による判別結果と関連付けしてデータベースを生成して記憶することを特徴とする請求項1から請求項5の何れか1項に記載の人物検索システム。
【請求項7】
前記人向き判別手段は、前記第1の撮影手段または前記第2の撮影手段で撮影された画像データに含まれる人物の顔の肌色情報に基づいて人物の向きを判別することを特徴とする請求項6に記載の人物検索システム。
【請求項8】
前記人物検索手段は、前記大局的特徴と局所的特徴の少なくとも一方に基づいて、第2の撮影手段で撮影された画像データに基づく衣服特徴と、前記記憶手段に記憶されている人物の衣服特徴に関するデータベースとの類似度を求め、その類似度に基づいて照合を行うことを特徴とする請求項1から請求項7の何れか1項に記載の人物検索システム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、衣服特徴を用いて人物を検索する人物検索システムに関するものである。
【背景技術】
【0002】
近年、防犯意識の高まりや安全管理強化により、商業施設等において監視カメラを用いた個人認証の研究や製品開発が進められている。
【0003】
特に、監視カメラを用いた個人認証では、顔情報を用いた個人認証の研究開発が種々進められている。
【0004】
このような、顔情報を用いた個人認証によれば、高精度な個人認証が可能である。
【0005】
ところで、顔情報を用いたシステムでは、当然ながらカメラ画像に顔が写っていることが前提である。
【0006】
しかしながら、監視カメラの設置位置や、撮影対象となる人物の身長等により顔が撮影されない場合がある。
【0007】
また、顔情報を用いた個人認証では、人物の顔が正面から写っている必要があるが、商業施設等で移動している特定の人物の顔を正面から撮影することは難しかった。
【0008】
一方で、監視カメラに写る確率の高い、人物の衣服に着目した技術が種々提案されている。
【0009】
人物の衣服に着目した技術としては、例えば、特開2010-262425号公報に係る「衣服を認識および分類するためのコンピュータ実行方法」などが挙げられる。
【0010】
前記公報に係る発明において、コンピュータシステムは、プロセッサ、メモリ、および記憶装置を含み、ディスプレイおよびカメラに連結されている。記憶装置は、OS及びアプリケーションのコードを記憶し、衣服認識アプリケーションも含む。動作中、衣服認識アプリケーションはメモリにロードされる。プロセッサがメモリに記憶されている対応コードを実行する時、プロセッサは、カメラによってキャプチャされた画像を本発明の解析方法によって解析し、整合した衣服をディスプレイにディスプレイするものである。
【先行技術文献】
【0011】

【特許文献1】特開2010-262425号公報
【発明の概要】
【発明が解決しようとする課題】
【0012】
上述の従来技術では、カメラで人物の衣服を撮影し、その衣服に関する情報を用いているが、その目的は、衣服を認識して分類することにある。
【0013】
ところで、上述のように商業施設等において人物の個人認証を行う場合には、用途によっては、個人認証にさほど高い精度が求められない場合がある。
【0014】
即ち、例えば銀行のATMにおける個人認証や、重要施設への入館許可等における個人認証において、顔情報を用いる場合には100%に近い確率の認証精度が求められる。
【0015】
一方、例えば比較的広い商業施設やイベント会場などで、迷子を探す場合や、待ち合わせする人を探すような場合には、前記ATM等における程の個人認証精度は要求されず、該当すると思われる人物を検索できれば足りる。
【0016】
このような用途において、監視カメラ等で取得した来場者の衣服に関する情報(衣服特徴)を用いて、簡易的な個人認証や人物検索を行いたいという要望がある。
【0017】
また、顔情報等を用いた個人認証の精度をさらに向上させるために、人物の衣服特徴を補助的に用いたいという要望もある。
【0018】
しかしながら、前記従来技術のような衣服を認識して分類する技術を人物検索や個人認証の補助にそのまま転用することはできなかった。
【0019】
本発明は、上述のような課題を解決すべくなされたものであり、衣服特徴を用いた人物検索を容易に行うことのできる人物検索システムを提供することを目的とする。
【課題を解決するための手段】
【0020】
前記課題を解決するため、請求項1の発明に係る人物検索システムは、静止状態または移動状態の人物を含む環境を撮影する第1の撮影手段と、該第1の撮影手段で撮影された画像データに基づいて人物の衣服特徴に関する情報を抽出する衣服特徴抽出手段と、前記衣服特徴抽出手段で抽出された前記人物の衣服特徴に関する情報をデータベースとして記憶する記憶手段と、他の環境において、静止状態または移動状態の人物を含む環境を撮影する1または2以上の第2の撮影手段と、前記衣服特徴抽出手段により、前記第2の撮影手段で撮影された画像データに基づいて人物の衣服特徴に関する情報を抽出し、前記記憶手段に記憶されている人物の衣服特徴に関するデータベースとの照合を行って所定の人物を検索する人物検索手段と、を有し、前記衣服特徴抽出手段は、前記第1の撮影手段または前記第2の撮影手段で撮影された画像データに基づいて、人物が存在する人領域を抽出する人領域抽出手段と、該人領域抽出手段で抽出された人領域から人物画像のみを抽出する人抽出手段と、該人抽出手段で抽出された人物画像から衣服の領域を取得する衣服領域取得手段と、該衣服領域取得手段で取得された衣服の領域を所定の分割数の衣服画像に分割する衣服領域分割手段と、該衣服領域分割手段で分割された各衣服画像から衣服の特徴を取得する衣服特徴取得手段と、該衣服特徴取得手段で取得された特徴に基づいて衣服を特定する衣服特定手段とから構成され、前記衣服領域分割手段は、人物画像の首位置および腰位置を推定して、上半身部の衣服画像と下半身部の衣服画像とに分割することを特徴とする
【0021】
請求項2の発明に係る人物検索システムは、請求項1に記載の発明について、前記第1の撮影手段および前記第2の撮影手段の少なくとも一方は、人物の三次元情報を取得する三次元カメラで構成されることを特徴とする。
【0022】
請求項3の発明に係る人物検索システムは、請求項1に記載の発明について、前記第1の撮影手段および前記第2の撮影手段の少なくとも一方は、人物を2以上の方向から撮影する2台以上のデジタルカメラで構成されることを特徴とする。
【0023】
請求項4の発明に係る人物検索システムは、請求項1~3のいずれか1項に記載の発明について、前記衣服特徴抽出手段は、前記第1の撮影手段または前記第2の撮影手段で撮影された画像データに基づいて、人物が存在する人領域を抽出する人領域抽出手段と、該人領域抽出手段で抽出された人領域から人物画像のみを抽出する人抽出手段と、該人抽出手段で抽出された人物画像から衣服の領域を取得する衣服領域取得手段と、該衣服領域取得手段で取得された衣服の領域を所定の分割数の衣服画像に分割する衣服領域分割手段と、該衣服領域分割手段で分割された各衣服画像から衣服の特徴を取得する衣服特徴取得手段と、該衣服特徴取得手段で取得された特徴に基づいて衣服を特定する衣服特定手段とを備えることを特徴とする。
【0024】
請求項5の発明に係る人物検索システムは、請求項4に記載の発明について、前記人抽出手段は、前記第1の撮影手段または前記第2の撮影手段で撮影された画像データに含まれる距離画像に、背景差分法およびクラスタリング手法を適用して前記人領域から人物画像のみを抽出することを特徴とする。
【0025】
請求項6の発明に係る人物検索システムは、請求項4または請求項5のいずれかに記載の発明について、前記衣服領域分割手段は、人物画像の首位置および腰位置を推定して、上半身部の衣服画像と下半身部の衣服画像とに分割することを特徴とする。
【0026】
請求項7の発明に係る人物検索システムは、請求項1~6のいずれかに記載の発明について、第1の撮影手段または第2の撮影手段で撮影された画像データに基づいて、人物の向きを判別する人向き判別手段をさらに備え、記憶手段は、人物の衣服特徴に関する情報を前記人向き判別手段による判別結果と関連付けしてデータベースを生成して記憶することを特徴とする。
【0027】
請求項8の発明に係る人物検索システムは、請求項7に記載の発明について、人向き判別手段は、第1の撮影手段または第2の撮影手段で撮影された画像データに含まれる人物の顔の肌色情報に基づいて人物の向きを判別することを特徴とする。
【0030】
請求項9の発明に係る人物検索システムは、請求項1から請求項8の何れか1項に記載の発明について、人物検索手段は、大局的特徴と局所的特徴の少なくとも一方に基づいて、第2の撮影手段で撮影された画像データに基づく衣服特徴と、記憶手段に記憶されている人物の衣服特徴に関するデータベースとの類似度を求め、その類似度に基づいて照合を行うことを特徴とする。
【発明の効果】
【0031】
本発明によれば以下の効果を奏することができる。
【0032】
すなわち、請求項1に記載の発明によれば、本構成を有していない場合に比較して、衣服特徴を用いた人物検索を容易に行う人物検索システムを提供することができる。
また、衣服特徴抽出手段は、各衣服画像に基づいて、衣服の大局的特徴と局所的特徴の少なくとも一方を衣服の特徴として取得するので、比較的簡易な構成で人物検索を精度良く行う人物検索システムを提供することができる。
また、衣服の大局的特徴は、各衣服画像の色特徴または周波数特徴であり、局所的特徴は同時生成行列特徴であるので、比較的簡易な構成で人物検索を精度良く行う人物検索システムを提供することができる。
【0033】
請求項2に記載の発明によれば、第1の撮影手段および第2の撮影手段の少なくとも一方は、人物の三次元情報を取得する三次元カメラで構成されるので、多方向から見た衣服特徴を取得することができ、比較的低コストで検索精度を高めた人物検索システムを提供することができる。
【0034】
請求項3に記載の発明によれば、第1の撮影手段および第2の撮影手段の少なくとも一方は、人物を2以上の方向から撮影する2台以上のデジタルカメラで構成されるので、多方向から見た衣服特徴を取得することができ、検索精度を高めた人物検索システムを提供することができる。
【0035】
請求項4に記載の発明によれば、本構成を有していない場合に比較して、比較的簡易な構成で人物検索を行う人物検索システムを提供することができる。
【0036】
請求項5に記載の発明によれば、人抽出手段は、第1の撮影手段または第2の撮影手段で撮影された画像データに含まれる距離画像に、背景差分法およびクラスタリング手法を適用して人領域から人物画像のみを抽出するので、検索精度を高めた人物検索システムを提供することができる。
【0037】
請求項6に記載の発明によれば、衣服領域分割手段は、人物画像の首位置および腰位置を推定して、上半身部の衣服画像と下半身部の衣服画像とに分割するので、検索精度を高めた人物検索システムを提供することができる。
【0038】
請求項7に記載の発明によれば、第1の撮影手段または第2の撮影手段で撮影された画像データに基づいて、人物の向きを判別する人向き判別手段をさらに備え、記憶手段は、人物の衣服特徴に関する情報を人向き判別手段による判別結果と関連付けしてデータベースを生成して記憶するので、検索精度を高めた人物検索システムを提供することができる。
【0039】
請求項8に記載の発明によれば、人向き判別手段は、第1の撮影手段または第2の撮影手段で撮影された画像データに含まれる人物の顔の肌色情報に基づいて人物の向きを判別するので、比較的簡易な構成で人物検索を行う人物検索システムを提供することができる。
【0042】
請求項9に記載の発明によれば、人物検索手段は、大局的特徴と局所的特徴の少なくとも一方に基づいて、第2の撮影手段で撮影された画像データに基づく衣服特徴と、記憶手段に記憶されている人物の衣服特徴に関するデータベースとの類似度を求め、その類似度に基づいて照合を行うので、検索精度を高めた人物検索システムを提供することができる。

【図面の簡単な説明】
【0043】
【図1】実施の形態に係る人物検索システムの機能構成を示す機能ブロック図である。
【図2】実施の形態に係る人物検索システムの構成例を示すブロック図である。
【図3】3次元カメラの構成例を示す説明図。
【図4】登録と検索の例を示す説明図である。
【図5】衣服特定処理の処理手順を示すフローチャートおよび説明図である。
【図6】人抽出について抽出例を示す説明図である。
【図7】人抽出について抽出方法を示す説明図である。
【図8】人抽出画像から衣服領域を取得する例を示す説明である。
【図9】首位置、腰位置の推定および衣服領域の分割方法を示す説明図である。
【図10】衣服特徴取得について示す説明図である。
【図11】色特徴の抽出および色差特徴の抽出の方法を示す説明図である。
【図12】周波数特徴および同時生起行列について示す説明図である。
【図13】同時生起行列の処理手順を示す説明図である。
【図14】同時生起行列の種類を示す式である。
【図15】同時生起行列の条件を示す式である。
【図16】人向き方向判別について示す説明図である。
【図17】衣服特定について示す説明図である。
【図18】実験に用いた衣服の種類を示す撮影図である。
【図19】実験に用いた正面画像と後面画像の例を示す撮影図である。
【図20】実験に用いた正面画像と後面画像の例を示す撮影図である。
【図21】実験結果を示す表である。
【発明を実施するための形態】
【0044】
以下、本発明の一例としての実施の形態を図面に基づいて詳細に説明する。ここで、添付図面において同一の部材には同一の符号を付しており、また、重複した説明は省略されている。なお、ここでの説明は本発明が実施される最良の形態であることから、本発明は当該形態に限定されるものではない。

【0045】
図1から図21を参照して、本発明についての実施形態に係る人物検索システムS1について説明する。

【0046】
(人物検索システムの全体構成)
まず、図1を参照して人物検索システムS1の機能構成について説明する。

【0047】
本実施の形態に係る人物検索システムS1は、図1に示すように、静止状態または移動状態の人物を含む環境を撮影する登録用カメラとしての第1の撮影手段201と、第1の撮影手段201で撮影された画像データに基づいて人物の衣服特徴に関する情報を抽出する衣服特徴抽出手段120と、衣服特徴抽出手段120で抽出された人物の衣服特徴に関する情報をデータベースとして記憶するハードディスク装置等で構成される記憶手段(記憶部)103と、他の環境において、静止状態または移動状態の人物を含む環境を撮影する1または2以上の検索用カメラとしての第2の撮影手段202と、衣服特徴抽出手段120により、第2の撮影手段202で撮影された画像データに基づいて人物の衣服特徴に関する情報を抽出し、記憶手段103に記憶されている人物の衣服特徴に関するデータベースとの照合を行って所定の人物を検索する人物検索手段166とを少なくとも備える。

【0048】
第1の撮影手段201および第2の撮影手段202の少なくとも一方は、人物の三次元情報を取得する三次元カメラで構成されるようにできる。

【0049】
三次元カメラとしては、レーザパターン投影方式の3次元センサを用いることができる。

【0050】
レーザパターン投影方式の3次元センサは、赤外線パターンを対象物体に照射して三角測量(Triangulation)により距離画像を取得している。

【0051】
より具体的には、レーザパターン投影方式の3次元センサとしては、マイクロソフト社製のKinect(キネクト)センサ(マイクロソフト社の登録商標)201を適用することができる(図3参照)。このKinectセンサ201は、当初ゲーム機用のセンサであったが、パーソナルコンピュータ等で構成されるコンピュータシステム100aにもUSB端子を介して接続可能である。

【0052】
そして、マイクロソフトリサーチ社が提供する「Kinect for Windows SDK(Software Development Kit)」を用いれば、C言語で記述したプログラムによりKinectセンサ201をコンピュータシステム100aから制御することできる。

【0053】
このKinectセンサ201により、カラー画像301と、距離画像302を取得することができる(図3参照)
また、Kinectセンサは、約1万数千円程度で入手可能であり、本実施の形態に係るシステムS1の低コスト化を図ることができる。

【0054】
また、第1の撮影手段201および第2の撮影手段202の少なくとも一方は、人物を2以上の方向から撮影する2台以上のデジタルカメラで構成されるようにしてもよい。

【0055】
即ち、例えば、登録用カメラとしての第1の撮影手段201について、商業施設やイベント会場の入り口等において、入場者としての人物を正面、後面、側面等から撮影するように、2台以上のデジタルカメラを配置するようにできる。

【0056】
また、検索用カメラとしての第2の撮影手段202については、商業施設内やイベント会場内の複数箇所に監視カメラとして複数台のデジタルカメラを配置するようにできる。

【0057】
衣服特徴抽出手段120は、図1に示すように、第1の撮影手段201または第2の撮影手段202で撮影された画像データに基づいて、人物が存在する人領域を抽出する人領域抽出手段160と、人領域抽出手段160で抽出された人領域から人物画像のみを抽出する人抽出手段161と、人抽出手段161で抽出された人物画像から衣服の領域を取得する衣服領域取得手段162と、衣服領域取得手段162で取得された衣服の領域を所定の分割数の衣服画像に分割する衣服領域分割手段163と、衣服領域分割手段163で分割された各衣服画像から衣服の特徴を取得する衣服特徴取得手段164と、衣服特徴取得手段164で取得された特徴に基づいて衣服を特定する衣服特定手段165とから構成される。

【0058】
なお、各手段は、コンピュータシステム100a(100b)で実行可能なソフトウェアとして実現される。

【0059】
人抽出手段161は、第1の撮影手段201または第2の撮影手段202で撮影された画像データに含まれる距離画像に、例えば背景差分法およびクラスタリング手法を適用して人領域から人物画像のみを抽出するようにできる。詳細な手順については後述する。

【0060】
なお、背景差分法およびクラスタリング手法は、移動体の画像に基づいて、人領域を抽出する場合に適している。

【0061】
また、例えば、抽出された人領域画像に対して人認識を行った上で、識別結果が人である場合にのみ、以降の処理を続行するようにしても良い。

【0062】
衣服領域分割手段163は、人物画像の首位置および腰位置を推定して、上半身部の衣服画像と下半身部の衣服画像とに分割するようにできる。詳細な手順については後述する。

【0063】
また、第1の撮影手段201または第2の撮影手段202で撮影された画像データに基づいて、人物の向きを判別する人向き判別手段167をさらに備える。

【0064】
そして、記憶手段103は、人物の衣服特徴に関する情報を人向き判別手段167による判別結果と関連付けしてデータベースを生成して記憶するようにできる。

【0065】
なお、人向き判別手段167は、第1の撮影手段201または第2の撮影手段202で撮影された画像データに含まれる人物の顔の肌色情報に基づいて人物の向きを判別するようにできる。詳細な手順については後述する。

【0066】
また、衣服特徴取得手段164は、各衣服画像に基づいて、衣服の大局的特徴と局所的特徴の少なくとも一方を衣服の特徴として取得するようにできる。

【0067】
ここで、衣服の大局的特徴は、各衣服画像の色特徴または周波数特徴であり、局所的特徴は各衣服画像の色差特徴または同時生成行列特徴であるようにできる。詳細については後述する。

【0068】
また、人物検索手段166は、大局的特徴と局所的特徴の少なくとも一方に基づいて、第2の撮影手段202で撮影された画像データに基づく衣服特徴と、記憶手段103に記憶されている人物の衣服特徴に関するデータベースとの類似度を求め、その類似度に基づいて照合を行うようにできる。

【0069】
ここで、図2を参照して、人物検索システムS1の構成例について説明する。

【0070】
図2に示す構成例では、パーソナルコンピュータ等で構成される2台のコンピュータシステム100aおよび100bがLAN等のネットワークNを介して接続されている。

【0071】
なお、図2に示す構成例では、コンピュータシステム100aは主に各種演算処理を行う計算機として、コンピュータシステム100bはデータベースとして機能する。

【0072】
各コンピュータシステム100a、100bは、CPU等で構成されるプロセッサ101と、作業領域等として使用されるメモリ102と、ハードディスク装置等で構成される記憶部103等を備えている。なお、コンピュータシステム100aには液晶ディスプレイ等で構成されるモニタ150が接続されている。

【0073】
記憶部103には、Windows(マイクロソフト社の登録商標)やLINUX(Linus Torvalds氏の登録商標)等の所定のオペレーティングシステムと、衣服検索アプリケーションやデータ登録アプリケーション等のソフトウェアがインストールされている。

【0074】
また、コンピュータシステム100aには、登録用カメラとしての第1の撮影手段201と、検索用カメラとしての第2の撮影手段202とが接続されている。

【0075】
なお、第2の撮影手段202は、商業施設内やイベント会場等に設置される複数台の監視カメラとすることができる。

【0076】
(登録と検索の概要)
データベースへの登録を行う際には、図4(a)に示すように、商業施設やイベント会場等の入口に設置される登録用カメラとしての第1の撮影手段201で、登録対象としての人物H1を撮影し、コンピュータシステム100aによる処理により衣服特徴を抽出してコンピュータシステム100bのデータベースに登録する。

【0077】
人物の検索を行う際には、商業施設内やイベント会場内等に設置された監視カメラ等で構成される第2の撮影手段202によって場内を撮影し、各人物H1~H4についてコンピュータシステム100aによる処理により衣服特徴を抽出し、データベースに登録されているデータとの照合を行う。これにより、例えば衣服特徴の一致あるいは類似すると判定結果に基づいて、登録済みの人物H1を検索することができる(図4(b)参照)。

【0078】
したがって、例えば、会場内で迷子が発生した場合や、待ち合わせ等で特定人物を検索したい場合などに、本実施の形態に係る人物検索システムS1により検索することができる。また、商業施設等において、本実施の形態に係る人物検索システムS1によって特定の人物の立ち寄り先を追跡することにより、マーケティング調査等を行うこともできる。

【0079】
(衣服特定処理の処理手順)
図5のフローチャートおよび説明図を参照して、本実施の形態に係る人物検索システムS1で実行される衣服特定処理の処理手順の例について説明する。

【0080】
まず、ステップS10では、第1の撮影手段201または第2の撮影手段202で撮影された画像データに基づいて、人物が存在する人領域を抽出してステップS11に移行する。

【0081】
即ち、第1の撮影手段201または第2の撮影手段202により画像データD1を取得し、画像データD2のように人物が存在する人領域を抽出する。

【0082】
ステップS11では、抽出された人領域から人物画像のみを抽出してステップS12に移行する。

【0083】
即ち、画像データD2から背景を除去するなどして人物画像のみの画像データD3を得る。

【0084】
ステップS12では、抽出された人物画像から衣服の領域を取得してステップS13に移行する。

【0085】
即ち、画像データD3から首部分の画像を除去するなどして衣服の領域の画像データD4を得る。

【0086】
ステップS13では、取得された衣服の領域を所定の分割数の衣服画像に分割してステップS14に移行する。

【0087】
即ち、例えば、衣服の領域の画像データD4から上半身部の画像データD5と下半身部の画像データD6とに分割する。

【0088】
ステップS14では、分割された各衣服画像から衣服の特徴を取得してステップS15に移行する。

【0089】
ステップS15では、取得された特徴に基づいて衣服を特定して処理を終了する。

【0090】
(人抽出について)
図6および図7を参照して、前記ステップS10、S11に関わる人抽出について説明する。

【0091】
衣服抽出のため、距離画像を用いた背景差分法とクラスタリングを行い人物を抽出する。 予め複数枚取得した背景の距離画像の平均画像を取得し、この平均距離画像と入力される距離画像の差分値が大きい画素を人物領域として抽出する(図7(a)の画像データD10、D11、D12およびD2参照)。

【0092】
その後、人物領域を囲む矩形領域内の画素値を前景と背景の2クラスにクラスタリングを行う。クラスタリングにはk-means法を用いる。これにより、前景とされた画素を人物とすることができる(図7(b)の画像データD2、D13、D14およびD3参照)。

【0093】
ここで、クラスタリングによる人抽出を行うのは背景差分を行った際に発生する欠損を補うためである。

【0094】
(衣服領域取得および衣服領域分割について)
図8および図9を参照して、前記ステップS12、S13に関わる衣服領域取得および衣服領域分割について説明する。

【0095】
図8に示すように、衣服の上部(上半身部)と下部(下半身部)のそれぞれで特徴を取得するため、人物抽出で得られる人物抽出画像D3から顔領域を除去し(D4の状態)、衣服を上部(D5)と下部(D6)に分割する。

【0096】
図9(a)に示すように、衣服領域取得の前処理として首の位置P1と腰の位置P2を推定する。そして、人物抽出で得られる人マスク画像の白色画素を画像y軸方向に落としこみ、ヒストグラム化する。このヒストグラムから首と腰の位置P1、P2を推定する。

【0097】
次いで、人マスク画像D20の重心点を求め、重心点のy座標値よりも上の領域で首位置P1を下の領域で腰位置P2を求める(図9(a)参照)。

【0098】
首位置P1はヒストグラムの最も深い谷を首位置P1とし、腰位置についてはヒストグラムの既存の判別分析法によって求めた値を腰位置P2とした。

【0099】
続いて、図9(b)に示すように、推定した首位置P1と腰位置P2から顔領域の除去と衣服の分割画像(D5、D6)を作成する。

【0100】
首位置P1と腰位置P2の間の領域を衣服の上部、腰位置P2より下の領域を衣服の下部として抽出する。

【0101】
なお、首位置P1より上の領域は頭部領域として除去し、首元や手領域なども曖昧な領域があるため除去する。

【0102】
(衣服特徴取得について)
図10から図15を参照して、前記ステップS14に係る衣服特徴取得について説明する。

【0103】
衣服特徴の抽出は、各衣服画像に基づいて、衣服の大局的特徴と局所的特徴の少なくとも一方を衣服の特徴として取得するようにできる。

【0104】
また、図10に示すように、衣服の大局的特徴は、各衣服画像の色特徴または周波数特徴、局所的特徴は各衣服画像の色差特徴または同時生成行列特徴(テクスチャ特徴)であるようにできる。

【0105】
ここで、図11(a)を参照して、色特徴について説明する。

【0106】
まず、図11(a)に示すような衣服の一部の画像データD30をRGB表色系からHSV表色系に変換する。

【0107】
この変換は、ピクセルごとの色相(H)や鮮やかさ(S)、明るさ(V)を独立して扱うために行う。変換後の各画素の色相と彩度についてそれぞれヒストグラム401、402を作成する。

【0108】
なお、明度については照明変化の影響を大きく受けるためここでは使用しない。

【0109】
そして、求めた色相と彩度のヒストグラムを色特徴とする。色特徴の類似度の算出には例えばバタチャリヤ距離(Bhattacharyya距離)を用いる。なお、バタチャリヤ距離の算出の詳細については省略する。

【0110】
次に、図11(b)を参照して、色差特徴について説明する。

【0111】
色差特徴では、色相の差と彩度の差の2種類のヒストグラムを作成して行う。

【0112】
例えば図11(b)の衣服の一部の画像データD40に対してエッジ抽出を行った画像D41を用いる。そして、エッジ周囲の色相の差と彩度の差を色差と定義する。

【0113】
色差特徴取得は以下の手順によって行われる。

【0114】
1)衣服画像のエッジとして抽出された画素の周囲3×3の画素を切り出す。

【0115】
2)切り出した3×3の画素に対してラベル付けを行う。このとき、ラベルは2つの領域に分けるように付加する。

【0116】
3)ラベル1の画素と同座標にある衣服画像の画素の色相と彩度の平均値を求める。

【0117】
4)ラベル2も同様に色相と彩度の平均値を求める。

【0118】
5)ラベル1とラベル2の色相と彩度の差をそれぞれヒストグラム化する。

【0119】
そして、手順5で取得した2つのヒストグラムを色差特徴とする。なお、色差特徴の類似度の算出には色特徴と同様にバタチャリヤ距離を用いる。

【0120】
次に、図12(a)を参照して、周波数特徴について説明する。

【0121】
ここで、周波数特徴は、衣服画像のパワースペクトル画像の画素値に関する。

【0122】
周波数特徴では、図12(a)の衣服画像(ア)~(カ)の画像から得られるパワースペクトル画像(キ)~(シ)の画素値を一次元ベクトルにしたものを特徴とする。

【0123】
なお、特徴を取得するパワースペクトル画像は事前に32×32サイズの画像にスケール変換している(図12(b)参照)。

【0124】
また、周波数特徴は衣服の上部から取得し、下部の衣服からは十分な特徴取得領域が得られないため取得しない。また、周波数特徴の類似度は部分空間法を用いて算出する。

【0125】
次に、図12(b)を参照して、同時生起行列特徴について説明する。

【0126】
ここで、同時生起行列特徴は、衣服画像のグレー画像から得られる同時生起行列に基づくものである。

【0127】
また、同時生起行列は、離れた2つの画素対の値から特徴量を求めるものである。

【0128】
同時生起行列特徴は、例えば図12(a)の衣服画像(ア)~(カ)を用いる。そして、それらの画像をグレースケール変換する。

【0129】
なお、本実施の形態では、グレースケール画像は32階調のグレースケールとした(図12(d)参照)。

【0130】
グレースケールに変換した画像に対して同時生起行列(以下、GLCMと記す)を得る。 GLCMは、離れた2つの画素対の値から特徴量を求めるものである。

【0131】
GLCMは、図12(c)に示すように、距離rを1とし、θを0°、45°、90°、135°として4つ求める。

【0132】
そして、それぞれのGLCMから10種類の特徴を求め、計40の特徴を一次元ベクトルとしたものを特徴とする(図13参照)。

【0133】
また、同時生起行列特徴は周波数特徴と同様の理由から衣服の上部から取得する。

【0134】
ここで、求める特徴は、Lをグレーレベル、PδをGLCMとして図14の(a)~(j)に示す10種類の特徴である。なお、この際の条件は図15の(k)~(n)である。

【0135】
なお、同時生起行列特徴の類似度の算出にはマハラノビス距離を用いる。

【0136】
(人向き方向判別について)
図16を参照して、人向き方向判別について説明する。

【0137】
衣服によっては人の向きにより衣服の見え方が変化する(図16(b)参照)。そこで、本実施の形態に係る人物検索システムS1では、デザインの違いや着方による衣服の見え方の変化に対応するために、人向きの判別結果に基づいて衣服特徴のデータベースの作成や選択を行う。

【0138】
人向きの判別は、例えば顔の肌色情報に基づいて行うことができる。即ち、頭部領域の肌色領域の面積に基づいて、人の向きを判別することができる。

【0139】
具体的には、首位置よりも上部の人マスク画像D52、D53と入力画像D50、D51の肌色画素を白画素とした肌色抽出画像D54、D55のそれぞれの白画素数の比率rに閾値処理を行うことで判別することができる。なお、比率rは、r=ps/pmにより求める(但し、psは肌色抽出画像の白色画素数、pmはマスク画像の白色画素数である。)。

【0140】
そして、rが閾値以上の場合は前向き、閾値未満の場合は後向きと判別することができる。なお、本実施の形態に係る人物検索システムS1では、閾値を0.4とした。

【0141】
(衣服特定について)
図17を参照して、前記ステップS15に係る衣服特定について説明する。

【0142】
衣服特定は、例えば、入力画像D60~62と、データベースに格納されている比較すべき類似衣服の画像D70について、色特徴、色差特徴、周波数特徴、同時生起行列特徴の各特徴量から類似度を算出して行う。

【0143】
即ち、前記4つ特徴の類似度の合計を最終的な類似度とする。

【0144】
なお、各類似度はスケールが異なるため、事前にスケーリングを行うようにすると良い。 そして、同一衣服の特定は、入力画像D60~62から得られた衣服特徴とデータベースに格納されている衣服特徴を比較し、最も高い類似度を示した衣服を同一衣服として認識する。

【0145】
これにより、予め衣服特徴を登録した人物と、入力画像D60~62に係る人物との照合を行うことができる。

【0146】
したがって、例えば比較的広い商業施設やイベント会場などで、迷子を探す場合や、待ち合わせ人を探す用途に、本実施の形態に係る人物検索システムS1を適用することができる。

【0147】
また、商業施設等において、本実施の形態に係る人物検索システムS1によって特定の人物の立ち寄り先を追跡することにより、マーケティング調査等を行うこともできる。

【0148】
また、顔情報に基づく個人認証の精度を向上させるために、補助的に衣服特徴の照合を行う場合にも本実施の形態に係る人物検索システムS1を適用することができる。

【0149】
(衣服の特定実験)
図18から図21を参照して、本実施の形態に係る人物検索システムS1を用いた衣服の特定実験について述べる。

【0150】
本実験では所定の部屋の上部に前述のKinectセンサ201を設け、このKinectセンサ201から取得した画像を用いている。

【0151】
なお、取得した画像は、被験者が予め設定した所定の範囲を往復している間に取得した画像である。

【0152】
図18に示すように、衣服は27種類(Clothes0~26)を用意し、それぞれ100枚の画像を用意した。

【0153】
用意した画像に対し前述のステップS10~15等の処理を行い、認識率を求めた。

【0154】
認識率は、正しく認識した画像数/全画像数と定義する。

【0155】
また、データベースへの登録は、人が前向きに映っている画像と後ろ向きに映っている画像をそれぞれ25枚の計50枚の画像で登録した。

【0156】
即ち、図18には正面画像のみを示すが、実際には図19(a)、(b)、図20(a)、(b)に示すように、正面画像と後面画像とが一対となっている。

【0157】
この実験では、人向き判別結果を用いる場合と用いない場合でそれぞれ認識率を求めた。 そして、人向き判別結果を用いる場合は、人向き判別結果に基づき前向き用か後ろ向き用のデータベースを適宜選択し、認識処理を行った。

【0158】
また、人向き判別結果を用いない場合は前向き用のデータベースのみを用いて認識処理を行った。

【0159】
実験結果を図21に示す。図21から人向き方向判別を行わない場合、認識率が50%に満たない衣服があることが分かる。

【0160】
しかし、人向き方向判別を行うことで、平均は94.5%という高い認識率を得ることができた。

【0161】
以上のように、人の向きにより異なる衣服特徴データベースの作成や選択を行うことが認識精度の向上に有効であることが分かる。

【0162】
なお、本実施の形態に係る人物検索システムS1および上記実験では、人物の正面画像と後面画像に基づいて衣服特徴の抽出や照合を行なっているが、これに限らず、横方向(側面)の画像や、上方からの画像など、多方向からの画像を用いて衣服特徴の抽出や照合を行うようにしても良い。

【0163】
また、衣服特徴をデータベースに登録する際に、人物の年齢層や、身長等の身体的特徴等を関連付けして登録するようにしても良い。

【0164】
これにより、人物検索の精度を向上させたり、多様なマーケティング調査を行うことが可能となる。

【0165】
以上本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本明細書で開示された実施の形態はすべての点で例示であって開示された技術に限定されるものではないと考えるべきである。すなわち、本発明の技術的な範囲は、前記の実施の形態における説明に基づいて制限的に解釈されるものでなく、あくまでも特許請求の範囲の記載に従って解釈すべきであり、特許請求の範囲の記載技術と均等な技術および特許請求の範囲内でのすべての変更が含まれる。
【産業上の利用可能性】
【0166】
本発明による人物検索手段は、各種商業施設、イベント会場等において、迷子の探索、特定人物の探索等に適用することができる。
【符号の説明】
【0167】
S1…人物検索システム
100a,100b…コンピュータシステム
101…プロセッサ
102…メモリ
103…記憶手段(記憶部)
120…衣服特徴抽出手段
150…モニタ
160…人領域抽出手段
161…人抽出手段
162…衣服領域取得手段
163…衣服領域分割手段
164…衣服特徴取得手段
165…衣服特定手段
166…人物検索手段
167…人向き判別手段
201…第1の撮影手段
202…第2の撮影手段
H1~H4…人物
N…ネットワーク
P1…首位置
P2…腰位置
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14
【図16】
15
【図17】
16
【図18】
17
【図19】
18
【図20】
19
【図21】
20