Top > Search of Japanese Patents > (In Japanese)特徴量抽出方法、被写体分類方法、被写体判別方法、特徴量抽出装置、被写体分類装置、被写体判別装置、特徴量抽出・被写体分類及び被写体判別プログラム及び該プログラムを記録した記録媒体 > Specification

Specification :(In Japanese)特徴量抽出方法、被写体分類方法、被写体判別方法、特徴量抽出装置、被写体分類装置、被写体判別装置、特徴量抽出・被写体分類及び被写体判別プログラム及び該プログラムを記録した記録媒体

Country (In Japanese)日本国特許庁(JP)
Gazette (In Japanese)特許公報(B1)
Patent Number P5257964
Date of registration May 2, 2013
Date of issue Aug 7, 2013
Title of the invention, or title of the device (In Japanese)特徴量抽出方法、被写体分類方法、被写体判別方法、特徴量抽出装置、被写体分類装置、被写体判別装置、特徴量抽出・被写体分類及び被写体判別プログラム及び該プログラムを記録した記録媒体
IPC (International Patent Classification) G06T   7/00        (2006.01)
FI (File Index) G06T 7/00 300F
Number of claims or invention 18
Total pages 22
Application Number P2013-502316
Date of filing Jul 18, 2012
Exceptions to lack of novelty of invention (In Japanese)特許法第30条第1項適用 社団法人情報処理学会、平成23年7月20日発行、画像の認識・理解シンポジウム(MIRU2011)論文集、第2011巻第1583~1588頁に発表
International application number PCT/JP2012/068229
Application number of the priority 2011275582
Priority date Dec 16, 2011
Claim of priority (country) (In Japanese)日本国(JP)
Date of request for substantive examination Jan 17, 2013
Patentee, or owner of utility model right (In Japanese)【識別番号】503360115
【氏名又は名称】独立行政法人科学技術振興機構
Inventor, or creator of device (In Japanese)【氏名】山崎 公俊
【氏名】稲葉 雅幸
Accelerated examination, or accelerated appeal examination (In Japanese)早期審査対象出願
Representative (In Japanese)【識別番号】100098729、【弁理士】、【氏名又は名称】重信 和男
【識別番号】100173048、【弁理士】、【氏名又は名称】小椋 正幸
Examiner (In Japanese)【審査官】▲広▼島 明芳
Document or reference (In Japanese)特表2009-535680(JP,A)
特開2008-217494(JP,A)
田中健一、町田和幸、松浦晋吾、赤松茂,顔画像による個人認証システムにおける人種効果の分析,信学技報(PRMU2003-277),日本,社団法人 電子情報通信学会,2004年 3月11日,PRMU103(737),第127-132頁
山崎公俊、稲葉雅幸,しわや折れ重なりに着目した画像特徴量による布の状態表現,画像の認識・理解シンポジウム(MIRU2011)論文集,日本,2011年 7月,IS4-45,第1583-1588頁
Field of search G06T 7/00
Abstract (In Japanese) 被写体を撮像した画像から、その被写体の形状に因らず被写体の特徴を表す特徴量抽出方法、そして抽出された特徴量を用いた被写体の分類及び判別方法を提供する。
撮像手段により撮像された被写体の画像から特徴量を抽出する特徴量抽出方法であって、前記画像からフィルタバンクを作成するステップと、前記フィルタバンクから最大輝度画像を作成するステップと、前記最大輝度画像の画像領域円を設定し、該画像領域円の中心Cc及び半径Rcを設定するステップと、最大輝度画像の画素を、(a)画素の位置(x,y)から前記中心Ccの間の距離LDと、前記半径Rcとの比、(b)画素の輝度値FD(x,y)、(c)近傍の画素との輝度値の差分の合計、を軸に3次元空間に投影するステップと、前記3次元空間に投影された画素から頻度ヒストグラムを作成するステップを含むことで、被写体を撮像した画像から特徴量を抽出する。
Scope of claims (In Japanese)【請求項1】
撮像手段により撮像された被写体の画像から特徴量を抽出する特徴量抽出方法であって、
前記画像からフィルタバンクを作成するステップと、
前記フィルタバンクから最大輝度画像を作成するステップと、
前記最大輝度画像の画像領域円を設定し、該画像領域円の中心Cc及び半径Rcを設定するステップと、
最大輝度画像の画素を、(a)画素の位置(x,y)から前記中心Ccの間の距離LDと、前記半径Rcとの比、(b)画素の輝度値FD(x,y)、(c)近傍の画素の輝度値と画素の輝度値FDとの差分の合計、を軸に3次元空間に投影するステップと、
前記3次元空間に投影された画素から頻度ヒストグラムを作成するステップ、
を含むことを特徴とする特徴量抽出方法。
【請求項2】
撮像手段により撮像された被写体の画像から特徴量を抽出する特徴量抽出方法であって、
前記画像からフィルタバンクを作成するステップと、
前記フィルタバンクから最大輝度画像を作成するステップと、
前記最大輝度画像の画像領域円を設定し、該画像領域円の中心Cc及び半径Rcを設定するステップと、
最大輝度画像の画素を、(d)注目画素の位置(x,y)から前記中心Ccの間の距離LOと前記半径Rcとの比、(e)注目画素が折れ重なりの上下どちらに属するかを連続値で評価した値EO、(f)注目画素が属している折れ重なり部分の方向成分、を軸に3次元空間に投影するステップと、
前記3次元空間に投影された画素から頻度ヒストグラムを作成するステップ、
を含むことを特徴とする特徴量抽出方法。
【請求項3】
前記被写体が、柔軟体物であることを特徴とする請求項1又は2に記載の特徴量抽出方法。
【請求項4】
前記フィルタバンクが、ガボールフィルタを用いて作成されることを特徴とする請求項1~3の何れか一項に記載の特徴量抽出方法。
【請求項5】
請求項1~4の何れか一項に記載の特徴量抽出方法により抽出された頻度ヒストグラムを用いて、被写体を分類することを特徴とする被写体分類方法。
【請求項6】
請求項1~4の何れか一項に記載の特徴量抽出方法により抽出された頻度ヒストグラムを、既知の被写体の頻度ヒストグラムと比較することで、被写体の種類を判別することを特徴とする被写体判別方法。
【請求項7】
前記既知の被写体は複数種類のものであり、抽出された頻度ヒストグラムを、複数種類の既知の被写体の頻度ヒストグラムと比較することで、被写体の種類を判別することを特徴とする請求項6に記載の被写体判別方法。
【請求項8】
前記既知の被写体の頻度ヒストグラムが、請求項1に記載の方法、請求項2に記載の方法、SSEX法、DST-W法で得られた頻度ヒストグラムの中から、請求項1に記載の方法及び/又は請求項2に記載の方法で得られた頻度ヒストグラムを含む2種類又は3種類の頻度ヒストグラムを連結したものであることを特徴とする請求項6又は7に記載の被写体判別方法。
【請求項9】
撮像手段により撮像された被写体の画像から特徴量を抽出する特徴量抽出装置であって、
前記画像からフィルタバンクを作成するフィルタバンク作成手段、
前記フィルタバンクから最大輝度画像を作成するフィルタリング結果合成手段、
前記最大輝度画像の画像領域円を設定し、該画像領域円の中心Cc及び半径Rcを設定する最大輝度画像中心及び半径設定手段、
最大輝度画像の画素を、(a)画素の位置(x,y)から前記中心Ccの間の距離LDと、前記半径Rcとの比、(b)画素の輝度値FD(x,y)、(c)近傍の画素の輝度値と画素の輝度値FDとの差分の合計、を軸に3次元空間に投影する3次元投影手段、
前記3次元空間に投影された画素から頻度ヒストグラムを作成する頻度ヒストグラム作成手段、
を含むことを特徴とする特徴量抽出装置。
【請求項10】
撮像手段により撮像された被写体の画像から特徴量を抽出する特徴量抽出装置であって、
前記画像からフィルタバンクを作成するフィルタバンク作成手段、
前記フィルタバンクから最大輝度画像を作成するフィルタリング結果合成手段、
前記最大輝度画像の画像領域円を設定し、該画像領域円の中心Cc及び半径Rcを設定する最大輝度画像中心及び半径設定手段、
最大輝度画像の画素を、(d)注目画素の位置(x,y)から前記中心Ccの間の距離LOと前記半径Rcとの比、(e)注目画素が折れ重なりの上下どちらに属するかを連続値で評価した値EO、(f)注目画素が属している折れ重なり部分の方向成分、を軸に3次元空間に投影する3次元投影手段、
前記3次元空間に投影された画素から頻度ヒストグラムを作成する頻度ヒストグラム作成手段、
を含むことを特徴とする特徴量抽出装置。
【請求項11】
前記被写体が、柔軟体物であることを特徴とする請求項9又は10に記載の特徴量抽出装置。
【請求項12】
前記フィルタバンクが、ガボールフィルタを用いて作成されることを特徴とする請求項9~11の何れか一項に記載の特徴量抽出装置。
【請求項13】
請求項9~12の何れか一項に記載の特徴量抽出装置、及び前記特徴量抽出装置により抽出された頻度ヒストグラムを用いて被写体を分類する画像分類手段を含むことを特徴とする被写体分類装置。
【請求項14】
請求項9~12の何れか一項に記載の特徴量抽出装置、既知の被写体の頻度ヒストグラムを格納する判別DB、及び前記特徴量抽出装置により抽出された頻度ヒストグラムを、前記判別DBに格納されている既知の被写体の頻度ヒストグラムと比較して判別する判別手段を含むことを特徴とする被写体判別装置。
【請求項15】
前記判別DBに格納されている既知の被写体の頻度ヒストグラムは複数種類の被写体のものであり、前記抽出された頻度ヒストグラムを、前記判別DBに格納されている複数種類の頻度ヒストグラムと比較することで、前記判別手段は、被写体の種類を判別することを特徴とする請求項14に記載の被写体判別装置。
【請求項16】
前記既知の被写体の頻度ヒストグラムが、請求項9に記載の特徴量抽出装置、請求項10に記載の特徴量抽出装置、SSEX法、DST-W法で得られた頻度ヒストグラムの中から、請求項9に記載の特徴量抽出装置及び/又は請求項10に記載の特徴量抽出装置で得られた頻度ヒストグラムを含む2種類又は3種類の頻度ヒストグラムを連結したものであることを特徴とする請求項14又は15に記載の被写体判別装置。
【請求項17】
コンピュータを、請求項9~12に記載の特徴量抽出装置、請求項13に記載の被写体分類装置、又は請求項14~16に記載の被写体判別装置として機能させることを特徴とするプログラム。
【請求項18】
請求項17に記載されたプログラムが記録されたコンピュータ読み取り可能な記録媒体。
Detailed description of the invention (In Japanese)【技術分野】
【0001】
本発明は、特徴量抽出方法、被写体分類方法、被写体判別方法、特徴量抽出装置、被写体分類装置、被写体判別装置、特徴量抽出・被写体分類及び被写体判別プログラム及び該プログラムを記録した記録媒体に関し、特に、被写体として柔軟体物を撮像した画像から、柔軟体物の形状に因らず、その柔軟体物の特徴量を抽出する方法、更に、抽出された特徴量を用いた被写体の分類及び被写体の判別方法、並びに、被写体の分類及び被写体の判別装置、更に、コンピュータを特徴量抽出装置、被写体分類装置及び被写体判別装置として機能させるためのプログラムに関するものである。
【背景技術】
【0002】
技術の進歩により、現在は、様々な分野で機械化が進んでいる。ロボットにより物体を操作する際には、物体の位置・種別等を判別する必要があることから、CCDカメラ等で得た画像を処理・解析することで、人間の目に相当する機能を果たしている。
【0003】
人間が生活する日常環境には、様々な種類の物体があり、例えば、形状が全く変化しない剛体から布や紙等の様々な形状に変化するものもあり、ロボットにより自動化する際には、物体の形状に因らず、その物体が何であるのか画像から判別できることが必要となってくる。
【0004】
画像処理による物体の判別には、近年、SIFT(非特許文献1)がよく用いられている。この方法では、物体の見え方がある程度変化しても画像処理することができるが、基本的には剛体を想定した画像処理であるため、例えば、(1)重なり、折れ、しわ等の様々な形状を取り得る衣類等の柔軟体物、(2)道路のアスファルト部分と路肩の土や草の部分、(3)床上のほこり等、被写体中に混在又は積層している異なる物体、(4)葉の形状や、折れ曲がり等により、同じ種類でも外形形状の異なる野菜や果物、等の判別に適用することは困難である。したがって、人間の日常環境において、生活支援のため、例えば、(1)柔軟体物である洗濯物の取り扱いをロボットなどの自動機械にさせるケースを考えると、それら柔軟体物を適切に判別するための画像処理方法、(2)目の不自由な者が用いる電動車椅子又は自動車が、決められた場所を走行するための自動走行システム用の画像処理方法、(3)自動掃除機が床を掃除する際に、床の上の汚れ部分を判別するための画像処理方法、等が必要となる。更に、(4)食品工場における野菜や果物の分類等、産業の場においても、様々な外見形状を取り得る物を正確に分類及び/又は判別するための画像処理方法が必要となる。
【0005】
柔軟体物の画像処理方法に関しては、これまで、様々な画像特徴が用いられてきた。例えば、Kakikuraらは、色情報を用いてアイソレーションタスクを実現し(非特許文献2参照)、Onoらは、ハンカチのような四角形状の布製品について、その一部が折れ曲がった状態の表現方式を提案している(非特許文献3参照)。また、Kitaらは、三次元の可変形状モデルを用い、計測して得た三次元点群にモデルを当てはめる手法を提案している(非特許文献4参照)。しかしながら、これらの既存研究では、布製品の種類が予め与えられていたり、また、布製品の特定を行うための判別情報が素材の色等として定義されており、事前に布製品等を特定するための情報が必要であった。
【0006】
前記の様に、布製品等を特定するための情報を必要とせずとも、一般的に利用できる画像からそれらの特徴量を抽出できる方法があれば、生活支援やクリーニング工場等で、複数の製品を同一製品毎に分類することができ、更に、分類した製品が何の製品であるのかを判別できる方法があれば、ロボットなどを利用した自動化に有用と思われる。そのために、Osawaら(非特許文献5参照)、Abbeelらは(非特許文献6参照)、ロボットが布製品を操作している間にその輪郭や下端点の位置を判別し、布製品の種類を判別する方式を提案している。
【先行技術文献】
【0007】

【非特許文献1】D.G.Lowe:“Distinctive image features from scale-invariant keypoints,”Int’l Journal of Computer Vision,vol.60,No.2,pp.91-110,2004.
【非特許文献2】K.Hamajima and M.Kakikura:“Planning Strategy for Unfolding Task of Clothes-Isolation of clothes from washed mass-,” in Proc. of Int’l. Conf. on Robots and Systems,pp.1237-1242,2000
【非特許文献3】E.Ono, H.Okabe, H.Ichijo and N.Aisaka“Robot Hand with Sensor for Cloth Handling,” In Proc. 1990,Japan, U.S.A. Symp. on Flexible Automation, pp.1363-1366,1990.
【非特許文献4】Y.Kita, F.Saito and N.Kita:“A deformable model driven method for handling clothes,” Proc. of Int. Conf. on Pattern Recognition,2004.
【非特許文献5】F.Osawa, H.Seki, and Y.Kamiya:“Unfolding of Massive Laundry and Classification Types by Dual Manipulator,” Journal of Advanced Computational Intelligence and Intelligent Informatics, Vol.11 No.5,pp.457-, 2007.
【非特許文献6】J.Maitin-Sphepard, M.Cusumano-Towner, J.Lei and P.Abbeel:“Cloth Grasp Point Detection based on Multiple-View Geometric Cues with Application to Robotic Towel Folding,” Int’l. Conf. on Robotics and Automation, pp.2308-2315,2010.
【非特許文献7】Y.Zhao and G.Karypis:“Comparison of agglomerative and partitional document clustering algorithms,” University of Minnesota-Computer Science and Engineering Technical Report, No. 02-014, 2002.
【非特許文献8】C.Chang and C.Lin:“LIVSVM”http://www.csie.ntu.edu.tw/ cjlin/libsvm/.
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、前記記載の画像処理方法は、何れも柔軟体物に物理的操作を加えるものであり、例えば、ポケットから取り出したハンカチ、脱衣籠から取り出した衣服等、折り重なった状態や不規則形状に畳み込まれている状態の柔軟体物の種類等を判別することは困難であった。また、被写体中に混在又は積層している異なる物体を判別したり、同じ種類であっても外見が異なる物を分類又は判別することも困難であった。
【0009】
本発明者らは、鋭意研究を行ったところ、素材が同じであれば、しわや折れ重なり等の外見形状に関係なく、また、物体の種類が同じであれば、個体差による外見形状の違いに関係なく、同様の特徴を表す特徴量の抽出方法、更に、被写体に混在又は積層している異なる物体の形状に関係なく、物体毎に同様の特徴を表す特徴量の抽出方法を新たに見出した。そして、当該特徴量抽出方法により抽出された特徴量に基づき被写体を分類することで、被写体を同じグループに分類することができ、更に、既知の被写体の特徴量と比較することで、被写体が何であるのか判別できることを見出し、本発明を完成した。
【0010】
すなわち、本発明の目的は、被写体を撮像した画像から、その被写体の形状に因らず被写体の特徴を表す特徴量抽出方法、そして抽出された特徴量を用いた被写体の分類及び判別方法を提供することにある。また、本発明の他の目的は、前記特徴量抽出方法を用いた被写体分類装置及び被写体判別装置を提供することである。更に、本発明の他の目的は、コンピュータを、特徴量抽出装置、被写体分類装置又は被写体判別装置として機能させるためのプログラム及び該プログラムを記録した記録媒体を提供することである。
【課題を解決するための手段】
【0011】
本発明は、以下に示す、特徴量抽出方法、被写体分類方法、被写体判別方法、特徴量抽出装置、被写体分類装置、被写体判別装置、特徴量抽出・被写体分類及び判別プログラム及び該プログラムを記録した記録媒体である。
【0012】
(1)撮像手段により撮像された被写体の画像から特徴量を抽出する特徴量抽出方法であって、
前記画像からフィルタバンクを作成するステップと、
前記フィルタバンクから最大輝度画像を作成するステップと、
前記最大輝度画像の画像領域円を設定し、該画像領域円の中心Cc及び半径Rcを設定するステップと、
最大輝度画像の画素を、(a)画素の位置(x,y)から前記中心Ccの間の距離LDと、前記半径Rcとの比、(b)画素の輝度値FD(x,y)、(c)近傍の画素の輝度値と画素の輝度値FDとの差分の合計、を軸に3次元空間に投影するステップと、
前記3次元空間に投影された画素から頻度ヒストグラムを作成するステップ、
を含むことを特徴とする特徴量抽出方法。
(2)撮像手段により撮像された被写体の画像から特徴量を抽出する特徴量抽出方法であって、
前記画像からフィルタバンクを作成するステップと、
前記フィルタバンクから最大輝度画像を作成するステップと、
前記最大輝度画像の画像領域円を設定し、該画像領域円の中心Cc及び半径Rcを設定するステップと、
最大輝度画像の画素を、(d)注目画素の位置(x,y)から前記中心Ccの間の距離LOと前記半径Rcとの比、(e)注目画素が折れ重なりの上下どちらに属するかを連続値で評価した値EO、(f)注目画素が属している折れ重なり部分の方向成分、を軸に3次元空間に投影するステップと、
前記3次元空間に投影された画素から頻度ヒストグラムを作成するステップ、
を含むことを特徴とする特徴量抽出方法。
(3)前記被写体が、柔軟体物であることを特徴とする前記(1)又は(2)に記載の特徴量抽出方法。
(4)前記フィルタバンクが、ガボールフィルタを用いて作成されることを特徴とする前記(1)~(3)の何れか一に記載の特徴量抽出方法。
(5)前記(1)~(4)の何れか一に記載の特徴量抽出方法により抽出された頻度ヒストグラムを用いて、被写体を分類することを特徴とする被写体分類方法。
(6)前記(1)~(4)の何れか一に記載の特徴量抽出方法により抽出された頻度ヒストグラムを、既知の被写体の頻度ヒストグラムと比較することで、被写体の種類を判別することを特徴とする被写体判別方法。
(7)前記既知の被写体は複数種類のものであり、抽出された頻度ヒストグラムを、複数種類の既知の被写体の頻度ヒストグラムと比較することで、被写体の種類を判別することを特徴とする前記(6)に記載の被写体判別方法。
(8)前記既知の被写体の頻度ヒストグラムが、前記(1)に記載の方法、前記(2)に記載の方法、SSEX法、DST-W法で得られた頻度ヒストグラムの中から、前記(1)に記載の方法及び/又は前記(2)に記載の方法で得られた頻度ヒストグラムを含む2種類又は3種類の頻度ヒストグラムを連結したものであることを特徴とする前記(6)又は(7)に記載の被写体判別方法。
9)撮像手段により撮像された被写体の画像から特徴量を抽出する特徴量抽出装置であって、
前記画像からフィルタバンクを作成するフィルタバンク作成手段、
前記フィルタバンクから最大輝度画像を作成するフィルタリング結果合成手段、
前記最大輝度画像の画像領域円を設定し、該画像領域円の中心Cc及び半径Rcを設定する最大輝度画像中心及び半径設定手段、
最大輝度画像の画素を、(a)画素の位置(x,y)から前記中心Ccの間の距離LDと、前記半径Rcとの比、(b)画素の輝度値FD(x,y)、(c)近傍の画素の輝度値と画素の輝度値FDとの差分の合計、を軸に3次元空間に投影する3次元投影手段、
前記3次元空間に投影された画素から頻度ヒストグラムを作成する頻度ヒストグラム作成手段、
を含むことを特徴とする特徴量抽出装置。
10)撮像手段により撮像された被写体の画像から特徴量を抽出する特徴量抽出装置であって、
前記画像からフィルタバンクを作成するフィルタバンク作成手段、
前記フィルタバンクから最大輝度画像を作成するフィルタリング結果合成手段、
前記最大輝度画像の画像領域円を設定し、該画像領域円の中心Cc及び半径Rcを設定する最大輝度画像中心及び半径設定手段、
最大輝度画像の画素を、(d)注目画素の位置(x,y)から前記中心Ccの間の距離LOと前記半径Rcとの比、(e)注目画素が折れ重なりの上下どちらに属するかを連続値で評価した値EO、(f)注目画素が属している折れ重なり部分の方向成分、を軸に3次元空間に投影する3次元投影手段、
前記3次元空間に投影された画素から頻度ヒストグラムを作成する頻度ヒストグラム作成手段、
を含むことを特徴とする特徴量抽出装置。
11)前記被写体が、柔軟体物であることを特徴とする前記(9)又は(10)に記載の特徴量抽出装置。
12)前記フィルタバンクが、ガボールフィルタを用いて作成されることを特徴とする前記(9)~(11)の何れか一に記載の特徴量抽出装置。
13)前記(9)~(12)の何れか一に記載の特徴量抽出装置、及び前記特徴量抽出装置により抽出された頻度ヒストグラムを用いて被写体を分類する画像分類手段を含むことを特徴とする被写体分類装置。
14前記(9)~(12)の何れか一に記載の特徴量抽出装置、既知の被写体の頻度ヒストグラムを格納する判別DB、及び前記特徴量抽出装置により抽出された頻度ヒストグラムを、前記判別DBに格納されている既知の被写体の頻度ヒストグラムと比較して判別する判別手段を含むことを特徴とする被写体判別装置。
15)前記判別DBに格納されている既知の被写体の頻度ヒストグラムは複数種類の被写体のものであり、前記抽出された頻度ヒストグラムを、前記判別DBに格納されている複数種類の頻度ヒストグラムと比較することで、前記判別手段は、被写体の種類を判別することを特徴とする前記(14)に記載の被写体判別装置。
16前記既知の被写体の頻度ヒストグラムが、前記(9)に記載の特徴量抽出装置、前記(10)に記載の特徴量抽出装置、SSEX法、DST-W法で得られた頻度ヒストグラムの中から、前記(9)に記載の特徴量抽出装置及び/又は前記(10)に記載の特徴量抽出装置で得られた頻度ヒストグラムを含む2種類又は3種類の頻度ヒストグラムを連結したものであることを特徴とする前記(14)又は(15)に記載の被写体判別装置。
(17)コンピュータを、前記(9)~(12)に記載の特徴量抽出装置、前記(13)に記載の被写体分類装置、又は前記(14)~(16)に記載の被写体判別装置として機能させることを特徴とするプログラム。
18)前記(17)に記載されたプログラムが記録されたコンピュータ読み取り可能な記録媒体。
【発明の効果】
【0028】
本発明においては、しわや折れ重なり等により被写体の外見形状、また、物体の個体差による外見形状、更には、被写体中に混在又は積層している物体の外見形状、が異なっていても、当該被写体の外見形状に因らない特徴量を抽出できることから、物理的手段を用いることなく、そのままの形状で被写体を分類、判別することができる。また、撮像手段は、被写体を高精細に撮像する必要はなく、比較的低解像度の画像でよい。そして、既知の被写体の特徴量と比較することで、被写体がどの様な形状であっても当該被写体の種類を判別することができる。更に、本発明の特徴量抽出方法、被写体分類方法及び被写体判別方法は、被写体の外見形状やその大小を比較するものではなく、被写体の素材や種類に起因するしわ、折れ重なり、葉身や葉脈のパターン、茎や幹、果実の存在とその密度、土砂の種類、堆積物・付着物の種類や量による既存面の見え、硬物質の素材や表面仕上げの粗さ等を特徴量として抽出して分類及び判別するため、任意の角度から撮像した少なくとも一枚の画像を処理することで被写体の分類及び判別ができるものであり、その結果、これら分類や判別に必要なデータ量を最小にすることでそれに必要な装置の処理速度を向上させることができる。
【図面の簡単な説明】
【0029】
【図1】図1は、本発明の、(1)被写体判別装置、(2)被写体分類装置及び(3)特徴量抽出装置の概略を示す図である。
【図2】図2は、本発明の、(1)被写体判別装置の特徴量抽出部及び画像判別部、(2)被写体分類装置の特徴量抽出部及び画像分類手段、の詳細な構成を示すブロック図である。
【図3】図3は、本発明の特徴量抽出方法のステップを示す図である。
【図4】図4は、フィルタバンク作成の具体的ステップを示す図である。
【図5】図5は、方向・大きさの異なるエッジ検出フィルタの構成を示す図で、フィルタの形状は、振幅と窓幅で規定される。
【図6】図6は、最大輝度画像から設定された衣類領域円の中心Cc及び半径Rcを示す図である。
【図7】図7は、本発明のCM-WD法(布地やしわの密度に着目した特徴量抽出方法)の概略を示すもので、最大輝度画像領域の中心Ccを基点に、指定した画素及びその周りの画素を示す図である。
【図8】図8は、特徴量を3次元空間に投影し、次いで3次元空間をn3個の三次元グリッドに区切り、各グリッドに納まっている画素数カウントの概略を示す図である。
【図9】図9は、頻度ヒストグラムを示す図で、横軸はn3個に区切られた各グリッド、縦軸は該グリッドに納まっている画素数を示す。
【図10】図10は、本発明のOVLP法(布の折れ重なりの位置と方向に着目した特徴量抽出法)の概略を示すもので、折れ重なり部分として抽出したエッジ上の各画素に対して、対象領域の中心Ccを基点に、注目画素の周辺画素を折れ重なりの上側又は下側に分割することを示す。
【図11】図11は、比較例のDST-W法(しわの分布と方向における特徴量)の概略を示すもので、Ccと楕円領域の長軸の中心座標を結んだ線と、楕円領域の長軸との相対角度を示す。
【図12】図12は、判別DBの作成ステップの一例を示す図である。
【図13】図13は、写真代用図面で、実施例で用いた布製品を示す写真である。
【図14】図14は、本発明の特徴量抽出法により抽出された特徴量、及び比較例の方法により抽出された特徴量により判別DBを作成し、布製品を判別した時の判別率を示すグラフである。
【図15】図15は、特徴量を組み合わせて判別DBを作成した時の判別率を示すグラフである。
【発明を実施するための形態】
【0030】
以下、本発明を実施するための形態について、図面を用いて説明する。

【0031】
本発明に係る特徴量抽出方法、被写体分類方法及び被写体判別方法は、例えば、図1に示すような装置により実施される。

【0032】
すなわち、図1(1)は、被写体判別装置100の一例を示す図であり、被写体を撮像する撮像手段110、撮像された画像から特徴量を抽出する特徴量抽出部120、特徴量抽出部120の出力が供給され、被写体の判別が行われる画像判別部130、撮像手段110、特徴量抽出部120及び画像判別部130を制御する制御部140、及び制御部140からアクセスされるプログラムメモリ150を備えている。被写体判別装置に被写体が置かれ、図示しないセンサーにより被写体の有無が確認されると、制御部140の指示により、被写体が撮像手段110により撮像されてもよいし、センサー等を用いず、被写体を撮像手段110の前に置き、マニュアル操作で撮像されるようにしてもよい。なお、外部の撮像手段で撮像された被写体の画像から特徴量を抽出し、被写体の判別を行う場合は、図1(1)の撮像手段110を除いたものを被写体判別装置100としてもよい。

【0033】
また、被写体の判別を行わず、被写体の分類のみを行う場合は、図1(2)に示すように、画像判別部130に変えて画像分類手段230を設ければ、被写体分類装置200が得られる。そして、被写体の分類又は判別を行わず、画像から特徴量の抽出のみを行う場合は、図1(3)に示すように、撮像手段110、特徴量抽出部120、制御部140、及びプログラムメモリ150から特徴量抽出装置300を得ることができる。

【0034】
なお、被写体分類装置200及び特徴量抽出装置300においても、外部の撮像手段で撮像された被写体の画像から特徴量を抽出する場合は、撮像手段110を除いてもよい。また、図1(1)~(3)で、同一番号が付されているものは、同一の機能を有することを示す。

【0035】
本発明において、特徴量とは、撮像手段により撮像された被写体の画像から被写体を分類又は判別するための情報をいう。本願発明の特徴量は、請求項1及び2に記載のとおり、撮像手段により撮像された被写体の画像から最大輝度画像を作成し、最大輝度画像の画素を、3次元空間に投影して該画素から頻度ヒストグラムを作成して抽出されるものである。すなわち、被写体の外観に生じている情報、例えば、折れ、しわ、重なり、葉身や葉脈のパターン、茎や幹、果実の存在とその密度等の形状情報や、土砂の種類、硬物質の素材や表面仕上げの粗さなどの被写体そのものを構成している素材の情報や、既存面に堆積した堆積物や付着した付着物の種類や量の情報等を、画像をコンピュータ処理して得たものを意味する。なお、本発明における特徴量は、単一物体の被写体から抽出された特徴量であってもよいし、複数物体の被写体中に混在又は積層している異なる物体の個々の特徴量であってもよい。画像中に複数物体が混在する場合、画像内で見え方の異なる領域をあらかじめ分割する処理をしておいて、その分割された領域を被写体として、例えば、「道路」「植込み」等の領域ごとに、特徴量を抽出することができる。また、本発明が適用できる被写体は、形状の変わり難いものから変わり易いものまで、特に限定されない。

【0036】
柔軟体物の素材としては、例えば、綿、絹、毛、セルロース;レーヨン、ポリノジック、キュプラなどの天然の木材などに含まれるセルロースを利用した再生物等の天然素材;天然のセルロースや動物性たんぱく質等と酢酸などの化学品を合成させたアセテート、トリアセテート、プロミックスなどの半合成天然素材;石油などを原料としたポリアミド、アクリル、ナイロン、アラミド、ビニロン、ポリプロピレン、ポリエチレン、ポリウレタン、ポリ塩化ビニル、ビニリデン、ポリエステル等の合成化学素材;木等の植物、カーボン、ゴム等の有機素材;シリコン、ガラス等の無機素材;鉄、銅、ステンレス等の金属素材、等の素材が挙げられる。そして、これら素材を用いた薄片、糸、繊維、ワイヤー等から、編物、織物、格子状になったもの、繊維等がからまったフェルト、不織布等から製品が得られ、具体的製品としては、布、衣服、紙、金網等、しわや折れ重なり等により、形状が変化する柔軟体物が挙げられる。

【0037】
個々の物体については比較的剛体であるものの、個体差により外見形状が変わるものとしては、植物、動物、食品(パン類、麺類)等が挙げられ、植物として、例えば、きゅうり、大根、ニンジン、なす、トマト、ほうれん草、白菜、キャベツ等の野菜類;桃、リンゴ、ミカン、イチゴ、葡萄等の果物類;等が挙げられる。また、動物としては、哺乳類、鳥類、魚類、爬虫類、昆虫等が挙げられ、例えば、体表部分を拡大撮影しておき、「ドーベルマンの毛並」などとして記録しておけば、毛並に基づいて犬の種類を判別することが可能であり、鳥類、魚類、爬虫類、昆虫等についても、同様に判別が可能である。

【0038】
更に、被写体中に混在する個々の物体としては、道路写真中のアスファルトと、路肩の草や土;航空写真中の建造物;等が挙げられる。

【0039】
また、被写体中のある物体の上に積層された別の物体としては、床の上のほこり、紙くず、調味料等のしみ、動物等の抜け毛、食べカス、等が挙げられる。なお、画像中に複数物体が積層されている、又は積層されていないか判別するためには、積層されている状態と積層されていない状態が、それぞれ違うものとして予め定義しておく必要がある。

【0040】
プログラムメモリ150には、例えば、図1の(1)に示すコンピュータを被写体判別装置として機能させるためのプログラム、(2)に示すコンピュータを被写体分類装置として機能させるためのプログラム、(3)に示すコンピュータを特徴量抽出装置として機能させるためのプログラムが予め格納されており、このプログラムが制御部140により読み出され実行されることで、後述する撮像手段110、特徴量抽出部120、画像判別部130又は画像分類手段230の動作制御が行われる。プログラムは、記録媒体に記録され、インストール手段を用いて、プログラムメモリ150に格納されるようにしてもよい。

【0041】
図2(1)は、特徴量抽出部120、画像判別部130又は画像分類手段230の構成について詳しく説明した図である。特徴量抽出部120は、撮像された画像からフィルタバンクを作成するフィルタバンク作成手段121、フィルタバンク作成手段121により得られたフィルタリング画像を合成し最大輝度画像を作成するフィルタリング結果合成手段122、フィルタリング結果合成手段122により得られた最大輝度画像の画像領域円を設定し、該画像領域円の中心Cc及び半径Rcを設定する最大輝度画像中心及び半径設定手段123、最大輝度画像を3次元空間に投影する3次元投影手段124、3次元投影手段124により投影された画素から頻度ヒストグラムを作成する頻度ヒストグラム作成手段125を少なくとも含んでいる。撮像手段110としては、被写体をデジタルデータ画像として撮像できるものであれば特に限定されない。また、布地の素材を高精細に撮影する必要はなく、比較的低解像度の画像でよい。検証実験では、横640ピクセル、縦480ピクセル、つまり、約300,000の画素数でも被写体の判別可能な特徴量の抽出を行うこと出来た。これは、市販のデジタルカメラと比べて十分の一以下の解像度である。なお、必要な画素数は、約300,000以下であっても、特徴量が抽出できる範囲であれば特に制限は無い。一方、画素数が約300,000以上であれば、特徴量抽出の観点では問題は無いが、画素数が多すぎると特徴量抽出の処理速度が遅くなるので、コンピュータの性能等を勘案し、画素数は適宜設定すればよい。

【0042】
また、画像判別部130は、既知の製品の頻度ヒストグラムを既知製品と関連付けて格納した判別DB131を含んでいる。前記判別DB131に格納される既知の製品の頻度ヒストグラムは、一つの製品でも、複数種類の製品の頻度ヒストグラムでもよい。なお、被写体分類装置200の場合は、図2(2)に示すように、画像判別部130に代えて、頻度ヒストグラム作成手段125により作成された頻度ヒストグラムを、類似したヒストグラムに分類する画像分類手段230を設ければよい。そして、特徴量抽出装置300の場合は、特徴量抽出部120を含めばよく、画像判別部130又は画像分類手段230は必要ではない。

【0043】
図3は、特徴量抽出部120の動作ステップを示す図である。プログラムメモリ150に格納されたプログラムが制御部140に読み出されて実行されると、先ず、CCD等で撮像された被写体の画像が入力され(S421)、該画像からフィルタバンクを作成するフィルタバンク作成ステップ(S422)、フィルタバンク作成ステップ(S422)により得られたフィルタリング画像を合成し最大輝度画像を作成するフィルタリング結果合成ステップ(S423)、フィルタリング結果合成ステップ(S423)により得られた最大輝度画像の画像領域円を設定し、該画像領域円の中心Cc及び半径Rcを設定する最大輝度画像中心及び半径設定ステップ(S424)、最大輝度画像を3次元空間に投影する3次元投影ステップ(S425)、3次元投影ステップ(S425)により投影された画素から頻度ヒストグラムを作成する頻度ヒストグラム作成ステップ(S426)の順に動作する。

【0044】
フィルタバンク作成ステップ(S422)では、画像の多スケール・多方向の画像フィルタリングが行われる。本発明は、被写体の形状を既知の形状と比較するのではなく、撮像された画像から、素材に起因するしわや折れ重なり等の違いを特徴量として抽出するので、入力される画像データは1枚でよい。

【0045】
多スケール・多方向の画像フィルタリングを行い、フィルタバンクを作成することは、テクスチャ画像の分類を行うための方式としてよく利用されている。このフィルタリングでは、波形のパラメータが様々に変えられ、畳み込み積分によりそれぞれの波形に対する反応画像(入力画像の各フィルタに対する反応)を生成する。本発明では、カーネル関数の位相をπ/2ずらしてエッジ検出器としたガボールフィルタを、振幅や窓幅、方向成分などを様々に変えて利用する。

【0046】
図4は、フィルタバンク作成の具体的ステップを示す図である。図4の(A)は、床上に無造作に置かれた長袖のYシャツを被写体とした撮像画像を示している。ここで、画像中の布製品は、(1)ボタンや襟袖、(2)しわ部分、(3)布の折れ重なり部分・輪郭、の三種類に部位分けることができる。これらの内、(1)は布製品の種類に依る部分であり、例えば襟はYシャツにはあるがタオルにはついていない。一方、(2)のしわ部分及び(3)の布の折れ重なり部分は、すべての布製品が持ちうるものであり、本発明では、(2)のしわ部分の状態及び(3)の布の折れ重なり部分の状態、さらに布地の織物形状や素材を、特徴量として抽出している。

【0047】
図4(B)は、フィルタリングの概要を示している。先ず、布製品を撮影した画像領域には緩やかな帯状のエッジが検出され、この領域は、比較的周期の長い周波数を密に含んでいる。そのため、この性質を画像データから抽出するため、前記のとおり、振幅や窓幅、方向成分などを様々に変えたガボールフィルタを適用する。図4(B)の個々の画像は、振幅や窓幅、方向成分などを様々に変えたガボールフィルタを表す。図4(B)の横方向の個々の画像は、フィルタの方向のみを変化させたもので、フィルタの方向に応じて、布の特定方向の太いしわが強調される。また、図4(B)の縦方向の個々の画像は、フィルタの周波数を段々小さく変化させたもので、周波数が小さくなるにしたがい、細いしわを強調することができ、布地の織物(テクスタイル)の形状も観測しやすくなる。本発明で用いるフィルタの周波数は、1.0~8.0ピクセルの間で変化させることが好ましく、このうち1.0~3.0ピクセルの値は、細いしわの観測や織物の違いを見るのに有効である。また、布の折れ重なり部分を抽出することにも用いられる。画像中の白黒については、白い部分は、緩やかなしわに対してフィルタリングで強い反応を示した部分であり、黒い部分は、細かいしわや折れ重なり部分を、緩やかなしわよりも強調すべきと判断された部分(識別に使うべきと判断された部分)である。

【0048】
ここで、ガボールフィルタについて、更に詳しく説明する。このガボールフィルタは、ウェーブレット変換ではスケールスペース構築などに利用されており、以下の式で表される。

【0049】
【数1】
JP0005257964B1_000002t.gif

【0050】
ただし、
【数2】
JP0005257964B1_000003t.gif
である。

【0051】
ここで、fは周波数領域を示している。σ2x、σ2yはカーネルサイズを決める値であり、図5に示すようにfはσに連動させて決定する。例えば、グラフの横軸と(1)式の曲線とで囲まれる図形の体積が、振幅値に関わらず一定になるようにσの値を決定する。なお、本発明においては、x、yを同様に扱うため,以後まとめてσと記す。すなわち、f(x,θ,σx,σy)もf(x,θ,σ)と表記する。x、yは、現在ピクセルの座標であり、ux、uyはガウス分布の中心座標である。pは位相を示す変数であり、本発明ではここにπ/2を設定することでエッジ検出器を構成する。

【0052】
ガボールフィルタには指向性があるため、式(1)のθの設定によって特定方向のエッジを強調することが可能である。しわ等の方向を調べるためには、このθを変化させながらフィルタリングを施せばよい。具体的には、-π≦θ<πの間で8分割した各方向でのエッジ検出を行う。ただし、各方向でのフィルタリングにおいて負の値を示した画素については、値を0に補正する。

【0053】
次に、フィルタリング結果合成ステップ(S423)では、フィルタリングにより得られた画像を合成して、最大輝度画像(Maximum magnitude image:以下、「MM画像」と記載することが有る。)を生成する。このMM画像は、全ての画像について同じ位置にある画素(図4(B)の横方向の画像)の画素値(輝度)を足し合わせ、一枚の画像を生成する(図4(B)における‘ガボール合計’)。更に、σを様々に変えて同様の処理を行うことで、複数枚の画像が得られる。MM画像は、これらの画像で、最も大きな輝度値を示したときのσの値を各画素の画素値(輝度値)としたものである。

【0054】
図4(C)は、合成されたMM画像で、暗い画素が集中している部分は、しわや折れ重なり、又はパイル地などの凸凹部分を表し、これはσを小さく設定したフィルタで強い反応が得られたことを意味している。また、図4(C)の明るい部分は細かいしわの部分、布が滑らかであることを意味している。この画像をImag(x)と記すと、計算式は以下のように表される。
【数3】
JP0005257964B1_000004t.gif

【0055】
ここで、
【数4】
JP0005257964B1_000005t.gif
窓幅wと周波数fはσから自動的に決定される。本発明の実装では、窓の幅はw=6×σとして定め、周波数についてはf=1/(3×σ)とした。一方で、波形の最大振幅の値は以下の式によって求めた。

【0056】
【数5】
JP0005257964B1_000006t.gif
前記の設定の元で、cons=0.3171とした。これは、図5における横軸と波形の間部分の面積が、全てのσで同じになるように調整した結果から求めた値である。

【0057】
MM画像が合成されると、最大輝度画像中心及び半径設定ステップ(S424)では、図6に示すように、MM画像から衣類領域を抽出し、その領域を囲むような円形領域を定義し、その領域の中心Cc、半径Rcが設定される。

【0058】
MM画像領域の中心Cc、半径Rcが設定されると、MM画像は、3次元投影ステップ(S425)で、3次元空間に投影される。3次元投影する際の軸は、MM画像中の抽出したい特徴量に応じて以下のように設定される。

【0059】
先ず、本願発明の実施例における、布地やしわの密度に着目した特徴量抽出方法であるCM-WD法(Cloth Material and Wrinkle Distribution)について説明する。
布製品の素材には綿やポリエステルなど様々なものがあり、その加工方法もやはり様々である。また、しわのでき方は、このような条件の他に、布の厚みなども影響してくる。これらの違いによる布製品の状態をよく記述する特徴量を設計することで、布製品を分類することができると考えられる。そのため、MM画像の全ての画素について、図7に示すように、MM画像領域の中心Ccを基点に、以下の三種類のパラメータを調べる。
1.画素の位置(x,y)から中心Ccの間の距離LDと、半径Rcとの比
2.画素の輝度値FD(x,y)
3.近傍の画素の輝度値と画素の輝度値FDとの差分の合計
なお、前記3.近傍の画素との輝度値の差分の合計は、下記式で表すことができる。

【0060】
【数6】
JP0005257964B1_000007t.gif

【0061】
そして、MM画像の全ての画素について、図8に示すように、前記三種類のパラメータを軸とする三次元空間へ投影することで、MM画像全ての画素が3次元空間内に分布される。

【0062】
次に、頻度ヒストグラム作成ステップ(S426)では、各軸をn等分することで、3次元空間をn3個の三次元グリッドに区切り、各グリッドに納まっている画素数を取り出す。そして、図9に示すように、各グリッドを横軸、該グリッドに納まっている画素数を縦軸にして一次元の頻度ヒストグラムを得る。こうして得られる特徴量抽出は、布の形状、大小、向き等に不変であることから、同一種の製品であれば、ほぼ同様の頻度ヒストグラムを示す。なお、3次元グリッドの数(n3)については特に制限は無いが、nは4~16が好ましく、nが4未満の場合は、一つのグリッドに含まれる画素数が多くなり過ぎ、特徴量を適切に抽出することができず、nが17以上であると、逆に一つのグリッドに含まれる画素数が少な過ぎ、特徴量を適切に抽出することができないことから、nは8が好ましい。

【0063】
次に、本願発明の他の実施例である、布の折れ重なりの位置と方向に着目した特徴量抽出法であるOVLP法(Existence of Cloth-Overlaps)について説明する。OVLP法においては、3次元投影ステップ(S425)で投影される軸は、以下のように設定される。

【0064】
OVLP法は、比較的短い波長におけるフィルタリング結果に着目することで、布の境界や布の折れ重なり部分を抽出することを可能とする方法である。図10は、MM画像の出力を元にした、OVLP法記述の概略を示すもので、先ず、MM画像中、布の境界や布の折れ重なり部分等の注目領域を設定し、次に、注目領域の画素(以下「注目画素」という。)について、以下の三種類のパラメータを調べる。
1.注目画素の位置(x,y)から中心Ccの間の距離LOと半径Rcとの比
2.注目画素が折れ重なりの上下どちらに属するかを連続値で評価した値EO
3.注目画素が属している折れ重なり部分の方向成分

【0065】
なお、前記パラメータの中で、「注目画素が折れ重なりの上下どちらに属するかを連続値で評価した値EO」について、算出方法は次のとおりである。まず、折れ重なり部分とみなす画像エッジ(端部画像のことで、図10ではクネクネした黒い太線部分)を図4の結果(ガボール合計)から決定し、そのエッジが局所的には直線をなしているとして、直線近似を行う(図10の点線部分)。この直線近似は、まず、(1)折れ重なりと思われる部分を白、そうでない部分を黒とした画像I1、(2)元画像をグレースケール化した画像I2、を準備する。そして、画像I1の白い画素を順に参照して、次のような処理をする。ある白画素(Aとする)を中心とした局所領域(実装では16x16ピクセル程度)を参照し、その局所領域内部でより多くの白画素の上に載るような直線をひとつ選択する。そうして、直線の方程式ax+by+c=0のa、b、cとしてパラメータ化する。
次に、そのエッジの両脇にある複数の画素の輝度値を調べて、どちらが折れ重なりの上側で、どちらが下側かを判別する。判別方法の具体的手順は、先ず、Aの周辺の黒い画素(Bとする)について、上記直線のどちら側にあるかは、ax+by+c=0のxとyにBの座標値を代入することによって判断できる。一方で、前記(2)のグレースケール化した画像I2におけるその画素の輝度値について、直線で分断された二つの領域のどちら側に明るい輝度値が多いか調べる。その結果、明るい輝度値の画素が多い方を上側、そうでない方を下側とし、前者の画素には1の値を、後者の画素には-1の値を付加したマップを一時的に作成し、次に、ある画素とその近傍の画素について、それらに付加されている1もしくは-1の値を足しこんだ変数を定義する。そして、その変数を近傍画素の数で割り、実数値とする。この実数値が、「注目画素が折れ重なりの上下どちらに属するかを連続値で評価した値EO」である。これをエッジ周辺の全ての画素について行う。

【0066】
そして、MM画像の注目画素のこれら結果を、CM-WD法と同様、前記三種類のパラメータを軸とする三次元空間へ投影し、頻度ヒストグラムを得る。こうして得られる表現は、スケール・回転・平行移動に不変である。

【0067】
(比較のための特徴量)
前記した本願発明の特徴量抽出法(CM-WD法、OVLP法)の他に、比較のため、以下の三種の特徴量についても抽出し、後述する実験を行った。一つ目は、布のしわに着目した特徴量である。二つ目は、従来の認識によく用いられている特徴量計算の一部を利用したものである。三つ目は、CM-WD法、OVLP法を計算する過程で得られる中間処理結果を用いたものである。以下に、それぞれの特徴量について説明する。

【0068】
(しわの分布と方向における特徴量:DST-W(Distribution of Wrinkle position))
フィルタバンクによる多方向フィルタリングでは、しわのような滑らかな輝度変化について、その存在と勾配方向を得ることができる。そこで、しわとして抽出された領域を方向成分の違いによって分割し、それぞれの分割結果を楕円に近似する。このとき、分割数はフィルタバンクを生成したときの方向成分と同数とする。分割の間隔も同様である。それを以下の三種類のパラメータを軸とする三次元空間へ投影する。
1.楕円領域の長軸の長さと半径Rcの比
2.中心Ccと楕円領域の中心座標CEを結ぶ線分LEの長さと、半径Rcの比
3.線分LEと楕円長軸との相対角度θE

【0069】
ここで、中心Cc、半径Rcは図6に示したとおりである。また、図11は、DST-W法の3次元投影する際の各パラメータの関係を示す図で、CEは楕円領域の長軸の中心座標、θEは線分LEと楕円長軸との相対角度である。全てのしわ領域についてこの処理をした後、前記CM-WD法と同様に、特徴空間を三次元グリッドに区切り、各グリッドに納まっている値の数を取り出すことで、頻度ヒストグラムを得る。

【0070】
(スケールスペースにおける極値:SSEX(Scale Space EXtrema)
良く知られている画像特徴“SIFT”では、スケールスペースにおける極値が用いられ、スケール・平行移動・回転変化にロバストな特徴記述が実現されている。本発明においても、この極値に着目することは布地やしわのでき方を記述するのに役立つと思われる。そこで、検出した極値とその周囲から以下のような特徴量を計算する。
1.極値のスケール値
2.半径Rcと、中心Ccと各極値の間の距離との比
3.半径Rcと、現在の極値とそれに最も近い極値との間の距離の比

【0071】
ここで、中心Cc、半径Rcは図6に示したとおりである。前記CM-WD法と同様に3次元空間に投影し、特徴空間を三次元グリッドに区切り、各グリッドに納まっている値の数を取り出すことで、頻度ヒストグラムを得る。

【0072】
(布領域の輪郭:CNTR(Contour)
前記した本願発明の実施例における特徴量(CM-WD法、OVLP法)の抽出を行うための前処理として、布製品の領域抽出を行う必要がある。すなわち、特徴量計算を行う過程で布製品の輪郭を得ることができている。そこで、その輪郭からも以下のようなステップで特徴量を計算する。まず、布領域とそれ以外の領域で画像を二値化する。そして、その画像に極座標変換を施し、中心Ccを中心としたθ-rグラフを生成する。ここでθは、中心Ccを通る直線について、画像の横軸を0度としたときの傾き角度であり、rはその線分における中心Ccから輪郭まで距離である。これにより、境界線に関する距離ヒストグラムが得られるので、これを任意の間隔で離散化し、特徴ベクトルを生成する。

【0073】
次に、画像判別部130に含まれる判別DB131の作成ステップの一例を、図12を参照しながら説明する。先ず、被写体として複数の既知製品を準備し、一つの既知製品毎に、様々な角度から撮影した複数の画像を準備する。そして、最初の既知製品の1枚目の画像を入力し(S531)、前記(S422)~(S426)のステップにより頻度ヒストグラムを作成し(S532)、予め準備した一つの既知製品の複数の画像の未処理画像が有るか否か判断し(S533)、未処理画像が有る場合は、前記(S531)~(S532)のステップを繰り返す。未処理画像が無い場合は最初の既知製品の頻度ヒストグラムの作成が終了し、次の既知製品の画像が有るか否か判断し(S534)、次の既知製品の画像が有る場合は、前記(S531)~(S533)のステップを繰り返す。準備した既知製品の画像の処理がすべて終了すると(S534のNo)、作成された頻度ヒストグラムが、どの既知製品であるのか関連付けられてDBに格納するステップ(S535)に進む。このステップでは、作成された既知製品毎に頻度ヒストグラムがグループ化され、他の既知製品の頻度ヒストグラムグループとの間に境界面が設定され、そして、グループ毎に既知製品と関連付けられDBに格納されることで、判別DB131が作成される。この境界面は、サポートベクターマシン(SVM)等、公知の機械学習手法により設定することができる。一つの既知製品に対して予め準備される画像数は、所望する判別精度により異なるため特に下限値はないが、画像数が多いほど判別誤差は少なくなることから、準備する画像数は200以上が好ましい。

【0074】
判別DB131は、前記方法以外にも、例えば、既知製品の複数の画像から作成された個々の頻度ヒストグラムを既知製品と関連付け、DBに格納することで判別DB131を作成してもよく、機械学習などの分野で分類問題を解くときの周知の方法であれば特に制限は無い。

【0075】
そして、前記図3に示すステップで、判別すべき被写体の画像から頻度ヒストグラムが作成され、当該頻度ヒストグラムが、前記判別DB131に格納されている頻度ヒストグラムのどのグループに属するのか判別することで、その被写体が何であるのか判別することができる。本発明の被写体判別装置を、例えば、クリーニング工場の搬送ラインに適用すれば、搬送されてきたクリーニング対象物であるYシャツ、ハンカチ、タオル等を被写体として撮像し、撮像画像から頻度ヒストグラムを作成し、次いで、判別DB131を用いて被写体が何であるのか判別し、次いで、判別結果に応じた処理工程に自動的に搬送することで、クリーニング工場におけるクリーニング対象物の仕分け及び処理工程への搬送を自動化することができる。

【0076】
また、被写体の判別を行わず、被写体を類似したグループに分類するのであれば、判別DB131を設ける必要はなく、類似した頻度ヒストグラムを同一のグループに分類する画像分類手段230を設けて、被写体分類装置を構成してもよい。画像分類手段230としては、repeated bisection法(非特許文献7)や、K-means法等、公知の画像分類手段を用いることができる。本発明の被写体分類装置を、例えば、クリーニング工場の搬送ラインに適用すれば、Yシャツ、ハンカチ、タオル等を被写体として撮像し、撮像画像から頻度ヒストグラムを作成し、次いで、頻度ヒストグラムが類似しているものは同一のグループに分類することで、クリーニング対象物を自動的に仕分けすることが可能である。
【実施例】
【0077】
(実施対象製品)
図13の上段(1)~(9)に示すような日常的に用いる布製品9クラスを実施対象として用いた。下段左側は(7)、下段右側は(9)の布製品であって、日常生活で実際に見られる、折り重なっている状況を表す写真である。布製品の種類と素材については、(1)タートルネックのセーター(100%綿製)、(2)厚手のパーカ(100%ポリエステル製)、(3)セーター(100%綿製)、(4)カーディガン(100%アクリル製)、(5)ワンピース(100%綿製)、(6)Tシャツ(100%綿製)、(7)ハンドタオル(100%綿製)、(8)ハンドタオル(100%綿製)、(9)シャツ(78%綿、22%ポリエステル製)である。なお、(7)、(8)は両方ともパイル地のタオルであるが、広げたときのサイズと形状が異なる。
【実施例】
【0078】
(被写体の分類)
本発明の特徴量抽出方法により得られた頻度ヒストグラムが、被写体の分類に適したものであるか否か、教師なしクラスタリングにより評価を行った。クラスタリング手法としてはrepeated bisection法を用いた。この方法は、与えられたデータをDB等に格納された外的基準なしに、似ている頻度ヒストグラムを自動的にグループに分類する手法であり、前記の特徴量抽出方法により抽出された頻度ヒストグラムが類似していれば、布製品の置き方にかかわらず、布製品の種類ごとに分類されることになる。
【実施例】
【0079】
本実施例では、頻度ヒストグラムを作成する時の3次元空間の各軸の分割数nを8に設定した。布製品(6)~(9)について、各々約250個の頻度ヒストグラム、合計約1000個の頻度ヒストグラムに対して教師なしクラスタリングを行った。なお、クラスタ数(分類するグループ数)は10に設定した。表1は本願発明の実施例であるCM-WD法についての結果、表2は比較例であるSSEX法についての結果を示す。
【実施例】
【0080】
【表1】
JP0005257964B1_000008t.gif
【実施例】
【0081】
【表2】
JP0005257964B1_000009t.gif
【実施例】
【0082】
表2から明らかなように、従来から知られているSSEX法の場合、例えば、クラスタ2には、Tシャツ(6)が68個、シャツ(9)が30個、タオル(7)が10個、タオル(8)が3個分類される等、ある程度は布製品毎にグループ分けされているもの、特徴量が似ているグループ(クラスタ)に、様々な布製品が分類されており、特徴量と布製品との間に対応関係が見出せない。
【実施例】
【0083】
一方、表1の本願発明の特徴量抽出法であるCM-WD法について見てみると、クラスタ2には、Tシャツ(6)が64個含まれ、シャツ(9)はわずか1個、タオル(7)及びタオル(8)は0個である等、従来のSSEX法と比較し、同一の製品であれば布製品の形状に関係なく、同じクラスタに分類されることが確認でき、特徴量と布製品との対応関係を見出すことができた。したがって、本発明の特徴量抽出方法を用いれば、しわや折り重なり等の形状に関係なく、また、被写体を判別する為の判別手段を用いなくても、同じ被写体であれば、同じグループに分類することが可能である。
【実施例】
【0084】
(被写体の判別)
本発明の特徴量抽出方法により得られた頻度ヒストグラムが、被写体の判別に適したものであるか否か、機械学習手法を用いた判別を行った。まず、被写体の画像から抽出された頻度ヒストグラムが、どの布製品に相当するのかを判別するため、図13に示す(1)~(9)の布製品について、床やテーブルなどの平面上に布製品を無造作に置き、布製品毎に約250枚の画像を撮影した。画像サイズはVGA(640×480 pixel)で、約2400枚の画像データを得た。これらの各画像に対して、前記図12に示すステップにより、本発明であるCM-WD法、OVLP法の頻度ヒストグラム、及び比較例のDST-W法、SSEX法の頻度ヒストグラムを作成し、製品毎に頻度ヒストグラムをグループ化し、各グループの境界面を設定するとともに既知製品と関連付けてDBに格納することで、判別DB131を作成した。判別DB131の作成には、マルチクラスSVM(Support Vector Machine)を用いた。実装にはLIBSVM(非特許文献8)を用い、判別手段とカーネル関数は、それぞれC-SVC、RBFカーネルを設定した。なお、CNTR法については、前記のとおり、境界線に関する距離ヒストグラムを任意の間隔で離散化し、生成された特徴ベクトルを既知製品と関連付けてDBに格納した。
【実施例】
【0085】
判別DB131の性能を評価する方法として、N-foldの交差検定を適用した。図14は、本発明のCM-WD法及びOVLP法、そして、比較例のDST-W法、SSEX法及びCNTR法を、Nを2から10まで変化させた場合の判別率の変化を示している。ここでも本願発明の特徴量抽出法であるCM-WD法は判別率が89%で最もよい結果を示しているのに対して、比較例であるSSEX法は、61%に過ぎなかった。
【実施例】
【0086】
次に、CM-WD法、OVLP法、SSEX法、DST-W法の4種類について、これらのヒストグラムを2種類又は3種類連結し、学習データとして判別DB131を作成した。なお、ヒストグラムの連結とは、ある種のヒストグラムの後に、別の種のヒストグラムを続けて並べることを表し、例えば、図15中、CM-WD OVLPとは、CM-WD法のヒストグラムに続き、OVLP法のヒストグラムを並べて判別DB131を作成したことを表す。図15から明らかなように、CM-WD及びSSEXを並べた場合には、判別率は最高で98%となり、布製品がどのような形状であっても、ほぼ間違いなくその布製品の種別について判別できることが明らかになった。
【実施例】
【0087】
また、このグラフではNの値が4ないし5のあたりで判別率が安定してきている。これより、学習データの数は、布製品が無限の形状を取りうるにもかかわらず200枚程度あればよいことが明らかになった。
【産業上の利用可能性】
【0088】
本発明は、ロボット等の機械に搭載されることで取り扱い対象物範囲を柔軟体物から剛体まで広げることが可能となり、IT分野、自動車分野、生産機械分野、医療・介護分野において有用である。特に、本発明においては、特別な物理的手段を用いることなく、当該被写体の外見形状に因らずに特徴量を抽出することができ、その特徴量により被写体の種別を判別することができることから、例えば、クリーニング工場におけるクリーニング対象物の自動仕分け等、柔軟体物の取り扱いの自動化;シャツ等の製品の使用による経時変化を特徴量として抽出することで、製品の使用具合の判別の自動化;街頭にカメラを設置し、通行人の服装判別の自動化;電動車椅子や自動車の自動走行システムの開発;ほこりやごみ、或いは、シミ等の汚れのある部分を重点的に清掃する自動掃除機の開発;航空写真から特徴量を抽出することで、都市間の類似度の判別;野菜や果物等の分類の自動化;野菜や果物等の経時変化による特徴量の変化を抽出することで、野菜や果物等の鮮度判別の自動化;鳥、植物等の被写体画像をネット経由で送付し、当該被写体の種類を判別することで、図書館・博物館・資料館等における学習機能の向上、等に有用である。
Drawing
(In Japanese)【図1】
0
(In Japanese)【図2】
1
(In Japanese)【図3】
2
(In Japanese)【図4】
3
(In Japanese)【図5】
4
(In Japanese)【図6】
5
(In Japanese)【図7】
6
(In Japanese)【図8】
7
(In Japanese)【図9】
8
(In Japanese)【図10】
9
(In Japanese)【図11】
10
(In Japanese)【図12】
11
(In Japanese)【図13】
12
(In Japanese)【図14】
13
(In Japanese)【図15】
14