TOP > 国内特許検索 > 物体検出方法、物体検出装置及び物体検出プログラム > 明細書

明細書 :物体検出方法、物体検出装置及び物体検出プログラム

発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2017-016548 (P2017-016548A)
公開日 平成29年1月19日(2017.1.19)
発明の名称または考案の名称 物体検出方法、物体検出装置及び物体検出プログラム
国際特許分類 G06T   7/00        (2017.01)
FI G06T 7/00 200C
G06T 7/00 350B
請求項の数または発明の数 9
出願形態 OL
全頁数 16
出願番号 特願2015-135048 (P2015-135048)
出願日 平成27年7月6日(2015.7.6)
発明者または考案者 【氏名】宮本 龍介
出願人 【識別番号】801000027
【氏名又は名称】学校法人明治大学
個別代理人の代理人 【識別番号】100166338、【弁理士】、【氏名又は名称】関口 正夫
【識別番号】100152054、【弁理士】、【氏名又は名称】仲野 孝雅
審査請求 未請求
テーマコード 5L096
Fターム 5L096AA02
5L096AA06
5L096DA02
5L096EA35
5L096FA06
5L096FA23
5L096FA35
5L096GA04
5L096GA17
5L096JA11
5L096JA18
5L096KA04
要約 【課題】高精度に物体を検出する。
【解決手段】物体に対応する特徴であってその各々がボケ状態を表す指標の差異により表わされる特徴に各々対応する複数の弱識別器を用意し、前記複数の弱識別器の各々を用いて、その弱識別器に対応した部分画像にその弱識別器に対応するボケ状態を表す指標の差異により表わされる特徴が存在するか否かを検出し、前記複数の弱識別器による検出結果に基づいて前記物体を検出する。
【選択図】図1
特許請求の範囲 【請求項1】
物体に対応する特徴であってその各々がボケ状態を表す指標の差異により表わされる特徴に各々対応する複数の弱識別器を用意し、
前記複数の弱識別器の各々を用いて、その弱識別器に対応した部分画像にその弱識別器に対応するボケ状態を表す指標の差異により表わされる特徴が存在するか否かを検出し、
前記複数の弱識別器による検出結果に基づいて前記物体を検出することを特徴とする物体検出方法。
【請求項2】
前記ボケ状態を表す指標の差異により表わされる特徴とは、
前記物体を撮像した場合に前記物体の輪郭に対応して発生する、ボケ領域と非ボケ領域の境界を表す特徴であることを特徴とする請求項1に記載の物体検出方法。
【請求項3】
前記弱識別器は、前記部分画像内の第1の領域の前記ボケ状態を表す指標の差異により表わされる特徴と、前記部分画像内の第2の領域の前記ボケ状態を表す指標の差異により表わされる特徴との相違の程度を表す情報を含むことを特徴とする請求項1又は2に記載の物体検出方法。
【請求項4】
前記弱識別器は、前記第1の領域及び前記第2の領域の大きさと、前記第1の領域及び前記第2の領域の相対的な位置関係を表す情報を更に含むことを特徴とする請求項3に記載の物体検出方法。
【請求項5】
前記部分画像から領域を切り出し、該切り出した領域を周波数変換し、周波数変換により得られた周波数成分に基づいて、前記切り出した領域に対応する前記ボケ状態を表す指標の差異により表わされる特徴を算出することを特徴とする請求項1乃至4の何れか1項に記載の物体検出方法。
【請求項6】
前記部分画像から領域を切り出し、該切り出した領域を勾配ヒストグラムに変換するための関数及び前記切り出した領域から特徴点を抽出するための関数の何れか又は双方の関数に基づいて、前記切り出した領域に対応する前記ボケ状態を表す指標の差異により表わされる特徴を算出することを特徴とする請求項1乃至4の何れか1項に記載の物体検出方法。
【請求項7】
前記複数の弱識別器による検出結果に基づいて、前記複数の弱識別器の中から一部の弱識別器を選択し、該選択した弱識別器を組み合わせることにより強識別器を構築し、該強識別器により前記物体を検出することを特徴とする請求項1乃至6の何れか1項に記載の物体検出方法。
【請求項8】
物体に対応する特徴であってその各々がボケ状態を表す指標の差異により表わされる特徴に各々対応する複数の弱識別器を用意し、
前記複数の弱識別器の各々を用いて、その弱識別器に対応した部分画像にその弱識別器に対応するボケ状態を表す指標の差異により表わされる特徴が存在するか否かを検出し、
前記複数の弱識別器による検出結果に基づいて前記物体を検出することを特徴とする物体検出装置。
【請求項9】
物体に対応する特徴であってその各々がボケ状態を表す指標の差異により表わされる特徴に各々対応する複数の弱識別器を用意し、
前記複数の弱識別器の各々を用いて、その弱識別器に対応した部分画像にその弱識別器に対応するボケ状態を表す指標の差異により表わされる特徴が存在するか否かを検出し、
前記複数の弱識別器による検出結果に基づいて前記物体を検出する物体検出装置としてコンピュータを機能させることを特徴とする物体検出プログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、画像から物体を検出するための、物体検出方法、物体検出装置及び物体検出プログラムに関する。
【背景技術】
【0002】
画像内の特徴を抽出し、抽出した特徴に基づいて物体を検出する技術が広く用いられている。例えば、他の車両や歩行者等を検出する技術により、自動車の運転補助を行なうことができる。また、検出精度を高めることにより、自動車の自動運転を実現することも可能となる。更に、歩行者を検出する技術により、防犯カメラ等の監視システムを実現することができる。
【0003】
このような物体を検出する技術の一例として、画像内でのボケ量の分布を特徴として抽出することによって物体を検出する技術が特許文献1に記載されている。
【0004】
特許文献1に記載の技術では、撮像対象物との間の物体の存在を判定し、撮像対象物の誤検出を防止することを目的としている。
【0005】
かかる目的を達成するために、特許文献1に記載の技術では、車内のドライバーの顔に合焦するようにして車内の撮像を行なう。そして、カメラとドライバーの間に別物体が存在しない状態でのボケ量分布を基準として記憶する。その後、撮像した画像内でのボケ量分布が、基準としたボケ量分布と相違した場合に、ドライバーとカメラの間に別物体(例えば、ドライバーの腕)が存在することを検出する。
【0006】
特許文献1では、このようにして撮像対象物との間の物体の存在を判定することにより、ドライバーの顔の向きを誤って認識してしまうことを防止している。
【0007】
また、物体検出する他の技術の一例として、機械学習を積極的に利用することにより、物体検出の精度を高めると共に、画像処理における演算量を減少させる技術が非特許文献1に記載されている。
【0008】
非特許文献1に記載の技術は、Viola-Jones法と呼ばれるものである。そして、Viola-Jones法では、Haar-like特徴量を用いて複数の弱識別器を作成する。ここで、Haar-like特徴量は、矩形特徴の黒領域の画素値の和と、矩形特徴の白領域の画素値の和との差として算出される。ここで、画素値としては一般的に輝度の値やRGB(Red、Green及びBlue)の値が使用される。
【0009】
そして、非特許文献1に記載の技術では、Haar-like特徴量を用いて複数の弱識別器を作成する。また、作成した複数の弱識別器に対してAdaBoostと呼ばれる機械学習を行なう。そして、機械学習の結果に基づいて弱識別器を複数選択し、選択した弱識別器を組み合わせることにより、強識別器を作成する。
【0010】
かかる強識別器を用いて画像を識別することにより、画像内の物体を検出することができる。例えば、デジタルカメラやビデオカメラの分野において顔検出を行なうことが可能となる。
【先行技術文献】
【0011】

【特許文献1】特開2009-294781号公報
【0012】

【非特許文献1】Paul Viola and Michael Jones著“Robust Real-time Object Detection”[online]、平成13年7月13日、Second International Workshop on Statistical and Computational Theories of Vision- Modeling, Learning、[平成27年6月22日検索]、インターネット<URL:http://www.wisdom.weizmann.ac.il/~vision/courses/2003_2/ICCV01-Viola-Jones.pdf>
【非特許文献2】Renting Liu Zhaorong Li and Jiaya Jia著“Image Partial Blur Detection and Classification”[online]、Department of Computer Science and Engineering The Chinese University of Hong Kong、[平成27年6月22日検索]、インターネット<URL:http://www.google.co.jp/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&ved=0CCIQFjAA&url=http%3A%2F%2Fwww.cse.cuhk.edu.hk%2Fleojia%2Fall_final_papers%2Fblur_detect_cvpr08.pdf&ei=E3qHVfiMHcbJmAXu56CYDw&usg=AFQjCNEohu9jYKTEjXj3m4J_eKY_SavieQ&sig2=4YTyraLfhibx7ruM6SlwnQ&bvm=bv.96339352,d.dGc>
【発明の概要】
【発明が解決しようとする課題】
【0013】
上述した特許文献1に記載の技術や、非特許文献1に記載の技術を用いることにより、画像から物体を検出することが可能となる。
しかしながら、これら技術には、以下に述べるような課題が存在する。
【0014】
まず特許文献1の技術は、そもそも基準となる被写体が存在しない場合には利用することができない。そのため、特許文献1の技術の用途は限定され、監視カメラ等の用途には利用することができないという課題が存在する。また、本質的に、画像全体に対して局所的なボケの分布を演算するのは困難であるという課題も存在する。更に、特許文献1に記載の技術では、何らかの物体の有無は検出できるかもしれないが、検出したい所定の物体のみを対象として検出することはできない。つまり、検出しようとしている物体以外の物体も検出してしまうという課題も存在する。
【0015】
一方、非特許文献1に記載の技術では、上述のようにRGBや輝度の値に基づいて特徴量を算出する。しかしながら、これらRGBや輝度の値は検出対象の服装の色合いや日照条件等により大きくことなる。そのため、検出対象の服装の色合いや日照条件等により、弱識別器の判断結果に誤りが生じ、検出の信頼性が担保できないという問題が存在する。
【0016】
例えば、検出対象の人間がチェック柄の服を着用していると、かかるチェック柄を物体の輪郭として誤認識してしまうような場合がある。また、日照条件が異なれば検出対象の輝度も異なる。そのため、同じ識別器であっても、或る日照条件であれば物体を検出できても、他の日照条件であれば物体が検出できない、という場合がある。
【0017】
そこで、本発明は、高精度に物体を検出することが可能な、物体検出方法、物体検出装置及び物体検出プログラムを提供することを目的とする。
【課題を解決するための手段】
【0018】
本発明の第1の観点によれば、物体に対応する特徴であってその各々がボケ状態を表す指標の差異により表わされる特徴に各々対応する複数の弱識別器を用意し、前記複数の弱識別器の各々を用いて、その弱識別器に対応した部分画像にその弱識別器に対応するボケ状態を表す指標の差異により表わされる特徴が存在するか否かを検出し、前記複数の弱識別器による検出結果に基づいて前記物体を検出することを特徴とする物体検出方法が提供される。
【0019】
また、本発明の第2の観点によれば、上記第1の観点により提供される物体検出方法において、前記ボケ状態を表す指標の差異により表わされる特徴とは、前記物体を撮像した場合に前記物体の輪郭に対応して発生する、ボケ領域と非ボケ領域の境界を表す特徴であることが好ましい。
【0020】
更に、本発明の第3の観点によれば、上記第1又は2の観点により提供される物体検出方法において、前記弱識別器は、前記部分画像内の第1の領域の前記ボケ状態を表す指標の差異により表わされる特徴と、前記部分画像内の第2の領域の前記ボケ状態を表す指標の差異により表わされる特徴との相違の程度を表す情報を含むことを特徴とすると好ましい。
【0021】
更に、本発明の第4の観点によれば、上記第3の観点により提供される物体検出方法において、前記弱識別器は、前記第1の領域及び前記第2の領域の大きさと、前記第1の領域及び前記第2の領域の相対的な位置関係を表す情報を更に含むことを特徴とすると好ましい。
【0022】
更に、本発明の第5の観点によれば、上記第1乃至4の何れかの観点により提供される物体検出方法において、前記部分画像から領域を切り出し、該切り出した領域を周波数変換し、周波数変換により得られた周波数成分に基づいて、前記領域に対応する前記ボケ状態を表す指標の差異により表わされる特徴を算出することを特徴とすると好ましい。
【0023】
更に、本発明の第6の観点によれば、上記第1乃至5の何れかの観点により提供される物体検出方法において、前記部分画像から領域を切り出し、該切り出した領域を勾配ヒストグラムに変換するための関数及び前記切り出した領域から特徴点を抽出するための関数の何れか又は双方の関数に基づいて、前記領域に対応する前記ボケ状態を表す指標の差異により表わされる特徴を算出することを特徴とすると好ましい。
【0024】
更に、本発明の第7の観点によれば、上記第1乃至6の何れかの観点により提供される物体検出方法において、前記複数の弱識別器による検出結果に基づいて、前記複数の弱識別器の中から一部の弱識別器を選択し、選択した弱識別器を組み合わせることにより強識別器を構築し、該強識別器により前記物体を検出することを特徴とすると好ましい。
【0025】
本発明の第8の観点によれば、物体に対応する特徴であってその各々がボケ状態を表す指標の差異により表わされる特徴に各々対応する複数の弱識別器を用意し、前記複数の弱識別器の各々を用いて、その弱識別器に対応した部分画像にその弱識別器に対応するボケ状態を表す指標の差異により表わされる特徴が存在するか否かを検出し、前記複数の弱識別器による検出結果に基づいて前記物体を検出することを特徴とする物体検出装置が提供される。
【0026】
本発明の第9の観点によれば、物体に対応する特徴であってその各々がボケ状態を表す指標の差異により表わされる特徴に各々対応する複数の弱識別器を用意し、前記複数の弱識別器の各々を用いて、その弱識別器に対応した部分画像にその弱識別器に対応するボケ状態を表す指標の差異により表わされる特徴が存在するか否かを検出し、前記複数の弱識別器による検出結果に基づいて前記物体を検出する物体検出装置としてコンピュータを機能させることを特徴とする物体検出プログラムが提供される。
【発明の効果】
【0027】
本発明によれば、高精度に物体を検出することが可能となる。
【図面の簡単な説明】
【0028】
【図1】本発明の実施形態である物体検出装置の基本的構成を表すブロック図である。
【図2】本発明の実施形態である物体検出装置内の制御部の基本的構成を表すブロック図である。
【図3】本発明の実施形態における機械学習処理の基本的動作を表すフローチャートである。
【図4】AdaBoostのアルゴリズムを表す図である。
【図5】本発明の実施形態における物体検出処理の基本的動作を表すフローチャートである。
【図6】本発明の実施形態におけるボケ特徴fの算出について表す図である。
【図7】本発明の実施形態において利用するマスクの一例を表す図である。
【図8】Haar-like特徴における矩形領域の組み合わせの一例を表す図である。
【図9-1】本発明の実施形態による検出結果の一例を表す図(1/3)である。
【図9-2】本発明の実施形態による検出結果の一例を表す図(2/3)である。
【図9-3】本発明の実施形態による検出結果の一例を表す図(3/3)である。
【発明を実施するための形態】
【0029】
まず、本発明の実施形態の概略を説明する。

【0030】
本実施形態では、Haar-like特徴のような矩形特徴量を用いた物体検出処理において、通常用いられている輝度やRGBに代わり、ボケ量を矩形特徴量として利用する。

【0031】
より詳細には、本実施形態によるボケ量を用いた物体検出手法は、非特許文献1に記載のViola-Jones法を改変した手法である。Viola-Jones法では、Haar-like特徴による特徴抽出とAdaBoostによる学習によって識別器を構築している。これに対し、本実施形態では、学習アルゴリズムはAdaBoostのままとする一方で、ボケ量に基づく特徴を抽出し、抽出したボケ量に基づく特徴を用いて識別器を構築する。そして、かかる識別器により物体の検出を行なう。

【0032】
この点、ボケ量の相対的関係性は、輝度やRGBほどには検出対象の人物の服装の色合いや日照条件等に影響を受けない。そのため、ボケ量を用いて物体検出を行なう本実施形態は、輝度やRGBを用いて物体検出を行なうという一般的な技術と比べて、検出対象の人物の服装の色合いや日照条件等に影響を受けないことから、精度の高い検出を行なうことが可能となる。
以上が本実施形態の概略である。
次に、本発明の実施形態について図面を参照して詳細に説明する。

【0033】
まず、本実施形態である物体検出装置100に含まれる機能ブロックについて図1及び図2を参照して説明する。

【0034】
図1を参照すると、物体検出装置100は、制御部110、記憶部120、表示部130及び入出力部140を含む。
物体検出装置100は、ボケ量に基づく特徴抽出手法を用いた物体検出を行なう装置である。

【0035】
制御部110は、物体検出装置100全体を制御する部分である。物体検出装置100には、演算処理を行なうためのCPU(Central Processing Unit)や、CPUがプログラムを実行する上で一時的に必要とされるデータを格納するためのRAM(Random Access Memory)をハードウェアとして含む。そして、かかるCPUが、記憶部120から各種制御用プログラムを読み込み、読み込んだ制御用プログラムをRAMにて展開させながら、これらの各種制御用プログラムに基づいた演算処理を行なう。そして、制御部110は、演算結果に基づいて物体検出装置100内のハードウェアを制御することにより、物体検出装置100の各機能は実現される。つまり、本実施形態は、ハードウェアとソフトウェアが協働することにより実現することができる。

【0036】
記憶部120は、制御部110が利用する各種のデータを記憶する部分である。記憶部120は、上述した各種制御用プログラムの他に、制御部110が抽出したボケ量に基づく特徴や、制御部110により構築された識別器等を記憶する。記憶部120は、例えば、HDD(Hard Disk Drive)や、SSD(Solid State Drive)といった記憶装置により実現される。

【0037】
表示部130は、各種の情報をユーザに対して表示する表示部である。表示部には、例えば、ユーザの操作を受け付けるためのユーザインターフェースや、物体の検出処理の対象とする画像や、物体の検出結果等が表示される。表示部130は、例えば、液晶ディスプレイや、有機EL(Electroluminescence)ディスプレイにより実現される。

【0038】
入出力部140は、物体検出装置100と他の装置とを接続するためのインターフェースである。制御部110は、入出力部140に接続された他の装置や、入出力部140に挿入された記録媒体との間で情報を送受信することができる。

【0039】
他の装置とは、例えば、物体検出処理の対象とする画像等を撮像するカメラである。あるいは、他の装置とは、例えば、機械学習に用いるサンプル画像等を入力したりするパーソナルコンピュータである。更に、記録媒体とは画像等のデータが記録されている記録媒体である。入出力部140は、USB(Universal Serial Bus)等の規格に準じたインターフェースにより実現することができる。また、入出力部140をインターネット等のネットワークに接続し、制御部110がネットワーク経由で他の装置と情報を送受信するようにしてもよい。

【0040】
以上、物体検出装置100に含まれる各機能ブロックについて説明した。ただし、以上説明した各機能ブロックは、本実施形態における処理に特に関連する部分だけである。物体検出装置100は、電源部等の、図示を省略した一般的な他の機能ブロックを含んでいるものとする。

【0041】
次に、図2を参照して、制御部110が行なう演算処理により実現される3つの機能ブロックについて説明する。図2に表わされるように、制御部110は、特徴抽出部111、機械学習部112及び物体検出部113の3つの機能ブロックを実現する。

【0042】
特徴抽出部111は、輝度に基づいたHaar-like特徴に代えて、入力画像のボケ量に基づいた矩形特徴量(以下「ボケ特徴f」と呼ぶ。)を抽出する。ここで、ボケ特徴fの抽出対象となる入力画像とは、例えば、識別器を作成するためのサンプル画像や、物体の検出対象とする検出対象画像といった画像である。

【0043】
機械学習部112は、特徴抽出部111がサンプル画像から抽出したボケ特徴fに基づいて、AdaBoostによる機械学習を行い、これにより強識別器を構築する機能を有する。

【0044】
物体検出部113は、特徴抽出部111が検出対象画像から抽出したボケ特徴fと、機械学習部112により構築された強識別器を用いて物体検出処理を行なう機能を有する。

【0045】
次に、これら3つの機能ブロックの動作について、図3のフローチャートを参照して説明をする。なお、以下の動作においては、トレーニング用のサンプル画像及び物体検出処理の対象とする検出対象画像という各種の画像に対してボケ特徴fの抽出処理を行なう。これらの画像は、入出力部140を介して接続される他の装置や記録媒体、あるいは記憶部120から取得する。

【0046】
まず、特徴抽出部111が、識別器を構築するために用意された複数のトレーニング用のサンプル画像に対して特徴抽出処理を行い、各サンプル画像からボケ特徴fを抽出する。そして、これに基づいて弱識別器を構築する(ステップS11)。

【0047】
作成される弱識別器の数は多い方が好ましく、例えば数千個の弱識別器を作成する。作成した複数の弱識別器は、機械学習部112に入力するか、記憶部120に記憶する。なお、特徴抽出部111によるボケ特徴fの抽出方法の具体的な内容については後述する。

【0048】
次に、機械学習部112が、ステップS11において構築されたサンプル画像のボケ特徴fに基づいてAdaBoostによる学習を行なう。そして、学習の結果に基づいて強識別器を作成する(ステップS12)。

【0049】
ここで、AdaBoostのアルゴリズムを図4に表す。アルゴリズム中の「f」は、通常は輝度に基づくHaar-like特徴であるが、本実施形態ではステップS11において算出したボケ特徴fをこれに代えて用いることによりアルゴリズムを実行する。

【0050】
そして、機械学習部112は、AdaBoostのアルゴリズムを実行することにより構築した強識別器を記憶部120に格納する(ステップS21)。記憶部120に記憶された強識別器は、その後、物体検出処理を行なう際に利用される。これにより、機械学習についての処理は終了する。

【0051】
次に、物体検出処理についての説明を行なう。まず、特徴抽出部111が、物体を検出する対象とする検出対象画像に対して特徴抽出処理を行い、検出対象画像からボケ特徴fを抽出する(ステップS21)。

【0052】
次に、物体検出部113が、ステップS12において構築され、ステップS13において記憶部120に格納された強識別器を、記憶部120から読み出す(ステップS22)。

【0053】
そして、物体検出部113が、ステップS21において抽出した検出対象画像のボケ特徴fと、ステップS22において読み出した強識別器とに基づいて物体の検出処理を行なう(ステップS23)。この際、検出結果を統合する等の後処理も併せておこなうようにすると良い。

【0054】
最後に、物体検出部113が、ステップS23における検出処理の処理結果を出力する(ステップS24)。ここで処理結果とは、例えば、物体が検出できたか否かを表す情報と、物体が検出できた場合には、物体が画像内のどの位置で検出されたかを表す情報である。

【0055】
出力は、これら情報を、表示部130に表示することにより行なう。例えば、検出処理の対象とした画像上の物体を検出した位置に、物体を検出したことを表す記号を重畳した画像を構築して表示部130に表示する。これを参照したユーザは、物体が検出できたか否かということと、物体が検出できた場合には画像内のどの位置に物体が存在していたかということを把握することが可能となる。

【0056】
なお、検出結果を表示部130表示することは、検出結果を出力するための手段の一例に過ぎず、本発明の実施形態において必ずしも表示を行なう必要はない。つまり、ステップS24において検出結果の表示を行なうのではなく、検出結果を記憶部120に記憶させたり、検出結果を入出力部140を介して外部の装置に出力させたりするようにしても良い。また、このような記憶処理や出力処理と共に、表示処理を行なうようにしても良い。

【0057】
以上、本実施形態の処理について説明した。ここで、本実施形態の処理は、Haar-like特徴に代えて特徴抽出部が抽出したボケ特徴fを使用する点以外において非特許文献1に記載されている処理と同等である。そのため、上述の説明ではボケ特徴fを使用する点以外についての詳細な説明については省略した。

【0058】
一方で、ステップS11やステップS21にて行なう、画像のボケ量に基づいた矩形特徴量であるボケ特徴fの抽出は本実施形態特有のものである。そこで、これらステップS11やステップS21にて行なう、ボケ特徴fの抽出について、図6のフローチャートを参照して更に詳細に説明をする。

【0059】
図6に表わされるように、特徴抽出部111は、まず、トレーニング用のサンプル画像や、物体検出処理の対象とする検出対象画像といった入力画像をグレースケール画像に変換する(ステップS1)。

【0060】
また、特徴抽出部111は、変換後のグレースケール画像からHaar-like特徴の矩形領域に相当する領域の画像を切り出す(ステップS2)。
更に、特徴抽出部111は、切り出した画像に窓関数を乗算する(ステップS3)。

【0061】
更に、特徴抽出部111は、窓関数を乗算した画像に対して離散フーリエ変換を行い周波数スペクトルに変換する(ステップS4)。なお、ステップS4までの色空間変換から周波数領域への変換処理は一般的な処理であるが、以下のステップS5及びステップS6における処理は、本実施形態特有の処理となる。

【0062】
次に、矩形領域に対するスコアを計算する(ステップS5)。ここで、本実施形態ではボケ量に基づくスコアの計算にあたり、周波数スペクトルからボケ特徴fを抽出するためのマスクを用いる。かかるマスクの一例を図7に示す。

【0063】
図7を参照すると、ステップS4において変換した周波数領域全体を上下左右の4つの領域に四等分した場合の、左下の領域の中央にmaskAという領域が確保されている。また、周波数領域全体を上下左右の4つの領域に四等分した場合の、左下の領域の右上にmaskBという領域が確保されている。これら2つのマスクの領域それぞれについて、以下の式(1)を用いてそれぞれのスコアを算出する。

【0064】
【数1】
JP2017016548A_000003t.gif

【0065】
ここで、上記式(1)において、sumは、図7におけるマスクによって展開される領域の周波数成分の値の総和を表し、areaは、図7におけるマスクによって展開される領域の面積を表し、scoreはマスクの領域のスコアを表す。

【0066】
かかる式(1)に基づいて、maskAの領域とmaskBの領域それぞれのスコアを求める。そして、この2つの領域のスコアに基づいて以下の式(2)により矩形特徴のスコアを求める。

【0067】
【数2】
JP2017016548A_000004t.gif

【0068】
ここで、上記式(1)において、scoreAは、図7におけるmaskAによって展開される領域のスコアを表し、scoreBは、図7におけるmaskBによって展開される領域のスコアを表し、scorerectは矩形領域全体のスコアを表す。

【0069】
そして、Haar-like特徴と同様に複数の矩形領域それぞれのスコアの差分を算出する。ここで、複数の矩形領域とは、図8に表わされるようにHaar-like特徴と同様に例えば、縦、横又は斜め方向の位置関係に有る2つの矩形領域である。そして、2つの矩形領域間にボケ度の差が存在するか否かを測定する。

【0070】
そのために、これら2つの矩形領域それぞれのスコアを上記の式(1)及び式(2)によって求める。そして、この2つの矩形領域のスコアを用い、以下の式(3)の計算を行うことにより、輝度に基づいたHaar-like特徴に代わる、ボケ量に基づいたボケ特徴fを算出する(ステップS6)。

【0071】
【数3】
JP2017016548A_000005t.gif

【0072】
ここで、上記式(3)において、scorerect0は、図8における2つの矩形領域の内の一方の矩形領域のボケ量に基づくスコアを表し、scorerect1は、図8における2つの矩形領域の内の他方の矩形領域のボケ量に基づくスコアを表し、fは、輝度に基づいたHaar-like特徴に代わる、ボケ量から得られるボケ特徴fを表す。

【0073】
そして、このようにして算出したボケ特徴fを、輝度に基づいたHaar-like特徴に代えて、図3に表す各ステップでの処理を行なうことにより画像のボケ特徴に基づいた物体検出を行なうことが可能となる。

【0074】
この点、上述したようにボケ量の相対的関係性は、輝度やRGBほどには検出対象の人物の服装の色合いや日照条件等に影響を受けない。そのため、ボケ量を用いて物体検出を行なう本実施形態は、輝度やRGBを用いて物体検出を行なう通常の技術と比べて服装の色合いや日照条件等に影響を受けず、検出の信頼性を向上させることが可能となる。

【0075】
上述した本実施形態の処理の有効性を示すために、上記の手法で構築された強識別器を用いて物体検出の実験を行った。

【0076】
本実験において、トレーニングに用いるポジティブサンプルとしては、前景に単純な形状の物体が存在し、背景にフォーカスが外れたことに起因するボケ(Focus Blur)に相当するガウスぼかし(Gaussian Blur)が生じた画像を用いた。

【0077】
また、ネガティブサンプルとしては、様々な画像に対して様々なパラメタでガウスぼかし(Gaussian Blur)を生じさせた画像を用いた。

【0078】
このようなトレーニングサンプルを用いて、丸の輪郭を検出するように学習を行った強識別器を用いて全画面探索を行った結果を図9-1乃至図9-3に表す。これら図を参照すると、丸及び矩形に合焦すると共に、他のボケ部分の色彩等が異なる様々な画像において、合焦している丸の輪郭に基づいて画像内の丸を検出している一方で、矩形の輪郭に基づいて矩形が誤検出されるようなことは起きていない。このように、本実施形態によって、適切な検出結果を得ることが可能となる。

【0079】
なぜならば、本実施形態では、ボケ領域と非ボケ領域の境界が物体境界であることを前提として、一部の撮影対象のみに焦点が合っている画像内の各矩形領域のボケ度の差に基づいてボケ領域と非ボケ領域の境界を検出することにより物体を検出できるからである。また、検出においては、物体の輪郭全てを検出しなくとも、物体の輪郭の内の特徴的な部分を検出すれば、物体を検出することができるからである。

【0080】
なお、上記の物体検出装置は、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。また、上記の物体検出装置により行なわれる物体検出方法も、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。

【0081】
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば、光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。

【0082】
また、上述した実施形態は、本発明の好適な実施形態ではあるが、上記実施形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。

【0083】
以上説明した実施形態では、ステップS2において、Haar-like特徴の矩形領域に相当する画像を切り出していた。そして、例えば、図8に表すような隣接する関係の矩形領域の画像のボケ量に対応するスコアの差分を算出していた。

【0084】
この点、Haar-like特徴の矩形領域とは異なる矩形領域の画像を切り出すようにしても良い。例えば、他の矩形領域とは隣接していない位置にある矩形領域の画像を切り出すようにしても良い。また、図8の例では2つの隣接する矩形領域のスコアの差分を算出していたが、例えば、3つの矩形領域のスコアの差分を算出するようにしても良い。例えば、第1の領域、第2の領域及び第3の領域があったとしたならば、第1の領域と第2の領域の差分と、第2の領域と第3の領域の差分とを算出するようにしても良い。

【0085】
また、各領域のスコアの差分を算出するのではなく、各領域のスコアの値に基づいて各領域をラベリングし、ラベリングしたラベルに基づいて弱識別器との比較を行なうようにしても良い。例えば、スコアの値に応じて8つのラベルの何れかにラベリングを行なうようにする。具体的には、スコアの値が第1の値以上第2の値未満であればラベル1、スコアの値が第2の値以上第3の値未満であればラベル2というようにラベリングを行なう。そして、弱識別器のラベルの値と、検出対象画像のラベルの値を比較することにより、物体を検出するようにすると良い。

【0086】
更に、差分を算出するにあたり、各領域の周波数成分に基づくスコアそのものの差分を算出するのではなく、各領域のスコアを自乗した値の差分を算出したり、各領域のスコアの絶対値の差分を算出するようにしても良い。このようにすれば閾値の比較が容易になる場合があるので良い。

【0087】
また、ステップS3においては、窓関数を乗算していたが、窓関数を乗算しないようにしても良い。つまり、ステップS3を行わないようにしても良い。

【0088】
更に、ステップS4では、離散フーリエ変換を行ったが、離散コサイン変換、離散サイン変換又は離散ウェーブレット変換を行なうようにしても良い。

【0089】
更に、ボケ特徴fの算出方法として、矩形内の勾配ヒストグラムの分布に応じてボケ特徴fを算出するようにしても良い。この点、非特許文献2に記載されているように、矩形内の画像がボケているほど勾配ヒストグラムの分布が広がる傾向があることが知られている。つまり、勾配ヒストグラムの分布はボケ度に応じて変化するため、ボケ度を表す指標となる。そこで、勾配ヒストグラムの分布に基づいてボケ特徴fを算出するようにしても良い。

【0090】
更に、ボケ特徴fの算出方法として、矩形内の特徴点の数に応じてボケ特徴fを算出するようにしても良い。この点、対象物を撮像した際に、ボケが少ないほど多くの特徴点が抽出でき、ボケが多くなるにつれて特徴点を抽出することが困難となる。つまり、特徴点の数はボケ度に応じて変化するため、ボケ度を表す指標となる。そこで、特徴点の数に基づいてボケ特徴fを算出するようにしても良い。なお、特徴点を抽出する手法に特に限定はなく、任意の手法を利用することができる。

【0091】
更に、周波数変換によるボケ度の評価、勾配ヒストグラムの分布に応じたボケ度の評価、及び特徴点の数に応じたボケ度の評価を組み合わせるようにしても良い。そして、これらの評価に応じて多数の弱識別器を構築するようにすると良い。このように、ボケ度を多様な方法で評価することにより、より多くの手法で弱識別器を作成し、作成した多くの弱識別器により機械学習を行なうことにより、より検出精度が高い強識別器を作成できる可能性が高くなるので良い。

【0092】
また、矩形内のボケ度の代表値であるスコアの取り方として、上述の説明ではマスク内の領域の周波数成分をマスクの面積で除算することにスコアを算出していた。そうするのではなく、矩形領域内の周波数成分の平均値や中央値をスコアとして算出するようにしても良い。また、矩形内の周波数成分の分布に基づいてボケ度のスコアを推定し、その推定結果に基づいて機械学習を行なうことにより、矩形内の周波数成分の分布からより正確にボケ度のスコアを算出できるようにしても良い。

【0093】
更に、上述の説明では、図7に表すように4分割した領域のうちの1つの領域のみを使って計算を行った。しかし、このようにするのではなく、スコア計算を4分割した領域それぞれに対して行い、その平均値を用いてボケ特徴fを算出するようにしても良い。また上述の式(2)では、scoreAからscoreBを減算することによりscorerectを算出していた。こうするのではなく、scoreAをscoreBで除算することによりscorerectを算出するようにしても良い。

【0094】
更に、上述の説明では、ステップS12においてAdaBoostによる機械学習を行った。これ以外にも他のブースティング手法を用いたり、SVM(support vector machine)による機械学習を行ったり、ニューラルネットワークによる機械学習を行ったりするようにしても良い。

【0095】
更に、ステップS23において、複数の強識別器を組み合わせて物体検出を行なうようにしても良い。例えば、複数の強識別器をカスケード接続して物体検出を行なうようにしても良い。

【0096】
更に、上述の説明では、ステップS24において検出結果を表示部130に表示していた。この点、物体検出装置100自身が表示部130のような表示部を備えるのではなく、物体検出装置100と外部の表示装置と接続し、表示装置に検出結果を表示するようにしても良い。

【0097】
更に、上述の説明では、ボケ特徴fを抽出するために、入力画像に対してステップS1乃至ステップS6のような処理を行っていた。この点、かかるステップS1乃至ステップS6の処理を行なう前に、所定の前処理を行なうようにしても良い。例えば入力画像に対して、ノイズ除去、平滑化、信号強調、統計処理等といった前処理を行なうようにしても良い。

【0098】
本実施形態は、物体の検出の用途に広く好適である。この点、本実施形態は、輝度やRGBほどには検出対象の人物の服装の色合いや日照条件等に影響を受けないボケ量に基づいて物体の検出を行なう。そのため、本実施形態は、人物の服装の色合いが人物毎に異なるような環境下での人物の検出に好適である。また、屋外のような日照条件が変化するような環境下での物体の検出にも好適である。

【0099】
更に、検出対象の物体を検出したい位置にピントが合うようなカメラにより画像を撮像して検出対象画像とする良い。例えば、カメラから10メートル先に自動車が存在することを検出したい、という目的があったとしたならば、カメラから10メートル先にピントが合うようなカメラにより画像を撮像して検出対象画像とする良い。これにより、10メートル先の自動車にピントが合うことになり、ボケ度の差異が明確となるので良い。
【産業上の利用可能性】
【0100】
本発明は、物体の検出の用途に広く好適である。例えば、防犯カメラや監視カメラが撮像した画像からの物体検出に好適である。
【符号の説明】
【0101】
100 物体検出装置
110 制御部
111 特徴抽出部
112 機械学習部
113 物体検出部
120 記憶部
130 表示部
140 入出力部
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9-1】
8
【図9-2】
9
【図9-3】
10