TOP > 国内特許検索 > 画像判別装置及び画像判別方法 > 明細書

明細書 :画像判別装置及び画像判別方法

発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2018-018313 (P2018-018313A)
公開日 平成30年2月1日(2018.2.1)
発明の名称または考案の名称 画像判別装置及び画像判別方法
国際特許分類 G06T   7/00        (2017.01)
G06T   7/60        (2017.01)
G06N   3/02        (2006.01)
G06N   3/08        (2006.01)
FI G06T 7/00 350C
G06T 7/60 110
G06N 3/02
G06N 3/08 180
請求項の数または発明の数 8
出願形態 OL
全頁数 9
出願番号 特願2016-148267 (P2016-148267)
出願日 平成28年7月28日(2016.7.28)
発明者または考案者 【氏名】山崎 公俊
【氏名】ソービ アーノード
出願人 【識別番号】504180239
【氏名又は名称】国立大学法人信州大学
審査請求 未請求
テーマコード 5L096
Fターム 5L096BA05
5L096CA02
5L096EA24
5L096GA19
5L096GA34
5L096JA11
5L096JA13
5L096JA18
5L096JA22
5L096KA04
5L096KA07
5L096MA07
要約 【課題】事前の教材データセットなしに、静止画や動画のデータに対して、被写体のカテゴリの判別を行うことが可能な、画像判別装置及び画像判別方法を提供する。
【解決手段】装置外部から画像データを取得する画像取得部と、前記画像データを、各画素の特徴量に基づいて連結された複数の画素からなる局所領域に分割する局所領域生成部と、前記局所領域の特徴を抽出するパラメータを保持する符号化基準保持部と、前記局所領域を符号化によって低次元化を図る符号化処理部と、前記低次元化された局所領域を、任意の数の集合に分類する領域判別部と、前記領域判別部によって分類された集合に、ラベルを付すラベル付与部と、前記ラベル付与部によって付与されたラベルを、ユーザによって任意の名前で確定するラベル確定部と、領域判別によって判別された各領域を表示する結果表示部と、を備える。
【選択図】図1
特許請求の範囲 【請求項1】
装置外部から画像データを取得する画像取得部と、
前記画像データにおける各画素の特徴量に基づいて連結された複数の画素からなる局所領域に分割する局所領域生成部と、
前記局所領域の特徴を抽出するためのパラメータを保持する符号化基準保持部と、
前記符号化基準保持部が有するパラメータを用いて、前記局所領域を符号化によって低次元化を図る符号化処理部と、
前記符号化処理部によって低次元化された局所領域を、任意の数の集合に分類する領域判別部と、
前記領域判別部によって分類された集合に、ラベルを付すラベル付与部と、
前記ラベル付与部によって付与されたラベルを、ユーザによって任意の名前で確定するラベル確定部と、
前記ラベル確定部によって確定されたラベルを保持するラベル保持部と、
領域判別によって判別された各領域をユーザに示すよう表示する結果表示部と、
を備えることを特徴とする画像判別装置。
【請求項2】
前記ラベル付与部は、それまでラベルの付与されていない集合に対して仮ラベルを付与し、あわせて、前記ラベル確定部によって確定されたラベルが、前記ラベル保持部に保持されている集合に対して、前記確定されたラベルを付与することを特徴とする請求項1記載の画像判別装置。
【請求項3】
前記ラベル付与部は、前記ラベル確定部によって確定されたラベルが、1つの集合に2以上重複して付与される場合、当該重複を解消するよう、前記符号化基準保持部のパラメータを変更することを特徴とする請求項1または2記載の画像判別装置。
【請求項4】
前記符号化処理部による処理に、畳み込み自己符号化器を用いることを特徴とする、請求項1から3のいずれか1項記載の画像判別装置。
【請求項5】
装置外部から画像データを取得する画像取得工程と、
前記画像データにおける各画素の特徴量に基づいて連結された複数の画素からなる局所領域に分割する局所領域生成工程と、
装置中の符号化基準保持部が有するパラメータを用いて、前記局所領域を符号化によって低次元化を図る符号化処理工程と、
前記符号化処理工程によって低次元化された局所領域を、任意の数の集合に分類する領域判別工程と、
前記領域判別工程によって分類された集合に、ラベルを付すラベル付与工程と、
領域判別によって判別された各領域をユーザに示すよう表示する結果表示工程と、
を備えることを特徴とする画像判別方法。
【請求項6】
前記ラベル付与工程によって付与されたラベルを、ユーザが任意の名前で確定するラベル確定工程と、
をさらに備えることを特徴とする、請求項5記載の画像判別方法。
【請求項7】
前記ラベル確定工程によって確定されたラベルが、1つの集合に2以上重複して付与された場合、当該重複を解消するよう、前記符号化基準保持部が有するパラメータを変更するパラメータ変更工程と、
をさらに備えることを特徴とする、請求項5または6記載の画像判別方法。
【請求項8】
前記符号化処理工程による処理に、畳み込み自己符号化器を用いることを特徴とする、請求項5から7のいずれか1項記載の画像判別方法。

発明の詳細な説明 【技術分野】
【0001】
本発明は、画像判別技術に関し、特に、任意の画像から領域を抽出し、各領域の特徴に基づいて、被写体を判別する装置に関する。
【背景技術】
【0002】
近年、コンピュータによる一般物体認識技術は著しく進歩しており、これには、畳み込みニューラルネットワーク(Convolutional Neural Network、CNNs)の研究が大きく寄与している。CNNsは、古典的な多層パーセプトロンの延長であり、脳の視覚野の構造に基づいて、画像中の特徴の抽出を行う畳み込み層を有する、多層のニューラルネットワークである(非特許文献1)。
【先行技術文献】
【0003】

【特許文献1】特開2015-100110号公報
【0004】

【非特許文献1】Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner. Gradient-based learning applied to document recognition. Proc. of the IEEE, pages 2278-2324,1998.
【非特許文献2】Jonathan Masci, Ueli Meier, Dan Ciresan, and Jurgen Schmidhuber. Stacked Convolutional Auto-Encoders for Hierarchical Feature Extraction. Artificial Neural Networks and Machine Learning - ICANN 2011. Volume 6791 of the series Lecture Notes in Computer Science pp 52-59. 2011.
【非特許文献3】G. Mori, Guiding Model Search Using Segmentation, IEEE International Conference on Computer Vision, 2005.
【非特許文献4】Martin Ester , Hans-peter Kriegel , Jorg Sander , Xiaowei Xu,A density-based algorithm for discovering clusters in large spatial databases with noise,AAAI Press,p226--231,1996
【非特許文献5】Mihael Ankerst, Markus M. Breunig, Hans-Peter Kriegel, Jorg Sander. OPTICS: Ordering Points To Identify the Clustering Structure. ACM SIGMOD international conference on Management of data. ACM Press. pp. 49-60. 1999.
【発明の概要】
【発明が解決しようとする課題】
【0005】
CNNsを用いた一般物体認識では、コンピュータが画像認識を行うために学習するための大量のラベル付け(アノテーション)された教材データセットが必要となる。しかし、予め状況を予測することが困難な状況、例えば、災害時に倒壊した施設内部等においては、教材データセットの蓄積はなく、また、適切な教材データセットを作成することも困難である。
【課題を解決するための手段】
【0006】
上記の課題を解決するため、本発明者らは、CNNsが本来有する強みと、「Active Learning Approach」の考え方を組み合わせて、教師なし学習を原則として、ユーザからの最小限のフィードバックにより学習することで、事前の教材データセットなしに画像の領域分割と被写体の種別を行うことが可能な装置を見出し、本発明を完成させるに至った。本発明は、事前の教材データセットなしに、静止画や動画のデータに対して、被写体のカテゴリの判別を行うことが可能な、画像判別装置及び画像判別方法を提供することを目的とする。
【0007】
即ち請求項1記載の本発明は、装置外部から画像データを取得する画像取得部と、前記画像データにおける各画素の特徴量に基づいて連結された複数の画素からなる局所領域に分割する局所領域生成部と、前記局所領域の特徴を抽出するためのパラメータを保持する符号化基準保持部と、前記符号化基準保持部が有するパラメータを用いて、前記局所領域を符号化によって低次元化を図る符号化処理部と、前記符号化処理部によって低次元化された局所領域を、任意の数の集合に分類する領域判別部と、前記領域判別部によって分類された集合に、ラベルを付すラベル付与部と、前記ラベル付与部によって付与されたラベルを、ユーザによって任意の名前で確定するラベル確定部と、前記ラベル確定部によって確定されたラベルを保持するラベル保持部と、領域判別によって判別された各領域をユーザに示すよう表示する結果表示部と、を備えることを特徴とする画像判別装置である。
【0008】
また請求項2記載の本発明は、前記ラベル付与部は、それまでラベルの付与されていない集合に対して仮ラベルを付与し、あわせて、前記ラベル確定部によって確定されたラベルが、前記ラベル保持部に保持されている集合に対して、前記確定されたラベルを付与することを特徴とする、請求項1記載の画像判別装置である。
【0009】
また請求項3記載の本発明は、前記ラベル付与部は、前記ラベル確定部によって確定されたラベルが、1つの集合に2以上重複して付与される場合、当該重複を解消するよう、前記符号化基準保持部のパラメータを変更することを特徴とする請求項1または2記載の画像判別装置である。
【0010】
また請求項4記載の本発明は、前記符号化処理部による処理に、畳み込み自己符号化器を用いることを特徴とする、請求項1から3のいずれか1項記載の画像判別装置である。
【0011】
また請求項5記載の本発明は、装置外部から画像データを取得する画像取得工程と、前記画像データにおける各画素の特徴量に基づいて連結された複数の画素からなる局所領域に分割する局所領域生成工程と、装置中の符号化基準保持部が有するパラメータを用いて、前記局所領域を符号化によって低次元化を図る符号化処理工程と、前記符号化処理工程によって低次元化された局所領域を、任意の数の集合に分類する領域判別工程と、前記領域判別工程によって分類された集合に、ラベルを付すラベル付与工程と、領域判別によって判別された各領域をユーザに示すよう表示する結果表示工程と、を備えることを特徴とする画像判別方法である。
【0012】
また請求項6記載の本発明は、前記ラベル付与工程によって付与されたラベルを、ユーザが任意の名前で確定するラベル確定工程と、をさらに備えることを特徴とする、請求項5記載の画像判別方法である。
【0013】
また請求項7記載の本発明は、前記ラベル確定工程によって確定されたラベルが、1つの集合に2以上重複して付与された場合、当該重複を解消するよう、前記符号化基準保持部が有するパラメータを変更するパラメータ変更工程と、をさらに備えることを特徴とする、請求項5または6記載の画像判別方法である。
【0014】
また請求項8記載の本発明は、前記符号化処理工程による処理に、畳み込み自己符号化器を用いることを特徴とする、請求項5から7のいずれか1項記載の画像判別方法である。
【発明の効果】
【0015】
本発明によれば、画像の被写体について、事前教材データセットなしに、かつ、ユーザからの少ないフィードバックで判別することが可能な画像判別装置を提供することが可能である。
【図面の簡単な説明】
【0016】
【図1】実施形態の一例に係る画像判別装置の機能構成図である。
【図2】畳み込み自己符号化器のイメージである。
【図3】実施形態の一例に係る画像判別装置のハードウェア構成である。
【図4】実施形態の一例における認識処理の流れを示すフローチャートである。
【図5】入力画像の例と、スーパーピクセル生成を行った画像の例である。
【図6】領域生成部によるクラスタリングのイメージである。
【図7】結果表示部による結果表示画面のイメージである。
【発明を実施するための形態】
【0017】
以下、本発明に係る画像判別装置及び画像判別方法の実施の形態について説明する。

【0018】
(装置構成)
図1は、本実施形態に係る画像判別装置の機能構成図である。本実施形態に係る画像判別装置は、外部から入力された画像を処理して、画像の被写体それぞれを対象物、カテゴリごとに判別して出力する。本実施形態に係る画像判別装置は、画像取得部100、局所領域生成部110、符号化処理部120、符号化基準保持部160、領域判別部130、結果表示部140から構成される。

【0019】
画像取得部100は、本実施形態に係る装置のインタフェースの役割を果たす部分であり、装置に備えられたデータ入力部、または外部入力装置から判別対象の画像を取得し、これを局所領域生成部110に送る。前記データ入力部の例としては、画像をデータとして取り込むためのネットワークインタフェース等が挙げられ、外部入力装置の例としては、カメラ、ビデオカメラ等が挙げられる。

【0020】
局所領域生成部110は、画像取得部100によって取得された画像を入力し、前記画像のそれぞれの画素の特徴量に基づいて連結された複数の画素からなる局所領域に分割する。また、以降の処理で、当該画像で前記局所領域を画素単位として扱うよう記録した上で、符号化処理部120に送る。局所領域は、スーパーピクセルとも呼ばれ、所定の特徴量の類似する画素の集合をいう。特徴量の例としては、RGB、CMYK、HSL、線情報、形状情報等が挙げられる。入力される画像は、1枚の静止画でも良く、また複数の静止画が連続的に入力される動画でも良いが、特に、本発明においては、処理する画像の枚数が増えるにつれて、判別結果をよりユーザの感覚に近づけることが可能であるため、動画について、好適に処理が可能である。

【0021】
符号化処理部120は、局所領域生成部110から入力された画像の局所領域について、所定のパラメータに基づく符号化によって低次元化を図る。符号化とは、デジタルデータを一定の規則に従って、目的に応じた符号に変換することであり、エンコードともいう。符号化処理のアルゴリズムとしては、ニューラルネットワークを用いた自己符号化器(Auto Encoder)が好適に適用可能である(非特許文献2)。これにより、各局所領域について、パラメータの最適化を行う。一方で、パラメータの最適化と交互もしくは独立に、局所領域を低次元化表現することが可能になる。符号化処理部120の例としては畳み込み自己符号化器(Convolutional Auto Encoder)が好適に適用される。図2に畳み込み自己符号化器のイメージを示す。

【0022】
符号化基準保持部160は、符号化処理部120で低次元化を行う際に使用するパラメータを記録する。パラメータは、符号化処理部120から参照されるほか、符号化処理部120による最適化処理によって適宜更新され、入力画像をよりユーザの判断基準に近い判別が行えるようにする。符号化基準保持部内のパラメータ更新は、基本的に符号化処理部120の処理ごとに随時行われるほか、例えば、ユーザがラベルを確定させた後、その後の領域判別処理に齟齬が生じた場合に、パラメータを漸次変更して、判別基準をユーザの感覚に近づける。

【0023】
領域判別部130は、符号化処理部120によって低次元化されたデータの集合を、類似する任意の数の集合に分類する。各集合は、符号化処理部120によって低次元化された時点において、類似する性質を有しており、この判別結果は、画像中の被写体判別結果に対応する。例えば、分類された集合はクラスタとも呼ばれ、この分類処理はクラスタリングともいう。分類されたデータは、仮のラベルまたは確定ラベルを付与するため、ラベル付与部140に受け渡される。

【0024】
ラベル付与部140は、領域判別部130によって判別された各集合に対して、それぞれ所定のラベルを付与する。付与されるラベルは、ラベル保持部210に記録されたユーザによる確定ラベルから参照されるほか、付与すべきラベルが存在していない場合には、所定の仮ラベルから任意に付与する。

【0025】
ラベル保持部210は、ラベル付与部がラベル付与を行う際に使用する確定ラベルを記録する。確定ラベルは、ユーザが結果表示部160に表示された判別結果を確認し、自身の判断によって任意の名前で付与するラベルであり、ユーザ自身で変更、更新を行うことはできるが、画像判別装置の判断で更新を行うことはできない。

【0026】
結果表示部150は、領域判別によって判別され、それぞれラベルが付された各集合をユーザに示すよう表示する。表示は、例えばディスプレイ画面上などで判別結果が分かる形態で行われ、これによりユーザは、画像判別装置による判別結果を、局所領域ごとに確認することができる。ユーザが判別結果を確認した結果、任意の局所領域の判別結果、自身の判別で確定する場合、これを画像判別装置に示すため、後のラベル確定部160によって、当該局所領域に確定したラベルを付与しても良い。付与される確定されたラベルとしては、「柱」や「壁」などのユーザの判別結果と対応したものが挙げられる。ユーザによって確定された確定ラベルは、ラベル保持部に記録され、その後の処理において、ラベル付与部140によって参照される。

【0027】
(ハードウェア構成)
図3に、本実施形態に係る画像判別装置のハードウェア構成を示す。画像判別装置に用いるハードウェアとしては、一般的なパーソナルコンピュータ装置を用いることが可能である。この場合、装置は、画像取得部としての外部インタフェースと、その他の機能を記憶し、実行するための、ハードディスクドライブ(HDD)、半導体メモリ等の記憶装置、演算処理を行うCPU、処理の途中情報を保持するためのメモリ(RAM)、判別結果を出力するためのディスプレイ等を備える。また、並列処理を行うため、グラフィックス プロセッシング ユニット(GPU)を備えていても良い。

【0028】
(判別処理の説明)
図4は、本実施形態における認識処理の流れを示すフローチャートである。以下に、図4のフローチャートに従って本実施形態に係る画像判別装置の具体的な処理について述べる。

【0029】
ステップS100では、判別対象となる画像が入力される。入力の方法は、カメラ等の外部装置によりリアルタイムに入力されることも可能であり、予め記憶装置等に記憶された画像データを入力することも可能である。入力される画像の形式は、静止画および動画の場合があり、動画の場合には、フレームごとに画像の判別処理を行う。

【0030】
ステップS110では、入力された画像データをそれぞれの画素の特徴量に基づいて連結された複数の画素からなる局所領域(スーパーピクセル)に分割する。スーパーピクセル生成のアルゴリズムは当業者が既知の方法から任意に選択可能であり、例えば、特許文献1、非特許文献3等の方法が挙げられる。本ステップ以降の処理では本ステップで生成したスーパーピクセルを画像の要素単位として扱う。図5に入力画像の例と、スーパーピクセル生成を行った画像の例を示す。図中、左画像が入力画像であり、右画像が処理画像である。図から、入力画像が局所領域(スーパーピクセル)に分割されている様子が確認される。

【0031】
ステップS120では、入力された局所領域について、符号化によって低次元化を図る。符号化処理のアルゴリズムとしては、例えば、畳み込みニューラルネットワークを用いた自己符号化器が好適に適用可能である。CNNsを適用した場合には、各局所領域について、符号化器による最適化を行いながら、判別を行うためのパラメータを学習させると同時に、前記パラメータに基づいて、各局所領域を低次元化表現することが可能になる。CNNsでは、符号化器の入力データと出力データは同一であり、前記パラメータを用いることで、低次元化された画像から、入力画像を復元することが可能である。なお、ここで学習されたパラメータは、その後適宜に更新され、ユーザの判断基準に近づくよう最適化される。

【0032】
ステップS130では、低次元化されたデータの集合を、類似する任意の数の集合に分類する。具体的な処理としては、N次元のデータに符号化処理された局所領域データを、N次元の空間上にマッピングして、その後、所定のクラスタリングのアルゴリズムを用いて、各データを距離によって分類する。クラスタリングのアルゴリズムの例としては、当業者に既知の手法から任意のものが選択可能であり、代表的な例としては、K-Means、DBSCAN(非特許文献4)、Mean-shift、OPTICS(非特許文献5)が挙げられ、特にOPTICSが望ましい。図6にクラスタリングのイメージを示す。出力されたクラスタは、それぞれが画像中の被写体と対応しており、例えば、同一クラスタをつなぎ合わせることで、画像中におけるそれぞれの対象物であると判別することが可能となる。

【0033】
ステップS140では、被写体ごとに判別された各局所領域に対して、それぞれ所定のラベルを付与する。ラベル付与に際しては、ラベル付与部140は自身に接続されたラベル保持部210を参照し、対象となるクラスタと類似する性質を持つ、確定ラベルを付与された局所領域があるか確認する。ここで、ラベル保持部210には、以降の処理において、ユーザによって任意の集合について付与された、確定ラベルが記録されている。確認の結果、対象となる集合に付与すべき確定ラベルが確認された場合には、当該確定ラベルを対象となる集合に付与する。

【0034】
上記検索の結果、ラベル保持部210内に、対象となる集合に、確定ラベルが付された局所領域が含まれていない場合には、当該対象には、一時的な仮ラベルを付与して、次の処理へ進むこととなる。反対に、対象となる集合に付与すべき確定ラベルが2以上確認された場合には、画像判別装置による判別結果が、ユーザの感覚と乖離していると認められるため、符号化基準保持部200に記録されたパラメータを更新する。その後、確定ラベルもしくは仮ラベルが付与された集合は、ユーザに結果を通知するため、結果表示を行うステップS150に受け渡される。

【0035】
ステップS150では、各局所領域が被写体ごとに判別された結果を表示してユーザに示す。表示方法は、例えば、局所領域の画像を、クラスタごとに所定の色やテキストを付して表示し、どの領域が一つの被写体であるかとユーザが区別できる形式で表示する。ユーザは、表示された判別結果を確認し、自らも被写体の判別を行うことができる。ユーザによる判別の結果、任意の領域が所定の被写体であるとユーザが判断した場合には、例えば、結果表示部に表示されたラベル確定部から、確定ラベルを付与する。確定ラベルが付与された場合には、画像判別装置は、当該確定ラベルをラベル保持部210に記録し、ラベル付与ステップS140によって参照される確定ラベルとして、以降の画像または領域を処理する際に使用される。

【0036】
本実施形態に係る画像判別装置では、例えば局所領域の低次元化に自己符号化器を適用した場合には、判別装置自らが判別基準を学習し、最適化しながら局所領域の判別を行うため、ユーザがあらかじめ提供した教材を用いた事前学習処理を行わなくても、画像判別を行うことが可能である。ただし、判別結果は必ずしもユーザの判別基準と一致するものではなく、低次元化を行う際のパラメータ如何によっては、画像中の領域をユーザの認識と異なる被写体であると判別する可能性がある。この場合、例えば、ユーザは、判別結果が自身の判断で確定させるステップS160を設け、その結果を以降の処理に反映させることで修正することが可能である。図7に結果表示画面のイメージを示す。図から、判別されたクラスタが、システムによって一つの物体であると推測されている様子が確認できる。

【0037】
以上により、本実施形態に係る画像判別装置を用いて、カメラ等から入力された画像について、ユーザの判断を参照しながら、人間の判断に近い判断で被写体を分類することが可能となる。本発明では、前記実施形態に係る機能を実現するプログラムをネットワーク又は記憶媒体を介して、コンピュータ等の装置に供給して、当該システムのCPUやGPUが当該プログラムを読みだして実行する形態で実行することが可能である。
【産業上の利用可能性】
【0038】
本発明に係る画像判別装置を使用することで、例えば、災害現場等で人間が立ち入ることが困難な環境下において、無人ロボットによる調査を行う場合に、倒壊した建材、瓦礫、要救助者等を判別することが可能となり、より迅速な救助に資することが可能になる。
【符号の説明】
【0039】
100 画像取得部
110 局所領域生成部
120 符号化処理部
130 領域判別部
140 ラベル付与部
150 結果表示部
160 ラベル確定部
200 符号化基準保持部
210 ラベル保持部


図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6