Top > Search of Japanese Patents > IMAGE SPLIT PROCESSING METHOD, IMAGE SPLIT PROCESSOR, REAL- TIME IMAGE PROCESSING METHOD, REAL-TIME IMAGE PROCESSOR, AND IMAGE PROCESSING INTEGRATED CIRCUIT

IMAGE SPLIT PROCESSING METHOD, IMAGE SPLIT PROCESSOR, REAL- TIME IMAGE PROCESSING METHOD, REAL-TIME IMAGE PROCESSOR, AND IMAGE PROCESSING INTEGRATED CIRCUIT foreign

Patent code P110004747
Posted date Aug 18, 2011
Application number P2002-152491
Publication number P2003-346142A
Patent number P3689740
Date of filing May 27, 2002
Date of publication of application Dec 5, 2003
Date of registration Jun 24, 2005
Inventor
  • (In Japanese)小出 哲士
  • (In Japanese)マタウシュ・ハンスユルゲン
  • (In Japanese)森本 高志
  • (In Japanese)原田 洋明
Applicant
  • (In Japanese)国立大学法人広島大学
Title IMAGE SPLIT PROCESSING METHOD, IMAGE SPLIT PROCESSOR, REAL- TIME IMAGE PROCESSING METHOD, REAL-TIME IMAGE PROCESSOR, AND IMAGE PROCESSING INTEGRATED CIRCUIT foreign
Abstract PROBLEM TO BE SOLVED: To realize, in real time, an image split processing for a natural image.
SOLUTION: After a cell i corresponding to each pixel is temporarily initialized to a non-igniting state, a joint weight Wik for eight cells k adjacent to the cell i is calculated, and based on the results of the calculation, a cell pi=1 allowing a self-ignition is determined (a). Next, one self-ignitable cell not yet ignited is selected to prepare a leader cell (b). Then, the leader cell selected by a self-igniting processing is brought in an igniting state (c), an ignitable cell is selected based on the joint weight between the adjacent cells by an ignitable cell detection processing (d), and the cell selected by an ignition processing is brought into an ignition state (e). The operations above are performed repeatedly until any ignitable cell is not selected. When the ignitable cell is not present, an extinguishing processing is performed (f), and an image splitting for one area is completed. These operations are performed until the leader cell becomes absent.
Outline of related art and contending technology (In Japanese)

近年、知的情報処理技術の実現に向けての画像認識処理技術の要求が高まってきている。特に、人間に近い動作・判断をする知能ロボットの実現やリアルタイムでの顔認識や移動物体認識においては、カメラ等から取り込んだ視覚情報(自然画像の情報)を高速に処理する必要がある。視覚情報は一般に情報量が膨大であるために、汎用の計算機等で処理する場合、かなり長い処理時間が必要となる。特にロボットにおける制御や画像認識においては、視覚情報処理に対する処理時間に対する要求が厳しくなり、リアルタイムでの高速処理が必要とされる。

画像認識などの画像処理を行うための基本的かつ不可欠な処理として、いわゆる画像分割処理(Image segmentation)がある。この画像分割処理は、入力として取り込んだ複雑な自然画像から個々の対象物(例えば、人間の顔や車などの移動物体)を取り出す処理であり、画像認識などの画像処理を行うための基本的かつ不可欠な処理である。これまでに様々な画像分割手法が提案されており、それらの手法は、
(1)輪郭線に基づく方法(参考文献1:J. C. Russ, “The Image Processing Handbook”, CRC PRESS (1999) 、参考文献2:S. Sarker and K. L. Boyer, “Integration inference, and management of speatial information using Bayesian networks: Perceputual organization”, IEEE Trans. Pattern Anal. Machine Intell., Vol.15, pp.256-274 (1993) )、
(2)領域に基づく方法(参考文献1)、
(3)その両方を組み合わせた方法(参考文献1)や組み合わせ最適化問題に定式化する方法(参考文献3:S. M. Bhandarkar and H. Zhang, “Image segmentation using evolutionary computation”, IEEE Trans. on Evolutionary Computation, Vol.3, No.1, (1999) )
などに大まかに分類することができる。これらの画像分割手法の中で、(2)の領域成長型は対象物を精度良く分割することができる方法として注目されている。

しかしながら、これまでに提案されているカラー、グレースケール画像に対する画像分割手法は、ソフトウェアでの処理を前提としているため、複雑な処理を必要とし、多大な処理時間がかかる。また、アルゴリズムが複雑になり、ハードウェアとして小面積で実現することが難しいため、リアルタイム(数msec程度)での処理が困難である。さらに、カラー、グレースケールの自然画像を分割するためには、各々専用のアルゴリズムが必要である。

これに対して、2値画像に対しては、これまでに高速なラベリングを実現するためのいくつかのハードウェアが提案されている(例えば、参考文献4:E.Mozef et al., “Parallel architecture dedicated to image component labeling in O(nlogn): FPGA implementation”, Proceedings of SPIE, Vol.2784, pp.120-125,(1996) 、参考文献5:Y.Ishiyama et al., “Labeling board based on boundary tracking”, Systems and Computers in Japan, Vol.26, No.14, pp.67-76, (1995)、参考文献6:石山他, “境界追跡型ラベリングボード”, 電子情報通信処理学会論文誌D-II, Vol.J78-D-II, No.1, pp.69-75, (1995) 、参考文献7:S.D.Jean et al., “New algorithm and its VLSI architecture design for connected component labeling”, Proceedings of Int’l Symp. on Cir. &Sys. (ISCAS), Part 2 (of 6), pp.565-568, (1994) )。

しかし、これらの方法は2値画像に特化したものであり、各ピクセルに対して1bit の値のみを取り扱うため、カラー、グレースケールの自然画像にそのまま適用することは困難である。

これまでに、D. L. Wang らにより、グレースケールの画像に対して振動子ネットワークモデルLEGION(Locally Excitatory Globally Inhibitory Oscillator Network)に基づく画像分割アルゴリズムが提案されている(参考文献8:D. L. Wang and D. Terman, “Image segmentation based on oscillator correlation”, Neural Computation, Vol.9, No. 4, pp.805-836 (1997) )。

このモデルでは、分割する画像の画素に振動子を対応させ、振動子ネットワークの非線形ダイナミクスを用いて、各振動子の同期・非同期振動状態により画像分割を行う。但し、これを直接実現するためには、1画素当たりで複数の微分方程式を解く必要があり、画像分割の精度は良いが処理時間がかかる。そのため、リアルタイム処理を実現するためには、ハードウェア化による高速化が必要となる。

そこで、グレースケール画像に対して、LEGIONに基づく振動子ネットワークの非線形ダイナミクスを、アナログ回路を用いて実現する方法(参考文献9:H. Ando, T. Morie, M. Nagata and A. Iwata, “Oscillator networks for image segmentation and their circuits using pulse modulation methods”, Proc. 5th International Conference on Neural Information Processing (ICONIP’98), pp. 586-589, Kitakyushu, Oct. 21, (1998) 、参考文献10:H. Ando, T. Morie, M. Nagata and A. Iwata, “A nonlinear oscillator network for graylevelimage segmentation and PWM/PPM circuits for its VLSI implementation”, IEICE Trans. Fundamentals, Vol. E83-A, No. 2, pp. 329-336, (2000) )が提案されている。

しかし、上記のようなアナログ回路による方法では、アナログ量の記憶に容量(キャパシタ)を用いるめ、必要な大きさの容量を実現するためにキャパシタの面積が大きくなり、今後の集積化技術の進歩に対して小面積化と高速化の点において限界がある。また、アナログ量を取り扱うことから、製造プロセスのばらつきの影響を受けるため、多くの注意を払わなければならず、最先端の製造技術によってもLSIチップ化を実現することは容易ではないという問題点がある。

Field of industrial application (In Japanese)

本発明は、例えば画像認識システム、動体検出システム、ディジタルカメラ、ディジタルビデオカメラ、ロボットビジョン、顔認識による認証システム、セキュリティシステム、人工知能システム等における画像分割・抽出のためのソフトウェア並びに画像分割・抽出集積回路として適用可能な画像分割処理装置、リアルタイム画像処理装置、画像処理方法及び画像処理集積化回路に関する。

Scope of claims (In Japanese)
【請求項1】
 
入力画像から画素単位で互いに同一の範疇に属する領域を特定して画像分割領域として識別する画像分割処理方法において、
前記入力画像の各画素に対応する個々の画像分割処理ユニットであるセルを非発火状態とし、前記セルに対応する画素の画素値を順次取り込み、隣接する複数のセル間それぞれの結合重みを計算し、各計算結果に基づいて自己発火可能であるセルを決定する初期化過程と、
前記初期化過程で決定された自己発火可能セルの一つを順に選択しリーダセルとして決定するリーダセル決定過程と、
前記リーダセル決定過程で決定されたリーダセルを発火状態とする自己発火過程と、
前記リーダセルとこれに隣接するセルと間の結合重みに基づいて、隣接セルの中から発火可能なセルを検出する発火可能セル検出過程と、
この発火可能セル検出過程で検出されたセルを発火状態とする引火過程と、
前記発火可能セル検出過程で該当セルが検出されない場合に発火状態のセルを鎮火状態とする鎮火処理過程とを具備し、
前記発火可能セル検出過程で該当セルが検出されなくなるまで前記リーダセル決定過程、自己発火過程の処理を繰り返し行うことで1つの領域の画像分割処理を完了し、
前記リーダセル決定過程で非発火状態のリーダセルがなくなるまで前記各過程の処理を繰り返し行うことで全ての領域の画像分割処理を完了することを特徴とする画像分割処理方法。

【請求項2】
 
入力画像から画素単位で互いに同一の範疇に属する領域を特定して画像分割領域として識別する画像分割処理方法において、
前記入力画像の各画素に対応する個々の画像分割処理ユニットであるセルi(iはセル番号)について、セルiの画素値をIi 、セルiの発火、非発火の状態を示す変数をxi 、自己発火の可否を示す変数をpi 、隣接セルi,k間の結合重みをWik 、自己発火可否を判別する閾値をφp 、発火可能を判別する閾値をφz 、各セルの状態変化の有無を表す変数をzi 、全てのセルのzi の値の論理和に基づいて発火中のセルが存在するかどうかを決定するためのグローバル抑制子の変数をzと定義し、
前記画像分割セルiの変数xi をxi =0(非発火)とし、前記セルiに対応する画素の画素値Ii を順次取り込み、隣接する複数のセルi,k間それぞれの結合重みWik を計算し、各計算結果の総和が閾値φp より大きい場合にはpi =1(自己発火可能)、閾値φp に等しいまたはそれより小さい場合にはpi =0(自己発火不可能)に初期化し、さらにグローバル抑制子の変数zをz=0に初期化する初期化過程と、
前記初期化過程で決定されたpi =1(自己発火可能)のセルの中から非発火のセルを一つ順に選択しリーダセルとして決定するリーダセル決定過程と、
前記リーダセル決定過程で決定されたリーダセルiをxi =1(自己発火)とし、zi =1とする自己発火過程と、
前記リーダセル決定過程で決定されたリーダセル以外のセルiに対して、セルiに隣接する発火状態のセルk(xk =1)の間の結合重みWik の総和が閾値φz より大きい場合に、セルiを発火可能セルとして検出する発火可能セル検出過程と、
この発火可能セル検出過程で検出された全てのセルiの変数xi をxi =1(発火状態)とし、同時にzi =1とする引火過程と、
前記引火過程において発火したセル以外の既に発火状態(xi =1かつzi =1)にあるセルiに対して、セルiの状態変数ziをzi =0(状態無変化)とする状態変化検出過程と、
前記発火可能セル検出過程で該当セルが検出されない場合にxi =1(発火状態)のセルをxi =0、zi =0とし、pi =1の場合にはpi =0(鎮火状態)とする鎮火処理過程とを具備し、
前記発火可能セル検出過程で該当セルが検出されなくなるまで前記リーダセル決定過程、自己発火過程、発火可能セル検出過程、状態変化検出過程の処理を繰り返し行うことで1つの領域の画像分割処理を完了し、
前記リーダセル決定過程で非発火状態のリーダセルがなくなるまで前記各過程の処理を繰り返し行うことで全ての領域の画像分割処理を完了することを特徴とする画像分割処理方法。

【請求項3】
 
前記入力画像がグレースケール画像の場合には、前記画素値として輝度値を用いることを特徴とする請求項1または2記載の画像分割処理方法。

【請求項4】
 
前記入力画像がカラー画像の場合には、前記画素値として色情報を用いることを特徴とする請求項1または2記載の画像分割処理方法。

【請求項5】
 
入力画像から画素単位で互いに同一の範疇に属する領域を特定して画像分割領域として判別し、任意の画像分割領域の画像を選択的に出力する画像分割処理装置において、
入力画像の各画素値を保存する入力画像メモリと、
この入力画像メモリから各画素値を順に読み出し、各画素に対応する個々の画像分割セルについて、パイプライン処理により隣接するセルとの結合重みを計算する結合重み計算回路と、
この結合重み計算回路で計算された結合重みを基に各隣接セルとの結合重みの総和が基準値を超えるセルをリーダセルとして決定するリーダセル決定回路と、
前記入力画像の各画素に対応し非発火、自己発火可能、発火の状態を遷移する画像分割セルと前記結合重み計算回路で得られるセル間の結合重みを保持する結合重みレジスタを交互にアレイ状に配列し、各セルが隣接配置される結合重みレジスタの保持値から自己発火可能か否かを判定する判定手段を備え、前記判定手段で自己発火可能な状態にあるセルのうち前記リーダセル決定回路で決定されたリーダセルを発火状態とし、その隣接セルの中から発火可能なセルを選択して発火状態として発火領域を広げることで画像分割領域を判別する画像分割セルネットワークと、
この画像分割セルネットワークにより画像分割領域が判別された全セルの情報を保存する分割領域保存回路と、
この分割領域保存回路の保存内容に基づいて任意の画像分割領域の各セルに対応する画素値を保存する出力画像メモリとを具備することを特徴とする画像分割処理装置。

【請求項6】
 
前記結合重み計算回路は、前記入力画像メモリから個々のセルについて当該セルと隣接セルそれぞれに対応する画素値を取り込んで隣接セル間の結合重みを並列計算し、各セルの隣接セルとの結合重みをパイプライン処理で計算することを特徴とする請求項5記載の画像分割処理装置。

【請求項7】
 
前記結合重みの計算に際し、エンコーダを用いてビット数を低減することを特徴とする請求項6記載の画像分割処理装置。

【請求項8】
 
前記リーダセル決定回路は、前記結合重み計算回路から各セルについて対応する結合重みを取り込み、パイプライン処理によってリーダセルを順次決定することを特徴とする請求項5記載の画像分割処理装置。

【請求項9】
 
前記画像分割セルネットワークは、シフトレジスタを用いて全てのセル及び結合重みレジスタにデータを転送することを特徴とする請求項5記載の画像分割処理装置。

【請求項10】
 
前記画像分割セルネットワークは、バスを用いて全てのセル及び結合重みレジスタにデータを転送することを特徴とする請求項5記載の画像分割処理装置。

【請求項11】
 
前記画像分割セルネットワークは、前記結合重みレジスタとして垂直方向及び斜め方向のセル間の結合重みを格納する垂直結合重みレジスタ及び水平方向及び斜め方向のセル間の結合重みを格納する水平結合重みレジスタを各セル間に交互に配列し、隣接セル間で同じ結合重みを共有するようにしたことを特徴とする請求項5記載の画像分割処理装置。

【請求項12】
 
前記結合重みレジスタは、前記結合重み計算回路からの結合重みデータを、ビット数を許容ビット数に低減して格納することを特徴とする請求項5記載の画像分割処理装置。

【請求項13】
 
前記画像分割セルネットワークの各セルは、発火可能の判定処理に要する加減算を隣接するセルの数だけ個別に用意した加算器及び1つの減算器により並列処理することを特徴とする請求項5記載の画像分割処理装置。

【請求項14】
 
前記画像分割セルネットワークの各セルは、発火可能の判定処理に要する加減算をk(k<隣接するセル数)個の加減算器とレジスタにより逐次的に処理することを特徴とする請求項5記載の画像分割処理装置。

【請求項15】
 
前記画像分割セルネットワークは、
前記リーダセル決定回路で決定されたリーダセルを発火状態とする自己発火過程と、
前記リーダセルとこれに隣接するセルと間の結合重みに基づいて、隣接セルの中から発火可能なセルを検出する発火可能セル検出過程と、
この発火可能セル検出過程で検出されたセルを発火状態とする引火過程と、
前記発火可能セル検出過程で該当セルが検出されない場合に発火状態のセルを鎮火状態とする鎮火処理過程とを有する制御手段を備え、
前記制御手段により、前記発火可能セル検出過程で検出される該当セルについて自己発火過程の処理を並列的に行うことで1つの領域の画像分割処理を完了し、前記リーダセルのうち非発火のセルに対して前記各過程の処理を順に行うことで全ての領域の画像分割処理を完了することを特徴とする請求項5記載の画像分割処理装置。

【請求項16】
 
前記入力画像がグレースケール画像の場合には、前記画素値として輝度値を用いることを特徴とする請求項5記載の画像分割処理装置。

【請求項17】
 
前記入力画像がカラー画像の場合には、前記画素値として色情報を用いることを特徴とする請求項5記載の画像分割処理装置。

【請求項18】
 
請求項1乃至4のいずれか記載の画像分割処理方法を採用して、入力画像の画像分割処理をリアルタイムに実行することを特徴とするリアルタイム画像処理方法。

【請求項19】
 
請求項5乃至17のいずれか記載の画像分割処理装置を含み、入力画像の画像分割処理をリアルタイムに実行することを特徴とするリアルタイム画像処理装置。

【請求項20】
 
請求項5乃至17のいずれか記載の画像分割処理装置を含む画像処理装置をディジタル回路構成で集積回路化したことを特徴とする画像処理集積回路。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2002152491thum.jpg
State of application right Registered
Reference ( R and D project ) (In Japanese)小出哲士のホームページ


PAGE TOP

close
close
close
close
close
close
close