【特許文献1】特願2002-152491号 【非特許文献1】S. M. Bhandarkar and H. Zhang, “Image segmentation using evolutionary computation”, IEEE Trans. on Evolutionary Computation, Vol.3, No.1, (1999). 【非特許文献2】H. Ando, T. Morie, M. Nagata, and A. Iwata, “A nonlinear oscillator network for gray-level image segmentation and PWM/PPM circuits for its VLSI implementation”, IEICE Transactions on Fundamentals, E83-A(2), pp.329-336, 2000. 【非特許文献3】H. Ando, T. Morie, M. Miyake, M. Nagata, and A. Iwata, “Image segmentation/extraction using nonlinear cellular networks and their VLSI implementation using pulse-modulation techniques”, IEICE Transactions on Fundamentals, E85-A(2), pp.381-388, 2002. 【非特許文献4】T. Koide, T. Morimoto, Y. Harada, and H. J. Mattausch, “Digital gray-scale/color image-segmentation architecture for cell-network-based real-time applications”, In Proceedings of International Technical Conference on Circuits/Systems, Computers and Communications (ITC-CSCC2002), pp. 670-673, 2002. 【非特許文献5】T. Morimoto, Y. Harada, T. Koide, and H. J. Mattausch, “Real-time segmentation architecture of gray-scale/color motion pictures and digital test-chip implementation”, In Proccesings of 2002 IEEE Asia-Pacific Conference on ASICs (AP-ASIC2002), pp. 237-240, 2002. 【非特許文献6】T. Morimoto, Y. Harada, T. Koide, and H. J. Mattausch, “Low-complexity, highly-parallel color motion-picture segmentation architecture for compact digital CMOS implementation”, In Extended Abstracts of the 2002 International Conference on Solid State Devices and Materials (SSDM2002), pp.242-243, 2002. 【非特許文献7】J. C. Russ, “The Image Processing Handbook”, pp.371-429. CRC PRESS, 1999. 【非特許文献8】S. Sarkar and K. L. Boyer, “Integration inference, and management of speatial information using Bayesian networks: Perceputual organization”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 15(3), pp.256-274, 1993. 【非特許文献9】D. L. Wang and D. Terman, “Image segmentation based on oscillator correlation”, Neural Computation, 9(4), pp.805-836, 1997. 【発明の開示】 【発明が解決しようとする課題】 【0008】 本発明は、上述の問題を解決するためになされたもので、大規模な画像についても、低消費電力でリアルタイム処理を実現するカラー、グレースケール画像分割アーキテクチャを提案し、これを用いたディジタル回路で実現可能な画像分割処理装置及び画像分割処理集積化回路を提供することを目的とする。 【課題を解決するための手段】 【0009】 上記目的を達成するために本発明に係る画像分割処理方法は、Boundary Active Only (BAO) Schemeを採用し、 前記入力画像の各画素に対応する個々の画像分割処理ユニットであるセルを非発火状態とし、前記セルに対応する画素の画素値を順次取り込み、隣接する複数のセル間それぞれの結合重みを計算し、各計算結果に基づいてリーダセル(自己発火可能セルの候補)を決定し、発火中のセルが存在するか否かを決定するための変数であるグローバル抑制子を初期化する初期化過程と、 前記初期化過程で決定されたリーダセルの一つを順に選択し自己発火可能セルとして検出する自己発火可能セル検出過程と、 前記自己発火可能セル検出過程で検出された自己発火可能セルを発火状態とする自己発火過程と、 発火状態のセル(前記リーダセルを含む)とこれに隣接するセルと間の結合重みに基づいて、隣接セルの中から発火可能なセルを検出する発火可能セル検出過程と、 前記発火可能セル検出過程で検出されたセルを発火状態とする引火過程と、 前記発火可能セル検出過程で該当セルが検出されない場合に発火状態のセルを鎮火状態とする鎮火処理過程とを具備し、 前記発火可能セル検出過程で該当セルが検出されなくなるまで前記引火過程の処理を繰り返し行うことで1つの領域の画像分割処理を完了し、前記自己発火可能セル検出過程で非発火状態のリーダセルがなくなるまで前記各過程の処理を繰り返し行うことで全ての領域の画像分割処理を完了する処理について、各セルを並列に動作させ、隣接するセルの状態に応じて、結合重みの総和を計算し、その総和がある閾値以上の場合に発火状態に遷移させることで分割領域を成長させるものとし、 但し、領域成長の境界付近にあるセルのみをアクティブモードとし、それ以外のセルをスタンバイモードとして、アクティブモードのセルのみを動作させ、スタンバイモードのセルの処理を省略することを特徴とする。 【0010】 また、本発明に係る画像分割処理方法は、Subdivided Image Approach(SIA)を採用し、 前記入力画像の各画素に対応する個々の画像分割処理ユニットであるセルを非発火状態とし、前記セルに対応する画素の画素値を順次取り込み、隣接する複数のセル間それぞれの結合重みを計算し、各計算結果に基づいてリーダセル(自己発火可能セルの候補)を決定し、発火中のセルが存在するか否かを決定するための変数であるグローバル抑制子を初期化する初期化過程と、 前記初期化過程で決定されたリーダセルの一つを順に選択し自己発火可能セルとして検出する自己発火可能セル検出過程と、 前記自己発火可能セル検出過程で検出された自己発火可能セルを発火状態とする自己発火過程と、 発火状態のセル(前記リーダセルを含む)とこれに隣接するセルと間の結合重みに基づいて、隣接セルの中から発火可能なセルを検出する発火可能セル検出過程と、 前記発火可能セル検出過程で検出されたセルを発火状態とする引火過程と、 前記発火可能セル検出過程で該当セルが検出されない場合に発火状態のセルを鎮火状態とする鎮火処理過程とを具備し、 前記発火可能セル検出過程で該当セルが検出されなくなるまで前記引火過程の処理を繰り返し行うことで1つの領域の画像分割処理を完了し、前記自己発火可能セル検出過程で非発火状態のリーダセルがなくなるまで前記各過程の処理を繰り返し行うことで全ての領域の画像分割処理を完了する処理について、各セルを並列に動作させ、隣接するセルの状態に応じて、結合重みの総和を計算し、その総和がある閾値以上の場合に発火状態に遷移させることで分割領域を成長させるものとし、 前記入力画像を複数のブロックに分割し、各々のブロック単位で順次各ブロック内の画像分割処理を行い、最終的にそれぞれのブロックの処理結果を集約して、全体の画像分割を行うことを特徴とする。 【0011】 本発明に係る画像分割処理装置及び画像分割処理集積化回路は、上記の方法をハードウェアで実現する。本発明において、提案アーキテクチャは、これまでに発明者らが前述の特許文献1及び非特許文献4~6で提案しているセルネットワークベースのリアルタイム画像分割アーキテクチャに新しくBoundary Active Only (BAO) SchemeとSubdivided Image Approach(SIA) という方式を導入し、さらに、他の回路レベルでの低消費電力化技術と組み合わせることでリアルタイム処理性を失うことなく従来に対して約75%の消費電力の削減を実現することが可能になる。また、SIAを用いることで、VGAサイズの大規模な画像に対しても、低消費電力でリアルタイムの処理が可能となる。これらの技術により、最先端のCMOS技術のみならず、0.35μmCMOS技術の安価で確立したCMOS技術を用いての実現が可能となり、バッテリ駆動の小型ロボットや携帯アプリケーションへの応用が期待できる。 【発明の効果】 【0012】 上記の構成を有する本発明によれば、大規模な画像についても、低消費電力でリアルタイム処理を実現するカラー、グレースケール画像分割アーキテクチャを提案し、これを用いたディジタル回路で実現可能な画像分割処理装置及び画像分割処理集積化回路を提供することができる。 【0013】 特に、本発明によれば、VGAサイズの大規模な画像に対しても、低消費電力でリアルタイムの処理が可能となる。さらに、最先端のCMOS技術のみならず、0.35μmCMOS技術の安価で確立したCMOS技術を用いての実現が可能となり、バッテリ駆動の小型ロボットや携帯アプリケーションへの応用が期待できる。 【0014】 本発明によって実現される効果を下記に列挙する。 ・Boundary Active Only (以下、BAO)手法による消費電力の削減 ・クロックツリー回路のゲーティッドクロック化による消費電力の削減 ・グローバル抑制子回路の改良による消費電力の削減 ・Subdivided Image Approach(以下、SIA) による消費電力の削減 ・SIAによる大規模画像の取り扱いが可能 ・SIAによるチップの小面積化 ・BAOとSIAを用いることにより、小面積・低消費電力でリアルタイムの画像分割処理が大規模な画像(例えばVGAサイズ)に対しても可能となること。 【発明を実施するための最良の形態】 【0015】 以下、図面を参照して本発明の実施の形態を詳細に説明する。 【0016】 [方法の説明と構成] (基本アーキテクチャと試作結果) 提案する画像分割処理アーキテクチャは、これまでに発明者らが提案している画像分割アルゴリズム/アーキテクチャ[例えば特許文献1及び非特許文献4~6参照]をもとにしている。これまでのシミュレーションによる見積もりでは、VGAサイズ画像(640×480ピクセル)を約500μsec@10MHz以下での高速処理が期待できる。 【0017】 まず、本発明で用いている画像分割処理アルゴリズムを説明する。 【0018】 図1は本発明で用いている画像分割処理アルゴリズムの処理の流れを示すフローチャートである。図1に示すアルゴリズムは、(a)初期化処理、(b)自己発火可能セル検出処理、(c)自己発火処理、(d)発火可能セル検出処理、(e)引火処理、(f)鎮火処理、の6つの処理から構成される。 【0019】 このアルゴリズムでは、各画素に対応するセルが、隣接する8つの画素間の結合重みに基づいて並列に動作する。ここで各画素に対応するセルは、非発火、自己発火可能、発火の状態をとる。変数xi はセルiの発火、非発火の状態を示し、xi =1の時は発火、xi =0の時は非発火を表す。また、変数pi はリーダセルを表す。pi =1の場合には自己発火可能であり、そのセルが自己発火の候補となる。変数li はセルが画像分割されてある分割領域に含まれているかどうかを示す変数であり、li =1の場合には、既に分割された領域に属することを意味する。本発明で用いている画像分割処理アルゴリズムでは、発火、非発火の状態によりセルが同じ画像分割領域に属するかどうかを判定する。 【0020】 図1において、「(a)初期化処理」では、セルiの発火、非発火の状態を示す変数xi をxi =0(非発火)に初期化する。そしてセル(画素)iに隣接するセル(画素)k∈N(i) の画素値に基づく結合重みWikを計算する。ここで、N(i) はセルiの隣接セルの集合(例えば8つの隣接セルの集合)を表す。 【0021】 次に、セル間の結合重みに基づいて自己発火可能(リーダセル)かどうかを決定する。もし、隣接するセルの結合重みの和Σk∈N(i) Wikが予め指定した閾値φpより大きい場合に自己発火可能となり、自己発火の可否(リーダセル)を表す変数pi をpi =1(自己発火可能)、pi =0(自己発火不可能)と初期化する。リーダセルは以降の画像分割処理において、処理を開始する始点の候補となる。最後に、発火中のセルが存在するかどうかを決定するための変数z(グローバル抑制子と呼ぶ)をz=0に初期化する。z=1の場合、発火中のセルが存在すること、すなわち1つの領域の画像分割処理が続いていることを表し、z=0の場合には、発火中のセルが存在しない、すなわち1つの領域の画像分割処理が終わったことを表す。各セルiには、変数zi を用意し、非発火状態から発火状態へ遷移した場合にzi =1とする。それ以外はzi =0とする。この変数zi をもとに、グローバル抑制子zの値を全てのzi の論理和(OR)と定義する。 【0022】 「(b)自己発火可能セル検出処理」では、まだ発火していないリーダセルの中から自己発火可能セルとして1つセルを選択する。 【0023】 「(c)自己発火処理」では、選択したリーダセルを発火状態xi =1(自己発火)にし、1つの領域の画像分割を開始する。この時z=1にする。 【0024】 「(d)発火可能セル検出処理」では、非発火状態のセルiについて、隣接するセルk∈N(i) の状態を調べ、発火状態となっているセルの結合重みの総和Si =Σk∈N(i)Wik ×xkを計算する。もし、セルk∈N(i) が発火、すなわちxk =1ならば、隣接発火セルkとの間の結合重みをSi に加える。この結合重みの総和Si が予め指定した閾値φzより大きい場合(Si >φz )には、セルiは発火可能セルであると判断する。 【0025】 「(e)引火処理」では、「(d)発火可能セル検出処理」で検出した全ての発火可能セルiを発火状態xi =1にし、同時にzi =1とする。もし、発火可能セルが存在しない場合には、「(f)鎮火処理」を行う。 【0026】 「(f)鎮火処理」では、発火状態のセルiに対してxi =0とする。また、pi =1の場合にはpi =0とする。そして、「(b)自己発火可能セル検出処理」へ処理を戻す。 【0027】 上記画像分割処理アルゴリズムの記述例を下記に示す。全てのセルは並列に下記のアルゴリズムを実行する。尚、アルゴリズム中のfind_leader()という関数は、まだ発火していないリーダセルを検索し、そのセル番号を返す関数である。該当するセルが存在しない場合には、負の数を返すものとする。また、各変数xi 、zi 、zは時間と共に変化し、時刻t,t+1におけるxi の値をそれぞれxi(t),xi(t+1) の形で表現するものとする。 【0028】 [画像分割処理アルゴリズム] 【数1】