明細書 :画像分割処理装置、画像分割処理方法及び画像分割処理集積化回路
| 発行国 | 日本国特許庁(JP) | ||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 公報種別 | 特許公報(B2) | ||||||||||||||||||||||
| 特許番号 | 特許第3955953号 (P3955953) | ||||||||||||||||||||||
| 公開番号 | 特開2005-092362 (P2005-092362A) | ||||||||||||||||||||||
| 登録日 | 平成19年5月18日(2007.5.18) | ||||||||||||||||||||||
| 発行日 | 平成19年8月8日(2007.8.8) | ||||||||||||||||||||||
| 公開日 | 平成17年4月7日(2005.4.7) | ||||||||||||||||||||||
| 発明の名称または考案の名称 | 画像分割処理装置、画像分割処理方法及び画像分割処理集積化回路 | ||||||||||||||||||||||
| 国際特許分類 | G06T 1/00 (2006.01) G06T 1/20 (2006.01) |
||||||||||||||||||||||
| ＦＩ | G06T 1/00 300 G06T 1/20 B G06T 1/20 C |
||||||||||||||||||||||
| 請求項の数または発明の数 | 7 | ||||||||||||||||||||||
| 全頁数 | 27 | ||||||||||||||||||||||
| 出願番号 | 特願2003-322163 (P2003-322163) | ||||||||||||||||||||||
| 出願日 | 平成15年9月12日(2003.9.12) | ||||||||||||||||||||||
| 審査請求日 | 平成15年9月12日(2003.9.12) | ||||||||||||||||||||||
| 特許権者または実用新案権者 | 【識別番号】504136568 【氏名又は名称】国立大学法人広島大学 |
||||||||||||||||||||||
| 発明者または考案者 | 【氏名】小出 哲士 【氏名】マタウシュ・ハンスユルゲン 【氏名】森本 高志 【氏名】原田 洋明 |
||||||||||||||||||||||
| 個別代理人の代理人 | 【識別番号】100058479、【弁理士】、【氏名又は名称】鈴江 武彦 【識別番号】100091351、【弁理士】、【氏名又は名称】河野 哲 【識別番号】100088683、【弁理士】、【氏名又は名称】中村 誠 【識別番号】100108855、【弁理士】、【氏名又は名称】蔵田 昌俊 【識別番号】100075672、【弁理士】、【氏名又は名称】峰 隆司 【識別番号】100109830、【弁理士】、【氏名又は名称】福原 淑弘 【識別番号】100084618、【弁理士】、【氏名又は名称】村松 貞男 【識別番号】100092196、【弁理士】、【氏名又は名称】橋本 良郎 |
||||||||||||||||||||||
| 審査官 | 【審査官】真木 健彦 | ||||||||||||||||||||||
| 参考文献・文献 | 特開２００３－０４４８５０（ＪＰ，Ａ） 特開平０８－１６７０２８（ＪＰ，Ａ） 森本高志 原田洋明 小出哲士 マタウシュハンスユルゲン，セルネットワークに基づくカラー・グレースケール画像分割アーキテクチャ，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，２００２年 ６月２１日，Vol.102 No.162 (CAS-2002 26-41)，P.49-54 |
||||||||||||||||||||||
| 調査した分野 | Ｇ０６Ｔ １／２０ Ｇ０６Ｔ １／４０ Ｇ０６Ｔ ７／６０ １１０ |
||||||||||||||||||||||
| 特許請求の範囲 | 【請求項1】 入力画像から画素単位で互いに同一の範疇に属する領域を特定して画像分割領域として判別し、任意の画像分割領域の画像を選択的に出力する画像分割処理装置において、 入力画像の各画素値を保存する入力画像メモリと、 前記入力画像メモリから各画素値を順に読み出し、各画素に対応する個々の画像分割セルについて、パイプライン処理により隣接するセルとの結合重みを計算する結合重み計算回路と、 前記結合重み計算回路で計算された結合重みを基に各隣接セルとの結合重みの総和が基準値を超えるセルをリーダセルとして決定するリーダセル決定回路と、 前記入力画像の各画素に対応し非発火、自己発火可能、発火の状態を遷移する画像分割セルと前記結合重み計算回路で得られるセル間の結合重みを保持する結合重みレジスタを交互にアレイ状に配列し、各セルが隣接配置される結合重みレジスタの保持値から発火可能か否かを判定する判定手段を備え、前記リーダセル決定回路で決定されたリーダセルを発火状態とし、その隣接セルの中から発火可能なセルを選択して発火状態として発火領域を広げることで画像分割領域を判別する画像分割セルネットワークと、 前記画像分割セルネットワークにより画像分割領域が判別された全セルの情報を保存する分割領域保存回路と、 前記分割領域保存回路の保存内容に基づいて任意の画像分割領域の各セルに対応する画素値を保存する出力画像メモリと、 前記画像分割セルネットワークに対して設けられ、初期化信号入力中はデータ書き込み時のみ前記セルネットワークに動作クロックを供給し、画像分割動作中は、前記セルネットワークで発行される各行または列の、発火中のセルが存在するか否かを決定するための変数であるグローバル抑制子から発火している行または列の情報を得て、この情報をもとに、前記セルネットワーク上の発火している領域成長の境界付近にあるセルにのみクロックを供給するクロック供給回路とを具備し、 前記セルは、発火状態を示す信号ｘi 、自己発火の可否を表す変数ｐi 、自己発火許可制御信号のための変数ｎi 、画像分割されている分割領域に含まれているかどうかを示す変数ｌi を保存するレジスタ群と、 近傍セル間の結合重みＷik ×ｘkの総和Ｓi を計算し、前記総和Ｓi と閾値φz とを比較して発火可能を判定する判定回路と、 前記発火可能の判定結果に基づいて前記状態遷移を実行する制御回路と、 前記近傍セルの状態信号と前記セルのレジスタ群の保存値から 条件１：自らが既に発火している、 条件２：既にある分割領域に属している、 条件３：条件１，２のいずれも満たしておらず、隣接するセルが１つも発火していない、 の３つの条件を判断し、いずれの条件も満たしていない場合には画像分割の領域成長の境界付近にあるセルとして前記制御回路に動作クロックを供給することでアクティブモードとし、いずれか一つでも満たしている場合にはスタンバイモードとして前記制御回路に供給する動作クロックを停止する境界状態検出回路とを備えることを特徴とする画像分割処理装置。 【請求項2】 入力画像から画素単位で互いに同一の範疇に属する領域を特定して画像分割領域として識別する画像分割処理方法において、 前記入力画像の各画素に対応する個々の画像分割処理ユニットであるセルを非発火状態とし、前記セルに対応する画素の画素値を順次取り込み、隣接する複数のセル間それぞれの結合重みを計算し、各計算結果に基づいてリーダセル（自己発火可能セルの候補）を決定し、発火中のセルが存在するか否かを決定するための変数であるグローバル抑制子を初期化する初期化過程と、 前記初期化過程で決定されたリーダセルの一つを順に選択し自己発火可能セルとして検出する自己発火可能セル検出過程と、 前記自己発火可能セル検出過程で検出された自己発火可能セルを発火状態とする自己発火過程と、 発火状態のセル（前記リーダセルを含む）とこれに隣接するセルと間の結合重みに基づいて、隣接セルの中から発火可能なセルを検出する発火可能セル検出過程と、 前記発火可能セル検出過程で検出されたセルを発火状態とする引火過程と、 前記発火可能セル検出過程で該当セルが検出されない場合に発火状態のセルを鎮火状態とする鎮火処理過程とを具備し、 前記発火可能セル検出過程で該当セルが検出されなくなるまで前記引火過程の処理を繰り返し行うことで１つの領域の画像分割処理を完了し、前記自己発火可能セル検出過程で非発火状態のリーダセルがなくなるまで前記各過程の処理を繰り返し行うことで全ての領域の画像分割処理を完了する処理について、各セルを並列に動作させ、隣接するセルの状態に応じて、結合重みの総和を計算し、その総和がある閾値以上の場合に発火状態に遷移させることで分割領域を成長させるものとし、 前記入力画像を複数のブロックに分割し、各々のブロック単位で順次各ブロック内の画像分割処理を行い、最終的にそれぞれのブロックの処理結果を集約して、全体の画像分割を行うようにし、 前記ブロックに分割する際に、各ブロックそれぞれの境界が隣接するブロックと少なくとも１ピクセル以上重なるように分け、各ブロックの画像分割処理においては、隣接するブロックと重なっている部分で画像分割処理が完了したブロックのある画像分割領域に含まれるピクセルが存在する場合には、予めリーダセルとして決定することを特徴とする画像分割処理方法。 【請求項3】 入力画像から画素単位で互いに同一の範疇に属する領域を特定して画像分割領域として判別し、任意の画像分割領域の画像を選択的に出力する画像分割処理装置において、 入力画像の各画素値を保存する入力画像メモリと、 前記入力画像メモリから各画素値を順に読み出し、各画素に対応する個々の画像分割セルについて、パイプライン処理により隣接するセルとの結合重みを計算する結合重み計算回路と、 前記結合重み計算回路で計算された結合重みを基に各隣接セルとの結合重みの総和が基準値を超えるセルをリーダセルとして決定するリーダセル決定回路と、 前記入力画像の各画素に対応し非発火、自己発火可能、発火の状態を遷移するセルと前記結合重み計算回路で得られるセル間の結合重みを保持する結合重みレジスタを交互にアレイ状に配列し、各セルが隣接配置される結合重みレジスタの保持値から発火可能か否かを判定する判定手段を備え、前記リーダセル決定回路で決定されたリーダセルを発火状態とし、その隣接セルの中から発火可能なセルを選択して発火状態として発火領域を広げることで画像分割領域を判別する画像分割セルネットワークと、 前記画像分割セルネットワークにより画像分割領域が判別された全セルの情報を保存する分割領域保存回路と、 前記分割領域保存回路の保存内容に基づいて任意の画像分割領域の各セルに対応する画素値を保存する出力画像メモリと、 前記入力画像を複数のブロックに分割し、順次ブロック内の画素値を前記入力画像メモリに保存させて前記結合重み計算回路、リーダセル決定回路、画像分割セルネットワークにブロック単位の画像分割処理を実行させる補助分割制御回路と、 前記画像分割セルネットワークのブロック処理結果にそれぞれラベルを付して保存するラベル制御回路とを具備し、 前記補助分割制御回路は、前記ラベルが付された個々のブロック処理結果を集約して、全体の画像分割を行うもので、前記ブロックに分割する際に、各ブロックそれぞれの境界が隣接するブロックと少なくとも１ピクセル以上重なるように分け、各ブロックの画像分割処理において、隣接するブロックと重なっている部分で画像分割処理が完了したブロックのある分割領域に含まれるピクセルが存在する場合には、予めリーダセルとして決定することを特徴とする画像分割処理装置。 【請求項4】 前記ラベル制御回路は、画像分割セルネットワークから各ブロックの境界データ、ラベル番号、グローバル抑制子を受け取り、同じ発火領域に同じラベル番号を書き込み、各ブロックにおける例外信号、ラベル番号を求めて前記処理領域分割制御回路に通知することを特徴とする請求項３記載の画像分割処理装置。 【請求項5】 前記補助分割制御回路は、前記発火領域が画像分割処理の完了した隣接するブロックと重なっている部分（バウンダリ部分）においてラベルを持ったセルを含まない場合には、前記ラベル制御回路で生成される新しいラベル番号を前記セルネットワークに設定し、発火領域が画像分割処理の完了した隣接するブロックと重なっている部分（バウンダリ部分）においてラベルを持ったセルを含む場合において、一つのラベル持ちのバウンダリ部分のセルが発火している場合、もしくは発火しているバウンダリ部分のセル複数が同一ラベル番号を持っている場合には、そのラベル番号を発火領域に書き込み、異なったラベル番号を持ったバウンダリ部分のセルが同一の発火領域になった場合には例外処理を行い、競合しているラベル番号の中から一つ（例えば一番小さいもしくは大きいラベル番号）のラベル番号を現在の発火領域に書き込むようにし、すでに画像分割が終了したブロックに関しては、競合しているラベル番号との組み合わせを内部のテーブルに書き込んで例外信号を設定し、ブロックで画像分割が終了した場合にはラベル番号を前記分割領域保存回路に保存するようにし、以上の動作を全てのブロックの画像分割処理が終了するまで行うことを特徴とする請求項３記載の画像分割処理装置。 【請求項6】 入力画像から画素単位で互いに同一の範疇に属する領域を特定して画像分割領域として判別し、任意の画像分割領域の画像を選択的に出力する画像分割処理装置に適用され、 入力画像の各画素値を保存する入力画像メモリと、 前記入力画像メモリから各画素値を順に読み出し、各画素に対応する個々の画像分割セルについて、パイプライン処理により隣接するセルとの結合重みを計算する結合重み計算回路と、 前記結合重み計算回路で計算された結合重みを基に各隣接セルとの結合重みの総和が基準値を超えるセルをリーダセルとして決定するリーダセル決定回路と、 前記入力画像の各画素に対応し非発火、自己発火可能、発火の状態を遷移する画像分割セルと前記結合重み計算回路で得られるセル間の結合重みを保持する結合重みレジスタを交互にアレイ状に配列し、各セルが隣接配置される結合重みレジスタの保持値から発火可能か否かを判定する判定手段を備え、前記リーダセル決定回路で決定されたリーダセルを発火状態とし、その隣接セルの中から発火可能なセルを選択して発火状態として発火領域を広げることで画像分割領域を判別する画像分割セルネットワークと、 前記画像分割セルネットワークにより画像分割領域が判別された全セルの情報を保存する分割領域保存回路と、 前記分割領域保存回路の保存内容に基づいて任意の画像分割領域の各セルに対応する画素値を保存する出力画像メモリと、 前記画像分割セルネットワークに対して設けられ、初期化信号入力中はデータ書き込み時のみ前記セルネットワークに動作クロックを供給し、画像分割動作中は、前記セルネットワークで発行される各行または列の、発火中のセルが存在するか否かを決定するための変数であるグローバル抑制子から発火している行または列の情報を得て、この情報をもとに、前記セルネットワーク上の発火している領域成長の境界付近にあるセルにのみクロックを供給するクロック供給回路とを具備し、 前記セルは、発火状態を示す信号ｘi 、自己発火の可否を表す変数ｐi 、自己発火許可制御信号のための変数ｎi 、画像分割されてある分割領域に含まれているかどうかを示す変数ｌi を保存するレジスタ群と、 近傍セル間の結合重みＷik ×ｘkの総和Ｓi を計算し、前記総和Ｓi と閾値φz とを比較して発火可能を判定する判定回路と、 前記発火可能の判定結果に基づいて前記状態遷移を実行する制御回路と、 前記近傍セルの状態信号と前記セルのレジスタ群の保存値から 条件１：自らが既に発火している、 条件２：既にある分割領域に属している、 条件３：条件１，２のいずれも満たしておらず、隣接するセルが１つも発火していない、 の３つの条件を判断し、いずれの条件も満たしていない場合には画像分割の領域成長の境界付近にあるセルとして前記制御回路に動作クロックを供給することでアクティブモードとし、いずれか一つでも満たしている場合にはスタンバイモードとして前記制御回路に供給する動作クロックを停止する境界状態検出回路とを備え、 上記の全回路を集積回路化することを特徴とする画像分割処理集積化回路。 【請求項7】 入力画像から画素単位で互いに同一の範疇に属する領域を特定して画像分割領域として判別し、任意の画像分割領域の画像を選択的に出力する画像分割処理装置に適用され、 入力画像の各画素値を保存する入力画像メモリと、 前記入力画像メモリから各画素値を順に読み出し、各画素に対応する個々の画像分割セルについて、パイプライン処理により隣接するセルとの結合重みを計算する結合重み計算回路と、 前記結合重み計算回路で計算された結合重みを基に各隣接セルとの結合重みの総和が基準値を超えるセルをリーダセルとして決定するリーダセル決定回路と、 前記入力画像の各画素に対応し非発火、自己発火可能、発火の状態を遷移する画像分割セルと前記結合重み計算回路で得られるセル間の結合重みを保持する結合重みレジスタを交互にアレイ状に配列し、各セルが隣接配置される結合重みレジスタの保持値から発火可能か否かを判定する判定手段を備え、前記リーダセル決定回路で決定されたリーダセルを発火状態とし、その隣接セルの中から発火可能なセルを選択して発火状態として発火領域を広げることで画像分割領域を判別する画像分割セルネットワークと、 前記画像分割セルネットワークにより画像分割領域が判別された全セルの情報を保存する分割領域保存回路と、 前記分割領域保存回路の保存内容に基づいて任意の画像分割領域の各セルに対応する画素値を保存する出力画像メモリと、 前記入力画像を複数のブロックに分割し、順次ブロック内の画素値を前記入力画像メモリに保存させて前記結合重み計算回路、リーダセル決定回路、画像分割セルネットワークにブロック単位の画像分割処理を実行させる補助分割制御回路と、 前記画像分割セルネットワークのブロック処理結果にそれぞれラベルを付して保存するラベル制御回路とを具備し、 前記補助分割制御回路は、前記ラベルが付された個々のサブブロック処理結果を集約して、全体の画像分割を行うもので、前記ブロックに分割する際に、各ブロックそれぞれの境界が隣接するブロックと少なくとも１ピクセル以上重なるように分け、各ブロックの画像分割処理において、隣接するブロックと重なっている部分で画像分割処理が完了したブロックのある分割領域に含まれるピクセルが存在する場合には、予めリーダセルとして決定するようにし、 上記の全回路を集積回路化することを特徴とする画像分割処理集積化回路。 |
||||||||||||||||||||||
| 発明の詳細な説明 | 【技術分野】 【0001】 本発明は、リアルタイムに画像の認識や動き検出などを行う画像処理のための画像分割処理装置、画像分割処理方法及び画像分割処理集積化回路に関する。 【背景技術】 【0002】 画像分割処理（Image segmentation）は、入力として取り込んだ複雑な自然画像から個々の対象物（例えば、人間の顔や車などの移動物体）を取り出す処理であり、オブジェクトベースの処理である画像認識や動き検出などの画像処理を行うために基本的かつ不可欠な処理である。 【0003】 これまでに様々な画像分割手法が提案されており、それらの手法は、 （１）輪郭線に基づく方法［例えば非特許文献７，８参照］、 （２）領域に基づく方法［例えば非特許文献７参照］、 （３）（１），（２）の両方を組み合わせた方法［例えば非特許文献７参照］や組み合わせ最適化問題に定式化する方法［例えば非特許文献１参照］ などに大まかに分類することができる。 【0004】 しかし、これまでに提案されているカラー、グレースケールに対する画像分割手法はソフトウェアでの処理を前提としているため、複雑な処理を必要とするため処理にかかる時間が長い。また、アルゴリズムが複雑なため、ハードウェアとして小面積で実現することが難しく、リアルタイム（数msec程度）での処理が困難である。さらに、カラー、グレースケールの自然画像を分割するために、各々専用のアルゴリズムが必要である。また、リアルタイム処理を実現するためには、ハードウェア化による高速化が不可欠となる。 【0005】 ところで、近年、知的情報処理技術の実現に向けての画像認識処理技術の要求が高まってきている。特に、人間に近い動作・判断をする知能ロボットの実現やリアルタイムでの顔認識や移動物体認識においては、カメラ等から取り込んだ視覚情報（自然画像の情報）を高速に処理する必要がある。視覚情報は一般に情報量が膨大であるために、汎用の計算機等で処理する場合、かなり長い処理時間が必要となる。ロボットの制御や画像認識においては、視覚情報の処理速度に対する要求が厳しくなり、リアルタイムでの高速処理が必要とされる。 【0006】 このようなことから、近年では、知能ロボットや動物体認識などのリアルタイム処理が不可欠な画像処理に対応するために、様々な画像分割アルゴリズム［例えば非特許文献４，７，９参照］とリアルタイム処理のためのハードウェアによる画像分割処理回路［例えば非特許文献２，３，５，６参照］が盛んに研究されている。 【0007】 しかし、高速性を重視するためにハードウェアとして実現した従来の集積回路では、消費電力やチップ面積が大きくなるという問題点があった。そのため、大きな画像サイズに対する画像分割処理回路の実現が消費電力やチップ面積の観点から困難であった。 【特許文献1】特願２００２－１５２４９１号 【非特許文献1】S. M. Bhandarkar and H. Zhang, “Image segmentation using evolutionary computation”, IEEE Trans. on Evolutionary Computation, Vol.3, No.1, (1999). 【非特許文献2】H. Ando, T. Morie, M. Nagata, and A. Iwata, “A nonlinear oscillator network for gray-level image segmentation and PWM/PPM circuits for its VLSI implementation”, IEICE Transactions on Fundamentals, E83-A(2), pp.329-336, 2000. 【非特許文献3】H. Ando, T. Morie, M. Miyake, M. Nagata, and A. Iwata, “Image segmentation/extraction using nonlinear cellular networks and their VLSI implementation using pulse-modulation techniques”, IEICE Transactions on Fundamentals, E85-A(2), pp.381-388, 2002. 【非特許文献4】T. Koide, T. Morimoto, Y. Harada, and H. J. Mattausch, “Digital gray-scale/color image-segmentation architecture for cell-network-based real-time applications”, In Proceedings of International Technical Conference on Circuits/Systems, Computers and Communications (ITC-CSCC2002), pp. 670-673, 2002. 【非特許文献5】T. Morimoto, Y. Harada, T. Koide, and H. J. Mattausch, “Real-time segmentation architecture of gray-scale/color motion pictures and digital test-chip implementation”, In Proccesings of 2002 IEEE Asia-Pacific Conference on ASICs (AP-ASIC2002), pp. 237-240, 2002. 【非特許文献6】T. Morimoto, Y. Harada, T. Koide, and H. J. Mattausch, “Low-complexity, highly-parallel color motion-picture segmentation architecture for compact digital CMOS implementation”, In Extended Abstracts of the 2002 International Conference on Solid State Devices and Materials (SSDM2002), pp.242-243, 2002. 【非特許文献7】J. C. Russ, “The Image Processing Handbook”, pp.371-429. CRC PRESS, 1999. 【非特許文献8】S. Sarkar and K. L. Boyer, “Integration inference, and management of speatial information using Bayesian networks: Perceputual organization”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 15(3), pp.256-274, 1993. 【非特許文献9】D. L. Wang and D. Terman, “Image segmentation based on oscillator correlation”, Neural Computation, 9(4), pp.805-836, 1997. 【発明の開示】 【発明が解決しようとする課題】 【0008】 本発明は、上述の問題を解決するためになされたもので、大規模な画像についても、低消費電力でリアルタイム処理を実現するカラー、グレースケール画像分割アーキテクチャを提案し、これを用いたディジタル回路で実現可能な画像分割処理装置及び画像分割処理集積化回路を提供することを目的とする。 【課題を解決するための手段】 【0009】 上記目的を達成するために本発明に係る画像分割処理方法は、Boundary Active Only (BAO) Schemeを採用し、 前記入力画像の各画素に対応する個々の画像分割処理ユニットであるセルを非発火状態とし、前記セルに対応する画素の画素値を順次取り込み、隣接する複数のセル間それぞれの結合重みを計算し、各計算結果に基づいてリーダセル（自己発火可能セルの候補）を決定し、発火中のセルが存在するか否かを決定するための変数であるグローバル抑制子を初期化する初期化過程と、 前記初期化過程で決定されたリーダセルの一つを順に選択し自己発火可能セルとして検出する自己発火可能セル検出過程と、 前記自己発火可能セル検出過程で検出された自己発火可能セルを発火状態とする自己発火過程と、 発火状態のセル（前記リーダセルを含む）とこれに隣接するセルと間の結合重みに基づいて、隣接セルの中から発火可能なセルを検出する発火可能セル検出過程と、 前記発火可能セル検出過程で検出されたセルを発火状態とする引火過程と、 前記発火可能セル検出過程で該当セルが検出されない場合に発火状態のセルを鎮火状態とする鎮火処理過程とを具備し、 前記発火可能セル検出過程で該当セルが検出されなくなるまで前記引火過程の処理を繰り返し行うことで１つの領域の画像分割処理を完了し、前記自己発火可能セル検出過程で非発火状態のリーダセルがなくなるまで前記各過程の処理を繰り返し行うことで全ての領域の画像分割処理を完了する処理について、各セルを並列に動作させ、隣接するセルの状態に応じて、結合重みの総和を計算し、その総和がある閾値以上の場合に発火状態に遷移させることで分割領域を成長させるものとし、 但し、領域成長の境界付近にあるセルのみをアクティブモードとし、それ以外のセルをスタンバイモードとして、アクティブモードのセルのみを動作させ、スタンバイモードのセルの処理を省略することを特徴とする。 【0010】 また、本発明に係る画像分割処理方法は、Subdivided Image Approach(SIA)を採用し、 前記入力画像の各画素に対応する個々の画像分割処理ユニットであるセルを非発火状態とし、前記セルに対応する画素の画素値を順次取り込み、隣接する複数のセル間それぞれの結合重みを計算し、各計算結果に基づいてリーダセル（自己発火可能セルの候補）を決定し、発火中のセルが存在するか否かを決定するための変数であるグローバル抑制子を初期化する初期化過程と、 前記初期化過程で決定されたリーダセルの一つを順に選択し自己発火可能セルとして検出する自己発火可能セル検出過程と、 前記自己発火可能セル検出過程で検出された自己発火可能セルを発火状態とする自己発火過程と、 発火状態のセル（前記リーダセルを含む）とこれに隣接するセルと間の結合重みに基づいて、隣接セルの中から発火可能なセルを検出する発火可能セル検出過程と、 前記発火可能セル検出過程で検出されたセルを発火状態とする引火過程と、 前記発火可能セル検出過程で該当セルが検出されない場合に発火状態のセルを鎮火状態とする鎮火処理過程とを具備し、 前記発火可能セル検出過程で該当セルが検出されなくなるまで前記引火過程の処理を繰り返し行うことで１つの領域の画像分割処理を完了し、前記自己発火可能セル検出過程で非発火状態のリーダセルがなくなるまで前記各過程の処理を繰り返し行うことで全ての領域の画像分割処理を完了する処理について、各セルを並列に動作させ、隣接するセルの状態に応じて、結合重みの総和を計算し、その総和がある閾値以上の場合に発火状態に遷移させることで分割領域を成長させるものとし、 前記入力画像を複数のブロックに分割し、各々のブロック単位で順次各ブロック内の画像分割処理を行い、最終的にそれぞれのブロックの処理結果を集約して、全体の画像分割を行うことを特徴とする。 【0011】 本発明に係る画像分割処理装置及び画像分割処理集積化回路は、上記の方法をハードウェアで実現する。本発明において、提案アーキテクチャは、これまでに発明者らが前述の特許文献１及び非特許文献４～６で提案しているセルネットワークベースのリアルタイム画像分割アーキテクチャに新しくBoundary Active Only (BAO) SchemeとSubdivided Image Approach(SIA) という方式を導入し、さらに、他の回路レベルでの低消費電力化技術と組み合わせることでリアルタイム処理性を失うことなく従来に対して約７５％の消費電力の削減を実現することが可能になる。また、ＳＩＡを用いることで、ＶＧＡサイズの大規模な画像に対しても、低消費電力でリアルタイムの処理が可能となる。これらの技術により、最先端のＣＭＯＳ技術のみならず、０．３５μｍＣＭＯＳ技術の安価で確立したＣＭＯＳ技術を用いての実現が可能となり、バッテリ駆動の小型ロボットや携帯アプリケーションへの応用が期待できる。 【発明の効果】 【0012】 上記の構成を有する本発明によれば、大規模な画像についても、低消費電力でリアルタイム処理を実現するカラー、グレースケール画像分割アーキテクチャを提案し、これを用いたディジタル回路で実現可能な画像分割処理装置及び画像分割処理集積化回路を提供することができる。 【0013】 特に、本発明によれば、ＶＧＡサイズの大規模な画像に対しても、低消費電力でリアルタイムの処理が可能となる。さらに、最先端のＣＭＯＳ技術のみならず、０.３５μｍＣＭＯＳ技術の安価で確立したＣＭＯＳ技術を用いての実現が可能となり、バッテリ駆動の小型ロボットや携帯アプリケーションへの応用が期待できる。 【0014】 本発明によって実現される効果を下記に列挙する。 ・Boundary Active Only (以下、ＢＡＯ)手法による消費電力の削減 ・クロックツリー回路のゲーティッドクロック化による消費電力の削減 ・グローバル抑制子回路の改良による消費電力の削減 ・Subdivided Image Approach(以下、ＳＩＡ) による消費電力の削減 ・ＳＩＡによる大規模画像の取り扱いが可能 ・ＳＩＡによるチップの小面積化 ・ＢＡＯとＳＩＡを用いることにより、小面積・低消費電力でリアルタイムの画像分割処理が大規模な画像（例えばＶＧＡサイズ）に対しても可能となること。 【発明を実施するための最良の形態】 【0015】 以下、図面を参照して本発明の実施の形態を詳細に説明する。 【0016】 ［方法の説明と構成］ （基本アーキテクチャと試作結果） 提案する画像分割処理アーキテクチャは、これまでに発明者らが提案している画像分割アルゴリズム／アーキテクチャ［例えば特許文献１及び非特許文献４～６参照］をもとにしている。これまでのシミュレーションによる見積もりでは、ＶＧＡサイズ画像（640×480ピクセル）を約500μsec＠10MHz以下での高速処理が期待できる。 【0017】 まず、本発明で用いている画像分割処理アルゴリズムを説明する。 【0018】 図１は本発明で用いている画像分割処理アルゴリズムの処理の流れを示すフローチャートである。図１に示すアルゴリズムは、（ａ）初期化処理、（ｂ）自己発火可能セル検出処理、（ｃ）自己発火処理、（ｄ）発火可能セル検出処理、（ｅ）引火処理、（ｆ）鎮火処理、の６つの処理から構成される。 【0019】 このアルゴリズムでは、各画素に対応するセルが、隣接する８つの画素間の結合重みに基づいて並列に動作する。ここで各画素に対応するセルは、非発火、自己発火可能、発火の状態をとる。変数ｘi はセルｉの発火、非発火の状態を示し、ｘi ＝１の時は発火、ｘi ＝０の時は非発火を表す。また、変数ｐi はリーダセルを表す。ｐi ＝１の場合には自己発火可能であり、そのセルが自己発火の候補となる。変数ｌi はセルが画像分割されてある分割領域に含まれているかどうかを示す変数であり、ｌi ＝１の場合には、既に分割された領域に属することを意味する。本発明で用いている画像分割処理アルゴリズムでは、発火、非発火の状態によりセルが同じ画像分割領域に属するかどうかを判定する。 【0020】 図１において、「（ａ）初期化処理」では、セルｉの発火、非発火の状態を示す変数ｘi をｘi ＝０（非発火）に初期化する。そしてセル（画素）ｉに隣接するセル（画素）ｋ∈Ｎ(ｉ) の画素値に基づく結合重みＷikを計算する。ここで、Ｎ(ｉ) はセルｉの隣接セルの集合（例えば８つの隣接セルの集合）を表す。 【0021】 次に、セル間の結合重みに基づいて自己発火可能（リーダセル）かどうかを決定する。もし、隣接するセルの結合重みの和Σｋ∈Ｎ(ｉ) Ｗikが予め指定した閾値φｐより大きい場合に自己発火可能となり、自己発火の可否（リーダセル）を表す変数ｐi をｐi ＝１（自己発火可能）、ｐi ＝０（自己発火不可能）と初期化する。リーダセルは以降の画像分割処理において、処理を開始する始点の候補となる。最後に、発火中のセルが存在するかどうかを決定するための変数ｚ（グローバル抑制子と呼ぶ）をｚ＝０に初期化する。ｚ＝１の場合、発火中のセルが存在すること、すなわち１つの領域の画像分割処理が続いていることを表し、ｚ＝０の場合には、発火中のセルが存在しない、すなわち１つの領域の画像分割処理が終わったことを表す。各セルｉには、変数ｚi を用意し、非発火状態から発火状態へ遷移した場合にｚi ＝１とする。それ以外はｚi ＝０とする。この変数ｚi をもとに、グローバル抑制子ｚの値を全てのｚi の論理和（ＯＲ）と定義する。 【0022】 「（ｂ）自己発火可能セル検出処理」では、まだ発火していないリーダセルの中から自己発火可能セルとして１つセルを選択する。 【0023】 「（ｃ）自己発火処理」では、選択したリーダセルを発火状態ｘi ＝１（自己発火）にし、１つの領域の画像分割を開始する。この時ｚ＝１にする。 【0024】 「（ｄ）発火可能セル検出処理」では、非発火状態のセルｉについて、隣接するセルｋ∈Ｎ(ｉ) の状態を調べ、発火状態となっているセルの結合重みの総和Ｓi ＝Σｋ∈Ｎ(ｉ)Ｗik ×ｘkを計算する。もし、セルｋ∈Ｎ(ｉ) が発火、すなわちｘk ＝１ならば、隣接発火セルｋとの間の結合重みをＳi に加える。この結合重みの総和Ｓi が予め指定した閾値φzより大きい場合（Ｓi ＞φz ）には、セルｉは発火可能セルであると判断する。 【0025】 「（ｅ）引火処理」では、「（ｄ）発火可能セル検出処理」で検出した全ての発火可能セルｉを発火状態ｘi ＝１にし、同時にｚi ＝１とする。もし、発火可能セルが存在しない場合には、「（ｆ）鎮火処理」を行う。 【0026】 「（ｆ）鎮火処理」では、発火状態のセルｉに対してｘi ＝０とする。また、ｐi ＝１の場合にはｐi ＝０とする。そして、「（ｂ）自己発火可能セル検出処理」へ処理を戻す。 【0027】 上記画像分割処理アルゴリズムの記述例を下記に示す。全てのセルは並列に下記のアルゴリズムを実行する。尚、アルゴリズム中のfind_leader()という関数は、まだ発火していないリーダセルを検索し、そのセル番号を返す関数である。該当するセルが存在しない場合には、負の数を返すものとする。また、各変数ｘi 、ｚi 、ｚは時間と共に変化し、時刻ｔ,ｔ＋１におけるｘi の値をそれぞれｘi(ｔ),ｘi(ｔ＋１) の形で表現するものとする。 【0028】 ［画像分割処理アルゴリズム］ 【数1】 【0029】 提案アーキテクチャは上述のセルネットワークベース画像分割アルゴリズムに基づいており、このアルゴリズムに基づく画像分割処理装置のハードウェアは、図２に示すように、４つのパイプラインステージで構成されている。 【0030】 図２において、入力画像メモリ１１には、入力画像データが順次記録される。第１ステージの結合重み計算回路１２では、入力画像メモリ１１から処理対象の画像データを取り込み、隣接する画素間の輝度の差（カラー画像であればＲＧＢそれぞれの輝度の差）をもとに結合重みを計算する。第２ステージのリーダセル決定回路１３では、計算した結合重みに基づいて画像分割の領域成長の開始点となるリーダセルを決定する。次に画像分割のコア回路である画像分割セルネットワーク１４において、結合重みとリーダセルの情報により画素並列で画像分割処理を行う。 【0031】 ここで、画像分割セルネットワーク１４は、図３に示すように、１画素を１つのセルＰijに対応させたセルネットワーク構造を有し、セルの間に垂直及び水平結合重みレジスタＷＲｖij ，ＷＲｈij を交互にアレイ状に配置することで小面積化を実現している。各セルは隣接するセルの状態と結合重みに基づき自らの状態を発火、自己発火、鎮火へと各々並列に遷移する。提案アーキテクチャでは、複数あるリーダセルの中から１つが自己発火し、順次それに隣接するセルが結合重みに基づいて発火可能かを判定し、条件を満足すれば発火する。この発火処理はあたかもリーダセルから領域が広がっていく様に行われ、これ以上発火可能なセルが無くなったことをグローバル抑制子回路によって検出し、１つの領域の画像分割が完了すると、発火セルに対して鎮火処理が行われる。この処理を全てのリーダセルが発火されるまで繰り返すことによって全領域の画像分割を完了する。 【0032】 最後に第４ステージの分割領域保存回路１５では、画像分割セルネットワーク１４にて画像分割されたそれぞれの分割領域のラベル番号を保存し、画像メモリ１６に処理画像データと共に記録する。 【0033】 発明者らは、上述のコア回路である画像分割セルネットワーク１４のテストチップを、０．３５μｍＣＭＯＳ技術を用いて設計・試作した。チップ写真と一部拡大図を図４に示す。小面積化を実現するために、アクティブセルと結合重みレジスタブロックは全てフルカスタムにより設計を行った。 【0034】 製造した画像分割処理ＬＳＩのチップに対して、実際にチェッカーボード画像に対する画像分割処理波形を測定したところ、図５に示すように、複数の領域の分割を行うことができ、正常動作を確認することができた。表１に、作成した従来技術による画像分割処理ＬＳＩチップの諸元を示す。 【表1】 【0035】 ここで、表１に示すように、試作したチップは10×10（＝100）ピクセルの画像分割処理を行うことができるが、その時の平均消費電力は約24.4mW＠10MHzであった。この結果から、100×100（＝10,000）ピクセル以上の大きな画像に対して画像分割を行った場合には、消費電力が１ワットを超えてしまうことになる。このように消費電力が大きい場合には、ロボットビジョンやモバイルアプリケーション等のバッテリ駆動などにそのまま適用することは難しく、適用するためにはさらなる低消費電力化を行う必要がある。 【0036】 ［Boundary Active Only (ＢＡＯ) 手法による消費電力の削減方法］ そこで、本発明では、上述のアルゴリズム／アーキテクチャに対して、大きな画像の処理においても、リアルタイム処理性能を落とすことなく、消費電力を削減する新しいBoundary Active Only (BAO) Scheme（バウンダリ・アクティブ・オンリー（ＢＡＯ）スキーム：境界限定活性化手法）を提案する。図６に、本発明が提案するBAO Schemeの概念図を示す。この方法は、領域成長の境界付近にあるセルのみをアクティブモードとし、それ以外のセルはスタンバイモードとするもので、本発明の画像分割アルゴリズムが領域成長タイプのアルゴリズムであるということを効果的に利用したものである。 【0037】 上述のアルゴリズムで説明したように、各セルは並列動作し、隣接するセルの状態に応じて、結合重みの総和を計算し、その総和が閾値φz以上の場合に、発火状態に遷移する。このため、セル数（ピクセル数）が増えるに従って同時に動作するセルの数が多くなり、一般に消費電力が増加する。 【0038】 ここで、上述のアルゴリズムでは、図６に示すように、各セルが並列に状態遷移処理を行う。ところが、実際にセルの状態遷移が行われるのは、「結合重みの総和を計算した結果、その総和が閾値φz以上の場合」となり、リーダセルを起点として発火セルの領域成長の境界にセルがなった場合である（図６の領域成長の境界）。それ以外の場合には、結合重みの総和は変化しないため、セルの状態は変化しないからである。 【0039】 この点に注目すれば、下記の条件のどれかひとつでも満たした場合には、クロックサイクル毎に行っている状態遷移を行うかどうかの判定、すなわち、「結合重みの総和を計算し、その総和が閾値φz以上かどうかの判定」を行う必要がない。 １.自らが既に発火している（ｘi ＝１）。 ２．既にある分割領域に属している（ｌi ＝１）。 【0040】 ３．上記の１，２のいずれも満たしておらず、隣接するセルが１つも発火していない（ｘj ＝０,ｊ∈Ｎ(ｉ)）。 上記の条件を取り入れたアルゴリズムを下記に示す。 【0041】 ［ＢＡＯを導入した画像分割処理アルゴリズム］ 【数2】 【0042】 本発明におけるBAO Schemeは上記の点に注目し、同時に動作するセルと結合重みレジスタの数を減らすように自動的に制御することによって消費電力の削減を図る方法である。 【0043】 図７は従来方法によるセルの回路構成を示すブロック図、図８は同じく従来方法による結合重みレジスタの回路構成を示すブロック図である。尚、図７（ａ）は隣接する８つのセルとの結合重みを１サイクルで並列して計算するセルの高速動作（ウェイトパラレルアーキテクチャ）の場合の構成を示しており、図７（ｂ）は隣接する８つのセルとの結合重みを９サイクルで逐次的に計算するセルの高速動作（ウェイトシリアルアーキテクチャ）の場合の構成を示している。 【0044】 図７（ａ）に示すセルでは、レジスタ２１～２４にそれぞれ発火状態を示す信号ｘi （１bit ）、自己発火の可否を表す変数ｐi （１bit ）、自己発火許可制御信号のための変数ｎi （１bit ）、画像分割されてある分割領域に含まれているかどうかを示す変数ｌi （１bit ）を保存する。また、それぞれ３bit にエンコードされた８個の近傍セル間の結合重みＷik ×ｘk を入力し、デコーダ２５により８bit にデコードした後、加算器２６で結合重みの総和Ｓi を計算し、減算器２７で総和Ｓi （１１bit ）から「発火可能」を判定するための閾値φz を減算する。減算器２７では、Ｓi －φz ＞０を判定して、判定結果を示す符号ビット（sign bit ）を制御回路２８へ出力する。 【0045】 一方、図７（ｂ）に示す構成の場合の画像分割セルＰi は、スイッチ２９の入力切換によって、それぞれ３bit にエンコードされた８個の近傍セル間の結合重みＷik ×ｘk と「発火可能」の状態を判定するための閾値φz とを順次選択的に入力する。そして、選択結果をデコーダ３０で８bit にデコードし、逐次加減算器３１及びレジスタ３２によって加算・減算処理を逐次的に行うようにしている。 【0046】 すなわち、図７（ａ）に示す構成の場合には、並列に加減算処理を行うため、高速化を実現することができる。しかしながら、８つの加算器及び減算器を必要とするため、セル全体の面積が大きくなる。これに対し、図７（ｂ）に示す構成の場合には、１つの加減算器で済むためセルの面積が小さくなる。しかしながら、加減算に要する時間が１サイクルから９サイクルとなり、全体の処理時間が並列加減算処理の場合より長くなる。このように、図７（ａ）の構成と図７（ｂ）の構成は、互いにトレードオフの関係にある。このため、その用途が高速化重視か、小面積化重視かに応じて使い分ける。 【0047】 一方、図８に示す従来方法による結合重みレジスタは、垂直結合型と水平結合型の２種類がある。いずれも基本的な内部構造は同じであり、レジスタ内に保持されている結合重み値が垂直方向のセル間に関する結合重みを含む場合には垂直結合型、水平方向のセル間に関する結合重みを含む場合には水平結合型と区別される。 【0048】 図８に示すように、結合重みレジスタの内部には、データ入力ポートから入力される結合重み値を入力制御信号に基づいて４系統に切換出力するスイッチ４１、それぞれスイッチ４１から与えられる結合重み値を保存する４つのレジスタ４２～４５、及び、隣接する画像分割セルへ結合重み値を転送する出力選択回路４６を備える。 【0049】 ここで、結合重みの値は、画素値が８bit で表される場合には０～２５５の範囲をとるため、一般に結合重みレジスタのビット数は８bit 必要となる。しかし、結合重みレジスタの個数は画素数に比例するため、このビット数が面積増加に与える影響は大きい。そこで、８bit の結合重み値を３bit にエンコードしてレジスタ４２～４５に保存する。これにより、各結合重みレジスタの面積と各結合重みレジスタと画像分割セルとのデータのやり取りに必要な配線のビット幅を大幅に削減することができ、小面積化を実現することができる。 【0050】 上記出力選択回路４６は、近接する４つのセルＰi （ｉは１～４のいずれか）の発火状態を表す信号ｘi （発火状態ｘi ＝１、非発火状態ｘi ＝０）に基づいて、レジスタ４２～４５に保存された４つの結合重み値のいずれかを選択出力する。 【0051】 上記構成によるセル及び結合重みレジスタに本発明のBAO Schemeを適用した場合の構成を図９及び図１０に示す。尚、図９及び図１０において、それぞれ図７及び図８と同一部分には同一符号を付して示し、重複する説明を省略する。 【0052】 図９は図７（ａ）に示したウェイトパラレルアーキテクチャのセルに本発明によるＢＡＯ状態検出回路３３を追加して構成した場合の回路ブロック図である。また、図１０は図７（ｂ）に示したウェイトシリアルアーキテクチャのセルに本発明によるＢＡＯ状態検出回路３３を追加して構成した場合の回路ブロック図である。 【0053】 クロックp_CLKiは、ＢＡＯ状態検出回路３３を通じて、各レジスタ２１～２４に内部クロックinter_CLKiとして供給される。また、隣接する結合重みレジスタからの値を、図９のウェイトパラレルアーキテクチャではデコーダ２５、図１０のウェイトシリアルアーキテクチャではスイッチ３０にイネーブル信号を設定することにより制御している。図９、図１０において、デコーダ２５、加算器２６、減算器２７は組み合わせ回路であり、入力が変化しない場合には、それぞれの回路中のトランジスタでの充放電はほとんど起こらないので電力を消費しない。また、図９ではデコーダ２５に入力される値を固定にし、図１０においてもスイッチ２９の入力を固定値にすることによって上記の入力が変化しないという条件を満足するように構成している。そのため、消費電力を削減することが可能である。 【0054】 図１１に上記ＢＡＯ状態検出回路３３の構成例を示す。図１１において、第１論理和ゲート３３１は、隣接する８近傍セルの状態信号ｘk の論理和により条件１を判定する。第２論理和ゲート３３２は、制御回路２８から与えられる信号ｘi 、変数ｌi を取り込んで論理和をとって条件２を判定する。第１論理積ゲート３３３は第１論理和ゲート３３１の出力と第２論理和ゲート３３２の論理積をとる。この結果、第１論理積ゲート３３３は、先に述べた条件１,２,３のうちどれか１つでも満たしている場合はイネーブル信号enable＝“０”を出力する。ここで、第２論理積ゲート３３４はイネーブル信号enableと入力クロックp_CLKi との論理積をとって内部クロックinter_CLKi を生成している。このため、上記のようにイネーブル信号が“０”になると、画像分割セルの内部クロックinter_CLKi が停止するようになる。 【0055】 上記の条件１～３のうちどれかひとつでも満たした場合には、各セルと各結合重みレジスタへのクロック信号の供給を止めるゲーティドクロックの回路構成により、スタンバイモードに遷移させ、セルと結合重みレジスタの動作を止めて、消費電力の削減を行う。この機能を各セルと結合重みレジスタに組み入れることにより低消費電力化を図った。 【0056】 図１２に画像分割セルネットワーク１４全体に対するクロック制御を行う行クロック制御回路５１の構成を示す論理回路図である。図１２は行方向の実現例であるが、列方向も同様の方式で実現可能である。画像分割セルと結合重みレジスタは、動作させる条件が異なるために、別々のクロックラインWR_CLKiとp_CLKiを用いて効率よく制御している。 【0057】 図１２に示す行クロック制御回路５１は、動作領域制御回路５１０を中心としていくつかのゲートより構成されている。動作領域制御回路５１０は、図１３（ａ）に示す行デコーダ５１１、同図（ｂ）に示すラベル書き込み行選択回路５１２、同図（ｃ）に示す境界セル活性回路５１３の３つから成る。 【0058】 図１２に示す行クロック制御回路５１について、具体的に動作を説明する。まず、初期化信号ＩＮＩＴが入っているとき、つまり結合重みとリーダセルなどの情報をセルや結合重みレジスタに書き込むときには、書き込みを行う部分にのみクロックＣＬＫを供給する。このために行選択信号ＲＯＷから動作領域制御回路５１０を通じ、書き込み行に対しての選択信号ｒｏｗi および初期化信号ＩＮＩＴと論理積をとることによってイネーブル信号を発行している。 【0059】 画像分割動作中は、各行のZ_linei 信号によって発火しているセルが存在する行の情報を得ることができる。この信号をもとに発火している近傍（領域成長の境界）の画像分割セルにのみクロックが供給される。図１３（ｃ）の境界セル活性回路は上下の行Z_linei-1 ，Z_linei+1 の信号が１の場合のみactive_rowi の信号を１に設定して、クロックＣＬＫを供給する回路である。また、結合重みレジスタにラベル番号を書き込む際に、発火していない領域にラベルを書き込む必要は無い。このために、上記の動作領域制御回路５１０にて検出した発火領域の情報labelrowi とラベル書き込み信号の論理積をとり、必要部分にのみクロックＣＬＫを供給する。発火領域の情報は図１３（ｂ）に示すラベル書き込み行選択回路によって得る。Z_linei が０から１に変化した場合、つまりその行で発火動作が発生した場合にはレジスタに１を設定して発火したことを記憶する。以上のように、動作する領域を画像分割の過程で特定することにより、クロックＣＬＫの供給を制御することで消費電力を削減することができる。 【0060】 このＢＡＯ手法はグローバル抑制子回路にも適用することが可能である。上述のアルゴリズムのグローバル抑制子の動作の実現方法として、従来のアーキテクチャでは、図１４に示す方法を行っていた。すなわち、図１４に示すグローバル抑制子の接続例では、各画像分割セルＰij の出力信号ｚij （前述のアルゴリズムのセルＰiの信号ｚiに相当）は隣接するセルの出力と論理和（ＯＲ）をとり、各行の論理和（ＯＲ）を取った信号が全体のグローバル抑制子ｚとなる。このｚの信号は、バッファメモリを介して、各セルの制御回路２８にフィードバックされる。 【0061】 この方法では、各セルの状態変化の有無にかかわらず全てのセルの状態信号ｚi の論理和を順番にクロックサイクル毎にとることになり、信号伝搬遅延時間が長くなり、また消費電力の増大を招く。そこで、本発明においては、グローバル抑制子の信号を図１５（４×４のセルネットワークの場合）に示すように接続する。この構成では、全てのアクティブセルＰij の状態信号の論理和をとる機能を有するダイナミックグローバル抑制子回路を使用している。この構成によれば、もし行ｉに新たに発火したセルが存在すれば、その行ｉのグローバル抑制子回路の出力は“１”（Z_linei ＝１）となる。このように、グローバル抑制子回路をスタンバイモードのセルからの不要な信号とクロックの供給をカットすることで消費電力を削減し、さらに、アクティブモードのセルが存在しない行の論理和の計算を省略することでさらなる削減を実現している。 【0062】 ［Subdivided Image Approach (SIA)による消費電力の削減方法］ 前述の特許文献１及び非特許文献４－６で提案されている方法では、ＶＧＡサイズの画像の画像分割を行う場合には、画像サイズに対応したセルネットワークを実現する必要があるため、集積回路化した場合にチップサイズが大きくなるという欠点がある。また、リアルタイム処理を行うために、各セルが同時に並列に動作するため、セル数が増えるとそれに応じて消費電力が増加するという問題がある。そのため、ＶＧＡサイズの画像を小面積でなおかつ低消費電力に処理をすることはそのままでは難しいため、携帯端末などのバッテリ駆動の装置には向いていない。 【0063】 そこで本発明では、この問題点を解決するために、大規模な画像に対して、小面積・低消費電力でリアルタイムの画像処理を行う方法としてSubdivided Image Approach (SIA)（サブディバイデッド・イメージ・アプローチ（ＳＩＡ）：補助分割画像領域方法）を提案する。 【0064】 この方法は、図１６に示すように、大規模な画像（例ではＶＧＡサイズ（640×480ピクセル）の画像）を複数の小規模なブロック（図１６の例では３３×２５ピクセル）に分け、各々のブロックを本発明のＢＡＯ手法を取り入れた画像分割セルネットワークを用いて画像分割を行い、その結果をもとに順次逐次的に各ブロックの画像分割処理を行い、最終的にその結果を集約して、全体の画像分割を行うという方法である。 【0065】 図１６において、ブロックに分ける際に、各ブロックで得られた画像分割の結果をもとに同じ画像分割領域に含まれる部分領域を検出できるようにするために、各ブロックはそれぞれブロックの境界が少なくとも１ピクセル以上隣接するブロックと重なるように分ける。そして、各ブロックの画像分割処理においては、隣接するブロックと重なっている部分で画像分割のある領域に含まれるピクセルが存在する場合には、リーダセル決定回路において予めリーダセルとして決定する。これにより、先に処理が行われたブロックでの分割結果を利用して、現在処理を行うブロックの画像分割を行うことができる。 【0066】 分割された領域に対しては、同じ分割領域に含まれる場合には領域番号がラベルとして付加される。このため、各ブロックの境界の隣接するブロックと重なっているピクセルにつけられたラベル番号の対応表を各ブロックの処理の際に更新しておき、全ブロックの処理が終了した段階で全ての領域のラベルを出力する際に、同じ領域が同じラベル番号になるように、ラベルの付け替えを行う。これにより、全体の画像分割を各ブロックに分けて行った結果を矛盾なく出力することができる。 【0067】 図１７に上述のＳＩＡを用いた画像分割処理装置のブロック図を示す。この装置は、図２に示した従来の画像分割処理装置に新たにラベル制御回路１７とＳＩＡ制御回路１８を付け加えた構成であり、残りの回路は既存の回路を使用することが可能である。図１８にラベル制御回路１７の一例を示し、図１９にＳＩＡ制御回路１８の一例を示す。 【0068】 図１８に示すラベル制御回路１７は、画像分割セルネットワーク１４から各ブロックの境界データboundary、ラベル番号labeli 、グローバル抑制子Ｚを受け取り、各ブロックにおける例外信号exception、ラベル番号labelを求めてＳＩＡ制御回路１８に通知する。 【0069】 図１９に示すＳＩＡ制御回路１８は、外部から指定された画素アドレスraddrを入力画像メモリ１１に指定してブロック単位に画像データＩi を読み込む。この際に、ＳＩＡ制御回路１８は、図１６で示したようにバウンダリ（境界）部分を１画素オーバラップさせたデータを読み込む。 【0070】 以下にＳＩＡ制御回路１８の処理の流れを説明する。 【0071】 （ａ）入力関連の処理 ステップ１：入力画像メモリ１１のメモリアドレスを出力ポートraddrに指定する。ブロック数と入力画素数が決まっているので、オーバラップした部分を含むブロック別の画素のアドレスは一意に決まる。 【0072】 ステップ２：リーダセル決定回路１３からリーダセルの計算結果が入力ポートｐｐi に入力された場合、前ブロックの分割結果より、オーバラップした部分が既にある領域に含まれる場合（ラベル番号をもっている場合）はリーダセルとし、ｐi の値を“１”にして出力ポートｐi からセルネットワーク１４に出力する。 【0073】 （ｂ）分割中及び出力時の処理 ステップ１：例外信号exceptionを受けた場合には該当するラベル番号を入力ポートlabelから受け取り、ＳＩＡ制御回路中のラベルテーブルに書き込む。例えば１,２のラベル番号が同じ画像分割領域に含まれる場合にはアドレス“２”の所に“１”というデータを書き込む。このときのラベル番号の付け替えのルールとして例えば小さい方のラベルに書き換える。 【0074】 ステップ２：セルネットワーク１４において、ブロック画像単位で処理が終了した場合には、ラベル番号を入力ポートlabelから受け取り、分割領域保存回路１５に書き込む。その際にアドレスはrwaddrポート、ラベル番号はlabelポートを介して処理される。 【0075】 ステップ３：全てのブロックにおいて画像分割処理が終了した時、上位の画像処理アプリケーションから分割領域保存回路１５へ読み出し要求があった場合、読み出しアドレスraddrを受け取ったＳＩＡ制御回路１８は分割領域保存回路１５中のラベル番号を読み出し、アドレスrwaddrを指定して読み出す。但し、その際にラベルテーブルを参照して、書き換える必要のあるラベル（複数のブロックにまたがる分割領域に該当するラベル）は該当するラベル番号に書き換えて出力ポートSIA_labelから出力する。 【0076】 次に既存の結合重み計算回路１２、リーダセル決定回路１３を用いて通常通りに結合重みＷｉｊとリーダセルｐｐｉを決定する。ただし、前に処理されたブロックはすでに画像分割が行われているため、既にラベルを持っているバウンダリ部分に関しては、強制的にリーダセルにするために、ＳＩＡ制御回路１８を通じてリーダセルは書き換えられる。即ち、バウンダリ部分のラベルが付けられているセルはｐi ＝１にする（ｐi の更新）。 【0077】 以上のデータが画像分割セルネットワーク１４に送られ、画像分割が開始される。 【0078】 画像分割が開始されると、１つの領域の発火動作終了はグローバル抑制子回路のｚ信号が“１”から“０”に立ち下がることで検出できる。 【0079】 ラベル制御回路１７では、同じ発火領域に同じラベル番号labelをラベル書き込み信号labelwを設定して書き込む。本発明のＳＩＡアーキテクチャでは、この時の動作が従来の画像分割処理アーキテクチャと少し異なり、図２０に示すように、大きく次の２つの場合に分けられる。 【0080】 （ａ）発火領域がラベルを持ったブロックのバウンダリの部分を含まない場合。 （ｂ）発火領域がラベルを持ったブロックのバウンダリの部分を含む場合。 （ａ）の場合には（図２０（ａ））、従来のアーキテクチャと同じように新しいラベル番号labelをラベル制御回路１７で生成して、セルネットワーク１４に設定するだけである。（ｂ）の場合には、ＳＩＡで順次処理されるブロックのバウンダリ部分のセルの情報boundaryを分割結果に反映させる必要がある。これについては以下の２つの場合が考えられる。 【0081】 ［発火領域がラベルを持ったブロックのバウンダリ領域を含む場合］ （ｂ－１）一つのラベルをもったバウンダリ部分のセルが発火している場合、もしく発火しているバウンダリ部分のセル複数が同一ラベル番号labelを持っている場合（図２０（ｂ－１））にはそのラベル番号を発火領域に書き込む。 【0082】 （ｂ－２）異なったラベル番号を持ったバウンダリ部分のセルが同一の発火領域になった場合（図２０（ｂ－２））には例外処理が行われる。競合しているラベル番号で例えば一番小さいラベルを現在の発火領域に書き込む。但し、すでに画像分割が終了した画像ブロックに関しては、競合しているラベル番号labelとの組み合わせをＳＩＡ制御回路１８内のテーブルに書き込む。そして例外信号exceptionをＳＩＡ制御回路１８に設定する。 【0083】 各ブロックでの画像分割が終了した場合にはラベル番号labelをＳＩＡコントローラを通して画像分割メモリに書き込む。 以上の動作を全てのブロックの画像分割が終了するまで行う。 以下にラベル制御回路１７の処理の流れをまとめる。 【0084】 ［ラベル制御処理］ ステップ１：ｚ信号が立ち下がることを検出するＦＦ（フリップフロップ）で前のクロックサイクルのｚを保持して、現在のｚ信号と比べて立ち下がりを検出する（ｚが１→０の時に出力が“１”）。 【0085】 ステップ２：boundary信号から発火している領域がバウンダリ部分を含むかどうかを判定。 【0086】 ステップ３： （ａ）バウンダリを含まない場合 新しいラベル番号をカウンタで生成してラベル出力ポートlabelからセルネットワーク１４へ出力し、同時にセルネットワーク１４へラベル書き込み信号labelwを設定する。 【0087】 （ｂ）バウンダリを含む場合発火領域がバウンダリを含む場合 ラベル入力ポートlabelから、バウンダリのラベル情報を得る。 【0088】 （ｂ－１）１種類のラベル番号であれば、その番号をラベル出力ポートlabelからセルネットワーク１４へ出力し、ラベル書き込み信号labelwを設定して書き込む。 【0089】 （ｂ－２）もし、バウンダリ部分の発火しているセルが二つ以上の異なるラベル番号を持つため、ラベル番号が競合しているなら、例外信号exceptionを１に設定して、競合しているラベル番号をＳＩＡ制御回路１８に送る。セルネットワーク１４には競合している中で最小のラベル番号を出力ポートlabelからセルネットワーク１４へ出力し、ラベル書き込み信号labelwを設定して書き込む。 【0090】 上位のアプリケーション（例えば画像認識や動き検出など）から画像分割のデータを要求された場合には、ＳＩＡ制御回路１８は要求画素のアドレスraddrを参照して、画像分割メモリ１５からラベル番号labelを読み出す。ただし、例外exceptionがあるラベル番号に関しては、テーブルに従って書き換えたラベル番号SIA_labelを読み出す。 【0091】 尚、ラベル番号が競合していた場合には、後処理により画像分割メモリ１５内のラベルの競合を予め取り除く、すなわち、ラベルの付け替えをＳＩＡ制御回路１８を用いて行うことも可能である。この場合には、上位のアプリケーションからの要求に対して、毎回ラベルテーブルを参照する必要がなくなる。 【0092】 （効果） 本発明の有効性を検証するために、本発明のＢＡＯとＳＩＡ手法に基づく画像分割処理アーキテクチャの画像分割処理装置をハードウェア記述言語Verilog-HDLを用いて集積回路への設計を行った。 【0093】 作成したVerilog-HDL記述をメタル３層配線0.35μｍＣＭＯＳ技術のスタンダードセルライブラリを用いて論理合成、自動配置配線を行いレイアウトを作成した。図２１にレイアウトを示す。 【0094】 この設計結果を基に提案アーキテクチャの消費電力を回路シミュレーションソフト（HSPICE）を用いてシミュレーションにより見積もった。その結果を表２に示す。シミュレーションでは、消費電力が最大になる入力パターンに場合に対して行った。クロック周波数を10MHzとすると6.81mWとなり、従来法に比べて約75％の消費電力の削減をすることができた。 【表2】 【0095】 さらに、ＳＩＡ手法の有効性を検証した。ＳＩＡを用いれば、大きなサイズの画像に対しても、入力画像をいくつかのブロックに分けてパイプライン処理することで処理可能である。上述の設計例から算出すると、例えば33×25ピクセルサイズを１チップとして実現した場合、画像分割処理は平均15μsec＠10MHzで可能である。このため、例えばＶＧＡサイズ（640×480ピクセル）の画像を考えた場合には、図１７に示すように33×25を１ブロックとして、20×20ブロックに画像を分けて各ブロックの処理をパイプラインで処理することによって、約9msec＠10MHz、平均消費電力19.8mW＠10MHz、チップ面積43mm2 での処理が可能である。 【0096】 このように本発明では、Boundary Active Only (BAO) SchemeとSubdivided Image Approach(SIA) を用いた小面積・低消費電力リアルタイム画像分割アーキテクチャを提案した。この発明により、状態遷移を行うセルを適切に制御することが可能となり、従来のアーキテクチャに比べて約75％の消費電力の削減をすることができた。さらに、提案アーキテクチャは目標とするリアルタイム処理に比べて高速であるため、小さな33×25ピクセルサイズのセルネットワークを用いて逐次的に処理を行うＳＩＡを用いる。これにより、最先端のＣＭＯＳ技術のみ成らず、０．３５μｍＣＭＯＳ技術の安価で確立した技術においても、ＶＧＡサイズの大規模画像においても低消費電力でのリアルタイムに処理が可能である。 【産業上の利用可能性】 【0097】 本発明に係る画像分割処理装置、画像分割処理方法及び画像分割処理集積化回路は、画像認識システム、動体検出システム、ディジタルカメラ、ディジタルビデオカメラ、ロボットビジョン、顔認識による認証システム、セキュリティシステム、人工知能システム等における画像分割・抽出のための画像分割・抽出集積化回路として適用可能である。 【図面の簡単な説明】 【0098】 【図1】本発明で用いている画像分割処理アルゴリズムの処理の流れを示すフローチャート。 【図2】図１に示すアルゴリズムに基づく画像分割処理装置のハードウェア構成を示すブロック図。 【図3】図２に示す画像分割セルネットワークの概略構成を示すブロック図。 【図4】図３に示す画像分割セルネットワークのテストチップの構造を示す図。 【図5】図４に示すテストチップについて、チェッカーボード画像に対する画像分割処理測定を行った結果を説明するための図。 【図6】本発明が提案するBoundary Active Only (BAO) Schemeを説明するための概念図。 【図7】従来方法によるセルの回路構成を示すブロック図。 【図8】従来方法による結合重みレジスタの回路構成を示すブロック図。 【図9】図７（ａ）に示したウェイトパラレルアーキテクチャのセルに本発明によるＢＡＯ状態検出回路を追加して構成した場合のブロック図。 【図10】図７（ｂ）に示したウェイトシリアルアーキテクチャのセルに本発明によるＢＡＯ状態検出回路を追加して構成した場合のブロック図。 【図11】図９及び図１０に示すＢＡＯ状態検出回路の構成例を示すブロック図。 【図12】図１１のＢＡＯ状態検出回路において、画像分割セルネットワーク全体に対するクロック制御を行う行クロック制御回路の構成を示す論理回路図。 【図13】動作領域制御回路を構成する行デコーダ、ラベル書き込み行選択回路、境界セル活性回路の具体的な構成を示すブロック図。 【図14】従来のアーキテクチャに基づくグローバル抑制子信号の接続例を示す図。 【図15】本発明のアーキテクチャに基づくグローバル抑制子信号の接続例を示す図。 【図16】本発明が提案するSubdivided Image Approach (SIA)に基づく補助分割画像パイプライン処理方法を用いたＶＧＡサイズ画像の画像分割処理例を示す図。 【図17】上記Subdivided Image Approach (SIA) を用いた画像分割処理装置の構成を示すブロック図。 【図18】図１７に示すラベル制御回路の具体的な構成を示すブロック図。 【図19】図１７に示すＳＩＡ制御回路の具体的な構成を示すブロック図。 【図20】上記ＳＩＡにおける各処理領域の画像分割処理の流れを例示する図。 【図21】本発明のＢＡＯとＳＩＡ手法に基づく画像分割処理アーキテクチャの画像分割処理装置を試作した試作チップのレイアウトを示す図。 【符号の説明】 【0099】 １１…入力画像メモリ、１２…結合重み計算回路、１３…リーダセル決定回路、１４…画像分割セルネットワーク、１５…分割領域保存回路、１６…出力画像メモリ、１７…ラベル制御回路、１８…ＳＩＡ制御回路、２１～２４…レジスタ、２５…デコーダ、２６…加算器、２７…減算器、２８…制御回路、２９…スイッチ、３０…デコーダ、３１…逐次加減算器、３２…レジスタ、３３…ＢＡＯ状態検出回路、３３１，３３２…論理和ゲート、３３３…論理積ゲート、スイッチ４１、４２～４５…レジスタ、４６…出力選択回路、５１…行クロック制御回路、５１０…動作領域制御回路、５１１…行デコーダ、５１２…ラベル書き込み行選択回路、５１３…境界セル活性回路。 |
||||||||||||||||||||||
| 図面 |
|