TOP > 国内特許検索 > 画像分割処理装置、画像分割処理方法及び画像分割処理集積化回路

画像分割処理装置、画像分割処理方法及び画像分割処理集積化回路 UPDATE コモンズ 新技術説明会 外国出願あり

国内特許コード P05P002904
掲載日 2005年4月15日
出願番号 特願2003-322163
公開番号 特開2005-092362
登録番号 特許第3955953号
出願日 平成15年9月12日(2003.9.12)
公開日 平成17年4月7日(2005.4.7)
登録日 平成19年5月18日(2007.5.18)
発明者
  • 小出 哲士
  • マタウシュ・ハンスユルゲン
  • 森本 高志
  • 原田 洋明
出願人
  • 国立大学法人広島大学
発明の名称 画像分割処理装置、画像分割処理方法及び画像分割処理集積化回路 UPDATE コモンズ 新技術説明会 外国出願あり
発明の概要 【課題】大規模な画像についても、低消費電力でリアルタイム画像分割処理を実現する。
【解決手段】本発明が提案するBoundary Active Only (BAO) Schemeでは、領域成長の境界にあるセルのみをアクティブモードとし、それ以外のセルはスタンバイモードとする。各セルは並列に状態遷移処理を行うが、実際に状態遷移が行われるのは、リーダセルを起点として発火セルの領域成長の境界にセルがなかった場合のみであることに注目し、隣接するセルが1つも発火していない、自らがすでに発火している、既にある分割領域に属しているという3つの条件のいずれかを満たした場合には、クロックサイクル毎に行っている状態遷移の判定を行わないようにし、同時に動作するセルと結合重みレジスタの数を必要最小限に自動的に制御することによって消費電力の削減を図る。
【選択図】 図6
従来技術、競合技術の概要


画像分割処理(Image segmentation)は、入力として取り込んだ複雑な自然画像から個々の対象物(例えば、人間の顔や車などの移動物体)を取り出す処理であり、オブジェクトベースの処理である画像認識や動き検出などの画像処理を行うために基本的かつ不可欠な処理である。



これまでに様々な画像分割手法が提案されており、それらの手法は、
(1)輪郭線に基づく方法[例えば非特許文献7,8参照]、
(2)領域に基づく方法[例えば非特許文献7参照]、
(3)(1),(2)の両方を組み合わせた方法[例えば非特許文献7参照]や組み合わせ最適化問題に定式化する方法[例えば非特許文献1参照]
などに大まかに分類することができる。



しかし、これまでに提案されているカラー、グレースケールに対する画像分割手法はソフトウェアでの処理を前提としているため、複雑な処理を必要とするため処理にかかる時間が長い。また、アルゴリズムが複雑なため、ハードウェアとして小面積で実現することが難しく、リアルタイム(数msec程度)での処理が困難である。さらに、カラー、グレースケールの自然画像を分割するために、各々専用のアルゴリズムが必要である。また、リアルタイム処理を実現するためには、ハードウェア化による高速化が不可欠となる。



ところで、近年、知的情報処理技術の実現に向けての画像認識処理技術の要求が高まってきている。特に、人間に近い動作・判断をする知能ロボットの実現やリアルタイムでの顔認識や移動物体認識においては、カメラ等から取り込んだ視覚情報(自然画像の情報)を高速に処理する必要がある。視覚情報は一般に情報量が膨大であるために、汎用の計算機等で処理する場合、かなり長い処理時間が必要となる。ロボットの制御や画像認識においては、視覚情報の処理速度に対する要求が厳しくなり、リアルタイムでの高速処理が必要とされる。



このようなことから、近年では、知能ロボットや動物体認識などのリアルタイム処理が不可欠な画像処理に対応するために、様々な画像分割アルゴリズム[例えば非特許文献4,7,9参照]とリアルタイム処理のためのハードウェアによる画像分割処理回路[例えば非特許文献2,3,5,6参照]が盛んに研究されている。



しかし、高速性を重視するためにハードウェアとして実現した従来の集積回路では、消費電力やチップ面積が大きくなるという問題点があった。そのため、大きな画像サイズに対する画像分割処理回路の実現が消費電力やチップ面積の観点から困難であった。
【特許文献1】
特願2002-152491号
【非特許文献1】
S. M. Bhandarkar and H. Zhang, “Image segmentation using evolutionary computation”, IEEE Trans. on Evolutionary Computation, Vol.3, No.1, (1999).
【非特許文献2】
H. Ando, T. Morie, M. Nagata, and A. Iwata, “A nonlinear oscillator network for gray-level image segmentation and PWM/PPM circuits for its VLSI implementation”, IEICE Transactions on Fundamentals, E83-A(2), pp.329-336, 2000.
【非特許文献3】
H. Ando, T. Morie, M. Miyake, M. Nagata, and A. Iwata, “Image segmentation/extraction using nonlinear cellular networks and their VLSI implementation using pulse-modulation techniques”, IEICE Transactions on Fundamentals, E85-A(2), pp.381-388, 2002.
【非特許文献4】
T. Koide, T. Morimoto, Y. Harada, and H. J. Mattausch, “Digital gray-scale/color image-segmentation architecture for cell-network-based real-time applications”, In Proceedings of International Technical Conference on Circuits/Systems, Computers and Communications (ITC-CSCC2002), pp. 670-673, 2002.
【非特許文献5】
T. Morimoto, Y. Harada, T. Koide, and H. J. Mattausch, “Real-time segmentation architecture of gray-scale/color motion pictures and digital test-chip implementation”, In Proccesings of 2002 IEEE Asia-Pacific Conference on ASICs (AP-ASIC2002), pp. 237-240, 2002.
【非特許文献6】
T. Morimoto, Y. Harada, T. Koide, and H. J. Mattausch, “Low-complexity, highly-parallel color motion-picture segmentation architecture for compact digital CMOS implementation”, In Extended Abstracts of the 2002 International Conference on Solid State Devices and Materials (SSDM2002), pp.242-243, 2002.
【非特許文献7】
J. C. Russ, “The Image Processing Handbook”, pp.371-429. CRC PRESS, 1999.
【非特許文献8】
S. Sarkar and K. L. Boyer, “Integration inference, and management of speatial information using Bayesian networks: Perceputual organization”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 15(3), pp.256-274, 1993.
【非特許文献9】
D. L. Wang and D. Terman, “Image segmentation based on oscillator correlation”, Neural Computation, 9(4), pp.805-836, 1997.

産業上の利用分野


本発明は、リアルタイムに画像の認識や動き検出などを行う画像処理のための画像分割処理装置、画像分割処理方法及び画像分割処理集積化回路に関する。

特許請求の範囲 【請求項1】
入力画像から画素単位で互いに同一の範疇に属する領域を特定して画像分割領域として判別し、任意の画像分割領域の画像を選択的に出力する画像分割処理装置において、
入力画像の各画素値を保存する入力画像メモリと、
前記入力画像メモリから各画素値を順に読み出し、各画素に対応する個々の画像分割セルについて、パイプライン処理により隣接するセルとの結合重みを計算する結合重み計算回路と、
前記結合重み計算回路で計算された結合重みを基に各隣接セルとの結合重みの総和が基準値を超えるセルをリーダセルとして決定するリーダセル決定回路と、
前記入力画像の各画素に対応し非発火、自己発火可能、発火の状態を遷移する画像分割セルと前記結合重み計算回路で得られるセル間の結合重みを保持する結合重みレジスタを交互にアレイ状に配列し、各セルが隣接配置される結合重みレジスタの保持値から発火可能か否かを判定する判定手段を備え、前記リーダセル決定回路で決定されたリーダセルを発火状態とし、その隣接セルの中から発火可能なセルを選択して発火状態として発火領域を広げることで画像分割領域を判別する画像分割セルネットワークと、
前記画像分割セルネットワークにより画像分割領域が判別された全セルの情報を保存する分割領域保存回路と、
前記分割領域保存回路の保存内容に基づいて任意の画像分割領域の各セルに対応する画素値を保存する出力画像メモリと
前記画像分割セルネットワークに対して設けられ、初期化信号入力中はデータ書き込み時のみ前記セルネットワークに動作クロックを供給し、画像分割動作中は、前記セルネットワークで発行される各行または列の、発火中のセルが存在するか否かを決定するための変数であるグローバル抑制子から発火している行または列の情報を得て、この情報をもとに、前記セルネットワーク上の発火している領域成長の境界付近にあるセルにのみクロックを供給するクロック供給回路とを具備し、
前記セルは、発火状態を示す信号xi 、自己発火の可否を表す変数pi 、自己発火許可制御信号のための変数ni 、画像分割されている分割領域に含まれているかどうかを示す変数li を保存するレジスタ群と、
近傍セル間の結合重みWik ×xkの総和Si を計算し、前記総和Si と閾値φz とを比較して発火可能を判定する判定回路と、
前記発火可能の判定結果に基づいて前記状態遷移を実行する制御回路と、
前記近傍セルの状態信号と前記セルのレジスタ群の保存値から
条件1:自らが既に発火している、
条件2:既にある分割領域に属している、
条件3:条件1,2のいずれも満たしておらず、隣接するセルが1つも発火していない、
の3つの条件を判断し、いずれの条件も満たしていない場合には画像分割の領域成長の境界付近にあるセルとして前記制御回路に動作クロックを供給することでアクティブモードとし、いずれか一つでも満たしている場合にはスタンバイモードとして前記制御回路に供給する動作クロックを停止する境界状態検出回路とを備えることを特徴とする画像分割処理装置。

【請求項2】
入力画像から画素単位で互いに同一の範疇に属する領域を特定して画像分割領域として識別する画像分割処理方法において、
前記入力画像の各画素に対応する個々の画像分割処理ユニットであるセルを非発火状態とし、前記セルに対応する画素の画素値を順次取り込み、隣接する複数のセル間それぞれの結合重みを計算し、各計算結果に基づいてリーダセル(自己発火可能セルの候補)を決定し、発火中のセルが存在するか否かを決定するための変数であるグローバル抑制子を初期化する初期化過程と、
前記初期化過程で決定されたリーダセルの一つを順に選択し自己発火可能セルとして検出する自己発火可能セル検出過程と、
前記自己発火可能セル検出過程で検出された自己発火可能セルを発火状態とする自己発火過程と、
発火状態のセル(前記リーダセルを含む)とこれに隣接するセルと間の結合重みに基づいて、隣接セルの中から発火可能なセルを検出する発火可能セル検出過程と、
前記発火可能セル検出過程で検出されたセルを発火状態とする引火過程と、
前記発火可能セル検出過程で該当セルが検出されない場合に発火状態のセルを鎮火状態とする鎮火処理過程とを具備し、
前記発火可能セル検出過程で該当セルが検出されなくなるまで前記引火過程の処理を繰り返し行うことで1つの領域の画像分割処理を完了し、前記自己発火可能セル検出過程で非発火状態のリーダセルがなくなるまで前記各過程の処理を繰り返し行うことで全ての領域の画像分割処理を完了する処理について、各セルを並列に動作させ、隣接するセルの状態に応じて、結合重みの総和を計算し、その総和がある閾値以上の場合に発火状態に遷移させることで分割領域を成長させるものとし、
前記入力画像を複数のブロックに分割し、各々のブロック単位で順次各ブロック内の画像分割処理を行い、最終的にそれぞれのブロックの処理結果を集約して、全体の画像分割を行うようにし、
前記ブロックに分割する際に、各ブロックそれぞれの境界が隣接するブロックと少なくとも1ピクセル以上重なるように分け、各ブロックの画像分割処理においては、隣接するブロックと重なっている部分で画像分割処理が完了したブロックのある画像分割領域に含まれるピクセルが存在する場合には、予めリーダセルとして決定することを特徴とする画像分割処理方法。

【請求項3】
入力画像から画素単位で互いに同一の範疇に属する領域を特定して画像分割領域として判別し、任意の画像分割領域の画像を選択的に出力する画像分割処理装置において、
入力画像の各画素値を保存する入力画像メモリと、
前記入力画像メモリから各画素値を順に読み出し、各画素に対応する個々の画像分割セルについて、パイプライン処理により隣接するセルとの結合重みを計算する結合重み計算回路と、
前記結合重み計算回路で計算された結合重みを基に各隣接セルとの結合重みの総和が基準値を超えるセルをリーダセルとして決定するリーダセル決定回路と、
前記入力画像の各画素に対応し非発火、自己発火可能、発火の状態を遷移するセルと前記結合重み計算回路で得られるセル間の結合重みを保持する結合重みレジスタを交互にアレイ状に配列し、各セルが隣接配置される結合重みレジスタの保持値から発火可能か否かを判定する判定手段を備え、前記リーダセル決定回路で決定されたリーダセルを発火状態とし、その隣接セルの中から発火可能なセルを選択して発火状態として発火領域を広げることで画像分割領域を判別する画像分割セルネットワークと、
前記画像分割セルネットワークにより画像分割領域が判別された全セルの情報を保存する分割領域保存回路と、
前記分割領域保存回路の保存内容に基づいて任意の画像分割領域の各セルに対応する画素値を保存する出力画像メモリと、
前記入力画像を複数のブロックに分割し、順次ブロック内の画素値を前記入力画像メモリに保存させて前記結合重み計算回路、リーダセル決定回路、画像分割セルネットワークにブロック単位の画像分割処理を実行させる補助分割制御回路と、
前記画像分割セルネットワークのブロック処理結果にそれぞれラベルを付して保存するラベル制御回路とを具備し、
前記補助分割制御回路は、前記ラベルが付された個々のブロック処理結果を集約して、全体の画像分割を行うもので、前記ブロックに分割する際に、各ブロックそれぞれの境界が隣接するブロックと少なくとも1ピクセル以上重なるように分け、各ブロックの画像分割処理において、隣接するブロックと重なっている部分で画像分割処理が完了したブロックのある分割領域に含まれるピクセルが存在する場合には、予めリーダセルとして決定することを特徴とする画像分割処理装置。

【請求項4】
前記ラベル制御回路は、画像分割セルネットワークから各ブロックの境界データ、ラベル番号、グローバル抑制子を受け取り、同じ発火領域に同じラベル番号を書き込み、各ブロックにおける例外信号、ラベル番号を求めて前記処理領域分割制御回路に通知することを特徴とする請求項記載の画像分割処理装置。

【請求項5】
前記補助分割制御回路は、前記発火領域が画像分割処理の完了した隣接するブロックと重なっている部分(バウンダリ部分)においてラベルを持ったセルを含まない場合には、前記ラベル制御回路で生成される新しいラベル番号を前記セルネットワークに設定し、発火領域が画像分割処理の完了した隣接するブロックと重なっている部分(バウンダリ部分)においてラベルを持ったセルを含む場合において、一つのラベル持ちのバウンダリ部分のセルが発火している場合、もしくは発火しているバウンダリ部分のセル複数が同一ラベル番号を持っている場合には、そのラベル番号を発火領域に書き込み、異なったラベル番号を持ったバウンダリ部分のセルが同一の発火領域になった場合には例外処理を行い、競合しているラベル番号の中から一つ(例えば一番小さいもしくは大きいラベル番号)のラベル番号を現在の発火領域に書き込むようにし、すでに画像分割が終了したブロックに関しては、競合しているラベル番号との組み合わせを内部のテーブルに書き込んで例外信号を設定し、ブロックで画像分割が終了した場合にはラベル番号を前記分割領域保存回路に保存するようにし、以上の動作を全てのブロックの画像分割処理が終了するまで行うことを特徴とする請求項記載の画像分割処理装置。

【請求項6】
入力画像から画素単位で互いに同一の範疇に属する領域を特定して画像分割領域として判別し、任意の画像分割領域の画像を選択的に出力する画像分割処理装置に適用され、
入力画像の各画素値を保存する入力画像メモリと、
前記入力画像メモリから各画素値を順に読み出し、各画素に対応する個々の画像分割セルについて、パイプライン処理により隣接するセルとの結合重みを計算する結合重み計算回路と、
前記結合重み計算回路で計算された結合重みを基に各隣接セルとの結合重みの総和が基準値を超えるセルをリーダセルとして決定するリーダセル決定回路と、
前記入力画像の各画素に対応し非発火、自己発火可能、発火の状態を遷移する画像分割セルと前記結合重み計算回路で得られるセル間の結合重みを保持する結合重みレジスタを交互にアレイ状に配列し、各セルが隣接配置される結合重みレジスタの保持値から発火可能か否かを判定する判定手段を備え、前記リーダセル決定回路で決定されたリーダセルを発火状態とし、その隣接セルの中から発火可能なセルを選択して発火状態として発火領域を広げることで画像分割領域を判別する画像分割セルネットワークと、
前記画像分割セルネットワークにより画像分割領域が判別された全セルの情報を保存する分割領域保存回路と、
前記分割領域保存回路の保存内容に基づいて任意の画像分割領域の各セルに対応する画素値を保存する出力画像メモリと
前記画像分割セルネットワークに対して設けられ、初期化信号入力中はデータ書き込み時のみ前記セルネットワークに動作クロックを供給し、画像分割動作中は、前記セルネットワークで発行される各行または列の、発火中のセルが存在するか否かを決定するための変数であるグローバル抑制子から発火している行または列の情報を得て、この情報をもとに、前記セルネットワーク上の発火している領域成長の境界付近にあるセルにのみクロックを供給するクロック供給回路とを具備し、
前記セルは、発火状態を示す信号xi 、自己発火の可否を表す変数pi 、自己発火許可制御信号のための変数ni 、画像分割されてある分割領域に含まれているかどうかを示す変数li を保存するレジスタ群と、
近傍セル間の結合重みWik ×xkの総和Si を計算し、前記総和Si と閾値φz とを比較して発火可能を判定する判定回路と、
前記発火可能の判定結果に基づいて前記状態遷移を実行する制御回路と、
前記近傍セルの状態信号と前記セルのレジスタ群の保存値から
条件1:自らが既に発火している、
条件2:既にある分割領域に属している、
条件3:条件1,2のいずれも満たしておらず、隣接するセルが1つも発火していない、
の3つの条件を判断し、いずれの条件も満たしていない場合には画像分割の領域成長の境界付近にあるセルとして前記制御回路に動作クロックを供給することでアクティブモードとし、いずれか一つでも満たしている場合にはスタンバイモードとして前記制御回路に供給する動作クロックを停止する境界状態検出回路とを備え、
上記の全回路を集積回路化することを特徴とする画像分割処理集積化回路。

【請求項7】
入力画像から画素単位で互いに同一の範疇に属する領域を特定して画像分割領域として判別し、任意の画像分割領域の画像を選択的に出力する画像分割処理装置に適用され、
入力画像の各画素値を保存する入力画像メモリと、
前記入力画像メモリから各画素値を順に読み出し、各画素に対応する個々の画像分割セルについて、パイプライン処理により隣接するセルとの結合重みを計算する結合重み計算回路と、
前記結合重み計算回路で計算された結合重みを基に各隣接セルとの結合重みの総和が基準値を超えるセルをリーダセルとして決定するリーダセル決定回路と、
前記入力画像の各画素に対応し非発火、自己発火可能、発火の状態を遷移する画像分割セルと前記結合重み計算回路で得られるセル間の結合重みを保持する結合重みレジスタを交互にアレイ状に配列し、各セルが隣接配置される結合重みレジスタの保持値から発火可能か否かを判定する判定手段を備え、前記リーダセル決定回路で決定されたリーダセルを発火状態とし、その隣接セルの中から発火可能なセルを選択して発火状態として発火領域を広げることで画像分割領域を判別する画像分割セルネットワークと、
前記画像分割セルネットワークにより画像分割領域が判別された全セルの情報を保存する分割領域保存回路と、
前記分割領域保存回路の保存内容に基づいて任意の画像分割領域の各セルに対応する画素値を保存する出力画像メモリと、
前記入力画像を複数のブロックに分割し、順次ブロック内の画素値を前記入力画像メモリに保存させて前記結合重み計算回路、リーダセル決定回路、画像分割セルネットワークにブロック単位の画像分割処理を実行させる補助分割制御回路と、
前記画像分割セルネットワークのブロック処理結果にそれぞれラベルを付して保存するラベル制御回路とを具備し、
前記補助分割制御回路は、前記ラベルが付された個々のサブブロック処理結果を集約して、全体の画像分割を行うもので、前記ブロックに分割する際に、各ブロックそれぞれの境界が隣接するブロックと少なくとも1ピクセル以上重なるように分け、各ブロックの画像分割処理において、隣接するブロックと重なっている部分で画像分割処理が完了したブロックのある分割領域に含まれるピクセルが存在する場合には、予めリーダセルとして決定するようにし、
上記の全回路を集積回路化することを特徴とする画像分割処理集積化回路。
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

JP2003322163thum.jpg
出願権利状態 登録
参考情報 (研究プロジェクト等) 小出哲士のホームページ


PAGE TOP

close
close
close
close
close
close
close