Top > Search of Japanese Patents > SYMBOL RECOGNITION DEVICE, AND SIGN RECOGNITION APPARATUS FOR VEHICLE > Specification

Specification :(In Japanese)シンボル認識装置および車両用標識認識装置

Country (In Japanese)日本国特許庁(JP)
Gazette (In Japanese)特許公報(B2)
Patent Number P6355908
Publication number P2015-092305A
Date of registration Jun 22, 2018
Date of issue Jul 11, 2018
Date of publication of application May 14, 2015
Title of the invention, or title of the device (In Japanese)シンボル認識装置および車両用標識認識装置
IPC (International Patent Classification) G06K   9/62        (2006.01)
G06T   7/00        (2017.01)
FI (File Index) G06K 9/62 630A
G06T 7/00 300G
Number of claims or invention 9
Total pages 21
Application Number P2013-216403
Date of filing Oct 17, 2013
Application number of the priority 2013203715
Priority date Sep 30, 2013
Claim of priority (country) (In Japanese)日本国(JP)
Date of request for substantive examination Aug 24, 2016
Patentee, or owner of utility model right (In Japanese)【識別番号】504136568
【氏名又は名称】国立大学法人広島大学
Inventor, or creator of device (In Japanese)【氏名】小出 哲士
【氏名】ホアン アイン トゥワン
【氏名】山本 真晴
【氏名】三島 翼
Representative (In Japanese)【識別番号】110001427、【氏名又は名称】特許業務法人前田特許事務所
Examiner (In Japanese)【審査官】新井 則和
Document or reference (In Japanese)特開平06-052358(JP,A)
特開平04-350783(JP,A)
特開2008-286566(JP,A)
特開平07-287758(JP,A)
特開2006-235752(JP,A)
Field of search G06T 1/00
G06T 7/00-7/90
G06K 9/00-9/82

Scope of claims (In Japanese)【請求項1】
認識対象の2値化画像を格納する画像メモリと、
前記2値化画像における認識対象領域の各部分領域の画像が入力され、該部分領域において各ラインまたは各列の所定色の画素の頻度分布を算出する複数のヒストグラム算出部と、
前記認識対象領域の各部分領域の画像が入力され、該部分領域において前記所定色の画素からなる所定長以上のラインまたは列が存在するか否かを判定する複数のランレングス判定部と、
前記画像メモリに格納されている前記2値化画像を走査して読み出した前記部分領域の画素情報を前記複数のヒストグラム算出部および前記複数のランレングス判定部へ入力する制御部と、
前記複数のヒストグラム算出部の算出結果および前記複数のランレングス判定部の判定結果に基づいて、前記2値化画像に含まれるシンボルを判定する判定部とを備えている
ことを特徴とするシンボル認識装置であって、
前記複数のヒストグラム算出部が、前記認識対象領域を左右方向に2分割した各部分領域の画像が入力される第1および第2のヒストグラム算出部と、前記認識対象領域を上下方向に3分割した各部分領域の画像が入力される第3、第4、および第5のヒストグラム算出部と、前記認識対象領域の左右方向中央の部分領域の画像が入力される第6のヒストグラム算出部と、前記認識対象領域の上下方向中央の部分領域の画像が入力される第7のヒストグラム算出部とを含み、
前記複数のランレングス判定部が、前記認識対象領域の上下方向中央の部分領域を上下左右に4分割した各部分領域の画像が入力される第1、第2、第3、および第4のランレングス判定部を含み、
前記判定部が、前記第1から第5のヒストグラム算出部によって算出されたヒストグラムの最大値、前記第6および第7のヒストグラム算出部によって算出されたヒストグラムの最小値、および前記第1から第4のランレングス判定部の判定結果に基づいて、前記認識対象領域に含まれるシンボルを判定する
シンボル認識装置
【請求項2】
前記複数のランレングス判定部が、第5のランレングス判定部を含み、
前記第5のランレングス判定部が、前記認識対象領域の上下方向中央の部分領域の画像が入力され、該部分領域において所定長以上の黒および白の各列が所定数以上存在するか否かを判定するものであり、
前記判定部が、前記第5のランレングス判定部の判定結果を加味して、前記認識対象領域に含まれるシンボルが数字「0」であるか否かを判定する
ことを特徴とする請求項1に記載のシンボル認識装置。
【請求項3】
前記複数のランレングス判定部が、前記認識対象領域を左右方向に2分割した各部分領域の画像が入力される第6および第7のランレングス判定部と、前記認識対象領域を上下方向に3分割した上および下の各部分領域の画像が入力される第8および第9のランレングス判定部とを含み、
前記判定部が、前記第6から第9のランレングス判定部の判定結果を加味して、前記認識対象領域に含まれるシンボルが数字「0」であるか否かを判定する
ことを特徴とする請求項1または請求項2に記載のシンボル認識装置。
【請求項4】
前記複数のランレングス判定部が、前記認識対象領域を上下方向に3分割した各部分領域の画像が入力される第6、第7、および第8のランレングス判定部を含み、
前記判定部が、前記第6から第8のランレングス判定部の判定結果を加味して、前記認識対象領域に含まれるシンボルが数字「8」であるか否かを判定する
ことを特徴とする請求項1または請求項2に記載のシンボル認識装置。
【請求項5】
前記複数のランレングス判定部が、前記認識対象領域を上下方向に3分割した真ん中の部分領域の画像が入力される第10のランレングス判定部を含み、
前記判定部が、前記第8から第10のランレングス判定部の判定結果を加味して、前記認識対象領域に含まれるシンボルが数字「8」であるか否かを判定する
ことを特徴とする請求項3に記載のシンボル認識装置。
【請求項6】
前記認識対象領域の画像が入力され、前記認識対象領域の全体における所定色の画素の割合を算出する色割合算出部を備え、
前記制御部が、前記画像メモリに格納されている前記2値化画像を走査して読み出した前記部分領域の画素情報を前記色割合算出部へ入力するものであり、
前記判定部が、前記色割合算出部の算出結果を加味して、前記認識対象領域に含まれるシンボルを判定する
ことを特徴とする請求項1ないし請求項5のいずれかに記載のシンボル認識装置。
【請求項7】
前記認識対象領域および前記認識対象領域を上下左右に僅かずつずらした各認識対象領域について同時並行的に認識処理を行う
ことを特徴とする請求項1ないし請求項6のいずれかに記載のシンボル認識装置。
【請求項8】
請求項1ないし請求項7のいずれかに記載のシンボル認識装置と、
前記シンボル認識装置の前記画像メモリに格納された前記2値化画像において車両用標識の枠を検出する枠検出部とを備え、
前記シンボル認識装置の前記判定部が、前記枠検出部の検出結果に基づいて、前記2値化画像が車両用標識の画像であるか否かを判定する
ことを特徴とする車両用標識認識装置。
【請求項9】
前記2値化画像における斜めの部分領域において所定色の画素からなる所定長以上の斜め線が存在するか否かを判定する斜線判定部を備え、
前記判定部が、前記斜線判定部の判定結果を加味して、前記2値化画像が禁止を表す標識のうちのいずれの種類の標識の画像であるかを判定する
ことを特徴とする請求項8に記載の車両用標識認識装置。
Detailed description of the invention (In Japanese)【技術分野】
【0001】
本発明は、画像中のシンボルを認識する装置に関し、特に、道路速度標識に含まれる数字の認識に好適なシンボル認識装置に関する。また、本発明は、そのようなシンボル認識装置を備えた車両用標識認識装置に関する。
【背景技術】
【0002】
近年、自動車普及台数の増加により交通事故件数の増加が深刻化している。交通事故の主な原因として、発見の遅れ、判断ミス、操作ミスなどの運転者によるものがある。交通事故を未然に防ぐためには、自動車で判断を行い、運転者の操作をアシストすることで、運転者の操作ミスや判断ミスを防ぐことができる。そのような自動車での判断を可能にするには、自動車走行中に処理できる程度のリアルタイム性で白線認識、歩行者認識、車両認識、道路標識認識などを一度に行う必要がある。
【0003】
道路標識認識について言えば、道路速度標識の検出および数字認識が挙げられる。従来、画像に細線化処理を施してからパターンマッチングを行うことで文字、数字、記号などのシンボルを認識している(例えば、非特許文献1を参照)。
【先行技術文献】
【0004】

【非特許文献1】田村秀行、「コンピュータ画像処理」、オーム社、平成14年12月20日、p.137-161
【発明の概要】
【発明が解決しようとする課題】
【0005】
画像の細線化処理はソフトウェア向けの手法であり、画像メモリから画像を繰り返し読み出す必要がある。したがって、この手法を車載組込システムなどのハードウェアに実装して自動車走行中にリアルタイム処理を行うことは困難である。
【0006】
上記問題に鑑み、本発明は、ハードウェア処理に適したシンボル認識手法を提供することを目的とする。また、本発明は、そのようなシンボル認識手法を応用した車両用標識認識装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一局面に従ったシンボル認識装置は、認識対象の2値化画像を格納する画像メモリと、前記2値化画像における認識対象領域の各部分領域の画像が入力され、該部分領域において各ラインまたは各列の所定色の画素の頻度分布を算出する複数のヒストグラム算出部と、前記認識対象領域の各部分領域の画像が入力され、該部分領域において前記所定色の画素からなる所定長以上のラインまたは列が存在するか否かを判定する複数のランレングス判定部と、前記画像メモリに格納されている前記2値化画像を走査して読み出した前記部分領域の画素情報を前記複数のヒストグラム算出部および前記複数のランレングス判定部へ入力する制御部と、前記複数のヒストグラム算出部の算出結果および前記複数のランレングス判定部の判定結果に基づいて、前記2値化画像に含まれるシンボルを判定する判定部とを備えている。
【0008】
これによると、画像メモリに格納された2値化画像が制御部によって読み出され、2値化画像の任意の部分領域の画像が各ヒストグラム算出部および各ランレングス判定部へ入力され、各ヒストグラム算出部および各ランレングス判定部によって、各部分領域に対して所定の処理が互いに独立に同時並行的に行われ、各ヒストグラム算出部および各ランレングス判定部の出力結果に基づいて、判定部によって、2値化画像に含まれるシンボルが判定される。これにより、制御部が2値化画像を一度走査するだけで2値化画像に含まれるシンボルを認識することができる。
【0009】
前記複数のヒストグラム算出部が、前記認識対象領域を左右方向に2分割した各部分領域の画像が入力される第1および第2のヒストグラム算出部と、前記認識対象領域を上下方向に3分割した各部分領域の画像が入力される第3、第4、および第5のヒストグラム算出部と、前記認識対象領域の左右方向中央の部分領域の画像が入力される第6のヒストグラム算出部と、前記認識対象領域の上下方向中央の部分領域の画像が入力される第7のヒストグラム算出部とを含んでいてもよい。また、前記複数のランレングス判定部が、前記認識対象領域の上下方向中央の部分領域を上下左右に4分割した各部分領域の画像が入力される第1、第2、第3、および第4のランレングス判定部を含んでいてもよい。そして、前記判定部が、前記第1から第5のヒストグラム算出部によって算出されたヒストグラムの最大値、前記第6および第7のヒストグラム算出部によって算出されたヒストグラムの最小値、および前記第1から第4のランレングス判定部の判定結果に基づいて、前記2値化画像に含まれるシンボルを判定するようにしてもよい。
【0010】
これによると、数字、特に道路速度標識に含まれる数字を高速かつ高精度に認識することができる。
【0011】
前記複数のランレングス判定部が、第5のランレングス判定部を含み、前記第5のランレングス判定部が、前記認識対象領域の上下方向中央の部分領域の画像が入力され、該部分領域において所定長以上の黒および白の各列が所定数以上存在するか否かを判定するものであり、前記判定部が、前記第5のランレングス判定部の判定結果を加味して、前記認識対象領域に含まれるシンボルが数字「0」であるか否かを判定するものであってもよい。
【0012】
これによると、数字「0」の認識精度が向上する。
【0013】
さらに、前記複数のランレングス判定部が、前記認識対象領域を左右方向に2分割した各部分領域の画像が入力される第6および第7のランレングス判定部と、前記認識対象領域を上下方向に3分割した上および下の各部分領域の画像が入力される第8および第9のランレングス判定部とを含み、前記判定部が、前記第6から第9のランレングス判定部の判定結果を加味して、前記認識対象領域に含まれるシンボルが数字「0」であるか否かを判定するものであってもよい。
【0014】
これによると、数字「0」の認識精度がさらに向上する。
【0015】
あるいは、前記複数のランレングス判定部が、前記認識対象領域を上下方向に3分割した各部分領域の画像が入力される第6、第7、および第8のランレングス判定部を含み、前記判定部が、前記第6から第8のランレングス判定部の判定結果を加味して、前記認識対象領域に含まれるシンボルが数字「8」であるか否かを判定するものであってもよい。
【0016】
これによると、数字「8」の認識精度が向上する。
【0017】
前記シンボル認識装置は、前記認識対象領域の画像が入力され、前記認識対象領域の全体における所定色の画素の割合を算出する色割合算出部を備えていてもよく、前記制御部が、前記画像メモリに格納されている前記2値化画像を走査して読み出した前記部分領域の画素情報を前記色割合算出部へ入力するものであってもよく、前記判定部が、前記色割合算出部の算出結果を加味して、前記認識対象領域に含まれるシンボルを判定するものであってもよい。
【0018】
これによると、認識対象領域の全体における所定色の割合を加味することでシンボルの認識精度が向上する。
【0019】
前記シンボル認識装置は、前記認識対象領域および前記認識対象領域を上下左右に僅かずつずらした各認識対象領域について同時並行的に認識処理を行ってもよい。
【0020】
これによると、2値化画像においてシンボルが所定位置からずれていても2値化画像に含まれるシンボルを正しく認識することができる。
【0021】
また、本発明の別の局面に従った車両用標識認識装置は、前記シンボル認識装置と、前記シンボル認識装置の前記画像メモリに格納された前記2値化画像において車両用標識の枠を検出する枠検出部とを備え、前記シンボル認識装置の前記判定部が、前記枠検出部の検出結果に基づいて、前記2値化画像が車両用標識の画像であるか否かを判定するものである。
【0022】
これによると、画像メモリに格納された2値化画像について車両用標識の判定および制限速度の認識を行うことができる。
【0023】
さらに、前記車両用標識認識装置は、前記2値化画像における斜めの部分領域において所定色の画素からなる所定長以上の斜め線が存在するか否かを判定する斜線判定部を備えていてもよく、前記判定部が、前記斜線判定部の判定結果を加味して、前記2値化画像が禁止を表す標識のうちのいずれの種類の標識の画像であるかを判定するものであってもよい。
【0024】
これによると、画像メモリに格納された2値化画像が禁止を表す標識であるか否かを判定し、さらには禁止を表す標識の種類を認識することができる。
【発明の効果】
【0025】
本発明によると、2値化画像に含まれるシンボル認識をハードウェアを用いて高速かつ高精度に行うことができる。また、自動車走行中にリアルタイムで車両用標識の認識処理を行うことができる低価格の車載組込システムを実現することができる。
【図面の簡単な説明】
【0026】
【図1】本発明の第1の実施形態に係るシンボル認識装置の主要部の構成図
【図2】認識対象の2値化画像の例を示す図
【図3】各特徴量抽出部で処理される認識対象領域の部分領域の例を示す図
【図4】「0」から「8」までの各数字の画像のヒストグラムの特徴を示す図
【図5】数字「5」の画像のヒストグラムと各部分領域との対応関係を示す図
【図6】「0」から「8」までの各数字の画像のランレングスの特徴を示す図
【図7】本発明の第2の実施形態に係るシンボル認識装置の主要部の構成図
【図8】数字「0」のある部分領域におけるランレングスの特徴を示す図
【図9】数字「0」の別のいくつかの部分領域におけるランレングスの特徴を示す図
【図10】数字「8」のいくつかの部分領域におけるランレングスの特徴を示す図
【図11】本発明の第3の実施形態に係るシンボル認識装置の主要部の構成図
【図12】基準の認識対象領域の例および上下左右にずらした認識対象領域の例を示す図
【図13】本発明の第4の実施形態に係る車両用標識認識装置の主要部の構成図
【図14】枠検出部で処理される2値画像の部分領域の例を示す図
【図15】斜線判定部で処理される2値化画像の部分領域の例および禁止を表す標識のいくつかの例を示す図
【発明を実施するための形態】
【0027】
以下、図面を参照しながら本発明を実施するための形態について説明する。なお、本発明は、以下の実施形態に限定されるものではない。

【0028】
≪第1の実施形態≫
図1は、本発明の第1の実施形態に係るシンボル認識装置の主要部の構成を示す。本実施形態に係るシンボル認識装置10は、所定の大きさの2値化画像に含まれるシンボルを認識するものであり、特に、道路速度標識に含まれる数字を認識するのに好適なものである。

【0029】
シンボル認識装置10は、画像メモリ12と、制御部14と、11個の特徴量抽出部16_1~16_11と、判定部18とを備えている。また、各特徴量抽出部16_1~16_11は、ヒストグラム算出部161と、ランレングス判定部162とを備えている。なお、便宜上、図1において特徴量抽出部16_3~16_10の図示を省略しているが、以下の説明において、これら図示しない特徴量抽出部16_3~16_10を参照することがある。

【0030】
画像メモリ12は、シンボル認識装置10の認識対象となる2値化画像を格納するメモリである。画像メモリ12は、SRAM(Static Random Access Memory)やDRAM(Dynamic Random Access Memory)などの揮発性メモリで構成することができる。

【0031】
図2は、認識対象の2値化画像の例を示す。当該画像は、自動車に取り付けたカメラで前方を撮影した640×480ピクセルの8ビットグレースケールの原画像を2値化処理し、道路速度標識の候補領域(以下、「スキャンウィンドウ」と称する)を抽出したものである。スキャンウィンドウSWのサイズは、20×20ピクセルから50×50ピクセル程度である。

【0032】
図2に示したように、道路速度標識は、2桁の数字を円枠で囲んだデザインで表される。シンボル認識装置10は、当該2値化画像に含まれる一の位の数字および十の位の数字をそれぞれ認識する。すなわち、シンボル認識装置10は、スキャンウィンドウSWの略中央部分の2つの矩形領域(図2において破線で囲んだ2つの矩形領域、以下「認識対象領域」と称する)のそれぞれに含まれる数字を認識する。なお、グレースケールの原画像を2値化処理してスキャンウィンドウを抽出する技術については、本願発明者らによる特願2012-285669の明細書に詳しく記載されている。

【0033】
図1へ戻り、制御部14は、画像メモリ12に格納されている2値化画像を走査して読み出した部分領域の画素情報、すなわち、画素値Ixy={0,1}およびその画素の座標を表す座標データ(x,y)を各特徴量抽出部16_1~16_11におけるヒストグラム算出部161およびランレングス判定部162へ入力する。画素情報の読み出しは、数ピクセルまとまったワード単位や1ピクセル単位で行うことができる。より詳細には、各部分領域にはスキャンウィンドウにおける座標範囲が設定されている。制御部18は、画像メモリ12に格納されている2値化画像の走査中に座標データ(x,y)が各部分領域の座標範囲に入ったことを検出して、その部分領域に対応する各特徴量抽出部16_1~16_11におけるヒストグラム算出部161およびランレングス判定部162のそれぞれへ制御信号ACTを出力する。例えば、各ヒストグラム算出部161および各ランレングス判定部162は、自身に入力された制御信号ACTがHレベルのときは画素値Ixyおよび座標データ(x,y)を取り込み、制御信号ACTがLレベルのときは画素値Ixyおよび座標データ(x,y)を取り込まない。これにより、画像メモリ12に格納された2値化画像を一度走査するだけで、2値化画像の任意の部分領域の画像を各ヒストグラム算出部161および各ランレングス判定部162へ入力することができる。そして、各ヒストグラム算出部161および各ランレングス判定部162は、入力された画像に対して所定の処理を、互いに独立に同時並行的に行う。

【0034】
なお、制御部14が画像メモリから画素値Ixyを直接読み込まずに、制御部14は画像メモリ12に対して画素値読み出しの制御信号を出力し、当該制御信号に従って画像メモリ12から読み出された画素値Ixyを各特徴量抽出部16_1~16_11へ直接供給するようにしてもよい。

【0035】
図3は、各特徴量抽出部16_1~16_11で処理される認識対象領域の部分領域の例を示す。認識対象領域を左右方向に2分割、例えば2等分した部分領域BL1およびBL2の画像は、特徴量抽出部16_1および16_2に入力されて処理される。認識対象領域を上下方向に3分割、例えば3等分した部分領域BL3、BL4、およびBL5の画像は、特徴量抽出部16_3、16_4、および16_5に入力されて処理される。認識対象領域の左右方向中央の部分領域BL6の画像は、特徴量抽出部16_6に入力されて処理される。認識対象領域の上下方向中央の部分領域BL7の画像は、特徴量抽出部16_7に入力されて処理される。認識対象領域の上下方向中央の部分領域を上下左右に4分割、例えば4等分した部分領域BL8、BL9、BL10、およびBL11の画像は、特徴量抽出部16_8、16_9、16_10、および16_11に入力されて処理される。

【0036】
図1へ戻り、ヒストグラム算出部161は、認識対象領域の部分領域の画像が入力され、該部分領域において各ラインまたは各列の所定色の画素の頻度分布を算出する。通常の道路速度標識の2値化画像の場合、数字は白地に黒色で表示されるため、ヒストグラム算出部161は、黒の画素の頻度分布を算出する。一方、電光表示の道路速度標識の2値化画像の場合、数字は黒地に白色で表されることがある。この場合には、ヒストグラム算出部161は、白の画素の頻度分布を算出する。

【0037】
なお、ヒストグラムの算出は加算演算および比較演算で行うことができるため、ヒストグラム算出部161は、基本的に加算回路および比較器を用いて構成することができる。

【0038】
図4は、「0」から「8」までの各数字の画像のヒストグラムの特徴を示す。図4において、認識対象領域における各ラインの黒の画素の頻度分布は各数字の横(数字「0」では右側、その他の数字では左側)に、認識対象領域における各列の黒の画素の頻度分布は各数字の下に、それぞれ示されている。図4に示したように、ヒストグラムは数字ごとに異なった特徴を有している。

【0039】
図5は、数字「5」の画像のヒストグラムと部分領域BL1~BL7との対応関係を示す。図5(a)に示したように、特徴量抽出部16_1および16_2におけるヒストグラム算出部161は、それぞれ、数字の画像の列方向のヒストグラムのうち部分領域BL1およびBL2に対応するヒストグラムの最大値を出力する。特徴量抽出部16_3~16_5におけるヒストグラム算出部161は、それぞれ、数字の画像のライン方向のヒストグラムのうち部分領域BL3~BL5に対応するヒストグラムの最大値を出力する。一方、図5(b)に示したように、特徴量抽出部16_6におけるヒストグラム算出部161は、数字の画像の列方向のヒストグラムのうち部分領域BL6に対応するヒストグラムの最小値を出力する。特徴量抽出部16_7におけるヒストグラム算出部161は、数字の画像のライン方向のヒストグラムのうち部分領域BL7に対応するヒストグラムの最小値を出力する。なお、ヒストグラムの最大値および最小値は、認識対象領域の幅または高さに対する各ラインまたは各列に含まれる所定色の画素の度数の割合として定義することができる。例えば、通常の道路速度標識の場合には所定色は黒であり、電光表示の道路速度標識では所定色は白である。認識すべきシンボルが道路速度標識に含まれる数字以外である場合には、所定色は、適宜、白または黒であり得る。なお、2値化画像の特徴から、黒の画素のヒストグラムの最大値は白の画素のヒストグラムの最小値に相当し、白の画素のヒストグラムの最大値は黒の画素のヒストグラムの最小値に相当する。

【0040】
以上のように、部分領域BL1~BL5のヒストグラムの最大値、および部分領域BL6~BL7のヒストグラムの最小値は、数字ごとに特徴が異なっており、また、数字の傾き、位置ずれ、ノイズの重畳などに対して影響を受けにくい。このため、各部分領域のヒストグラムの最大値および最小値は、認識対象領域内にあるシンボルの認識のための有効な特徴量となり得る。

【0041】
図1へ戻り、ランレングス判定部162は、認識対象領域の各部分領域の画像が入力され、該部分領域において所定色の画素からなる所定長以上のラインまたは列が存在するか否かを判定する。後述するように、数字の画像では数字を表す線分以外の部分においてライン方向の所定色の画素の連続性に特徴があるため、ランレングス判定部162は、ライン方向の所定色の画素の連続性を判定する。また、道路速度標識に使用される数字のフォントデザインの特徴から、所定色の画素の連続性の判定対象となる領域は、部分領域BL8~BL11の各領域とするのが適当である。したがって、特徴量抽出部16_8~16_11におけるランレングス判定部162は、それぞれ、部分領域BL8~BL11において所定長以上の白または黒のラインが存在するか否かを判定する。所定長は、例えば、各部分領域BL8~BL11の幅に対して90%、95%などの任意の長さである。所定長として各部分領域BL8~BL11の幅を指定することもでき、その場合、ランレングス判定部162は、部分領域BL8~BL11において全白ラインまたは全黒ラインが存在するか否かを判定することとなる。通常の道路速度標識の2値化画像の場合、数字は白地に黒色で表示されるため、ランレングス算出部162は、白の画素の連続性を判定する。一方、電光表示の道路速度標識の2値化画像の場合、数字は黒地に白色で表されることがある。この場合には、ランレングス判定部162は、黒の画素の連続性を判定する。

【0042】
なお、ランレングスはAND演算、OR演算、および加算で処理を行うことができるため、ランレングス判定部162は、AND回路、OR回路、加算器を有する組み合わせ回路として構成することができる。

【0043】
図6は、0から8までの各数字の画像のランレングスの特徴を示す。数字「1」では部分領域BL9およびBL11に所定長以上の白ラインが存在し、数字「2」では部分領域BL8およびBL11に所定長以上の白ラインが存在し、数字「3」では部分領域BL8およびBL10に所定長以上の白ラインが存在し、数字「4」では部分領域BL8に所定長以上の白ラインが存在し、数字「5」では部分領域BL9およびBL10に所定長以上の白ラインが存在し、数字「6」では部分領域BL9に所定長以上の白ラインが存在し、数字「7」では部分領域BL8に所定長以上の白ラインが存在し、数字「0」および「8」ではいずれの部分領域にも所定長以上の白ラインが存在しない。このように、部分領域BL8~BL11における所定長以上の白ラインの有無のパターンは数字ごとに異なっている。ただし、数字「0」と「8」では所定長以上の白ラインの有無のパターンが同じであるが、道路速度標識において十の位に数字「0」が用いられることはなく、逆に一の位に数字「0」以外が用いられることはない。したがって、スキャンウィンドウにおける認識対象領域の位置によって、数字「0」と「8」を区別することができる。

【0044】
なお、道路速度標識の傾きによる数字の傾き、スキャンウィンドウのずれによる位置ずれ、ノイズの重畳などの程度が大きい場合には、部分領域BL8~BL11における所定長以上の白ラインの有無のパターンが上記パターンと違ってくる。したがって、部分領域BL8~BL11における所定色の画素の連続性のみで数字を認識することは困難である。そこで、判定部18は、部分領域BL1~BL7のヒストグラムの特徴量と合わせて総合的に数字を判定する。

【0045】
図1へ戻り、判定部18は、特徴量抽出部16_1~16_7におけるヒストグラム算出部161の算出結果、および特徴量抽出部16_8~16_11におけるランレングス判定部162の判定結果に基づいて、認識対象領域に含まれる数字を判定する。例えば、判定部18は、下記の判定条件に従って数字を判定する。なお、下記の判定条件において、Hmax1~Hmax5は、特徴量抽出部16_1~16_5におけるヒストグラム算出部161から出力されるヒストグラムの最大値であり、Hmin6およびHmin7は、特徴量抽出部16_6および16_7におけるヒストグラム算出部161から出力されるヒストグラムの最小値であり、RL1~RL4は、特徴量抽出部16_8~16_11におけるランレングス判定部162から出力される判定結果である。RL1~RL4は、所定長以上の白ラインが検出された場合には“1”、検出されなかった場合には“0”であり、“*”はドントケアを表す。

【0046】
<数字「0」の判定>
・(RL1,RL2,RL3,RL4)=(0,0,0,0)
・Hmax1,Hmax2,Hmax3,Hmax5が50%以上
・Hmax1-Hmin6,Hmax2-Hmin6が30%以上
・|Hmax1-Hmax2|が50%未満
・|Hmax3-Hmax5|が30%未満
・Hmin6,Hmin7が10%以上
以上の条件を満たすとき、判定部18は、認識対象領域に含まれる数字が「0」であると判定する。

【0047】
<数字「1」の判定>
・(RL1,RL2,RL3,RL4)=(0,*,0,*)
・Hmax1が70%以上
・Hmax3が70%未満
・Hmax4,Hmax5が50%未満
または
・(RL1,RL2,RL3,RL4)=(0,*,0,*)
・Hmax1が70%以上
・Hmax3,Hmax4,Hmax5が70%未満
・Hmax1-Hmin6が50%以上
・Hmin6が20%以下
以上の条件を満たすとき、判定部18は、認識対象領域に含まれる数字が「1」であると判定する。

【0048】
<数字「2」の判定>
・(RL1,RL2,RL3,RL4)=(1,0,*,*)
・Hmax1,Hmax2,Hmax4が70%未満
・Hmax3が50%以上
・Hmax5が70%以上
・Hmax2-Hmin6が30%未満
以上の条件を満たすとき、判定部18は、認識対象領域に含まれる数字が「2」であると判定する。

【0049】
<数字「3」の判定>
・(RL1,RL2,RL3,RL4)=(1,0,1,0)
・Hmax1が70%未満
・Hmax2,Hmax3,Hmax5が50%以上
以上の条件を満たすとき、判定部18は、認識対象領域に含まれる数字が「3」であると判定する。

【0050】
<数字「4」の判定>
・(RL1,RL2,RL3,RL4)=(*,0,0,0)
・Hmax1が50%未満
・Hmax2,Hmax5が70%以上
・Hmax3,Hmax4が70%未満
または
・(RL1,RL2,RL3,RL4)=(*,0,0,0)
・Hmax1,Hmax3,Hmax4が70%未満
・Hmax2,Hmax5が70%以上
・Hmax2-Hmin6が50%以上
・Hmax2-Hmax1が30%以上
または
・(RL1,RL2,RL3,RL4)=(*,0,0,0)
・Hmax2,Hmax5が70%以上
・Hmax3が70%未満
・Hmax2-Hmin6が50%以上
・Hmax5-Hmin7が40%以上
以上の条件を満たすとき、判定部18は、認識対象領域に含まれる数字が「4」であると判定する。

【0051】
<数字「5」の判定>
・(RL1,RL2,RL3,RL4)=(0,1,1,0)
・Hmax1,Hmax2,Hmax3,Hmax4,Hmax5が50%以上
以上の条件を満たすとき、判定部18は、認識対象領域に含まれる数字が「5」であると判定する。

【0052】
<数字「6」の判定>
・(RL1,RL2,RL3,RL4)=(0,1,0,0)
・Hmax1,Hmax4,Hmax5が50%以上
・Hmax3が70%未満
以上の条件を満たすとき、判定部18は、認識対象領域に含まれる数字が「6」であると判定する。

【0053】
<数字「7」の判定>
・(RL1,RL2,RL3,RL4)=(1,0,*,*)
・Hmax1,Hmax2,Hmax4,Hmax5が70%未満
・Hmax3が70%以上
または
・(RL1,RL2,RL3,RL4)=(1,0,*,*)
・Hmax3が70%以上
・Hmax3-Hmin7が50%以上
以上の条件を満たすとき、判定部18は、認識対象領域に含まれる数字が「7」であると判定する。

【0054】
<数字「8」の判定>
・(RL1,RL2,RL3,RL4)=(0,0,0,0)
・Hmax1,Hmax2,Hmax3,Hmax4,Hmax5が70%以上
または
・(RL1,RL2,RL3,RL4)=(0,0,0,0)
・Hmax1,Hmax2,Hmax3,Hmax4,Hmax5が50%以上
・Hmax1-Hmin6が20%以上
・Hmax2-Hmin6が20%以上
・|Hmax1-Hmax2|が30%未満
・|Hmax3-Hmax5|が30%未満
以上の条件を満たすとき、判定部18は、認識対象領域に含まれる数字が「8」であると判定する。

【0055】
判定部18は、上記の全条件が満たされない場合、認識対象の2値化画像は道路速度標識の画像ではないと判定してもよい。さらに言えば、道路速度標識ではスキャンウィンドウ(図2を参照)における右側の認識対象領域には数字「0」以外は現れない。したがって、制御部14は、まず、スキャンウィンドウにおける右側の認識対象領域を走査し、判定部18は、該認識対象領域に含まれるシンボルが数字「0」であるか否かによって認識対象の2値化画像が道路速度標識の画像であるか否かを判定してもよい。そして、スキャンウィンドウにおける右側の認識対象領域に含まれるシンボルが数字「0」である場合、制御部14は、次に、スキャンウィンドウにおける左側の認識対象領域を走査し、判定部18は、速度の十の位の数字を認識するようにしてもよい。

【0056】
以上のように本実施形態によると、画像メモリ12に格納された2値化画像に含まれるシンボル認識をハードウェアを用いて高速かつ高精度に行うことができる。

【0057】
数字「9」の判定条件の説明を省略したが、これは、日本国内において道路速度標識に数字「9」が使用されないためであり、数字「9」が認識不可能というわけではない。数字「9」の画像のヒストグラムおよびランレングスの特徴に基づいて、他の数字と同様に数字「9」を認識することは容易である。

【0058】
道路速度標識において速度が3桁の数字で表される場合もあるが、そのような場合には、スキャンウィンドウ内に3桁の各数字に合うように3つの認識対象領域を設定すればよい。また、道路速度標識において百の位の数字が「1」以外になることはあり得ないと考えられる。したがって、制御部14は、まず、スキャンウィンドウにおける左端の認識対象領域を走査し、判定部18は、該認識対象領域に含まれるシンボルが数字「1」であるか否かによって認識対象の2値化画像が道路速度標識の画像であるか否かを判定してもよい。そして、スキャンウィンドウにおける左端の対象領域に含まれるシンボルが数字「1」である場合、制御部14は、次に、スキャンウィンドウにおける真ん中または右端の認識対象を走査し、判定部18は、速度の十の位または一の位の数字を認識するようにしてもよい。

【0059】
アルファベット、ひらがな、カタカナなどの数字以外のシンボルについても上記と同様の手法で認識可能である。ただし、数字以外のシンボルを認識する場合、ヒストグラムやランレングスを判定する部分領域は、上記の部分領域BL1~BL11が最適であるとは限られず、各シンボルの特徴を反映するような部分領域を採用することが望ましい。

【0060】
特徴量抽出部16_1~16_7におけるランレングス判定部162、および特徴量抽出部16_8~16_11におけるヒストグラム算出部161は実際には使用されないため、数字に限定した認識であればこれら使用されない構成要素を省略してもよい。これにより、回路規模を縮小することができる。また、特徴量抽出部16_1~16_11は、最適化することによってデータおよびリソースの共有が可能となり、回路規模を縮小することができる。

【0061】
逆に、本実施形態のように、ヒストグラム算出部161およびランレングス判定部162を備えた特徴量抽出部16を適当な個数配置し、制御部14によって各特徴量抽出部16におけるヒストグラム算出部161およびランレングス判定部162への画素情報の入力を制御することで、回路規模は大きくなるが、数字以外のさまざまなシンボルの認識に対応可能な汎用性を持たせることができる。

【0062】
認識対象領域において複数の部分領域がオーバーラップするような場合には、1個の特徴量抽出部16で複数の部分領域の処理を行うように特徴量抽出部16を共有させることで全体の回路規模を縮小することができる。しかし、特徴量抽出部16の1個当たりの回路規模は非常に小さいため、特徴量抽出部16を多数配置したとしても回路規模増大の影響は限定的であると考えられる。したがって、回路規模が問題になるような場合に特徴量抽出部16を共有させればよい。

【0063】
≪第2の実施形態≫
図7は、本発明の第2の実施形態に係るシンボル認識装置の主要部の構成を示す。本実施形態に係るシンボル認識装置10は、第1の実施形態に係るシンボル認識装置10に色割合算出部17を追加し、さらに、特徴量抽出部16_1~16_5および16_7におけるランレングス判定部162を使用して、数字の認識精度を向上させたものである。以下、第1の実施形態と同様の事項については説明を省略し、第1の実施形態と異なる点について重点的に説明する。

【0064】
色割合算出部17は、認識対象領域の画像が画像メモリ12から直接的にまたは制御部14を介して間接的に入力され、認識対象領域における所定色の画素の割合を算出する。所定色は、通常の道路速度標識の場合は黒であり、電光表示の道路速度標識の場合は白である。所定色の画素の割合は、例えば、数字「0」では66%以下、数字「1」では40%以下、数字「2」では46%以下、数字「3」では43%以下、数字「4」では50%以下、数字「5」では54%以下、数字「6」では48%以下、数字「7」では44%以下、数字「8」では61%以下である。

【0065】
制御部14は、制御信号ACTを出力して、色割合算出部17への画素情報の入力を制御する。例えば、色割合算出部17は、自身に入力された制御信号ACTがHレベルのときは画素値Ixyおよび座標データ(x,y)を取り込み、制御信号ACTがLレベルのときは画素値Ixyおよび座標データ(x,y)を取り込まない。これにより、制御部14が画像メモリ12に格納された2値化画像を一度走査するだけで、2値化画像の任意の部分領域の画像を特徴量抽出部16_1~16_11および色割合算出部17へ入力することができる。そして、各特徴量抽出部16_1~16_11および色割合算出部17は、入力された画像に対して所定の処理を、互いに独立に同時並行的に行う。

【0066】
判定部18は、上記の各数字の判定条件に色割合算出部17の算出結果を加味して、認識対象領域に含まれる数字を判定する。このように、色割合算出部17の算出結果を加味することにより、数字の認識精度が向上する。また、判定部18は、上記の各数字の判定条件と色割合算出部17の算出結果とが矛盾する場合、認識対象領域に含まれるシンボルは数字ではないと判定することができ、さらに、認識対象の2値化画像が道路交通標識の画像ではないと判定することもできる。

【0067】
数字のうち「0」および「8」の2つは字形に際立った特徴がないため、まったく異なる画像が数字「0」や数字「8」として誤認識されやすい傾向にある。そこで、本実施形態では以下のような特別な対策を講じることで、数字「0」および「8」の認識精度を向上させることができる。

【0068】
図8は、数字「0」のある部分領域におけるランレングスの特徴を示す。認識対象領域に数字「0」が含まれている場合において部分領域BL7(図3を参照)に着目すると、数字「0」のフォントデザインの特徴から、所定長以上の黒および白の各列が多数存在する。そこで、部分領域BL7の画像が入力される特徴量抽出部16_7におけるランレングス判定部162は、部分領域BL7において所定長以上の黒および白の各列が所定数以上存在するか否かを判定する。所定長は、例えば、部分領域BL7の高さに対して90%、95%などの任意の長さである。所定長として部分領域BL7の高さを指定することもでき、その場合、ランレングス判定部162は、部分領域BL7において全黒の列および全白の列がそれぞれ所定数以上存在するか否かを判定する。所定数は、1以上の整数であればよく、スキャンウィンドウの大きさに応じて変更することもできる。

【0069】
判定部18は、上記の数字「0」の判定条件に、特徴量抽出部16_7におけるランレングス判定部162の判定結果を加味して、認識対象領域に含まれる数字が「0」であると判定することができる。これにより、数字「0」の認識精度が向上する。

【0070】
図9は、数字「0」の別のいくつかの部分領域におけるランレングスの特徴を示す。認識対象領域に数字「0」が含まれている場合において部分領域BL1~BL3およびBL5(図3を参照)に着目すると、数字「0」のフォントデザインの特徴から、部分領域BL1およびBL2には所定色の画素からなる所定長以上の列が存在し、部分領域BL3およびBL5には所定色の画素からなる所定長以上のラインが存在する。そこで、部分領域BL1およびBL2の画像が入力される特徴量抽出部16_1および16_2におけるランレングス判定部162は、それぞれ、部分領域BL1およびBL2において所定色の画素からなる所定長以上の列が存在するか否かを判定し、部分領域BL3およびBL5の画像が入力される特徴量抽出部16_3および16_5におけるランレングス判定部162は、それぞれ、部分領域BL3およびBL5において所定色の画素からなる所定長以上のラインが存在するか否かを判定する。所定長は、例えば、部分領域BL1およびBL2については当該部分領域の高さの半分であり、部分領域BL3およびBL5については当該部分領域の幅の半分である。

【0071】
判定部18は、さらに、特徴量抽出部16_1~16_3および16_5におけるランレングス判定部162の判定結果を加味して、認識対象領域に含まれる数字が「0」であると判定することができる。これにより、数字「0」の認識精度がより一層向上する。

【0072】
図10は、数字「8」のいくつかの部分領域におけるランレングスの特徴を示す。認識対象領域に数字「8」が含まれている場合において部分領域BL3~BL5(図3を参照)に着目すると、数字「8」のフォントデザインの特徴から、部分領域BL3~BL5には所定色の画素からなる所定長以上のラインが存在する。そこで、部分領域BL3~BL5の画像が入力される特徴量抽出部16_3~16_5におけるランレングス判定部162は、それぞれ、部分領域BL3~BL5において所定色の画素からなる所定長以上のラインが存在するか否かを判定する。所定長は、例えば、部分領域BL3~BL5の各幅の半分である。

【0073】
判定部18は、上記の数字「8」の判定条件に、特徴量抽出部16_3~16_5におけるランレングス判定部162の判定結果を加味して、認識対象領域に含まれる数字が「8」であると判定することができる。これにより、数字「8」の認識精度が向上する。なお、特徴量抽出部16_3および16_5におけるランレングス判定部162の判定結果は、判定部18における数字「0」および「8」の判定処理に共通に使用することができる。

【0074】
以上のように本実施形態によると、道路速度標識における数字の認識精度を向上させることができる。

【0075】
≪第3の実施形態≫
図11は、本発明の第3の実施形態に係るシンボル認識装置の主要部の構成を示す。本実施形態に係るシンボル認識装置10は、第1の実施形態に係るシンボル認識装置10に特徴量抽出部16_1U~16_11U、16_1D~16_11D、16_1L~16_11L、および16_1R~16_11Rを追加したものである。以下、第1の実施形態と同様の事項については説明を省略し、第1の実施形態と異なる点について重点的に説明する。

【0076】
車両用標識などの認識対象物がスキャンウィンドウ内に正しく捕らえられていない場合、認識すべきシンボルが認識対象領域からはみ出てしまってシンボルを正しく認識できないおそれがある。そこで、本実施形態に係るシンボル認識装置10は、スキャンウィンドウの略中央部分に位置する基準の認識対象領域およびそれを中心に上下左右に僅かずつずらした各認識対象領域について同時並行的に認識処理を行う。

【0077】
図12は、基準の認識対象領域の例および上下左右にずらした認識対象領域の例を示す。基準の認識対象領域NWの各部分領域の画像は特徴量抽出部16_1~16_11に入力される。上へずらした認識対象領域NWの各部分領域の画像は特徴量抽出部16_1U~16_11Uに入力される。下へずらした認識対象領域NWの各部分領域の画像は特徴量抽出部16_1D~16_11Dに入力される。左へずらした認識対象領域NWの各部分領域の画像は特徴量抽出部16_1L~16_11Lに入力される。右へずらした認識対象領域NWの各部分領域の画像は特徴量抽出部16_1R~16_11Rに入力される。特徴量抽出部16_1U~16_11U、16_1D~16_11D、16_1L~16_11L、および16_1R~16_11Rは、特徴量抽出部16_1~16_11と同じ構成の要素であり、入力される画像が特徴量抽出部16_1~16_11に入力される画像と異なるのみである。

【0078】
認識対象領域のずらし量は、例えば、スキャンウィンドウの1辺が20~29ピクセルの場合には1ピクセル、スキャンウィンドウの1辺が30~39ピクセルの場合には2ピクセル、スキャンウィンドウの1辺が40~50ピクセルの場合には3ピクセルなどのように、スキャンウィンドウのサイズに応じて適宜変えることができる。

【0079】
制御部14は、制御信号ACTを出力して、各特徴量抽出部16_1~16_11、16_1U~16_11U、16_1D~16_11D、16_1L~16_11L、および16_1R~16_11Rにおけるヒストグラム算出部161およびランレングス判定部162のそれぞれへの画素情報の入力を制御する。例えば、各ヒストグラム算出部161および各ランレングス判定部162は、自身に入力された制御信号ACTがHレベルのときは画素値Ixyおよび座標データ(x,y)を取り込み、制御信号ACTがLレベルのときは画素値Ixyおよび座標データ(x,y)を取り込まない。これにより、制御部14が画像メモリ12に格納された2値化画像を一度走査するだけで、2値化画像の任意の部分領域の画像を各ヒストグラム算出部161および各ランレングス判定部162へ入力することができる。そして、各ヒストグラム算出部161および各ランレングス判定部162は、入力された画像に対して所定の処理を、互いに独立に同時並行的に行う。

【0080】
判定部18は、特徴量抽出部16_1~16_11、16_1U~16_11U、16_1D~16_11D、16_1L~16_11L、および16_1R~16_11Rの出力に基づいて、各認識対象領域に含まれる数字を判定する。なお、判定部18は、各認識対象領域の認識結果の多数決により、シンボルの認識結果を決定することができる。

【0081】
以上のように本実施形態によると、認識対象物がスキャンウィンドウ内に正しく捕らえられていない場合であっても2値化画像に含まれるシンボルを正しく認識することができる。

【0082】
第2の実施形態に係るシンボル認識装置10についても、上下左右へずらした各認識対象領域の画像が入力される色割合算出部17を追加することで、認識対象物がスキャンウィンドウ内に正しく捕らえられていない場合であっても2値化画像に含まれるシンボルを正しく認識できるようにすることができる。

【0083】
≪第4の実施形態≫
例えば、図2に示したように、2桁の数を円枠で囲んだデザインで表される道路速度標識は、円枠ごとスキャンウィンドウSW内に捕らえられている。第1から第3の実施形態に係るシンボル認識装置10は、そのようなスキャンウィンドウSWの略中央部分を認識対象領域として、認識対象領域をいくつかの部分領域に区分して画像解析を行い、スキャンウィンドウSW、すなわち、2値化画像に含まれるシンボルを認識する。一方、図2に示したように、スキャンウィンドウSWにおいて、認識対象領域の周りの領域には道路速度標識の円枠が含まれているから、そのような周りの領域についても画像解析を行うことで円枠を検出することができ、その検出結果から、スキャンウィンドウSW、すなわち、2値化画像が道路速度標識の画像であるか否かを判定することができる。すなわち、上記のシンボル認識装置10を拡張して車両用標識認識装置を構成することができる。

【0084】
図13は、本発明の第4の実施形態に係る車両用標識認識装置の主要部の構成を示す。本実施形態に係る車両用標識認識装置100は、第1の実施形態に係るシンボル認識装置10に枠検出部20および斜線判定部30を追加したものである。以下、第1の実施形態と同様の事項については説明を省略し、第1の実施形態と異なる点について重点的に説明する。

【0085】
枠検出部20は、画像メモリ12に格納された2値化画像において車両用標識の枠を検出する。枠検出部20には、画像メモリ12から直接的にまたは制御部14を介して間接的に画像情報が入力される。例えば、道路速度標識は、図2に示したように2桁の数字の周りに円枠を有している。そこで、そのような円枠を検出するために、枠検出部20は、2値化画像のいくつかの部分領域において所定色の画素からなる所定長以上のライン、列、または斜め線が所定本数以上存在するか否かを判定し、その判定結果から車両用標識の枠を検出することができる。所定色は、通常の車両用標識の場合は黒であり、電光表示の標識の場合は白である。

【0086】
図14は、枠検出部20で処理される2値化画像の部分領域の例を示す。枠検出部20は、スキャンウィンドウSWにおける縦長、横長、および斜めの8つの矩形の各部分領域BL21~BL28において所定色の画素からなる所定長以上のライン、列、または斜め線が所定本数以上存在するか否かを判定する。具体的には、枠検出部20は、部分領域BL21およびBL23において所定色の画素からなる所定長以上の列が所定本数以上存在するか否かを判定し、部分領域BL22およびBL24において所定色の画素からなる所定長以上のラインが所定本数以上存在するか否かを判定し、部分領域BL25およびBL27において所定色の画素からなる所定長以上の左上から右下の斜め45度の線が所定本数以上存在するか否かを判定し、部分領域BL26およびBL28において所定色の画素からなる所定長以上の左下から右上の斜め45度の線が所定本数以上存在するか否かを判定する。所定長は、各部分領域の長手方向の長さに対して90%、95%などの任意の長さである。所定本数は、1本などの任意の数である。そして、枠検出部20は、部分領域BL21~BL28のすべてにおいて所定色の画素からなる所定長以上のライン、列、または斜め線が所定本数以上存在すると判断したとき、2値化画像において道路速度標識などで使用される円枠が存在すると判定する。

【0087】
なお、枠検出部20によって検出される車両用標識の枠は円枠に限られない。枠検出部20で処理すべき部分領域を適宜変更することで、警戒標識で使用される菱形の枠、徐行標識や一時停止標識などで使用される逆三角形の枠などの検出に対応させることができる。

【0088】
ところで、車両用標識には道路速度標識以外にUターン禁止や追い越し禁止などの禁止を表す標識(以下、「禁止標識」と称する)があり、それら禁止標識には共通して禁止を表す斜め線が含まれている。図13へ戻り、斜線判定部30は、画像メモリ12に格納された2値化画像においてそのような斜め線が存在するか否かを判定する。具体的には、斜線判定部30は、画像メモリ12に格納された2値化画像における斜めの部分領域において所定色の画素からなる所定長以上の斜め線が存在するか否かを判定する。斜線判定部30には、画像メモリ12から直接的にまたは制御部14を介して間接的に画像情報が入力される。所定色は、通常の車両用標識の場合は黒であり、電光表示の標識の場合は白である。

【0089】
図15は、斜線判定部30で処理される2値化画像の部分領域の例および禁止を表す標識のいくつかの例を示す。斜線判定部30は、スキャンウィンドウSWにおける斜めの矩形の部分領域BL29において所定色の画素からなる所定長以上の斜め線が存在するか否かを判定する。

【0090】
図13へ戻り、制御部14は、制御信号ACTを出力して、枠検出部20および斜線判定部30への画素情報の入力を制御する。例えば、枠検出部20および斜線判定部30は、自身に入力された制御信号ACTがHレベルのときは画素値Ixyおよび座標データ(x,y)を取り込み、制御信号ACTがLレベルのときは画素値Ixyおよび座標データ(x,y)を取り込まない。これにより、制御部14が画像メモリ12に格納された2値化画像を一度走査するだけで、2値化画像の任意の部分領域の画像を特徴量抽出部16_1~16_11、枠検出部20、および斜線判定部30へ入力することができる。そして、各特徴量抽出部16_1~16_11、枠検出部20、および斜線判定部30は、入力された画像に対して所定の処理を、互いに独立に同時並行的に行う。

【0091】
判定部18は、特徴量抽出部16_1~16_11、枠検出部20、および斜線判定部30の各出力を受け、画像メモリ12に格納された2値化画像が車両用標識であるか否か、車両用標識である場合には禁止標識であるか否か、禁止標識である場合にはさらにどのような種類の禁止標識であるか、および禁止標識ではなく速度標識である場合にはその制限速度を認識する。まず、判定部18は、枠検出部20の検出結果に基づいて、2値化画像に車両用標識の枠が含まれていない場合には認識対象の2値化画像が車両用標識の画像ではないと判定する。枠検出部20によって車両用標識の枠が検出された場合、判定部18は、斜線判定部30の判定結果に基づいて、2値化画像に禁止を表す斜め線が含まれている場合には認識対象の2値化画像が禁止標識の画像であると判定する。さらに、枠検出部20によって道路速度標識の円枠が検出され、かつ、斜線判定部30によって2値化画像に禁止を表す斜め線が存在しないと判定された場合、判定部18は、2値化画像に含まれるシンボルを制限速度を表す数字として認識する。

【0092】
判定部18は、認識対象の2値化画像が禁止標識の画像であると判定した場合、さらに、特徴量抽出部16_1~16_11の出力、すなわち、認識対象領域の各部分領域のヒストグラムおよびランレングスに基づいて、禁止標識の種類を判定することもできる。

【0093】
なお、禁止標識の種類の判定にはそれに適した認識対象領域および部分領域の画像のヒストグラムおよびランレングスを使用した方がよい場合がある。したがって、そのような場合には、禁止標識の種類の判定のための部分領域の画素情報が入力される特徴量抽出部を別途設けて、判定部18は、その特徴量抽出部の出力に基づいて禁止標識の種類を判定するようにしてもよい。

【0094】
以上のように本実施形態によると、画像メモリ12から2値化画像を繰り返し読み出すことなく画像メモリ12に格納された2値化画像を一度走査するだけで車両用標識の判定、禁止標識の判定、禁止標識の種類の認識、および制限速度の認識を行うことができる。したがって、本実施形態に係る車両用標識認識装置100は、FPGA(Field Programmable Gate Array)などのハードウェアへの実装に適している。また、本実施形態に係る車両用標識認識装置100をFPGAに実装することで、自動車走行中にリアルタイムで車両用標識の認識処理を行うことができる低価格の車載組込システムを実現することができる。

【0095】
第2および第3の実施形態に係るシンボル認識装置10についても、枠検出部20および斜線判定部30を追加することで上記と同様の車両用標識認識装置を構成することができる。
【符号の説明】
【0096】
10 シンボル認識装置
12 画像メモリ
14 制御部
161 ヒストグラム算出部
162 ランレングス判定部
18 判定部
20 枠検出部
30 斜線判定部
100 車両用標識認識装置
Drawing
(In Japanese)【図1】
0
(In Japanese)【図2】
1
(In Japanese)【図3】
2
(In Japanese)【図4】
3
(In Japanese)【図5】
4
(In Japanese)【図6】
5
(In Japanese)【図7】
6
(In Japanese)【図8】
7
(In Japanese)【図9】
8
(In Japanese)【図10】
9
(In Japanese)【図11】
10
(In Japanese)【図12】
11
(In Japanese)【図13】
12
(In Japanese)【図14】
13
(In Japanese)【図15】
14