TOP > 国内特許検索 > カラー画像を用いた看板の認識方法 > 明細書

明細書 :カラー画像を用いた看板の認識方法

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4336755号 (P4336755)
公開番号 特開2008-287735 (P2008-287735A)
登録日 平成21年7月10日(2009.7.10)
発行日 平成21年9月30日(2009.9.30)
公開日 平成20年11月27日(2008.11.27)
発明の名称または考案の名称 カラー画像を用いた看板の認識方法
国際特許分類 G06T   7/00        (2006.01)
FI G06T 7/00 200Z
G06T 7/00 100C
請求項の数または発明の数 1
全頁数 7
出願番号 特願2008-192935 (P2008-192935)
分割の表示 特願2005-073497 (P2005-073497)の分割、【原出願日】平成17年3月15日(2005.3.15)
出願日 平成20年7月28日(2008.7.28)
審査請求日 平成20年7月28日(2008.7.28)
特許権者または実用新案権者 【識別番号】504409543
【氏名又は名称】国立大学法人秋田大学
発明者または考案者 【氏名】景山 陽一
【氏名】西田 眞
早期審査対象出願または早期審理対象出願 早期審査対象出願
個別代理人の代理人 【識別番号】100110537、【弁理士】、【氏名又は名称】熊谷 繁
審査官 【審査官】酒井 伸芳
参考文献・文献 特開2006-259885(JP,A)
国際公開第02/017220(WO,A1)
特開平06-076065(JP,A)
特開2005-056390(JP,A)
特開2000-155839(JP,A)
特開平09-185703(JP,A)
調査した分野 G06T 7/00
特許請求の範囲 【請求項1】
撮像されたカラー画像において、色情報の色相の範囲を3分割し、0~π/6,3π/2~2πの範囲に色相値を持ちかつ彩度値が所定の閾値以上の領域、π/6~5π/6の範囲に色相値を持ちかつ彩度値が所定の閾値以上の領域、5π/6~3π/2の範囲に色相値を持ちかつ彩度値が所定の閾値以上の3分割領域において前記彩度と円形度の値が0.3以上0.8未満のラベリング領域の情報により看板を抽出し、前記円形度の情報により看板以外の領域の棄却を行い、さらに看板内の背景色と文字色のコントラストが高いことに着目してラプラシアンフィルタを用いてエッジを検出して看板内の文字列領域を抽出して看板を認識することを特徴とするカラー画像を用いた看板の認識方法。
発明の詳細な説明 【技術分野】
【0001】
本発明は、撮像されたカラー画像を用いて道路標識等の対象物を認識するカラー画像を用いた看板の認識方法に関する。
【背景技術】
【0002】
従来、カラー画像を用いて道路標識等の対象物を認識する場合には、赤・青・緑による明度情報に基づいて認識するか、シフトされた色相情報を正規化することにより認識している。
このように、カラー画像の明度情報や色相情報に基づいて認識対象物である標識を認識する技術は、例えば、特許文献1に開示されている。
しかしながら、従来の技術により認識対象物を認識する場合には、使用色が予め設定されている必要があり、使用色や形状・大きさが多種多様である看板を対象とすることはできなかった。
また、屋外などの自然環境下で取得されたカラー画像を解析に用いる場合、認識対象物の色情報が一様とは限らず、認識対象物が同一であっても天候や時間などのデータ取得条件によっては異なる色と認識されることが起こり得る。
このため、従来の技術により色相情報のみに基づいて認識対象物を認識する場合には、異なる色を使用している領域間の境界部分があいまいとなる。
さらに、道路利用者である歩行者を考慮した場合、車両の運転手の位置から観測した場合と異なり、歩行者と観測対象(看板や標識)の位置関係(距離・角度)は不定となるため、カラー画像における認識対象物のサイズや形状は異なる。
従って、カラー画像における認識対象物の認識性能が低下する。

【特許文献1】特開2004-213127号公報
【特許文献2】特開平9-185703号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
そこで本発明は、上述した課題を解決するために、撮像されたカラー画像を用いて道路標識等の対象物の認識性能を向上させた、カラー画像を用いた看板の認識方法を提供することを目的とする。
【課題を解決するための手段】
【0004】
本発明のカラー画像を用いた看板の認識方法は、撮像されたカラー画像において、色情報の色相の範囲を3分割し、0~π/6,3π/2~2πの範囲に色相値を持ちかつ彩度値が所定の閾値以上の領域、π/6~5π/6の範囲に色相値を持ちかつ彩度値が所定の閾値以上の領域、5π/6~3π/2の範囲に色相値を持ちかつ彩度値が所定の閾値以上の3分割領域において前記彩度と円形度の値が0.3以上0.8未満のラベリング領域の情報により看板を抽出し、円形度の情報により看板以外の領域の棄却を行い、さらに看板内の背景色と文字色のコントラストが高いことに着目してラプラシアンフィルタを用いてエッジを検出して看板内の文字列領域を抽出して看板を認識するものである。
【発明の効果】
【0005】
本発明のカラー画像を用いた看板の認識方法によれば、使用色や形状・大きさが不定である看板を認識することができるため、カラー画像から前方向の多種多様な環境情報を道路利用者に提供することができる。
さらに、データ取得条件(撮影時間・高さ・角度・陰影情報等)の影響を考慮できるため、看板の認識性能を低下させることなく、道路利用者に対し有益な情報を提供可能である。
また、色相情報を用いて認識対象物を認識しているため、データ取得条件の異なるカラー画像からも認識性能を低下させることなく、認識対象物を認識することができる。
さらに、形状情報として円形度や分割した領域を占める画素の割合を指標として用いているため、道路利用者と認識対象物(看板や標識)が必ずしも正対している必要はなく、高い位置に設置されている認識対象物も認識することができる。
【発明を実施するための最良の形態】
【0006】
次に、本発明のカラー画像を用いた看板の認識方法を実施する装置について、図面に基づいて以下に説明する。
図1は、本発明の一実施形態に係る認識方法を実施する装置の概略構成図である。
図2は、図1の標識・看板識別部のフローチャート図であり、図3及び図4は、本発明により得られた結果例を示している表示画像図である。
【0007】
本発明の一実施形態に係る認識方法を実施する装置は、図1に示すように撮像部11、標識・看板識別部12、円形標識情報抽出部13、円形標識認識部14、非看板領域棄却部15、文字列領域抽出部16、出力部17から構成される。
前記撮像部11は、例えば、CCDカメラ等の撮像装置を内蔵した装置であり、標識認識装置が取り付けられた自動車等の前方付近に展開する風景を撮像し、カラー画像を取得する。
前記標識・看板識別部12は、カラー画像をHSI(Hue Saturation Intensity)変換により、色相・彩度・明度の色情報に変換する。
前記円形標識情報抽出部13は、抽出された標識領域内部を対象とし、色相値が青・シアンに近く彩度値が所定の閾値以上の色を有する画素を青領域とする一方、色相値が赤・マゼンタに近く彩度値が所定の閾値以上の色を有する画素を赤領域とし、標識領域内部で青、赤領域以外の領域を白候補領域とする。
前記円形標識認識部14は、前記円形標識情報抽出部13により得られた結果を用いて、領域内の構成色数および構成色の比率を求める。
前記非看板領域棄却部15は、前記標識・看板識別部12より得られた看板候補領域に対し判別分析法によりクラス間分散を求める。
前記文字列領域抽出部16は、看板候補領域に対し2値化処理を行い、次に4方向のラプラシアンフィルタを用いてエッジを検出する。
前記出力部17は、前記円形標識認識部14および前記文字列領域抽出部16により得られた内容をディスプレイ上に表示させる。
【0008】
本発明の一実施形態に係る認識方法を実施する装置により円形標識抽出を目的とし以下の処理を行う。
図2に示すように、撮像部11では、自動車等の前方付近に展開する風景を撮像し、カラー画像を入力し、標識・看板識別部12では、取得したカラー画像をHSI(Hue Saturation Intensity)変換により、色相・彩度・明度の色情報の算出をする。
前記標識・看板識別部12では、色相値が青・シアンに近く彩度値が所定の閾値(例えば、170)以上の画素を青候補領域とし、色相値が赤・マゼンタに近く彩度値が所定の閾値(例えば、100)以上の画素を赤候補領域とする。
次に、画像中の青候補領域に対し2値化処理および収縮・膨張処理を施し、さらに膨張処理後にラベリング処理を施す。
そして、赤候補領域を補完し円形特徴を得るため、赤候補領域の2値化画像における着目画素と8近傍画素(合計9画素)を対象とし画素数の多い情報(0、1)で着目画素の値を置換する。
最後に、収縮・膨張処理後、ラベリング処理を施す。
各ラベリング領域における円形度を算出し、円形度0.8以上のラベリング領域を標識領域とする。
なお、円形度とは、面積と周囲長から形状の複雑さを測る特徴量、円形度=4π×ラベリング領域の面積/(ラベリング領域の周囲長)であり、ラベリング領域の形状が真円の場合、値は1となる。
【0009】
次に、円形標識情報抽出部13では、抽出された標識領域内部を対象とし、色相値が青・シアンに近く彩度値が所定の閾値(例えば、140)以上の色を有する画素を青領域とする。
一方、色相値が赤・マゼンタに近く彩度値が所定の閾値(例えば、110)以上の色を有する画素を赤領域とする。
また、標識領域内部で青、赤領域以外の領域を白候補領域とし、白候補領域に2値化処理をする。
次に、塗色(白・青・赤)された領域の境界部分の色情報はあいまいであるため、白候補領域の2値化画像に4方向のラプラシアンフィルタを適用しエッジの位置情報を検出する。
検出されたエッジ部分は2色(白と青、白と赤、青と赤)の境界域であると仮定し、境界域を除く白候補領域を白領域とする。
さらに、各領域(白領域,青領域,赤領域)に分類された画素からRGB各輝度値を自動取得し教師データを作成する。
この処理により、対象画像毎に異なる各領域の色情報を抽出することができるため、境界域の色分類が可能となる。
作成した教師データを用いて塗色の境界部分の各画素を白・青・赤に分類し、白・青・赤領域に分類された画素のRGB各輝度値に(255,255,255)、(0,0,255)、(255,0,0)の値をそれぞれ割り当てる。
次に、前記円形標識認識部14では、特徴領域を所定のサイズで分割し、各ブロックの特徴量を求める。
具体的には、特徴量a(各ブロックを占める特徴領域の割合、ブロックが特徴領域のみで構成されている状態を100とする。)と特徴量b(1つのブロックに含まれている特徴領域が、特徴領域全体の面積を占める割合、1つのブロックに特徴領域が全て含まれていれば、そのブロックの値は100、残りのブロックの値は0となる。)に着目した。
この2つの特徴量をそれぞれ求め、これと予め用意した標識の教師データを比較することにより標識を認識する。
【0010】
次いで、本発明の一実施形態に係る認識方法を実施する装置により看板抽出を目的とし以下の処理を行う。
図2に示すように、撮像部11では、自動車等の前方付近に展開する風景を撮像し、カラー画像を入力し、標識・看板識別部12では、取得したカラー画像をHSI(Hue Saturation Intensity)変換により、色相・彩度・明度の色情報の算出をする。
前記標識・看板識別部12では、カラー画像から色相値を3分割した各色相範囲に当てはまる領域をそれぞれ抽出する。
すなわち、0~π/6,3π/2~2πの範囲に色相値を持ち、かつ彩度値が所定の閾値(例えば、80)以上の領域、π/6~5π/6の範囲に色相値を持ち、かつ彩度値が所定の閾値(例えば、50)以上の領域、5π/6~3π/2の範囲に色相値を持ち、かつ彩度値が所定の閾値(例えば、110)以上の領域の3つに分割する。
次に、得られた画像に2値化処理および収縮・膨張処理を施す。
さらに、ラベリング処理を施し円形度の値が0.3以上0.8未満のラベリング領域を看板候補領域とする。
【0011】
非看板領域棄却部15では、前記標識・看板識別部12より得られた看板候補領域に対し判別分析法によりクラス間分散を求める。
その結果、分散値が所定の閾値(例えば、4)以下である看板候補領域を看板以外の領域と仮定して棄却する。
【0012】
文字列領域抽出部16では、看板候補領域に対し2値化処理を行い、次に4方向のラプラシアンフィルタを用いてエッジを検出する。
検出されたエッジ部分は画素値が急激に変化する領域であるため、看板の背景色と文字色の境界領域であることが予想される。
そこで、看板候補領域内のエッジ情報を含まない部分を除いた領域を文字列領域として抽出する。
【0013】
出力部17では、前記円形標識認識部14および前記文字列領域抽出部16により得られた内容をディスプレイ上に表示させる。
なお、出力部17による出力は、内容をディスプレイ上に表示させることには限定されず、例えば、スピーカーから音声出力することとしても良い。
次いで、表示画像の実施例を図3および図4に示す。
図3(a)のカラー画像から看板領域抽出結果として、図3(b)の看板領域が抽出され、さらに文字列領域抽出結果として、図3(c)の文字列領域が抽出されていることが分かる。
また、図4(a)のカラー画像から標識抽出結果として、複数の標識が抽出され、それぞれ図4(b)左の“最高速度”と図4(b)右の“車両(組合せ)通行止め”の標識であると認識可能であることを確認している。
このように、1枚の画像中に複数の看板や標識が存在している事例に対しても本発明により認識対象物の認識が可能である。
【図面の簡単な説明】
【0014】
【図1】本発明の一実施形態に係る認識方法を実施する装置の概略構成図である。
【図2】図1の標識・看板識別部のフローチャート図である。
【図3】本発明により得られた結果の一例の表示画像図である。
【図4】本発明により得られた結果の一例で表示画像図である。
【符号の説明】
【0015】
11 撮像部
12 標識・看板識別部
13 円形標識情報抽出部
14 円形標識認識部
15 非看板領域棄却部
16 文字列領域抽出部
17 出力部
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3