TOP > 国内特許検索 > 撮像画像の変換方法 > 明細書

明細書 :撮像画像の変換方法

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5215097号 (P5215097)
公開番号 特開2010-067172 (P2010-067172A)
登録日 平成25年3月8日(2013.3.8)
発行日 平成25年6月19日(2013.6.19)
公開日 平成22年3月25日(2010.3.25)
発明の名称または考案の名称 撮像画像の変換方法
国際特許分類 G06T   3/00        (2006.01)
H04N   5/225       (2006.01)
H04N   5/232       (2006.01)
FI G06T 3/00 200
H04N 5/225 C
H04N 5/232 Z
請求項の数または発明の数 7
全頁数 14
出願番号 特願2008-235076 (P2008-235076)
出願日 平成20年9月12日(2008.9.12)
審査請求日 平成23年8月30日(2011.8.30)
特許権者または実用新案権者 【識別番号】305027401
【氏名又は名称】公立大学法人首都大学東京
発明者または考案者 【氏名】永田 明寛
個別代理人の代理人 【識別番号】100133282、【弁理士】、【氏名又は名称】内野 春喜
【識別番号】100116780、【弁理士】、【氏名又は名称】内野 雅子
審査官 【審査官】松野 広一
参考文献・文献 特開2007-195216(JP,A)
特開2003-141562(JP,A)
特開2007-148784(JP,A)
特開2007-134903(JP,A)
永田明寛,SPCONV ver.0.6,[online],2012年 6月12日,URL,http://news-sv.aij.or.jp/kankyo/s12/Resource/ap/SPCONV/SPCONV.PDF
調査した分野 G06T 3/00
H04N 5/225
H04N 5/232
特許請求の範囲 【請求項1】
レンズの射影方式に応じて得た撮像画像の2次元座標(ξ,η,0)を該射影方式に基づいて逆変換して半径1の球面に投影した元の撮像画像の3次元座標(ξ,η,ζ)を求めるステップ及び該元の撮像画像の3次元座標(ξ,η,ζ)に対して投影曲面を、中心部では透視射影に近く、周辺部では正射影に近い連続した投影曲面として、撮像画像の新たな2次元座標(ξ,η,0)を求めるステップを含む撮像画像の変換方法。
【請求項2】
レンズの射影方式に応じて得た撮像画像の2次元座標(ξ,η,0)を該射影方式に基づいて逆変換して半径1の球面に投影した元の撮像画像の3次元座標(ξ,η,ζ)を求めるステップ及び該元の撮像画像の3次元座標(ξ,η,ζ)に対して投影曲面を
JP0005215097B2_000019t.gifとして撮像画像の新たな2次元座標(ξ,η,0)を求めるステップを含む撮像画像の変換方法。
ただし
JP0005215097B2_000020t.gifである。またp、sは、正の実数であり、c=cot(視野角/2)である。
【請求項3】
上記p、s及びcは、それぞれ16、1及び0.577であることを特徴とする請求項2に記載の撮像画像の変換方法。
【請求項4】
レンズの射影方式に応じて得た撮像画像の2次元座標(ξ,η,0)を該射影方式に基づいて逆変換して半径1の球面に投影した元の撮像画像の3次元座標(ξ,η,ζ)を求めるステップ及び該元の撮像画像の3次元座標(ξ,η,ζ)に対して投影曲面を
JP0005215097B2_000021t.gifとして撮像画像の新たな2次元座標(ξ,η,0)を求めるステップを含む撮像画像の変換方法。
ただしp、q、sは、正の実数であり、c=cot(視野角/2)である。
【請求項5】
上記p、q、s及びcは、それぞれ16、16、1及び0.577であることを特徴とする請求項4に記載の撮像画像の変換方法。
【請求項6】
上記レンズは、魚眼レンズであることを特徴とする請求項1乃至5のいずれか1項に記載の撮像画像の変換方法。
【請求項7】
上記レンズの射影方式は、等距離射影であることを特徴とする請求項1乃至6のいずれか1項に記載の撮像画像の変換方法。
発明の詳細な説明 【技術分野】
【0001】
本発明は、監視カメラ等に使用される撮像画像の変換方法に関する。
【背景技術】
【0002】
監視カメラなどに搭載されるレンズとして魚眼レンズが多用されている。
魚眼レンズを用いて全方向とも画角180°で撮影された画像は円形になる。撮影画像では奥行方向の距離情報が失われているため、どの方向も対象物までの距離が一様であると想定し、視点(カメラの位置)を中心とした球面上にデータが存在すると考えるのが自然である。3次元空間の情報を3次元化する操作が射影であるが、撮影された時点ですでに距離情報が失われているため、もともとのデータが球面上に位置するとみなされる。
【0003】
射影方式としては、正射影、等立体角射影、等距離射影、極射影が代表的なものである。魚眼レンズで最も一般的な射影方式は等距離射影であるが、他の射影方式によるレンズも存在する。
なお、一般のレンズで撮影された画像に相当する透視射影は人間の視覚に近いが、画角180°のデータは無限大の平面に射影されることになるため広角画像の表現には向いておらず、広角レンズでも対角画角120°(焦点距離13mm程度相当)がせいぜいである。
【0004】
以下、各射影方式について説明するが、簡単のため図6のように視点を原点とし、半径が1になるように規格化された座標系で考えることとする。一般的には、図6で、ξ軸はカメラの水平方向(左右)、η軸はカメラの垂直方向(上下)であり、ζが視線方向となる。カメラをどちらに向けるかなどは座標系を回転させることに相当する。視点を原点にとった半径1の球面と視点と対象物を結ぶ直線の交点Pの位置を(ξ,η,ζ)とし、交点上のデータをξ-η平面上の円内に射影する。ここで、ζは次のとおりである。
【0005】
【数1】
JP0005215097B2_000002t.gif

【0006】
このとき、ζ=0平面(ξ-η平面)での角度αはどのような射影方式でも通常保存するようにするため、射影点P0′の座標を(ξ′,η′,0)とすると、ξ′とη′の比ξ′:η′は一定であり、原点からの下記の[数2]による距離r′のみが、射影方式の違いとなる。
【0007】
【数2】
JP0005215097B2_000003t.gif

【0008】
(1)正射影は、半球面上の点pの座標を(ξ,η,ζ)とすると、ξ、ηはそのままでζ=0とする操作に相当する。すなわち、射影面(ξ-η平面)に垂線の足を下ろしたときの平面との交点となる。
正射影では、視線方向に近い部分ほど大きく、周辺部分ほど小さく射影される。
変換式及び逆変換式は、下記のとおりである。
【0009】
【数3】
JP0005215097B2_000004t.gif

【0010】
(2)等立体角射影は、球面上の図形の立体角が射影面上での面積に比例するという性質があるため、視環境評価などで利用される。
変換式、逆変換式は、それぞれ下記の[数4]、[数5]のとおりである。
【0011】
【数4】
JP0005215097B2_000005t.gif

【0012】
【数5】
JP0005215097B2_000006t.gif

【0013】
(3)等距離射影では、視線方向からの角距離が原点からの距離に比例する。
変換式、逆変換式は、それぞれ下記の[数6]、[数7]のとおりである。
【0014】
【数6】
JP0005215097B2_000007t.gif

【0015】
【数7】
JP0005215097B2_000008t.gif

【0016】
(4)極射影は、視点を(0,0,-1)にとって射影面(ξ-η平面)に透視射影するもので、周辺部分が大きく投影されるという性質がある。
変換式、逆変換式は、それぞれ下記の[数8]、[数9]のとおりである。
【0017】
【数8】
JP0005215097B2_000009t.gif

【0018】
【数9】
JP0005215097B2_000010t.gif

【0019】
(5)透視射影は、射影面を視点の前面にとって、対象物と視点を結ぶ直線と射影面の交点を射影点とするものである。
変換式、逆変換式は、それぞれ下記の[数10]、[数11]のとおりである。
【0020】
【数10】
JP0005215097B2_000011t.gif

【0021】
【数11】
JP0005215097B2_000012t.gif

【0022】
図7~図11は、それぞれ正射影、等立体角射影、等距離射影、極射影、透視射影により教室を撮像した撮像画像例を示すものである。
中心部の大きさは正射影が一番大きく、極射影が一番小さい。人間の視覚を考えた場合、中心部は透視射影すなわち水平に近いほうが自然である。しかしながら、画角を180°とった場合、周辺部を透視射影することは不可能であるし、180°までいかなくても画角を広くとればとるほど中心部は小さくなってしまうため実際上は120°程度が限界である。
【0023】
監視カメラなどの用途を考えると、歪みが大きい画像は対象を誤って認識してしまう可能性があるため透視射影に近いほうがよいが、画角を狭くとると周辺部での事象を見逃す危険性が増える。
画角を広くとると中心部が小さく投影されてしまうという別の問題が生じる。
このように、一つの画像内に広い画角を示す場合には、中心部と周辺部の間でトレードオフの関係が生じるため両者を適切なバランスで提示する必要があるが、上記の各射影方式のみでは十分対応できない。
【0024】
すなわち図7に示す撮像画像例では、中心部に隣接する部分の歪みが大きく、図8~10に示す撮像画像例では、重要性が高い中心部が小さく、かつ中心部に隣接する部分の歪みが大きい。また図11に示す撮像画像例では、画像の歪みは小さいが、重要性が高い中心部が小さく、かつ周辺部の画像が切れている。
【0025】
視野90°までは透視射影で、90~225°までを拡張した正射影とした画像の変換方法が提案されている(非特許文献1)が、この画像の変換方法では途中で射影方法を切り替えているので、切換部分が気になり、また画像を4隅まで延ばすのではなく上下の視野を限定して矩形の画像を得ているため周辺の視野が狭くなっている。
したがって上記画像の変換方法では重要性の高い中心部を透視射影により得る点ではよいが、周辺部を適度に歪ませながら広い画角をとるには十分ではない。
また他にも画像変換方法が提案されているが、このようなニーズを満たすものではない。

【特許文献1】特開平10-49704号公報
【特許文献2】特開2007-148488号公報
【非特許文献1】情報処理学会インタラクション2003 予稿集,pp.107-115,2003.
【発明の開示】
【発明が解決しようとする課題】
【0026】
本発明の課題は、重要性の高い中心部を透視射影に近く、周辺部を適度に歪ませながら広い画角をとることができる、撮像画像の変換方法を提供することである。
さらに本発明の課題は、モニター画面全体を有効利用し、水平性・垂直性をより確保する撮像画像の変換方法を提供することである。
【課題を解決するための手段】
【0027】
本発明は、次のような撮像画像の変換方法を提供するものである。
(1)レンズの射影方式に応じて得た撮像画像の2次元座標(ξ,η,0)を該射影方式に基づいて逆変換して半径1の球面に投影した元の撮像画像の3次元座標(ξ,η,ζ)を求めるステップ及び該元の撮像画像の3次元座標(ξ,η,ζ)に対して投影曲面を、中心部では透視射影に近く、周辺部では正射影に近い連続した投影曲面として、撮像画像の新たな2次元座標(ξ,η,0)を求めるステップを含む撮像画像の変換方法。
(2)レンズの射影方式に応じて得た撮像画像の2次元座標(ξ,η,0)を該射影方式に基づいて逆変換して半径1の球面に投影した元の撮像画像の3次元座標(ξ,η,ζ)を求めるステップ及び該元の撮像画像の3次元座標(ξ,η,ζ)に対して投影曲面を
【0028】
【数12】
JP0005215097B2_000013t.gif

【0029】
として撮像画像の新たな2次元座標(ξ,η,0)を求めるステップを含む撮像画像の変換方法。
ただし
【0030】
【数13】
JP0005215097B2_000014t.gif

【0031】
である。またp、sは、正の実数であり、c=cot(視野角/2)である。
(3)上記p、s及びcは、それぞれ16、1及び0.577であることを特徴とする(2)に記載の撮像画像の変換方法。
(4)レンズの射影方式に応じて得た撮像画像の2次元座標(ξ,η,0)を該射影方式に基づいて逆変換して半径1の球面に投影した元の撮像画像の3次元座標(ξ,η,ζ)を求めるステップ及び該元の撮像画像の3次元座標(ξ,η,ζ)に対して投影曲面を
【0032】
【数14】
JP0005215097B2_000015t.gif

【0033】
として撮像画像の新たな2次元座標(ξ,η,0)を求めるステップを含む撮像画像の変換方法。
ただしp、q、sは、正の実数であり、c=cot(視野角/2)である。
(5)上記p、q、s及びcは、それぞれ16、16、1及び0.577であることを特徴とする(4)に記載の撮像画像の変換方法。
(6)上記レンズは、魚眼レンズであることを特徴とする(1)乃至(5)のいずれかに記載の撮像画像の変換方法。
(7)上記レンズの射影方式は、等距離射影であることを特徴とする(1)乃至(6)のいずれかに記載の撮像画像の変換方法。
【発明の効果】
【0034】
本発明によれば、重要性の高い中心部を透視射影に近く、周辺部を適度に歪ませながら広い画角をとることができるため、監視カメラなどに適用して、重要性の高い中心部で対象を正確に認識するとともに、周辺部での事象を見逃す危険性を小さくすることができる。
さらに本発明によれば、4隅まで画像が伸びており、監視カメラなどに適用しても周辺部での事象を見逃す危険性はきわめて小さい。
【発明を実施するための最良の形態】
【0035】
本発明に係る撮像画像の変換方法について、図面を参照して以下詳細に説明する。
重要性の高い中心部を透視射影に近く、周辺部を適度に歪ませながら広い画角をとるという方針で、中心部の透視射影から周辺部に向かって滑らかに変化する、次のような投影曲面を考える。
【0036】
【数15】
JP0005215097B2_000016t.gif

【0037】
ここで
【0038】
【数16】
JP0005215097B2_000017t.gif

【0039】
である。またp、sは、正の実数であり、c=cot(視野角/2)である。
p=sの場合は、この曲線はスーパー楕円となり特にp=s=2の場合は楕円になる。パラメータcは投影曲面の中央高さを意味し、特にp=s=2でc=1の場合は正射影になる。p=2、s=1、c=0.5とすると極射影になるので、これらを拡張したような射影方式になっているといえる。p=s、c=cot(120°/2)≒0.577として、pの値を変化させた場合の例を図1に示す。
次数pが大きくなるほど透視射影に近づいていき、p→∞の極限で透視射影となるが、この射影方式は周辺部の歪みが非常に大きくなる点で問題がある。
【0040】
次に[数15]でs=1として、pの値のみを変化させた場合の例を図2に示す。p=sの場合より、pの値を大きくとらないと中央部が水平に近づかないが、p=sの場合ほど周辺部の歪みは大きくない。p=16では正射影と透視射影を接続したような曲面となっていることが分かる。
【0041】
図3~図4は、c=cot(120°/2)≒0.577としたときの撮像画像の変換例である。中央部ではどれも透視射影に近くなっている。
図3は、[数15]でp=s=8としたスーパー楕円射影であり、周辺部は極端に圧縮されている。
図4は、[数15]でp=16、s=1とした射影で周辺部の歪みは正射影と同程度である。
図3、図4では、図7~図11のものよりも、重要性の高い中心部を透視射影に近く、周辺部を適度に歪ませながら広い画角がとれていることが分かる。
【0042】
次に[数15]に示す投影曲面では、rとして、方位によらず同じ射影としてきたため、射影された画像はすべて円になるが、モニター画面では4隅に空白部ができてしまう。
モニター画面全体を有効利用し、水平性・垂直性をより確保する方法として、ξとηをそれぞれ独立に扱うために[数15]を更に拡張して、次のような投影曲面を用いる。
【0043】
【数17】
JP0005215097B2_000018t.gif

【0044】
ここでp、q、sは、正の実数であり、c=cot(視野角/2)である。
p=qで、p=2の場合は射影された画像は円であるが、pの値を大きくしていくとスーパー楕円となり正方形に近づいていくことになる。
【0045】
図5は、[数17]でp=q=16、s=1とした射影である。画像中心を通る十字のライン上では図4と同一であるが、4隅まで画像が伸びており、水平・垂直が広い範囲で保存されていることが分かる。
【0046】
図3乃至図5の撮像画像の変換例から分かるように、本発明の撮像画像の変換方法を採用することにより重要性の高い中心部を透視射影に近く、周辺部を適度に歪ませながら広い画角をとることができる。
さらに図5の撮像画像の変換例の場合では4隅まで画像が伸びており、監視カメラなどに適用しても周辺部での事象を見逃す危険性はきわめて小さい。
【図面の簡単な説明】
【0047】
【図1】[数15]でp=s、c≒0.577とした場合を図示したものである。
【図2】[数15]でs=1、c≒0.577としてpの値のみを変化させた場合を図示したものである。
【図3】[数15]でp=s=8、c≒0.577とした撮像画像の変換例を図示したものである。
【図4】[数15]でp=16、s=1、c≒0.577とした撮像画像の変換例を図示したものである。
【図5】[数17]でp=q=16、s=1、c≒0.577とした撮像画像の変換例を図示したものである。
【図6】半径1の半球面から平面への射影を図示したものである。
【図7】正射影の撮像画像例を図示したものである。
【図8】等立体角射影の撮像画像例を図示したものである。
【図9】等距離射影の撮像画像例を図示したものである。
【図10】極射影の撮像画像例を図示したものである。
【図11】透視射影の撮像画像例を図示したものである。
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10