TOP > 国内特許検索 > 遮蔽空間の可視化方法 > 明細書

明細書 :遮蔽空間の可視化方法

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4747296号 (P4747296)
公開番号 特開2006-352473 (P2006-352473A)
登録日 平成23年5月27日(2011.5.27)
発行日 平成23年8月17日(2011.8.17)
公開日 平成18年12月28日(2006.12.28)
発明の名称または考案の名称 遮蔽空間の可視化方法
国際特許分類 H04N  13/00        (2006.01)
FI H04N 13/00
請求項の数または発明の数 3
全頁数 9
出願番号 特願2005-175530 (P2005-175530)
出願日 平成17年6月15日(2005.6.15)
審査請求日 平成20年4月16日(2008.4.16)
特許権者または実用新案権者 【識別番号】504174135
【氏名又は名称】国立大学法人九州工業大学
発明者または考案者 【氏名】石川 聖二
【氏名】橋本 直
個別代理人の代理人 【識別番号】100090697、【弁理士】、【氏名又は名称】中前 富士男
審査官 【審査官】伊東 和重
参考文献・文献 特開2001-039398(JP,A)
特開2005-027166(JP,A)
特開2003-244728(JP,A)
特開平08-242469(JP,A)
特開2001-148011(JP,A)
調査した分野 H04N 13/00
G02B 27/22
G06T 15/00
G06T 17/00
特許請求の範囲 【請求項1】
遮蔽物によって遮蔽された場所にある対象物を、前記遮蔽物を通じて観察者に視認させる遮蔽空間の可視化方法であって、
前記対象物を該対象物がある場所に配置されたカメラで撮像し、(1)該カメラによって得られる画像上の、前記対象物と床面との接地点の2次元位置を3次元位置に置き換えることで算出される該カメラから前記対象物までの距離と、(2)前記観察者の頭部と該カメラの距離及び角度とを基にして、前記カメラで撮像した画像から前記観察者の左右の目で立体像として視認できる左画像と右画像を合成し、該合成した左画像と右画像とをそれぞれハーフミラーを介して前記遮蔽物に重ね合わせて観察することを特徴とする遮蔽空間の可視化方法。
【請求項2】
請求項記載の遮蔽空間の可視化方法において、前記カメラは1台のビデオカメラであることを特徴とする遮蔽空間の可視化方法。
【請求項3】
請求項記載の遮蔽空間の可視化方法において、前記ビデオカメラは広角度カメラであることを特徴とする遮蔽空間の可視化方法。
発明の詳細な説明 【技術分野】
【0001】
本発明は、遮蔽された空間を3次元モデル化し、遮蔽物を通して可視化する遮蔽空間の可視化方法に関する。
【背景技術】
【0002】
出会い頭の事故は、車や建物の陰から突然人や車が現れるために起きる。また、物の陰では悪事も発生し易い。車や建物等の遮蔽物を通して物を見ることができれば、事故や犯罪を防ぐことができる。例えば、非特許文献1には、複数方向に配置したステレオカメラから得られたステレオ画像を利用して、壁面や大きな障害物などの被写体(遮蔽物)を透過性のある物体として表示することにより、遮蔽物の背後の情景を見ることができるビデオ映像の透過性表現方法が開示されている。また、特許文献1には、透過対象(遮蔽物)に再帰性反射材を塗布し、プロジェクタからハーフミラーを介して遮蔽物に遮蔽物の背後の映像を投影して、再帰性反射材に投影される遮蔽物の背後の映像を見ることができる情報提示方法及び装置が開示されている。
【0003】

【特許文献1】特開2000-122176号公報
【非特許文献1】「ビデオ映像の透過性表現」、画像電子学会論文誌、2000年9月、第29巻、第5号、p.537-544
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、非特許文献1の発明では、精度の良い3次元モデルを生成できるが、モデルを観察するため、現実感が乏しくなると共に、複数台のステレオカメラで撮影した映像を処理するため、実時間処理が困難であるという問題もあった。また、特許文献1の発明では、遮蔽物に再帰性反射材を塗布しなければならないという問題があった。更に、3次元復元が簡易であって、奥行き情報(距離感)が正しく観察できるのは、光軸と同方向から観察した場合のみであるので、ユーザ(観察者)の視点が大きく制限されるという問題もあった。
【0005】
本発明はかかる事情に鑑みてなされたもので、精度及び現実感が高く、処理速度の速い遮蔽空間の可視化方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
前記目的に沿う本発明に係る遮蔽空間の可視化方法は、遮蔽物によって遮蔽された場所にある対象物を、前記遮蔽物を通じて観察者に視認させる遮蔽空間の可視化方法であって、
前記対象物を該対象物がある場所に配置されたカメラで撮像し、(1)該カメラによって得られる画像上の、前記対象物と床面との接地点の2次元位置を3次元位置に置き換えることで算出される該カメラから前記対象物までの距離と、(2)前記観察者の頭部と該カメラの距離及び角度とを基にして、前記カメラで撮像した画像から前記観察者の左右の目で立体像として視認できる左画像と右画像を合成し、該合成した左画像と右画像とをそれぞれハーフミラーを介して前記遮蔽物に重ね合わせて観察する。
本発明に係る遮蔽空間の可視化方法において、前記左画像と前記右画像を前記遮蔽物に重ね合わせて観察する前記観察者の位置を検知し、前記左画像及び前記右画像に表示される前記対象物の見る角度を変更することもできる。
【0007】
本発明に係る遮蔽空間の可視化方法において、前記カメラは1台のビデオカメラであることもできる。
本発明に係る遮蔽空間の可視化方法において、前記ビデオカメラは広角度カメラであるのが好ましい。
【発明の効果】
【0008】
請求項1~3に記載の遮蔽空間の可視化方法においては、対象物を対象物がある場所に配置されたカメラで撮像し、撮像した画像から左右の目で立体像として視認できる左画像と右画像を合成し、合成した左画像と右画像をそれぞれハーフミラーを介して遮蔽物に重ね合わせて観察するので、遮蔽物と対象物との位置関係、特に距離を正しく復元できる。
【0009】
特に、請求項記載の遮蔽空間の可視化方法においては、カメラが1台のビデオカメラであって、ビデオカメラからの画像信号と、ビデオカメラから対象物までの距離信号とを組み合わせて右画像と左画像を合成するので、1台のカメラで距離感を正しく表示することができる。
請求項記載の遮蔽空間の可視化方法においては、ビデオカメラが広角度カメラであるので、1台のビデオカメラでも広範囲の映像を得ることができる。
【発明を実施するための最良の形態】
【0010】
続いて、添付した図面を参照しつつ、本発明を具体化した実施の形態につき説明し、本発明の理解に供する。
ここで、図1は本発明の一実施の形態に係る遮蔽空間の可視化方法を適用する可視化システムの説明図、図2は同遮蔽空間の可視化方法に使用されるシースルー型のヘッドマウントディスプレイの説明図、図3は同遮蔽空間の可視化方法の原理を示す説明図、図4は同遮蔽空間の可視化方法の対象物のテクスチャを表示するレイヤの位置を決定する方法を示す説明図である。
【0011】
図1~図4を参照して、本発明の一実施の形態に係る遮蔽空間の可視化方法及びそれを適用した可視化システム10について説明する。
図1に示すように、遮蔽空間の可視化方法は、壁等の遮蔽物11によって遮蔽されて観察者12から見えない場所(以下、「遮蔽空間」ともいう)13にある対象物(例えば、作業者等)14を、遮蔽物11を挟んで反対側にいる観察者12が、あたかも遮蔽物11を透過しているかのように見る方法である。すなわち、図3に示すように、観察者12が見る現実空間(実空間)に、カメラ画像によって構築された3次元の仮想空間内の対象物14aを重ね合わせて透過表現を実現したものである。
【0012】
図1及び図2に示すように、可視化システム10は、遮蔽空間13に配置され、遮蔽空間13内を広角度で撮影可能な魚眼レンズ(図示せず)を備えた1台の広角度カメラ(ビデオカメラの一例)15と、広角度カメラ15で撮影した対象物14の画像から観察者12の左右の目16、17で立体像として視認できる図示しない左画像及び右画像を合成するコンピュータ18と、観察者12が装着するシースルー型のヘッドマウントディスプレイ19を有している。
【0013】
図2に示すように、ヘッドマウントディスプレイ19は、左右の目16、17の前に実質的に45度の角度を有してそれぞれ配置されるハーフミラー20、21と、左右の目16、17の光軸とハーフミラー20、21を介して直角にそれぞれ投影される左画像と右画像を映し出すディスプレイ22、23とを有している。ハーフミラー20、21は、例えば、約50%の透過率を有し、観察者12は、ハーフミラー20、21を通して直接見える現実空間にある遮蔽物11と、ハーフミラー20、21を反射して見られる左画像及び右画像に表示される対象物14a(すなわち、仮想空間内の映像)とを融合したミクストリアリティ(Mixed Reality)の映像を見ることができる。
【0014】
観察者12は、左右の目16、17でそれぞれ左画像及び右画像を見ることにより対象物14の距離感が得られる。また、ヘッドマウントディスプレイ19には、観察者12の頭部(すなわち、視点)の3次元位置及び角度を測定する図示しない位置姿勢センサが取付けられ、観察者12の位置及び観察者12の向いている方向が、位置姿勢センサとコンピュータ18によって計算され、観察者12と広角度カメラ15との位置関係を検知して、左画像及び右画像に表示される対象物14aを見る角度を変更し、左画像と右画像を遮蔽物11に重ね合わせることにより、どの方向からも観察が可能となる。
【0015】
図4を参照して、前記した仮想空間の構築方法について説明する。
まず、予め遮蔽空間13を撮影し、遮蔽空間13の床面に対する画像座標系から世界座標系への2次元射影変換を求める。ここで、画像座標系とは、広角度カメラ15で撮影される画像上の位置を示し、世界座標系とは、実際の遮蔽空間13での位置を示すものである。すなわち、画像座標系から世界座標系への2次元射影変換とは、広角度カメラ15によって得られる画像の位置(2次元)を、遮蔽空間13の位置(3次元)に置き換えるものである。
【0016】
広角度カメラ15で撮影された対象物14を含む遮蔽空間13の画像は、コンピュータ18によって、予め撮影された遮蔽空間13のみの画像との間で背景差分を行い、対象物14の画像を抽出(切り出)して、ノイズを除去し、ラベリング(2値画像からラベル画像を生成する処理)により対象物14の領域のセグメンテーション(処理の対象となる部分パターンを切り出す操作)を行う。次に、図4に示すように、ラベル付けされた各領域において重心を求め、求めた重心座標を領域の最下部まで垂直に移動させた点の座標を、対象物14と床面との接地点の座標(xg,yg)とする。ここで、予め求めた2次元射影変換によって、画像上の接地点を世界座標系における位置、すなわち、対象物14の接地点座標(Xg,Yg,0)を求める。
【0017】
次に、世界座標系において、対象物14の接地点から広角度カメラ15の光軸に下ろした垂線の足(Xc,Yc,Zc)を求める。光軸上の点(Xc,Yc,Zc)を含み、光軸と直交する平面が対象物14のテクスチャ(対象物の表面のパターンによって構成される画像)が表示されるレイヤとなる。これによって、広角度カメラ15から対象物14までの距離が算出され、観察者12に取付けられた位置姿勢センサによって、観察者12と広角度カメラ15の距離及び角度が解るので、コンピュータ18によって、広角度カメラ15で得られた映像から左画像及び右画像をそれぞれ合成することができる。
【0018】
ここで、対象物14の接地点は、対象物14の下端部(例えば、両足)が床から離れている(ジャンプしている)場合、実際の位置よりも奥に計算されるが、ジャンプする時間は短いため、影響は少ない。なお、対象物14が複数人の場合には、広角度カメラ15からの距離が異なる作業者毎にレイヤが定義される。また、複数人が奥行き方向で重なりを生じた場合には、各人の移動の連続性を考慮して解決する。最後に対象物14のラベル画像によるマスク処理で対象物14毎にテクスチャを作成し、それぞれのレイヤにレンダリングする。以上の処理はフレーム毎に行われる。また、広角度カメラ15は魚眼レンズを使用しているので、魚眼レンズ特有の歪みをコンピュータ18によって補正して、ディスプレイ22、23に投影している。
【0019】
次に、広角度カメラ15で撮影された遮蔽空間13内の対象物14と、観察者12が遮蔽物11を透過して見る対象物14aとを同じ位置となるように表示する方法について説明する。
まず、遮蔽空間13にあるマーカーA~Cの世界座標系における3次元位置をそれぞれA(X1,Y1,Z1)、B(X2,Y2,Z2)、びC(X3,Y3,Z3)とし、対応するマーカーa~cの2次元座標をa(x1,y1)、b(x2,y2)、及びc(x3,y3)とする。A~Cの3次元位置は実測して求め、a~cの2次元位置は画像処理によって求める。
【0020】
ここで、任意の2次元の点をp(xp,yp)とし、これに対応する3次元位置をP(XP,YP,ZP)とする。このとき全ての点は同一平面上に存在するため、どちらの座標
系においてもベクトルの相関関係は変わらないので、(1)式及び(2)式が成り立つ。
【0021】
【数1】
JP0004747296B2_000002t.gif

【0022】
【数2】
JP0004747296B2_000003t.gif

【0023】
ここで、m及びnは実数である。(1)式よりm及びnについて、(3)式及び(4)式からなる連立方程式が成り立つ。
m(x2-x1)+n(x3-x1)=xp-x1・・・(3)
m(y2-y1)+n(y3-y1)=yp-y1・・・(4)
(3)式及び(4)式によりm及びnが求められる。
【0024】
また、(2)式よりP(XP,YP,ZP)は、(5)式~(7)式で与えられる。
XP=m(X2-X1)+n(X3-X1)+X1・・・(5)
YP=m(Y2-Y1)+n(Y3-Y1)+Y1・・・(6)
ZP=m(Z2-Z1)+n(Z3-Z1)+Z1・・・(7)
(3)式~(7)式を解いて、ディスプレイ22、23に投影するマーカーa~cの映像と、遮蔽空間13にあるマーカーA~Cとを一致して表示することができる。
【実施例】
【0025】
次に、本発明の作用効果を確認するために行った実施例について説明する。ここで、図5は本発明の一実施例の遮蔽空間の可視化方法を適用した実験環境の説明図、図6(A)は可視化した場合の実験結果を示す説明図、(B)は可視化していない場合の説明図である。
【0026】
図5に示すように、本実施例の実験環境は、観察者12の前方に、例えば、遮蔽物の一例である衝立25が設置され、衝立25を挟んで観察者12と対象物(作業者)14が配置されている。また、衝立25の対象物14側には、対象物14を撮影する広角度カメラ15が配置されている。この実施例では、観察者12がシースルー型のヘッドマウントディスプレイ19を装着する代わりに、観察者12の視点位置(目の位置)に小型のCCDカメラ26を設置した。また、広角度カメラ15及びCCDカメラ26はコンピュータ18を介して接続されている。
【0027】
広角度カメラ15とCCDカメラ26は固定されており、その距離は一定となっている。図6(A)に示すように、広角度カメラ15で撮影した画像と、CCDカメラ26で撮影した画像とをコンピュータ18によって合成し、コンピュータ18に接続された図示しないモニタに出力(表示)する。この場合には、衝立25の背後(遮蔽空間側)に対象物14があるように表示される。また、広角度カメラ15からの画像を得ない場合には、図6(B)に示すように、衝立25によって対象物14は遮蔽され、観察者12は遮蔽空間の対象物14を見ることができない。
【0028】
このように、1台のカメラから得られる画像を元に簡易的な3次元復元を行って仮想空間を構築し、これを現実画像と映像的に融合し透過表示を実現することが可能となった。また、衝立25によって遮蔽された場所を移動する複数の人物が歩き回る様子を衝立25を透過して見ることができた。なお、CCDカメラ15の位置を変えた場合には、CCDカメラ15の位置及びCCDカメラ15が対象物14を観察する方向を、コンピュータ18に入力するか、CCDカメラ15に位置姿勢センサを取付けてコンピュータ18で解析する必要がある。
【0029】
本発明は、前記した実施の形態に限定されるものではなく、本発明の要旨を変更しない範囲での変更は可能であり、例えば、前記したそれぞれの実施の形態や変形例の一部又は全部を組み合わせて本発明の遮蔽空間の可視化方法を構成する場合も本発明の権利範囲に含まれる。
例えば、前記実施の形態の遮蔽空間の可視化方法において、カメラは、複数台のビデオカメラであって、複数台のビデオカメラの信号から左画像と右画像を合成してもよい。
【産業上の利用可能性】
【0030】
本願発明の遮蔽空間の可視化方法によって、大型車両の死角や見通しの悪い交差点における事故防止、また、建物内のセキュリティなどの分野への応用が期待される。また、医療、福祉、娯楽、情報手段、及び防災等の分野へも応用が可能である。
【図面の簡単な説明】
【0031】
【図1】本発明の一実施の形態に係る遮蔽空間の可視化方法を適用する可視化システムの説明図である。
【図2】同遮蔽空間の可視化方法に使用されるシースルー型のヘッドマウントディスプレイの説明図である。
【図3】同遮蔽空間の可視化方法の原理を示す説明図である。
【図4】同遮蔽空間の可視化方法の対象物のテクスチャを表示するレイヤの位置を決定する方法を示す説明図である。
【図5】本発明の一実施例の遮蔽空間の可視化方法を適用した実験環境の説明図である。
【図6】(A)は可視化した場合の実験結果を示す説明図、(B)は可視化していない場合の説明図である。
【符号の説明】
【0032】
10:可視化システム、11:遮蔽物、12:観察者、13:遮蔽された場所(遮蔽空間)、14、14a:対象物、15:広角度カメラ、16、17:目、18:コンピュータ、19:ヘッドマウントディスプレイ、20、21:ハーフミラー、22、23:ディスプレイ、25:衝立、26:CCDカメラ
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5