TOP > 国内特許検索 > 画像処理方法 > 明細書

明細書 :画像処理方法

発行国 日本国特許庁(JP)
公報種別 再公表特許(A1)
発行日 令和元年7月4日(2019.7.4)
発明の名称または考案の名称 画像処理方法
国際特許分類 G06T   5/00        (2006.01)
FI G06T 5/00 705
国際予備審査の請求 未請求
全頁数 19
出願番号 特願2018-564479 (P2018-564479)
国際出願番号 PCT/JP2018/000873
国際公開番号 WO2018/139237
国際出願日 平成30年1月15日(2018.1.15)
国際公開日 平成30年8月2日(2018.8.2)
優先権出願番号 2017011501
優先日 平成29年1月25日(2017.1.25)
優先権主張国 日本国(JP)
指定国 AP(BW , GH , GM , KE , LR , LS , MW , MZ , NA , RW , SD , SL , ST , SZ , TZ , UG , ZM , ZW) , EA(AM , AZ , BY , KG , KZ , RU , TJ , TM) , EP(AL , AT , BE , BG , CH , CY , CZ , DE , DK , EE , ES , FI , FR , GB , GR , HR , HU , IE , IS , IT , LT , LU , LV , MC , MK , MT , NL , NO , PL , PT , RO , RS , SE , SI , SK , SM , TR) , OA(BF , BJ , CF , CG , CI , CM , GA , GN , GQ , GW , KM , ML , MR , NE , SN , TD , TG) , AE , AG , AL , AM , AO , AT , AU , AZ , BA , BB , BG , BH , BN , BR , BW , BY , BZ , CA , CH , CL , CN , CO , CR , CU , CZ , DE , DJ , DK , DM , DO , DZ , EC , EE , EG , ES , FI , GB , GD , GE , GH , GM , GT , HN , HR , HU , ID , IL , IN , IR , IS , JO , JP , KE , KG , KH , KN , KP , KR , KW , KZ , LA , LC , LK , LR , LS , LU , LY , MA , MD , ME , MG , MK , MN , MW , MX , MY , MZ , NA , NG , NI , NO , NZ , OM , PA , PE , PG , PH , PL , PT , QA , RO , RS , RU , RW , SA , SC , SD , SE , SG , SK , SL , SM , ST , SV , SY , TH , TJ , TM , TN , TR , TT
発明者または考案者 【氏名】佐川 立昌
出願人 【識別番号】301021533
【氏名又は名称】国立研究開発法人産業技術総合研究所
個別代理人の代理人 【識別番号】110001243、【氏名又は名称】特許業務法人 谷・阿部特許事務所
審査請求
テーマコード 5B057
Fターム 5B057BA28
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CE02
5B057CE06
5B057CE08
5B057CG01
5B057DA16
要約 比較的強い外乱光の下で動体の形状を撮影画像から復元し、あるいは視認できない画像が埋め込まれた動画像からその埋め込み画像を復調し表示させる。本発明の画像処理方法は、(a)物体の表面にスペクトラム拡散変調された信号に基づき点滅光を照射するステップS1と、(b)物体の表面からの反射光を受光し画像情報を含む信号を出力するステップS2と、(c)画像情報を含む信号から低周波数成分を含むノイズを除去するフィルター処理ステップS3と、(d)フィルター処理後の信号を逆拡散し復調するステップS4、S5と、(e)復調後の信号に基づき物体の表面の状態を反映した画像を出力するステップS6と、を含む。
特許請求の範囲 【請求項1】
画像処理方法であって、
物体の表面にスペクトラム拡散変調された信号に基づき点滅光を照射するステップと、
前記物体の表面からの反射光を受光し画像情報を含む信号を出力するステップと、
前記画像情報を含む信号から低周波数成分を含むノイズを除去するフィルター処理ステップと、
前記フィルター処理後の信号を逆拡散し復調するステップと、
前記復調後の信号に基づき前記物体の表面の状態を反映した画像を出力するステップと、を含む画像処理方法。
【請求項2】
前記スペクトラム拡散変調された信号は、基準信号を1次変調した信号に擬似ランダム雑音(PN)系列の拡散符号を乗算して得られる、請求項1に記載の画像処理方法。
【請求項3】
前記拡散符号は長さLの最長系列(MLS)符号を含む、請求項2に記載の画像処理方法。
【請求項4】
前記フィルター処理ステップは、ハイパスフィルターと、選択的に空間フィルターとを用いて前記画像情報を含む信号を処理することを含む、請求項1に記載の画像処理方法。
【請求項5】
前記点滅光を照射するステップは、グリッドパターンの点滅光を照射するステップを含む、請求項1に記載の画像処理方法。
【請求項6】
前記点滅光を照射するステップは、波長の異なる複数の光を含む点滅光を照射するステップを含む、請求項1に記載の画像処理方法。
【請求項7】
前記点滅光を照射するステップは、複数の異なる方向から点滅光を照射するステップを含む、請求項1に記載の画像処理方法。
【請求項8】
前記物体は動体を含む、請求項1~5のいずれか1項に記載の画像処理方法。
【請求項9】
画像処理方法であって、
表示画面に表示する動画像中への埋め込み映像を準備するステップであって、当該埋め込み映像は、スペクトラム拡散変調された信号に基づき前記表示画面の画素を点灯させることにより表示される、ステップと、
前記表示画面に表示された、前記埋め込み映像を含む前記動画像を撮影するステップと、
撮影された前記動画像の信号から低周波数成分を含むノイズを除去するフィルター処理ステップと、
前記フィルター処理後の信号を逆拡散し復調するステップと、
前記復調後の信号に基づき前記埋め込み映像を出力するステップと、を含む画像処理方法。
【請求項10】
画像処理システムであって、
物体の表面にスペクトラム拡散変調された信号に基づき点滅する光を照射するための光源と、
前記物体の表面からの反射光を受光し画像情報を含む信号を出力する撮像装置と、
前記画像情報を含む信号から低周波数成分を含むノイズを除去するためのフィルターと、
前記フィルターの処理後の信号を逆拡散し復調するための演算処理装置と、
前記復調後の信号に基づき前記物体の表面の状態を反映した画像が表示する表示装置と、を含む画像処理システム。
【請求項11】
前記スペクトラム拡散変調された信号は、基準信号を1次変調した信号に擬似ランダム雑音(PN)系列の拡散符号を乗算して得られる、請求項10に記載の画像処理システム。
【請求項12】
前記拡散符号は長さLの最長系列(MLS)符号を含む、請求項11に記載の画像処理システム。
【請求項13】
前記フィルター処理装置は、ハイパスフィルターと、選択的に空間フィルターとを用いて前記画像情報を含む信号を処理することを含む、請求項10に記載の画像処理システム。
【請求項14】
前記光源は、(i)グリッドパターンの点滅光を照射する、(ii)波長の異なる複数の光を含む点滅光を照射する、または(iii)複数の異なる方向から点滅光を照射するように構成されている、請求項10に記載の画像処理システム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、画像処理方法に関し、より具体的には、外乱光下で物体の表面に投影されるあるいは画面上に表示される特定パターンを含む撮影画像を処理することにより、物体形状の復元あるいは画面上の隠蔽画像の表示などを行うための画像処理方法に関する。
【背景技術】
【0002】
従来から、プロジェクタ等の光源とカメラを用いて、撮影画像から物体形状を復元する画像処理システム/方法が提案されている。例えば、特許文献1は、観測対象物上に投影されたグリッドパターンを含む撮影画像から対象物の形状を復元する画像処理方法を開示する。特許文献2は、運動する物体への投影パターンを含む撮影画像から復調された同期パターンの位相を用いて、物体形状を復元する画像処理方法を開示する。特許文献3は、環境光下で物体へ投影されたグリッドパターンを含む撮影画像からバンドパスフィルタを用いて物体の形状を復元する画像処理方法を開示する。
【0003】
また、非特許文献1は、対象物へアダマール行列に基づいたパターンを用いて複数の光源を同時に点灯して、カメラでの撮影画像から対象物の形状を復元する画像処理方法を開示する。さらに、非特許文献2は、スペクトラム拡散変調を用いて画像中に埋め込んだ情報を復調して復元(表示)する方法を開示する。
【先行技術文献】
【0004】

【特許文献1】特許第5317169号公報
【特許文献2】特許第5761750号公報
【特許文献3】国際公開WO2014/020823公報
【0005】

【非特許文献1】Proceedings of the Ninth IEEE International Conference on Computer Vision (ICCV’03)
【非特許文献2】IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 8, NO. 8, pp 1075-1083, AUGUST 1999
【発明の概要】
【発明が解決しようとする課題】
【0006】
上記した特許文献および非特許文献の各々は、撮影画像から物体形状を復元したり、あるいは画像中に埋め込んだ情報を復元するための画像処理方法として個々にその目的を達成しているが、比較的強い外乱光の下で動体の形状を撮影画像から復元したり、あるいは視認できない画像が埋め込まれた動画像からその埋め込み画像を復調し表示させるような場合には必ずしも有効な画像処理方法を開示するものではない。
【課題を解決するための手段】
【0007】
本発明の一態様の画像処理方法は、(a)物体の表面にスペクトラム拡散変調された信号に基づき点滅光を照射するステップと、(b)物体の表面からの反射光を受光し画像情報を含む信号を出力するステップと、(c)画像情報を含む信号から低周波数成分を含むノイズを除去するフィルター処理ステップと、(d)フィルター処理後の信号を逆拡散し復調するステップと、(e)復調後の信号に基づき物体の表面の状態を反映した画像を出力するステップと、を含む。
【0008】
本発明の他の一態様の画像処理方法は、(a)表示画面に表示する動画像中への埋め込み映像を準備するステップであって、当該埋め込み映像は、スペクトラム拡散変調された信号に基づき前記表示画面の画素を点灯させることにより表示されるステップと、(b)表示画面に表示された、埋め込み映像を含む動画像を撮影するステップと、(c)撮影された動画像の信号から低周波数成分を含むノイズを除去するフィルター処理ステップと、(d)フィルター処理後の信号を逆拡散し復調するステップと、(e)復調後の信号に基づき埋め込み映像を出力するステップと、を含む。
【0009】
本発明の一態様の画像処理システムは、(a)物体の表面にスペクトラム拡散変調された信号に基づき点滅する光を照射するための光源と、(b)物体の表面からの反射光を受光し画像情報を含む信号を出力する撮像装置と、(c)画像情報を含む信号から低周波数成分を含むノイズを除去するためのフィルターと、(d)フィルターの処理後の信号を逆拡散し復調するための演算処理装置と、(e)復調後の信号に基づき物体の表面の状態を反映した画像が表示する表示装置と、を含む。
【発明の効果】
【0010】
本発明によれば、物体へのスペクトラム拡散変調光の照射と、その照射中の物体の撮影画像のフィルタリング処理を用いることにより、外乱光下において静止体あるいは動体の形状を計測することができる。また、本発明によれば、動画中へスペクトラム拡散変調を用いて映像を埋め込むことにより、その動画の撮影画像から復調した埋め込み映像を表示させることができる。
【図面の簡単な説明】
【0011】
【図1】本発明の一実施形態の画像処理システムの構成を示す図である。
【図2】本発明の一実施形態の画像処理方法のフローを示す図である。
【図3】本発明の他の一実施形態の画像処理方法のフローを示す図である。
【図4】本発明の実施例1を説明するための図である。
【図5】本発明の実施例1を説明するための図である。
【図6】本発明の実施例2を説明するための図である。
【図7】本発明の実施例3を説明するための図である。
【図8】本発明の実施例3を説明するための図である。
【図9】本発明の実施例4を説明するための図である。
【発明を実施するための形態】
【0012】
図面を参照しながら本発明の実施形態について説明する。図1は、本発明の一実施形態の画像処理システムの構成を示す図である。画像処理システム100は、物体1に光を照射するための光源10と、物体の表面からの反射光を受光することができる撮像装置12と、光源10と撮像装置12に接続する演算処理装置14を含む。被写体となる物体1は、少なくとも外形表面から光を反射可能な物体、言い換えれば撮像装置12で撮影可能な物体であれば良く、静止体のみならず動体も含むことができる。動体は、自らが動く(自動式)物体あるいは他の手段(機構)によって動かされる(他動式)物体の双方を含むことができる。

【0013】
光源10は、物体1の表面にスペクトラム拡散変調された信号に基づき点滅する光を照射することができるように構成される。そのスペクトラム拡散変調された信号は演算処理装置14によって供給される。光源10は、発光ダイオード(LED)、レーザダイオード(LD)、ビデオプロジェクタなどの発光源を用いることができる。光源10は、より具体的には、例えば所定のパターン(ドットパターン等)を物体1の表面に投影可能なレーザパターンプロジェクターを用いることができる。光源10は、単一波長あるいは複数波長のスペクトルを含む光源を用いることができる。光源10は、少なくとも1つあればよく、2以上の異なる方向から光を照射可能な同一または異なる種類の光源を用いることもできる。

【0014】
撮像装置12は、例えばCMOSやCCDからなるイメージセンサ(エリアセンサ)を含むカメラを用いることができる。撮像装置12は、モノクロまたはカラー(RGB)のカメラ、あるいはハイパースペクトルカメラを用いることができる。撮像装置12は、光源10の発光(点滅)と同期して撮影する必要があることから撮影速度(コマ/秒)が速いハイスピードカメラを用いることができる。撮像装置12は、画像情報を含む信号(映像データ)を演算処理装置14に出力する。

【0015】
演算処理装置14は、撮像装置12から受信する画像情報を含む信号(映像データ)を数値的に演算処理して表示可能な、プロセッサ(CPU)、メモリ、ディスプレイ等を含むパーソナルコンピュータ(PC)等を用いることができる。演算処理装置14は、その演算処理機能として、画像情報を含む信号(映像データ)から低周波数成分を含むノイズを除去するためのフィルターとしても機能する。なお、フィルターは、演算処理装置14とは別の独立なあるいは付随する装置として構成してもよい。演算処理装置14は、さらにフィルター処理後の信号を逆拡散し復調する機能も有する。復調後の信号に基づき物体の表面の状態を反映した画像が、演算処理装置14が備えるディスプレイに表示される。

【0016】
図2は、本発明の一実施形態の画像処理方法のフローを示す図である。図2のフローは、例えば図1の画像処理システムを用いて実行することができる。図2のフローは、室内または屋外の外乱光(室内照明、太陽光等)がある中で実行することができる。その際の外乱光は、撮像装置12の各受光素子の出力が飽和しない範囲であれば比較的強い光強度(明るさ)の外乱光であってもよい。本発明のシステム及び方法では、その比較的強い外乱光(ノイズ)下でも物体表面の特定画像を得ることができることが1つの特徴である。

【0017】
図2のステップS1において、物体の表面にスペクトラム拡散変調された信号に基づき点滅光を照射する。具体的には、例えば図1のシステムにおいて、物体1の表面に光源10からスペクトラム拡散変調された信号に基づき発光する点滅光を照射する。スペクトラム拡散変調された信号は、演算処理装置14によって生成される。物体1は、上述したように静止体のみならず動体も含むことができる。スペクトラム拡散変調には、直接拡散方式(DS)を用いることができる。

【0018】
直接拡散方式(DS)において、スペクトラム拡散変調された信号は、元の信号(基準信号)を1次変調した信号に擬似ランダム雑音(PN)系列の拡散符号を乗算して得ることができる。拡散符号は、例えば長さLの最長系列(MLS)符号を含むことができる。その長さLの最長系列(MLS)符号は、例えば演算処理装置14が内蔵する線形フィードバックシフトレジスタ(LFSR)を用いて生成することができる。拡散符号として、符号(-1と1)を含むアダマール行列や符号(0、1)を含むS行列を用いることもできる。

【0019】
点滅光は、光源10にレーザパターンプロジェクターを用いることにより、例えば所定のグリッドパターンを含むようにすることができる。点滅光は単一波長あるいは複数波長のスペクトルを含むようにすることができる。点滅光は複数の異なる方向から物体1に照射させることもできる。ステップS2において、物体の表面からの反射光を受光し画像情報を含む信号を出力する。具体的には、例えば図1のシステムにおいて、物体1の表面からの反射光を撮像装置12で受光し、言い換えれば点滅光が照射されている物体1を撮像装置12で撮影し、その撮影画像を内蔵するメモリに保管し、さらにその撮影画像を演算処理装置14に送る。

【0020】
ステップS3において、画像情報を含む信号から低周波数成分を含むノイズを除去するフィルター処理を行う。具体的には、例えば図1のシステムにおいて、演算処理装置14において、ハイパスフィルターと、選択的に空間フィルターを用いて撮影映像信号(映像データ)を処理してノイズ成分を除去する。このノイズ成分は、撮影時の外乱光に起因して発生する比較的低周波数のノイズを含む。ハイパスフィルター処理において、例えば、逆離散フーリエ変換(IDFT)関数を用いて、さらに窓関数(例えばハン窓(Hanning Window))を用いて、すなわち撮影画像信号(映像データ)にこれらの関数を乗算して、低周波数のノイズ及びリップルノイズを除去することができる。空間フィルター処理においては、例えばガウシアンフィルタ(Gaussian Filter)を用いて処理することができる。

【0021】
ステップS4において、フィルター処理後の信号(映像データ)を逆拡散する。具体的には、フィルター処理後の信号に逆拡散符号を乗算して逆拡散後の信号を生成する。逆拡散符号は、拡散符号と同じ符号を用いることができる。ステップS5において、逆拡散後の信号を復調する。なお、ステップS4の逆拡散とステップS5の復調は1つのステップとして同時に(連続して)実行することができる。ステップS6において、復調後の信号に基づき物体の表面の状態を反映した画像を出力する。その画像(映像)は、演算処理装置14が備えるディスプレイに表示させることができる。

【0022】
図2の画像処理方法で使用するスペクトラム拡散変調(直接拡散方式)は、下記の式(1)~(5)で信号の流れが説明されるように、従来から無線通信等の技術分野で用いられているものである。本発明では、(i)光源が発する光をスペクトラム拡散変調された点滅光として物体に照射して利用する点、及び(ii)その点滅光が照射される物体の撮影画像を逆拡散する前に所定のフィルタリング処理をして外乱光等に起因するノイズ成分を除去する点が従来技術と大きく異なる点(特徴)である。

【0023】
<直接拡散方式の信号の流れ>
時間tkにおける基準信号skを関数Fを用いて1次変調信号M1(tk)とする。ただし、kT<tk<(k+1)T(T:基準信号の周期、k:時間ステップ)である。
【数1】
JP2018139237A1_000003t.gif
変調信号M1(tk)は、時間ステップkでL個のチップ(送信データビット)に分割された後、拡散符号Sによってスペクトラム拡散されてスペクトラム拡散変調信号M2(tk)となる。
【数2】
JP2018139237A1_000004t.gif
送信される変調信号M2(tk)にはノイズn(tk)が加わり、受信信号M´2(tk)として受信される。
【数3】
JP2018139237A1_000005t.gif
受信信号M´2(tk)は逆拡散符号S´により逆拡散されて信号D(tk)となる。
【数4】
JP2018139237A1_000006t.gif
最後に、逆拡散後の信号D(tk)を関数Fに対応する関数F´を用いて復調して、復調信号sk´を得る。
【数5】
JP2018139237A1_000007t.gif

【0024】
ここで、外乱光下で動体を観測する場合の撮影映像のフィルター処理及び逆拡散・復調処理に関してさらに説明する。外乱光は動きの無いシーンでは撮影した映像信号中のほぼ一定な直流(DC)成分と捉えることができる。しかし、動きのあるシーンでは、その直流(DC)成分は一定ではなく、撮影速度(フレームレート)に比べて遅い動体の動きに応じて変化する比較的低周波な成分を含むことになる。したがって、外乱光下で動体を観測する場合は、ハイパスフィルターを用いて映像信号からその低周波な成分を除去してから復調する必要がある。

【0025】
周波数ωTよりも大きな周波数を透過させるハイパスフィルターは、周波数領域として(6)式で表すことができる。
【数6】
JP2018139237A1_000008t.gif
時間領域でのハイパスフィルターh(t)は、(7)式で定義することができる。
【数7】
JP2018139237A1_000009t.gif
ここで、IDFH(H)は、H(ω)の逆離散フーリエ変換(IDFT)を意味し、ω(t)は、ω(t)=0.5-0.5cos(2π/Lω)で定義されるハン窓(Hanning Window)を意味する。ノイズn(t)が低周波数成分だけを含む場合、h(t)との畳み込みはh(t)*n(t)=0となる。外乱光の影響は、受信信号M´2(t)とハイパスフィルターh(t)の畳み込みによって除去することができる。

【0026】
拡散符号S(t)に最長系列(MLS)符号を用いた場合、逆拡散符号S´(t)=S(t)となり、動体が観測され低周波成分がゼロでない場合、逆拡散信号D(t)は(8)式のようになる。
【数8】
JP2018139237A1_000010t.gif
スペクトラム拡散信号もしかしながらゼロではない低周波成分を持っている。(8)式によって逆拡散される信号はハイパスフィルターによって影響を受けることになるので、復調させるための関数F´は元の関数Fに応じて変形させる必要がある。

【0027】
追加のノイズフィルターは空間フィルターとの組み合わせによって得ることができる。周辺画素が類似信号を受信したと仮定することによって、ガウシアンフィルタ(Gaussian Filter)であるg(x、y)を受信信号に適用することができる。ここで、x、yは画素の座標である。この場合、逆拡散信号Dは(9)式のように変形される。
【数9】
JP2018139237A1_000011t.gif

【0028】
次に、変調関数Fを用いた単純なケースとして直流(DC)成分の振幅変調について検討する。ちなみに、式(1)でも記載したように、1次変調信号M1(tk)=sk、ただし、kTb<tk<(k+1)Tb(Tb:基準信号の周期、k:時間ステップ)である。最初に、1つの光源の場合を想定する。sをkTb<tk<(k+1)Tbでの送信信号とし、mを空間フィルターを適用した後の受信信号M´2(t)のベクトルとする。さらに、拡散符号からベクトルS=[S(t)](t=ikTb/L、i=0、・・・、L-1)とする。ハイパスフィルター値からなる行ベクトルhによって、L×(L+Lω-1)行列Hは(10)式で定義される。
【数10】
JP2018139237A1_000012t.gif

【0029】
ハイパスフィルターを用いてゼロでないノイズの低周波成分を除去することによって、(11)式を得る。
【数11】
JP2018139237A1_000013t.gif
(11)式の最小二乗法による解は(12)式となる。
【数12】
JP2018139237A1_000014t.gif
(12)式の右辺の係数の行列は逆拡散及び復調の合成関数に相当し、復調のために受信信号と畳み込みされるフィルターとして使われる。

【0030】
複数の光源の場合を想定すると、最長系列(MLS)によって与えられた符号から循環シフトされた拡散符号を用いて個々の信号が抽出される。Sjをj回の循環シフトSによって与えられた拡散符号の列ベクトルとする。M個の光源が使われる場合、上述した1つの光源の場合と同様に、係数の行列は(13)で得ることができる。
【数13】
JP2018139237A1_000015t.gif
ここで、Qは(14)式で表される拡散符号の行列である。
【数14】
JP2018139237A1_000016t.gif

【0031】
図3は、本発明の他の一実施形態の画像処理方法のフローを示す図である。図3のフローは、例えば図1のシステムにおける撮像装置12と演算処理装置14を用いて実行することができる。ステップS10において、表示画面に表示する動画像中への埋め込み映像を準備する。具体的には、例えば演算処理装置14によって動画像中への埋め込み映像を表示させるためのスペクトラム拡散変調された信号を生成し、そのスペクトラム拡散変調された信号に基づき演算処理装置14が備えるディスプレイに表示(ディスプレイの画素を点灯)させることができるように準備する。ディスプレイには液晶モニタやビデオプロジェクタなどが含まれる。その際、スペクトラム拡散変調された埋め込み映像の表示は、比較的高い周波数で低い光出力(各画素の輝度)に設定し、動画の再生中にはそのままでは視認できないようにする。

【0032】
ステップS11において、表示画面に表示された、埋め込み映像を含む動画像を撮影する。具体的には、例えば演算処理装置14が備えるディスプレイで再生された埋め込み映像を含む動画を撮像装置12で撮影する。その撮影画像(映像データ)は、撮像装置12が内蔵するメモリに保管され、さらに演算処理装置14に送られる。ステップS12において、演算処理装置14において、撮影された動画像の信号(映像データ)から低周波数成分を含むノイズを除去するフィルター処理を行う。このフィルター処理は、基本的に上述した図2のステップS3のフィルター処理と同様な方法で行うことができる。

【0033】
ステップS13において、フィルター処理後の信号(映像データ)を逆拡散する。具体的には、フィルター処理後の信号に逆拡散符号を乗算して逆拡散後の信号を生成する。逆拡散符号は、拡散符号と同じ符号を用いることができる。ステップS14において、逆拡散後の信号を復調する。なお、ステップS13の逆拡散とステップS14の復調は1つのステップとして同時に(連続して)実行することができる。ステップS15において、復調後の信号に基づき動画像中に埋め込まれた埋め込み映像を出力する。その映像は、演算処理装置14が備えるディスプレイに表示させることができる。これによりいわば動画中に隠された埋め込み映像を視認することができる。
【実施例1】
【0034】
図4と図5を参照しながら実施例1について説明する。実施例1は、強い外乱光下で対象物である彫刻像の表面にグリッドパターンを照射しながら彫刻像を撮影して、そのグリッドパターンを含む彫刻像の画像を表示(再現)させる場合の例である。図4はその測定の際の配置を示している。彫刻像(Target object)の斜め手前側に外乱光を模擬するためのランプ(External light)が置かれ、さらに手前側に本発明の方法によるスペクトラム拡散変調されたグリッドパターンを投光するためのレーザパターンプロジェクター(Laser pattern projector)と、彫刻像を撮影するためのハイスピードカメラ(High speed camera)が置かれている。なお、図示はされていなが、レーザパターンプロジェクターとハイスピードカメラは、ディスプレイを備えるコンピュータ(PC)に通信可能に接続されている。
【実施例1】
【0035】
図4の配置での測定において、ランプは、彫刻像から約0.7mの距離に置かれ、400Wの出力を有し、彫刻像を約100Kルクスで照らすことができる。レーザパターンプロジェクターは、彫刻像から約1.7mの距離に置かれ、約800nmの波長のスペクトラム拡散変調された波型グリッドパターン光を約40mWの光強度で彫刻像の表面に照射する。ハイスピードカメラは、約800nmの波長光を受光可能なバンドパスフィルタを備え、512×512画素の12ビットの画像を22500FPSで撮影することができる。
【実施例1】
【0036】
図5は、上記した測定条件で測定した結果を示すディスプレイでの表示画像を示す。(a)は、彫刻像をランプによって約100Kルクスで照らし、同時にペクトラム拡散変調された波型グリッドパターン光を照射した場合のハイスピードカメラでの撮影画像である。画像からは波型グリッドパターンは視認することはできない。(b)~(c)は、撮影画像を上述した図2のステップS3~S6の画像処理方法で処理した結果の表示画像である。ペクトラム拡散変調に用いる拡散符号の長さLが、(b)L=15、(c)L=63、(d)L=255と異なっている。いずれも彫刻像の表面形状を反映した波型グリッドパターンが視認できている。波型グリッドパターンの鮮明度は、拡散符号の長さLが長くなるほど鮮明になっていることがわかる。
【実施例2】
【0037】
図6を参照しながら実施例2について説明する。実施例2は、太陽光下で対象物として手から離れて動くゴムボール(動体)の表面にグリッドパターンを照射しながらゴムボールを撮影して、そのグリッドパターンを含む画像を表示(再現)させる場合の例である。測定において、図4の実施例1の場合と同様に、レーザパターンプロジェクターとハイスピードカメラを使用している。測定の際の太陽光の明るさは約50Kルクスであり、約800nmの波長のスペクトラム拡散変調された波型グリッドパターン光を約85mWの光強度でゴムボールに照射している。スペクトラム拡散変調に用いる拡散符号の長さL=255である。
【実施例2】
【0038】
図6は、測定した結果を示すディスプレイでの表示画像を示す。(a)はゴムボールの動く様子を撮影した3つの瞬間の撮影画像(処理なしの生画像)である。(b)はレーザパターンプロジェクターでスペクトラム拡散変調された波型グリッドパターン光を照射した場合の3つの瞬間の撮影画像である。画像からは波型グリッドパターンは視認することはできない。(c)は、撮影画像を上述した図2のステップS3~S6の画像処理方法で処理した結果の表示画像である。ただし、ステップS3のフィルタリング処理は行っていない。ゴムボールと手の境界領域に本来あるべきでない画像(動きによるノイズ画像)が現れてしまっている。(d)は、フィルタリング処理(ハイパスフィルター処理)を含めて、撮影画像を上述した図2の画像処理方法で処理した結果の表示画像である。(c)であった動きによるノイズ画像が無くなっている。(e)は得られた復調画像から復元した3次元(3D)画像である。
【実施例3】
【0039】
図7と図8を参照しながら実施例3について説明する。実施例3は、フォトメトリックステレオ法に本発明の画像処理方法を適用した場合の例である。図7は測定システムの様子を示す図である。(a)においてカメラのレンズの回りに60個のLEDを円形に配置している。隣り合う6個のLEDが1セットとして点滅(オンオフ)するようになっている。LEDの点滅には、本発明のスペクトラム拡散変調された信号に基づく点滅(変調光)が用いられる。(b)に示すように、LEDを配置したカメラを対象物である台上のあひる置物から約1.5mの距離に配置する。その結果、あひる置物は10方向の各々から6個のLEDで照射されることになる。図示はされていないが、実施例1、2の場合と同様にあひる置物はハイスピードカメラで撮影できるようになっている。
【実施例3】
【0040】
図8は、測定した結果を示すディスプレイでの表示画像を示す。(a)の3画像は外乱光無しの状態で長い露光時間で撮影した参照画像である。(b)~(d)の各画像は、LEDをスペクトラム拡散変調信号を用いて点灯させた状態でのハイスピードカメラでの撮影画像を本発明の画像処理方法で処理した後の画像である。(b)~(d)の各々の右端の画像は3次元の復元画像である。(b)の3画像は外乱光無しの状態で得られた画像であり、(c)と(d)は外乱光有りの状態で得られた画像である。(c)ではフィルタリング処理のハイパスフィルター処理を行っており、(d)ハイパスフィルター処理に加えて空間フィルター処理も行っている。(c)と(d)の外乱光有りの状態でもあひる置物が十分に視認できるほど再現されていることがわかる。
【実施例4】
【0041】
図9を参照しながら実施例4について説明する。実施例4は、上述した図3の画像処理フローに基づき動画中に埋め込まれた埋め込み画像をコンピュータ(PC)のディスプレイに表示させる場合の例である。ディスプレイのリフレッシュレートは60Hzである。図9の(a)は入力画像(動画像)を示す。ヒヒの顔を視認することができる。(b)は本発明の方法(スペクトラム拡散変調)を用いて埋め込まれる画像(女性画像)である。使用した拡散符号の長さL=31である。(c)はスペクトラム拡散変調を用いて埋め込み画像を表示した場合の画像フレームを示している。ディスプレイの各画素の輝度が小さく埋め込み画像を視認できない黒画面状態となっている。(d)は、ディスプレイ上において、(a)の視認可能な入力画像と、(c)の視認できない埋め込み画像を左右にスライドさせながらカメラで撮影し、その撮影画像を本発明の方法で処理した後の復調画像である。この場合、ハイパスフィルター処理に加えて空間フィルター処理も行っている。埋め込み画像が表示(再現)されている。
【実施例4】
【0042】
本発明の実施形態について、図を参照しながら説明をした。しかし、本発明はこれらの実施形態に限られるものではない。さらに、本発明はその趣旨を逸脱しない範囲で当業者の知識に基づき種々なる改良、修正、変形を加えた態様で実施できるものである。
【符号の説明】
【0043】
1:物体(対象物)
10:光源
12:撮像装置
14:演算処理装置
100:画像処理システム
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8