TOP > 国内特許検索 > DMDを用いたCCDカメラによる実時間形状計測方法と装置 > 明細書

明細書 :DMDを用いたCCDカメラによる実時間形状計測方法と装置

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第3507865号 (P3507865)
公開番号 特開2002-228425 (P2002-228425A)
登録日 平成16年1月9日(2004.1.9)
発行日 平成16年3月15日(2004.3.15)
公開日 平成14年8月14日(2002.8.14)
発明の名称または考案の名称 DMDを用いたCCDカメラによる実時間形状計測方法と装置
国際特許分類 G01B 11/24      
G02B 26/08      
FI G02B 26/08 E
G01B 11/24
請求項の数または発明の数 5
全頁数 6
出願番号 特願2001-026564 (P2001-026564)
出願日 平成13年2月2日(2001.2.2)
審査請求日 平成13年2月2日(2001.2.2)
特許権者または実用新案権者 【識別番号】396019376
【氏名又は名称】和歌山大学長
発明者または考案者 【氏名】森本 吉春
【氏名】藤垣 元治
個別代理人の代理人 【識別番号】100072051、【弁理士】、【氏名又は名称】杉村 興作
審査官 【審査官】岡田 卓弥
参考文献・文献 特開 平7-306444(JP,A)
特開 平11-23225(JP,A)
特開2001-4338(JP,A)
特許2903111(JP,B2)
調査した分野 G01B 11/00 - 11/30
G02B 26/08
特許請求の範囲 【請求項1】
複数のDMDミラー及びこれらのDMDミラーの各々をオン/オフする複数のDMD素子を具えDMDと、前記DMDの表面に物体の像を結像する第1レンズと、前記複数のDMDミラーと1対1の関係にある複数のCCD画素を具えるCCDと、前記DMDの表面に反射された像をさらに前記CCDに結像する第2レンズとを具え、前記CCDで1フレーム撮影する間に前記DMDの各DMD素子の各列を所定の量に応じて制御しながら撮影するように構成したことを特徴とするCCDカメラ。

【請求項2】
請求項1に記載の実時間形状計測用CCDカメラを使用し、格子を試料物体に位相シフトしながら投影し、前記CCDで1フレーム撮影する間に前記DMDの各ミラーのオン/オフを前記投影格子の位相シフト量に応じて制御しながら撮影することを特長とする等高線画像撮影方法。

【請求項3】
請求項1に記載の実時間形状計測用CCDカメラを使用し、格子を試料物体に位相シフトしながら投影し、予め求めておいた物体の変形前の位相分布を元に、前記CCDで1フレーム撮影する間に前記DMDの各ミラーのオン/オフする画素を投影格子の位相シフト量に応じて制御しながら撮影することを特徴とする等変位線画像撮影方法。

【請求項4】
請求項1に記載の実時間形状計測用CCDカメラと、格子を試料物体に位相シフトしながら投影する手段とを具え、前記実時間形状計測用CCDカメラを、前記CCDで1フレーム撮影する間に前記DMDの各ミラーのオン/オフを前記投影格子の位相シフト量に応じて制御するように構成したことを特長とする等高線画像撮影システム。

【請求項5】
請求項1に記載の実時間形状計測用CCDカメラと、格子を試料物体に位相シフトしながら投影する手段とを具え、前記実時間形状計測用CCDカメラを、予め求めておいた物体の変形前の位相分布を元に、前記CCDで1フレーム撮影する間に前記DMDの各ミラーのオン/オフする画素を投影格子の位相シフト量に応じて制御するように構成したことを特徴とする等変位線画像撮影システム。
発明の詳細な説明 【発明の詳細な説明】

【0001】
【発明の属する技術分野】本発明は、物体の形状及び変形量を計測する非接触形状計測装置に関し、特に、位相をシフトしながら物体に投影された格子を用いる形状計測方法によってテレビカメラのフレームレート(1/30秒)の間に撮影された格子画像からリアルタイムに形状を表す等高線画像及び変形量を表す等変位線画像を得ることができる実時間形状計測用CCDカメラと、このような実時間形状計測用CCDカメラを使用する実時間等高線表示方法及び実時間等変位線表示方法と、実時間等高線表示システム及び実時間等変位線表示システムに関する。

【0002】
【従来の技術】非接触で物体の3次元形状計測を行う従来の方法としては、物体に投影された格子の歪みを解析する方法がよく用いられていた。物体に等ピッチの格子を投影し別の方向からテレビカメラで撮影すると、物体の形状に応じて歪んだ格子画像が得られる。この画像から形状分布を得る方法として、走査モアレ法やフーリエ変換モアレ法/格子法などの位相解析法が開発されている。変位分布を表示するには、まず変形前後の形状データを計測し、その差として変位量を算出して表示する方法がこれまで多く用いられていた。

【0003】
走査モアレ法は、格子画像を等ピッチごとに間引くことで等高線を意味するモアレ縞を得る方法である。この方法は単純な画像処理で実現できるため、非常に高速に結果を得ることができるが、ノイズの多い等高線画像となってしまう欠点がある。フーリエ変換モアレ法/格子法などの位相解析法では、精度のよい計測が可能であり、変位量も算出することができるが、処理に時間がかかるという欠点がある。

【0004】
上述した欠点を克服し、物体の形状を表す等高線画像と、変形量を表す等変位線画像とをリアルタイムに得るための従来の方法としては、例えば、本発明者等を含む金汪根、藤垣元治及び森本吉春による「位相シフト走査モアレ法によるノイズのない等高線・等変位線表示システムの開発」第2回知能メカトロニクスワークショップ、精密工学会、1997年、29~34ページと、特許第2903111号「形状変形計測方法」とにおいて記載されている位相シフト走査モアレ方法がある。この方法では、連続的に位相をシフトしながら物体に投影された格子を撮影した複数枚の画像から、高分解能の等高線画像及び等変位線画像を得ていた。

【0005】
従来の位相シフト走査モアレ法においては、物体に投影した格子を、投影格子の位相シフト回数分だけ撮影し、撮影された複数の画像からそれぞれの位相シフト量に応じた画素の輝度データを抽出し、重ね合わせることで等高線画像又は等変位線画像を得ていた。この従来の方法によって実時間において等高線画像や等変位線画像を得る場合、投影格子の位相シフトをCCDのフレーム撮影時間ごとに1回行い、撮影された画像をメモリに順次記憶していく。1周期分の位相シフトが完了した後は、メモリに記憶しておいた直前の1周期分の位相シフト画像から上記のように位相シフト量に応じた画素の輝度データをそれぞれ抽出し、重ね合わせることで等高線画像又は等変位線画像を得る。等高線画像を得る場合、抽出する画素は、投影格子と同じピッチで、幅が1画素の等間隔の格子状の画素の並びである。この抽出する位置を、位相シフト量が増えるごとに1列ずつ移動させる。等変位線画像を得る場合、抽出する画素は、投影格子の位相シフト量と、予め求めておいた変形前の物体への投影格子の位相値とが一致している画素である。

【0006】
このように、1フレームの撮影を行うたびに直前の1周期分の位相シフト画像を用いて等高線画像又は等変位線画像を得ることができるため、毎フレームごとに結果が得られることになる。ここでは、撮影のフレーム時間ごとに結果が得られることを実時間と呼んでいる。

【0007】
【発明が解決しようとする課題】しかしながら、上述したような従来の位相シフト走査モアレ法では、実時間で結果を得ることはできるが、過去に撮影した複数枚の画像を用いるため、物体が動く場合には誤差が大きくなってしまうという欠点があった。

【0008】
上述したことを鑑み、本発明の目的は、位相シフト走査モアレ法によって物体が動く場合でも小さい誤差で等高線画像又は等変位線画像を実時間で得ることができる実時間形状計測用CCDカメラを提供することである。本発明の他の目的は、このような実時間形状計測用CCDカメラ使用する実時間等高線表示方法とこのような方法を実行するシステムとを提供することである。本発明のさらに他の目的は、このような実時間形状計測用CCDカメラを使用する実時間等変位線表示方法とこのような方法を実行するシステムとを提供することである。

【0009】
【課題を解決するための手段】本発明による実時間形状計測用CCDカメラは、DMDと、前記DMDの表面に物体の像を結像する第1レンズと、CCDと、前記DMDの表面に反射された像をさらに前記CCDに結像する第2レンズとを具えることを特徴とする。

【0010】
DMD(Digital Micro-mirror Device)は、画素ごとにオン/オフを高速に制御できる反射ミラーとして、これまでプロジェクタとして用いられてきた。本発明では、DMDとCCDカメラを組み合わせることで、CCDカメラの画素ごとに高速のシャッタを取り付けるのと同様の効果を得ている。図1は、DMDの基本的動作を説明する図である。DMDは、縦横にDMDが並べられた構造をしている。画素の数は縦横にそれぞれ数百~1千画素程度のものが造られている。図1は、DMD素子を側面から見た図であり、実際よりも画素数を減らして図式的に示している。図1において、各DMD画素は、入力されるオン/オフ信号に応じて、オンの時は下向きに、オフの時は上向きになるように向きを変える。ここでは、DMD正面からの入射光に対するオンの時の反射光の向きをDMD反射角と呼ぶ。DMD正面から入射した光は、DMD画素の向きに応じて上方向又は下方向に反射される。したがって、入射光のうち、一部だけをオン/オフパターン信号によって選択的に取り出すことができる。一般的なDMDプロジェクタもこのような性質を利用している。

【0011】
本発明による等高線画像撮影方法は、前記実時間形状計測用CCDカメラを使用し、格子を試料物体に位相シフトしながら投影し、前記CCDで1フレーム撮影する間に前記DMDの各ミラーのオン/オフを前記投影格子の位相シフト量に応じて制御しながら撮影することを特長とする。本発明による等高線画像撮影システムは、前記実時間形状計測用CCDカメラと、格子を試料物体に位相シフトしながら投影する手段とを具え、前記実時間形状計測用CCDカメラを、前記CCDで1フレーム撮影する間に前記DMDの各ミラーのオン/オフを前記投影格子の位相シフト量に応じて制御するように構成したことを特長とする。DMDと組み合わされたCCDカメラを用いることで、位相をシフトしながら投影された格子を用いる形状計測方法において、形状を表す等高線画像を撮影フレームごとに得ることができる。

【0012】
本発明による等変位線画像撮影方法は、前記実時間形状計測用CCDカメラを使用し、格子を試料物体に位相シフトしながら投影し、予め求めておいた物体の変形前の位相分布を元に、前記CCDで1フレーム撮影する間に前記DMDの各ミラーのオン/オフする画素を投影格子の位相シフト量に応じて制御しながら撮影することを特徴とする。本発明による等変位線画像撮影システムは、前記実時間形状計測用CCDカメラと、格子を試料物体に位相シフトしながら投影する手段とを具え、前記実時間形状計測用CCDカメラを、予め求めておいた物体の変形前の位相分布を元に、前記CCDで1フレーム撮影する間に前記DMDの各ミラーのオン/オフする画素を投影格子の位相シフト量に応じて制御するように構成したことを特徴とする。DMDと組み合わされたCCDカメラを用いることで、位相をシフトしながら投影された格子を用いる形状計測手法において、変形量を表す等変位線画像を撮影フレームごとに得ることができる。

【0013】
【発明の実施の形態】図2は、本発明による実時間形状計測用CCDカメラの一実施形態の構成を示す図である。実時間形状計測用CCDカメラ1は、DMD11と、CCD12と、第1レンズ13と、第2レンズ14とを具える。撮影対象物体の像を第1レンズ13によってDMD11の素子表面に結像させる。このとき、DMD11と第1レンズ13のレンズ面とを互いに平行になるように配置する。DMD11の表面の各DMD画素には、結像の位置関係となる対象物体表面の1点から出た光が到達することになる。次に、DMD11の表面とCCD12の表面が結像の位置関係となるように第2レンズ14を配置する。このとき、DMD11と、CCD12と、第2レンズ14とを、互いに平行になるように配置し、さらに、DMD反射角のあおりを付けた光学系となるようにする。このように配置することによって、オンの信号を受けているDMD画素に到達した光は、CCD12方向に反射され、第2レンズ14によってCCD12の対応する画素に結像することになる。すなわち、撮影対象物体の像は、いったんDMD11の表面に結像し、オンになっているDMD画素で反射されて再度CCD12の表面に結像することになる。

【0014】
図3は、DMDのオン/オフパターンと撮影される画像との関係を示す図である。図3aは、撮影対象のパターンの一例を示す。わかりやすくするために、画素数を減らして図式的に示す。まず、DMD画素がすべてオンの場合、撮影対象の像はそのままCCDで撮影される。DMD画素がすべてオフの場合、CCDには何も撮影されない。一部のDMD画素がオンで、他のDMD画素がオフの場合、オフの画素は撮影されず、オンの画素のみが撮影される。

【0015】
図4は、本発明による等高線画像撮影方法を実行する実時間等高線表示システムの構成を示す図である。本システムは、実時間形状計測用CCDカメラ1と、格子投影プロジェクタ2と、コントローラ3とを具える。実時間形状計測用CCDカメラ1は、図2に示すものと同様のものである。格子投影プロジェクタ2は、等間隔の格子パターンを、レンズ21を介して物体に投影する機能を有する。投影する格子の位相を、位相シフト信号に応じて変化させる。位相を変化させる方法のひとつとして、投影格子のフィルムを移動する方法がある。実時間形状計測用CCDカメラ1の第1レンズ13及び第2レンズ14のレンズ面と投影格子プロジェクタ2のレンズ21のレンズ面とを、互いに平行でかつz方向の位置が同一になるように配置する。コントローラ3の第1出力部を実時間形状計測用CCDカメラ1に接続し、コントローラ3の第2出力部を格子投影プロジェクタ2に接続する。コントローラ3は、第1出力部からオン/オフパターン信号を実時間形状計測用CCDカメラ1のDMD11に供給し、第2出力部から位相シフト信号を格子投影プロジェクタ2に供給する。

【0016】
図5は、このようなDMD画素のオン/オフパターンの時間変化を示す図である。この図において、CCD12のフレーム撮影時間は1/30秒とし、1周期の位相シフト回数を6回とした場合の時刻と、オン/オフパターン信号と、位相シフトとの関係を示す。なお、フレーム撮影時間とは、CCD12が電荷を蓄える時間のことであり、この時間内にCCD12の各画素に到達した光の強度の時間積分値がその画素の輝度として蓄えられることになる。オン/オフパターン信号と位相シフト信号とは、コントローラによって同期して変化し、図5に示すように、投影格子の位相シフト量が増えるごとにDMD画素のオンの位置を右方向に1列ずつ移動する。このようにすると、CCD12のフレーム撮影時間(1/30秒)内に、1周期分の位相シフトが順次行われ、位相シフト量に応じて抽出された画素の光だけがCCD12の各画素上に到達し、そこでフレーム撮影時間の時間積分が行われることによって合成されたものがCCD12で撮影されることになる。すなわち、1周期分の位相シフト走査モアレ法が1フレーム時間内に行われることになる。したがって、CCD12にはフレーム撮影時間ごとに等高線が撮影されることになる。1フレームごとに等高線を撮影するため、従来の複数枚の画像を用いる方法と比べて、物体の動きによる誤差が大きく軽減される。

【0017】
図6は、本発明による等変位線画像撮影方法を実行する実時間等変位線表示システムの構成を示す図である。本システムは、実時間形状計測用CCDカメラ1と、格子投影プロジェクタ2と、コントローラ3’と、位相算出回路4と、位相メモリ5とスイッチ6とを具える。実時間形状計測用CCDカメラ1は、図2及び図4に示すものと同様のものであり、格子投影プロジェクタ2は、図4に示すものと同様のものである。格子投影プロジェクタ2及び実時間形状計測用CCDカメラの配置と、これらとコントローラ3’との接続は、図4に示す実時間等高線表示システムと同様である。実時間形状計測用CCDカメラ1の出力部を、スイッチ6を経て位相算出回路4の第1入力部に接続する。また、位相算出回路4の第2入力部を、コントローラ3’の第2出力部に接続し、位相シフト信号を入力する。位相算出回路4は、供給された格子画像及び位相シフト信号から特徴量抽出法により位相分布を算出する。特徴量抽出法は、特許第2903111号(形状変形計測方法)に記載されているように、1周期分の位相シフトされた複数枚の画像から、各画素について輝度が最高になるときの位相シフト量を該画素の位相値として求める方法である。位相算出回路4の出力部を位相メモリ5の入力部に接続し、前記算出された位相分布を位相メモリ5に記憶する。位相メモリ5の出力部をコントローラ3’の入力部に接続し、随時、前記位相分布を供給する。

【0018】
まず、変形前の物体に投影された格子の位相分布を求める手順を説明する。すべてのDMD画素について、コントローラ3’からのオン/オフパターン信号をオンにする。このようにすると、図3に関して上述したように、撮影対象の像がそのままCCD12で撮影されるので、投影された格子の画像(格子画像)が撮影される。さらにスイッチ6をオンにすることによって、前記格子画像が位相算出回路4に入力される。コントローラ3’がCCD12のフレーム撮影時間で1回の位相シフトが行われるような位相シフト信号を出力すると、1フレームごとに1回ずつ位相シフトされた画像が撮影される。位相算出回路4は、1周期分の位相シフト信号と格子画像から特徴量抽出法によって投影格子の位相分布を算出し、出力する。したがって、変形前の物体に対してこの操作を行うことにより、変形前の物体の位相分布が位相メモリ5に記憶されることになる。

【0019】
図7は、このようにして得られた1周期の位相シフト回数を6回とした場合の、物体の変形前の位相分布の例を示す図である。図7aは位相分布を濃淡で表現したものであり、図7bは各画素ごとの位相シフト量を数値で表したものである。ここで、位相シフト量とは、位相シフトが行われた回数である。そのため、図7の場合は0~5の値となる。以上のようにして、まず変形前の物体に投影された格子の位相分布を求め、それを位相メモリ5に格納する。その後、以下に説明する方法を用いて等変位線の撮影を行う。

【0020】
図8は、図6に示す実時間等変位線表示システムにおけるオン/オフパターンの時間変化を示す図である。図8は、図5の場合と同様に、CCDのフレーム撮影時間を1/30秒とし、1周期の位相シフト回数を6回とした場合の、オン/オフパターン信号と位相シフト信号との関係を時系列的に示したものである。オン/オフパターン信号と位相シフト信号とを、コントローラ3’によって同期して変化させ、図8に示すように投影格子の位相シフト量に応じて、図7bに示す物体の変形前の位相分布の各画素の位相シフト量と一致したDMD画素をオンにする。例えば、位相シフト量が2の場合は、図7bにおいて2の値を持つDMD画素がオンになる。このようにすると、CCD12のフレーム撮影時間(1/30秒)内に、1周期分の位相シフトが順次行われ、位相シフト量に応じて抽出された画素の光だけがCCD12の各画素上に到達し、そこでフレーム撮影時間の時間積分が行われることによって合成されたものがCCD12で撮影される。すなわち、CCD12にはフレーム撮影時間ごとに等変位線が撮影される。1フレームごとに等変位線を撮影するため、従来の複数枚の画像を用いる方法に比べて、物体の動きによる誤差が大きく軽減される。

【0021】
【発明の効果】本発明によれば、位相シフト走査モアレ法によって物体が動く場合でも小さい誤差で等高線画像又は等変位線画像を実時間で得ることができる実時間形状計測用CCDカメラが提供され、さらにこのような実時間形状計測用CCDカメラ使用する実時間等高線表示方法及び実時間等変位線表示方法と、実時間等高線表示システム及び実時間等変位線表示システムとが提供される。
図面
【図2】
0
【図4】
1
【図3】
2
【図7】
3
【図1】
4
【図5】
5
【図6】
6
【図8】
7