TOP > 国内特許検索 > 計測システム及び計測方法 > 明細書

明細書 :計測システム及び計測方法

発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2017-015456 (P2017-015456A)
公開日 平成29年1月19日(2017.1.19)
発明の名称または考案の名称 計測システム及び計測方法
国際特許分類 G01B  11/24        (2006.01)
G01B  11/25        (2006.01)
FI G01B 11/24 K
G01B 11/25 H
請求項の数または発明の数 12
出願形態 OL
全頁数 22
出願番号 特願2015-130144 (P2015-130144)
出願日 平成27年6月29日(2015.6.29)
発明者または考案者 【氏名】川末 紀功仁
【氏名】吉田 久美子
出願人 【識別番号】504224153
【氏名又は名称】国立大学法人 宮崎大学
【識別番号】505218926
【氏名又は名称】向陽鉄工株式会社
個別代理人の代理人 【識別番号】100166006、【弁理士】、【氏名又は名称】泉 通博
審査請求 未請求
テーマコード 2F065
Fターム 2F065AA04
2F065AA26
2F065AA37
2F065AA53
2F065BB06
2F065DD03
2F065EE08
2F065FF01
2F065FF04
2F065FF09
2F065FF61
2F065GG04
2F065GG06
2F065HH06
2F065JJ03
2F065JJ26
2F065LL53
2F065QQ21
2F065QQ25
2F065QQ31
2F065RR06
要約 【課題】被測定物の三次元座標をより高精度に計測する計測システムを提供する。
【解決手段】計測システムSは、管体にスリット状の複数のスリットレーザ光を照射するスリットレーザ照射装置2と、スリットレーザ光の各々と所定の位置関係を有するドット状の複数のドットレーザ光を管体に照射するドットレーザ照射装置3と、管体の表面に現れる複数の輝線と、管体の表面に現れる複数の輝点とを撮像して、撮像画像を生成する撮像装置4と、撮像画像と、複数の輝線及び輝点の予め定まった位置関係を示す基準画像とを対比して、撮像画像の輝線とスリットレーザ光との対応関係を特定する特定部152と、撮像画像における輝線の二次元座標と、特定部152が特定した対応関係とに基づいて、輝線の三次元座標を取得する取得部153とを備える。
【選択図】図1
特許請求の範囲 【請求項1】
被測定物にスリット状の複数のスリットレーザ光を照射する第1照射手段と、
前記第1照射手段が前記複数のスリットレーザ光を前記被測定物に照射する際に、前記複数のスリットレーザ光の各々と所定の位置関係を有するドット状の複数のドットレーザ光を、前記被測定物に照射する第2照射手段と、
前記複数のスリットレーザ光が照射されることで前記被測定物の表面に現れる複数の輝線と、前記複数のドットレーザ光が照射されることで前記表面に現れる複数の輝点とを撮像して、撮像画像を生成する撮像手段と、
前記撮像画像と、前記複数の輝線及び輝点の予め定まった位置関係を示す基準画像とを対比して、前記撮像画像の前記複数の輝線と前記複数のスリットレーザ光との対応関係を特定する特定手段と、
前記撮像画像における前記複数の輝線の二次元座標と、前記特定手段が特定した前記対応関係とに基づいて、前記複数の輝線の三次元座標を取得する取得手段と、
を備える、計測システム。
【請求項2】
前記第1照射手段及び前記第2照射手段は、前記スリットレーザ光を照射するスリットの長手方向であるスリット方向の同一直線上に位置する、
請求項1に記載の計測システム。
【請求項3】
前記第1照射手段及び前記第2照射手段は、前記スリット方向以外の方向に所定距離だけ離れて位置し、
前記スリットレーザ光の前記被測定物への照射位置と、前記ドットレーザ光の前記被測定物への照射位置とを調整するための光反射手段を更に備える、
請求項1に記載の計測システム。
【請求項4】
前記複数のスリットレーザ光の前記被測定物への照射方向は、互いに交差する方向であり、
前記特定手段は、前記複数の輝線の各々に対応する前記スリットレーザ光の照射方向を特定する、
請求項1から3のいずれか1項に記載の計測システム。
【請求項5】
前記第2照射手段は、前記複数の輝線の各々に対して輝点の隣接状態が異なるように、前記複数のドットレーザ光を照射する、
請求項1から4のいずれか1項に記載の計測システム。
【請求項6】
前記特定手段は、前記撮像画像の前記輝線上の一点及び前記一点の周囲を含む単位領域を抽出し、前記基準画像の前記単位領域との相関度合いを判定する、
請求項5に記載の計測システム。
【請求項7】
前記被測定物は、管状体であり、
前記撮像手段は、前記第1照射手段の照射方向と交差する視線方向から、前記管状体の表面に現れる前記複数の輝線及び輝点を撮像する、
請求項1から6のいずれか1項に記載の計測システム。
【請求項8】
前記取得手段は、円弧形状の前記輝線が一部を成す前記管状体の断面形状の三次元座標を取得する、
請求項7に記載の計測システム。
【請求項9】
前記断面形状は、楕円形状であり、
前記取得手段は、前記断面形状の楕円の短径を取得し、前記短径を前記管状体の外径と設定する、
請求項8に記載の計測システム。
【請求項10】
前記取得手段は、前記複数の輝線の各々が一部を成す前記管状体の複数の断面形状に基づいて、前記管状体の中心線を取得する、
請求項8又は9に記載の計測システム。
【請求項11】
前記取得手段は、前記複数の輝線上の点の三次元座標に基づいて、前記管状体の中心線の方向ベクトルを取得する、
請求項8から10のいずれか1項に記載の計測システム。
【請求項12】
被測定物にスリット状の複数のスリットレーザ光を照射するステップと、
前記複数のスリットレーザ光を前記被測定物に照射する際に、前記複数のスリットレーザ光の各々と所定の位置関係を有するドット状の複数のドットレーザ光を、前記被測定物に照射するステップと、
前記複数のスリットレーザ光が照射されることで前記被測定物の表面に現れる複数の輝線と、前記複数のドットレーザ光が照射されることで前記表面に現れる複数の輝点とを撮像して、撮像画像を生成するステップと、
前記撮像画像と、前記複数の輝線及び輝点の予め定まった位置関係を示す基準画像とを対比して、前記撮像画像の前記複数の輝線と前記複数のスリットレーザ光との対応関係を特定するステップと、
前記撮像画像における前記複数の輝線の二次元座標と、特定した前記対応関係とに基づいて、前記複数の輝線の三次元座標を取得するステップと、
を有する、計測方法。

発明の詳細な説明 【技術分野】
【0001】
本発明は、被測定物の三次元座標を計測する計測システム及び計測方法に関する。
【背景技術】
【0002】
近年、コンピュータビジョンに関する研究が活性化し、撮像装置を用いた物体の三次元情報入力システムが身近なものになりつつある。この種の技術の中で、撮像装置としてカメラを用いて物体の三次元形状を入力する手法として、光切断法が広く知られている。
【0003】
例えば、下記の特許文献1には、光切断法を利用した距離測定装置が開示されている。この距離測定装置は、CCDカメラによって物体(被測定物)の表面におけるスリット光の反射光(輝線)を撮像し、スリット光を発した方向、光源の位置及びCCDカメラの位置から、物体との間の距離を測定する。
【先行技術文献】
【0004】

【特許文献1】特開2002-156209号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
一方で、被測定物の形状等を効率よく計測するために、被測定物に複数のスリットレーザ光を同時に照射する方式が検討されている。しかし、複数のスリット光を被測定物に照射した場合には、どの方向から投光されたスリットレーザ光であるかを特定する必要がある。撮像画像に、被測定物に現れる輝線と被測定物以外の部分に現れるスリットレーザ光とがずれた状態で写る場合のように、被測定物の形状が複雑な場合は、被測定物と被測定物以外の部分とで不連続になっている輝線の繰り返しパターンが撮像画像内に複数存在する。このような場合、複数の輝線の各々に対応するスリットレーザ光を特定し難いため、各輝線までの距離が計測できない。この結果、被測定物の三次元座標が測定できない。
【0006】
そこで、本発明はこれらの点に鑑みてなされたものであり、被測定物の三次元座標をより高精度に計測可能な計測システム及び計測方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の第1の態様においては、被測定物にスリット状の複数のスリットレーザ光を照射する第1照射手段と、前記第1照射手段が前記複数のスリットレーザ光を前記被測定物に照射する際に、前記複数のスリットレーザ光の各々と所定の位置関係を有するドット状の複数のドットレーザ光を、前記被測定物に照射する第2照射手段と、前記複数のスリットレーザ光が照射されることで前記被測定物の表面に現れる複数の輝線と、前記複数のドットレーザ光が照射されることで前記表面に現れる複数の輝点とを撮像して、撮像画像を生成する撮像手段と、前記撮像画像と、前記複数の輝線及び輝点の予め定まった位置関係を示す基準画像とを対比して、前記撮像画像の前記複数の輝線と前記複数のスリットレーザ光との対応関係を特定する特定手段と、前記撮像画像における前記複数の輝線の二次元座標と、前記特定手段が特定した前記対応関係とに基づいて、前記複数の輝線の三次元座標を取得する取得手段とを備える、計測システムを提供する。
【0008】
また、前記第1照射手段及び前記第2照射手段は、前記スリットレーザ光を照射するスリットの長手方向であるスリット方向の同一直線上に位置することとしてもよい。
【0009】
また、前記第1照射手段及び前記第2照射手段は、前記スリット方向以外の方向に所定間隔だけ離れて位置し、前記計測システムは、前記スリットレーザ光の前記被測定物への照射位置と、前記ドットレーザ光の前記被測定物への照射位置とを調整するための光反射手段を更に備えることとしてもよい。
【0010】
また、前記複数のスリットレーザ光の前記被測定物への照射方向は、互いに交差する方向であり、前記特定手段は、前記複数の輝線の各々に対応する前記スリットレーザ光の照射方向を特定することとしてもよい。
【0011】
また、前記第2照射手段は、前記複数の輝線の各々に対して輝点の隣接状態が異なるように、前記複数のドットレーザ光を照射することとしてもよい。
【0012】
また、前記特定手段は、前記撮像画像の前記輝線上の一点及び前記一点の周囲を含む単位領域を抽出し、前記基準画像の前記単位領域との相関度合いを判定することとしてもよい。
【0013】
また、前記被測定物は、管状体であり、前記撮像手段は、前記第1照射手段の照射方向と交差する視線方向から、前記管状体の表面に現れる前記複数の輝線及び輝点を撮像することとしてもよい。
【0014】
また、前記取得手段は、円弧形状の前記輝線が一部を成す前記管状体の断面形状の三次元座標を取得することとしてもよい。
【0015】
また、前記断面形状は、楕円形状であり、前記取得手段は、前記断面形状の楕円の短径を取得し、前記短径を前記管状体の外径と設定することとしてもよい。
【0016】
また、前記取得手段は、前記複数の輝線の各々が一部を成す前記管状体の複数の断面形状に基づいて、前記管状体の中心線を取得することとしてもよい。
【0017】
また、前記取得手段は、前記複数の輝線上の点の三次元座標に基づいて、前記管状体の中心線の方向ベクトルを取得してもよい。
【0018】
本発明の第2の態様においては、被測定物にスリット状の複数のスリットレーザ光を照射するステップと、前記複数のスリットレーザ光を前記被測定物に照射する際に、前記複数のスリットレーザ光の各々と所定の位置関係を有するドット状の複数のドットレーザ光を、前記被測定物に照射するステップと、前記複数のスリットレーザ光が照射されることで前記被測定物の表面に現れる複数の輝線と、前記複数のドットレーザ光が照射されることで前記表面に現れる複数の輝点とを撮像して、撮像画像を生成するステップと、前記撮像画像と、前記複数の輝線及び輝点の予め定まった位置関係を示す基準画像とを対比して、前記撮像画像の前記複数の輝線と前記複数のスリットレーザ光との対応関係を特定するステップと、前記撮像画像における前記複数の輝線の二次元座標と、特定した前記対応関係とに基づいて、前記複数の輝線の三次元座標を取得するステップとを有する、計測方法を提供する。
【発明の効果】
【0019】
本発明によれば、被測定物の三次元座標をより高精度に計測できるという効果を奏する。
【図面の簡単な説明】
【0020】
【図1】本発明の一実施形態に係る計測システムSの構成の一例を示すブロック図である。
【図2】被測定物に対するスリットレーザ光の照射状態の一例を示す図である。
【図3】スリットレーザ照射装置2及びドットレーザ照射装置3の構成の一例を説明するための模式図である。
【図4】スリットレーザ光とドットレーザ光の位置関係を説明するための図である。
【図5】撮像画像の一例を示す図である。
【図6】基準画像の一例を示す図である。
【図7A】撮像画像における対比対象の点を説明するための図である。
【図7B】抽出した単位領域を説明するための模式図である。
【図8】基準画像の基準側単位領域を説明するための図である。
【図9】エピポーラ直線を用いた探索方法を説明するための図である。
【図10】輝線L1~L4の各々から特定される管体9の断面を説明するための模式図である。
【図11】管体9の外径取得方法の第1変形例を説明するための図である。
【図12A】管体9の中心線の方向ベクトルの取得方法を説明するための図である。
【図12B】管体9の中心線の方向ベクトルの取得方法の変形例を説明するための図である。
【図13】スリットレーザ照射装置2及びドットレーザ照射装置3の構成の変形例を説明するための模式図である。
【図14】水平方向における輝線L1~L4と輝点Dのずれを説明するための模式図である。
【図15】光反射手段70の構成の一例を説明するための模式図である。
【図16】管体9上の輝線L1~L4の三次元座標の取得処理を説明するためのフローチャートである。
【図17】スリットレーザ照射装置2及び撮像装置4のキャリブレーション方法を説明するためのフローチャートである。
【図18】キャリブレーション用ブロック91を説明するための模式図である。
【図19】キャリブレーション用ブロック91の前面を示す模式図である。
【発明を実施するための形態】
【0021】
<1.計測システムの構成>
図1を参照しながら、本発明の一実施形態に係る計測システムSの概要について説明する。図1は、一実施形態に係る計測システムSの構成の一例を示すブロック図である。

【0022】
計測システムSは、制御装置1と、スリットレーザ照射装置2と、ドットレーザ照射装置3と、撮像装置4とを有する。本実施形態では、スリットレーザ照射装置2が第1照射手段に該当し、ドットレーザ照射装置3が第2照射手段に該当する。

【0023】
制御装置1は、例えばコンピュータであり、スリットレーザ照射装置2、ドットレーザ照射装置3及び撮像装置4の動作を制御する。また、制御装置1は、撮像装置4から入力される撮像画像に対して画像処理を行う機能も有する。制御装置1は、詳細は後述するが、撮像画像における二次元座標から三次元座標を取得する処理を行う。

【0024】
スリットレーザ照射装置2は、被測定物にスリット状の複数のスリットレーザ光を照射する。具体的には、スリットレーザ照射装置2は、同時に複数のスリットレーザ光を被測定物に照射する。
以下では、被測定物が、管状体であるものとする。ただし、これに限定されず、被測定物が、生体など任意の形状を有するものであってもよい。

【0025】
図2は、被測定物に対するスリットレーザ光の照射状態の一例を示す図である。図2では、説明の便宜上、ドットレーザ照射装置3を図示していない。スリットレーザ照射装置2が、複数のスリットレーザ光(ここでは、4つのスリットレーザ光23a~23d)を被測定物である管体9に同時に照射することで、管体9の表面に円弧状の複数の輝線(ここでは、4つの輝線L1~L4)が現れる。なお、4つのスリットレーザ光23a~23dの管体9への照射方向は、平行ではなく、互いに交差する方向となっている。また、4つのスリットレーザ光23a~23dの照射方向(照射角度)は、予め設定されている。

【0026】
図3は、スリットレーザ照射装置2及びドットレーザ照射装置3の構成の一例を説明するための模式図である。図3は、図2における管体9側からスリットレーザ照射装置2及びドットレーザ照射装置3を見た際の図である。スリットレーザ照射装置2は、細長い開口である4本のスリット21と、装置内部に設けられレーザ光を出射するレーザ素子(不図示)とを有する。レーザ素子から出射されたレーザ光は、4本のスリット21を通過して管体9に照射される。

【0027】
スリットレーザ照射装置2及びドットレーザ照射装置3は、スリットレーザ照射装置2がスリットレーザ光を照射するスリットの長手方向であるスリット方向の同一直線上に位置する。すなわち、スリットレーザ照射装置2及びドットレーザ照射装置3は、スリットレーザ照射装置2が照射するスリットレーザ光の発散の原点である焦点と、ドットレーザ照射装置3が照射するドットレーザ光の焦点とが、スリット方向の同一直線上になるように固定されている。本実施形態では、図3に示すように、スリットレーザ照射装置2が、スリット方向(z軸方向)において、ドットレーザ照射装置3の真上に位置している。ただし、これに限定されず、スリットレーザ照射装置2は、ドットレーザ照射装置3の真下に位置してもよい。

【0028】
図1に戻り、ドットレーザ照射装置3は、管体9にドット状の複数のドットレーザ光を照射する。ドットレーザ照射装置3は、ランダムにドットレーザ光を照射可能に構成されている。

【0029】
ドットレーザ照射装置3は、図3に示すような多数の孔31と、装置内部に設けられレーザ光を出射するレーザ素子(不図示)とを有する。レーザ素子から出射されたレーザ光は、孔31を通過して管体9に照射される。図3では、多数の孔31が所定間隔で規則正しく配列されているように示されているが、孔31同士の間隔がランダムとなるように多数の孔31が配置されている。これにより、ランダムにドットレーザ光を照射することが可能となる。

【0030】
本実施形態において、ドットレーザ照射装置3は、スリットレーザ照射装置2が複数のスリットレーザ光23a~23dを管体9に照射する際に、複数のドットレーザ光を管体9に照射する。ここで、複数のドットレーザ光は、スリットレーザ光23a~23dの各々と所定の位置関係を有する。

【0031】
図4は、スリットレーザ光とドットレーザ光の位置関係を説明するための図である。ここでは、図4(a)及び図4(b)に示すように、スリットレーザ照射装置2が平らな面の所定領域にスリットレーザ光を照射し、ドットレーザ照射装置3も前記所定領域にドットレーザ光を照射するものとする。スリットレーザ光が照射されることで、図4(a)に示すような4つの輝線L1~L4が管体9の表面に現れることになり、ドットレーザ光が照射されることで、図4(b)に示すような多数のランダムな輝点Dが管体9の表面に現れることになる。

【0032】
前述したように、スリットレーザ照射装置2がドットレーザ照射装置3のスリット方向の真上に位置するので、スリットレーザ光及びドットレーザ光が同時に照射されると、輝線L1~L4と輝点Dの位置関係は図4(c)に示すような関係となる。図4(c)を見ると分かるように、カメラからの視差により、輝線L1~L4及び輝点Dのスリット方向(上下方向)におけるずれが生じるが、輝線L1~L4及び輝点Dのスリット方向に対して垂直な方向(左右方向)におけるずれは生じない。

【0033】
図1に戻り、撮像装置4は、例えばカメラであり、スリットレーザ光23a~23d及びドットレーザ光が照射された管体9を撮像して、撮像画像を生成する。すなわち、撮像装置4は、複数のスリットレーザ光が照射されることで管体9の表面に現れる複数の輝線L1~L4と、複数のドットレーザ光が照射されることで管体9の表面に現れる複数の輝点Dとを撮像して、撮像画像を生成する。

【0034】
撮像装置4は、図2に示すように、スリットレーザ照射装置2の照射方向と視線方向とが交差する向きで、管体9を撮像する。撮像装置4は、スリットレーザ照射装置2との位置関係が維持されるように、台6(図2)に取り付けられている。すなわち、測定中は、撮像装置4の設置方向とスリットレーザ照射装置2の設置方向との角度、及び撮像装置4とスリットレーザ照射装置2との距離が、所定の大きさに固定されている。なお、スリットレーザ照射装置2及びドットレーザ照射装置3も、台6に取り付けられている。

【0035】
図5は、撮像画像の一例を示す図である。撮像画像は、表面に4つの輝線L1~L4と多数の輝点Dが現れている管体9を示す画像である。図5を見ると分かるように、4つの輝線L1~L4の周囲の輝点Dの配置パターンは、それぞれ異なる。すなわち、ドットレーザ照射装置3は、複数の輝線L1~L4の各々に対して輝点Dの隣接状態が異なるように、複数のドットレーザ光をランダムに照射している。

【0036】
なお、図5には示されていないが、撮像画像には、スリットレーザ光23a~23dによって管体9の表面に現れる輝線L1~L4だけでなく、スリットレーザ光23a~23dによって管体9以外の部分(例えば、スリットレーザ照射装置2と管体9との間の部分)に現れる輝線も含まれる。これらの輝線は撮像画像に繰り返しパターンとして複数存在し、これらの繰り返しパターンは、通常ずれた関係となっているため、管体9上の輝線L1~L4がどのスリットレーザ光によって現れたのかを特定しにくい。

【0037】
これに対して、本実施形態に係る計測システムSは、輝線L1~L4と輝点Dが現れた撮像画像(図5)を生成して、各輝線L1~L4とスリットレーザ光23a~23dとの対応関係を特定している。そして、計測システムSは、撮像画像から求まる輝線L1~L4の二次元座標と、特定した対応関係とに基づいて、輝線L1~L4の三次元座標を算出している。これにより、複数のスリットレーザ光23a~23dを同時に管体9に照射した場合でも、複数の輝線L1~L4の三次元座標が取得可能となる。

【0038】
また、本実施形態では、スリットレーザ照射装置2及びドットレーザ照射装置3が、それぞれスリットレーザ光及びドットレーザ光を照射してから、撮像装置4が撮像するまで、スリットレーザ照射装置2、ドットレーザ照射装置3及び撮像装置4の位置は、固定されている。これにより、輝線L1~L4の画像を一度に撮像可能となるので、スリットレーザ照射装置2、ドットレーザ照射装置3及び撮像装置4の移動に起因する誤差の発生を抑制できる。

【0039】
なお、管体9の軸方向の長さが大きい場合には、スリットレーザ照射装置2、ドットレーザ照射装置3及び撮像装置4が取り付けられた台6を既知の所定量だけ移動させて、複数の撮像画像を撮像して繋げてもよい。かかる場合には、スリットレーザ照射装置2、ドットレーザ照射装置3及び撮像装置4を用いて、軸方向の長さが大きい管体9の形状や位置も高精度に取得可能となる。

【0040】
<2.制御装置の構成>
被測定物の表面に現れる輝線の三次元座標を取得する制御装置1の構成について、図1を参照しながら説明する。
制御装置1は、図1に示すように、通信部11と、表示部12と、操作部13と、記憶部14と、制御部15とを有する。

【0041】
通信部11は、外部機器との間で通信を行う通信インターフェイス(以下、通信IF)である。通信部11は、スリットレーザ照射装置2、ドットレーザ照射装置3及び撮像装置4との間で、例えばケーブル等を介して有線通信を行い、情報を送受信する。ただし、これに限定されず、通信部11は、スリットレーザ照射装置2、ドットレーザ照射装置3及び撮像装置4との間で、無線通信を行ってもよい。

【0042】
表示部12は、例えば液晶ディスプレイや有機EL(Electro-Luminescence)ディスプレイ等により構成される。例えば、表示部12は、撮像装置4が撮像した撮像画像を表示する。

【0043】
操作部13は、例えばキーボードやマウス等により構成され、ユーザが入力操作を行うことが可能である。ユーザは、操作部13を介して被測定物の測定に関する様々な入力操作を行う。

【0044】
記憶部14は、例えばROM及びRAM等により構成され、制御装置1を機能させるための各種プログラムや各種データを記憶する。記憶部14は、撮像装置4から受信した撮像画像を記憶する。また、記憶部14は、後述する管体9に現れる複数の輝線及び輝点の予め定まった位置関係を示す基準画像に関する情報を記憶する。基準画像は、撮像画像と対比して撮像画像中の輝線に対応するスリットレーザ光を特定するのに用いられる。基準画像は、輝度及び色度等の画像情報に限定されず、スリットレーザ光とドットレーザ光との位置関係を特定できる情報であってもよい。

【0045】
図6は、基準画像の一例を示す図である。図6に示すように、基準画像は、4つの輝線M1~M4と、多数の輝点Dとを含む画像である。基準画像は、例えばスリットレーザ光やドットレーザ光が照射される所定領域(図4(a)参照)を示す画像である。基準画像は、計測に用いられるスリットレーザ照射装置2及びドットレーザ照射装置3の組み合わせに応じて、設定されうる。

【0046】
図6に示す基準画像は、図2に示す円柱状の管体9にレーザ光を照射する場合とは異なり、平らな面にスリットレーザ光及びドットレーザ光を照射した場合の画像となっている。このため、輝線M1~M4は、図5に示す円弧状の輝線L1~L4とは異なり、直線となっている。また、多数の輝点Dは、輝線M1~M4にランダムに点在しており、輝線M1~M4の周囲の輝点Dの点在パターンがそれぞれ異なる。

【0047】
図1に戻り、制御部15は、例えばCPUにより構成される。制御部15は、記憶部14に記憶されている各種プログラムを実行することにより、制御装置1に係る機能を統括的に制御する。本実施形態では、制御部15は、照射制御部151と、特定部152と、取得部153として機能する。

【0048】
(照射制御部151)
照射制御部151は、スリットレーザ照射装置2によるスリットレーザ光23a~23dの照射と、ドットレーザ照射装置3によるドットレーザ光の照射とを制御する。本実施形態において、照射制御部151は、スリットレーザ光23a~23dを同時に被測定物に照射させる。

【0049】
また、照射制御部151は、スリットレーザ光23a~23dを照射する際に、ドットレーザ光も照射させる。具体的には、照射制御部151は、スリットレーザ光23a~23d及びドットレーザ光を同時に照射させる。なお、照射制御部151は、被測定物の種類や形状等を考慮して、スリットレーザ光23a~23d及びドットレーザ光の照射強度を制御してよい。

【0050】
(特定部152)
特定部152は、図5に示す撮像画像と図6に示す基準画像とを対比して、撮像画像の複数の輝線L1~L4と複数のスリットレーザ光23a~23dとの対応関係を特定する。すなわち、特定部152は、スリットレーザ光23a~23d及びドットレーザ光が管体9に照射された際に撮像装置4が撮像した撮像画像と、記憶部14に記憶されている基準画像とを対比して、輝線L1~L4とスリットレーザ光23a~23dとの対応関係を特定する。

【0051】
前述したように、管体9に照射されるスリットレーザ光23a~23dの照射方向は、それぞれ異なる。このため、特定部152は、輝線L1~L4とスリットレーザ光23a~23dとの対応関係を特定することで、輝線L1~L4の各々を現す基になったスリットレーザ光の照射方向を特定できる。

【0052】
ここで、特定部152による撮像画像と基準画像の対比方法の一例について説明する。
まず、特定部152は、対比対象として、撮像画像の輝線L1~L4上の一点を含む単位領域を抽出する。このように、撮像画像中の輝線L1~L4上の点を含む領域のみを対比対象とすることで、撮像画像の全ての領域を対比対象とする場合に比べて、撮像画像と基準画像との対比に要する処理時間を短縮できる。

【0053】
図7Aは、撮像画像における対比対象の点を説明するための図である。図7Aにおいては、輝線L3上の点Aが、対比対象の点であるものとする。特定部152は、点Aを中心として点Aの周囲を含む小さな矩形状の領域を、単位領域として抽出する。

【0054】
図7Bは、抽出した単位領域を説明するための模式図である。抽出される単位領域は、小さな領域であるため、輝線L3が円弧状であっても、単位領域における輝線L3の部分は、図7Bに示すようにほぼ直線となる。図7Bを見ると分かるように、単位領域において輝線L3の周囲には、複数の輝点Dが点在している。本実施形態では、ドットレーザ照射装置3は、単位領域中に輝点Dが点在するように、ドットレーザ光を照射することが望ましい。

【0055】
次に、特定部152は、抽出した撮像画像の単位領域(以下、撮像側単位領域と呼ぶ)と、基準画像上において撮像側単位領域と同じ大きさの単位領域(以下、基準側単位領域と呼ぶ)とを対比する。そして、特定部152は、図7Bに示す輝点Dの点在パターンと同じパターンを含む基準側単位領域を探索する。特定部152は、例えば、撮像側単位領域に含まれる画素の値と、基準側単位領域の対応する位置に含まれる画素の値とを比較し、画素の値が一致している数が所定の割合以上である場合に、基準側単位領域が撮像側単位領域との相関度合いが大きく、同じパターンを含むものと判定する。

【0056】
図8は、基準画像の基準側単位領域を説明するための図である。
特定部152は、輝線M1~M4に沿って、輝線M1~M4上の点を含む基準側単位領域を順次探索する。これにより、探索に用いる領域を限定できるので、探索時間を抑制できる。図8では、輝線M3上の点を中心とする基準側単位領域R内の輝点Dの点在パターンが、図7Bの輝点Dの点在パターンと同じであるものとする。すると、特定部152は、撮像画像の点Aを含む撮像側単位領域と、基準画像の基準側単位領域Rとが相関度合いが大きいと判定する。

【0057】
上記では、輝線M1~M4に沿って基準側単位領域を順次探索することとしたが、これに限定されない。例えば、特定部152は、エピポーラ直線を用いることで、効率良く撮像側単位領域の輝点Dの点在パターンと同じ基準側単位領域を探索できる。

【0058】
図9は、エピポーラ直線を用いた探索方法を説明するための図である。図9では、直線Nが、図7Aの点Aを通るエピポーラ直線である。エピポーラ直線Nは、点Aとスリットレーザ照射装置2との間を結んだ線を投影した直線である。このため、点Aは、エピポーラ直線N上に位置することになる。このようなエピポーラ直線を利用することで、特定部152は、撮像側単位領域と、基準画像において輝線M1~M4とエピポーラ直線Nの交点(4点)の各々を中心とする4つの基準側単位領域とを対比することになる。これにより、探索する領域を限定できるので、探索に要する処理時間を抑制できる。

【0059】
(取得部153)
図1に戻り、取得部153は、撮像装置4が撮像した管体9の三次元形状を取得する。具体的には、まず、取得部153は、撮像装置4が撮像した撮像画像を参照して、管体9の表面に現れる輝線L1~L4の二次元座標を求める。次に、取得部153は、輝線L1~L4の二次元座標と、特定部152が特定した対応関係(すなわち、輝線L1~L4の基になったスリットレーザ光23a~23dの照射方向)とに基づいて、輝線L1~L4の三次元座標を取得する。

【0060】
例えば、取得部153は、三角計量の原理を用いて、輝線L1~L4の二次元座標と、輝線L1~L4の基になったスリットレーザ光23a~23dの平面の方程式とから、輝線L1~輝線L4と撮像装置4との間の距離を求める。そして、取得部153は、輝線L1~L4の二次元座標と、輝線L1~輝線L4と撮像装置4との間の距離とに基づいて、輝線L1~L4の三次元座標を取得する。なお、輝線L1~L4の三次元座標は、例えば書籍「三次元画像計測」(井口征士、佐藤宏介著)に記載された式(4.18)(式(4.16)及び(4.17)も参照)から求めることができる。輝線の二次元座標(u、v)が、式(4.16)のX、Yにそれぞれ該当する。

【0061】
取得部153は、輝線L1~L4の三次元座標に基づいて、更に管体9の断面形状を取得する。本実施形態では、取得部153は、円弧形状の輝線L1~L4が一部を成す管体9の断面形状の三次元座標を取得する。具体的には、取得部153は、形状が図10に示すような楕円形状の断面を取得する。

【0062】
図10は、輝線L1~L4の各々から特定される管体9の断面を説明するための模式図である。取得部153は、円弧形状の輝線L1~L4に基づいて、図10に示す4つの楕円形状の断面F1~F4を取得する。ここで、断面F1は輝線L1を一部として含み、断面F2は輝線L2を一部として含み、断面F3は輝線L3を一部として含み、断面F4は輝線L4を一部として含む。

【0063】
取得部153は、取得した断面F1~F4に基づいて、管体9の外径を取得してもよい。具体的には、取得部153は、断面形状である楕円の短径(短軸方向の直径)を取得し、取得した短径を管体9の外径(直径)として設定する。楕円の短径を管体9の外径とする理由は、本来、管体9を軸方向と直交する面で切断した場合には、楕円の短径と同じ大きさの直径の真円となるからである。なお、取得部153は、4つの断面F1~F4の各々の楕円の短径の平均値を、管体9の外径としてもよい。これにより、精度良く管体9の外径を取得できる。

【0064】
取得部153は、取得した4つの断面F1~F4に基づいて、管体9の中心線を取得してもよい。具体的には、取得部153は、図10に示すように4つの断面F1~F4の中心を通る直線Cを、管体9の中心線として取得する。このように中心線及び断面形状を取得することで、管体9の三次元形状を特定しやすくなる。

【0065】
(変形例)
上記では、取得部153は、断面形状が楕円である場合に、楕円の短径を管体9の外径として設定することとしたが、これに限定されない。例えば、取得部153は、断面形状である楕円上の点から、管体9の中心線に下ろした垂線の大きさに基づいて、管体9の外径を設定してもよい。

【0066】
図11は、管体9の外径取得方法の第1変形例を説明するための図である。図11Aでは、説明の便宜上、輝線L1、L2から取得された管体9の2つの断面F1、F2のみを示している。ここでは、断面F1を用いて管体9の外径を取得する方法を説明する。取得部153は、断面F1の形状である楕円上の点から中心線Cに向かって複数の垂線Hを形成し、複数の垂線Hの大きさの平均値を管体9の外径として設定する。
なお、取得部153は、断面F1の形状である楕円の代わりに、輝線L1の点から中心線Cに向かって複数の垂線Hを形成し、複数の垂線Hの大きさの平均値を管体9の外径として設定してもよい。

【0067】
図12Aは、管体9の中心線の方向ベクトル取得方法を説明するための図である。取得部153は、4つの輝線L1~L4上で空間内に設定した任意の平面に最も近い点G1~G4を通過する直線Dを特定する。この直線Dは、管体9の中心線Cと平行な線で管の中心軸の方向ベクトルとして定義される。

【0068】
図12Bは、管体9の中心線の方向ベクトルの取得方法の変形例を説明するための図である。図12Bでは、説明の便宜上、3つの断面F1~F3を示している。中心線の方向ベクトルの取得は、以下のように行われる。
まず、スリットレーザ輝線上にある断面F1上の一点Jを特定する。次に、断面F1上の点Jと、断面F2上の点とを結ぶ直線を特定する。例えば、点Jと、断面F2上の点Kとを通る直線D3を特定する。同様にして、点Jと、断面F2上の他の点(一例として、点K、K)とを通る直線D1、D2を特定する。そして、直線D1~D3と断面F3との間の距離dを求め、断面F3との間での距離dが最も小さい直線を求める。図12では、直線D1と断面F3との距離が0となっており、直線D1は3つの断面F1~F3を通る直線である。このように求めた直線D1が、管体9の中心線の方向ベクトルとなる。

【0069】
また、上記では、図3に示すようにスリットレーザ照射装置2及びドットレーザ照射装置3をスリット方向(Z方向)に沿って設けていることとしたが、これに限定されない。例えば、図13に示すように、スリットレーザ照射装置2及びドットレーザ照射装置3が、スリットに対して垂直な方向(X方向)に沿って設けられていることとしてもよい。

【0070】
図13は、スリットレーザ照射装置2及びドットレーザ照射装置3の構成の変形例を説明するための模式図である。変形例においては、ドットレーザ照射装置3が、スリットに対して垂直にスリットレーザ照射装置2から所定距離だけ離れて位置している。

【0071】
ところで、図13に示すように、スリットレーザ照射装置2及びドットレーザ照射装置3をスリットに対して垂直に離れて配置した場合には、図14に示すように、管体9の表面に現れる輝線と輝点の位置がずれることになる。

【0072】
図14は、スリットに対して垂直な方向における輝線L1~L4と輝点Dのずれを説明するための模式図である。図14と図4(c)を対比すると分かるように、スリットレーザ照射装置2及びドットレーザ照射装置3をスリットに対して垂直に離れて配置した場合には、輝線L1~L4と輝点Dとが、スリットレーザ照射装置2とドットレーザ照射装置3の間の距離分だけずれてしまう。この場合、特定部152は、ずれた関係にある輝線L1~L4と輝点Dとを含む撮像画像と、基準画像との対比を正確に行えない恐れがある。そこで、かかる問題を解消するために、図15に示すような光反射手段70を設けることが望ましい。

【0073】
図15は、光反射手段70の構成の一例を説明するための模式図である。図15では、スリットレーザ照射装置2が照射したスリットレーザ光の光路と、ドットレーザ照射装置3が照射したドットレーザ光の光路とが、破線で示されている。光反射手段70は、スリットに対して垂直な方向におけるスリットレーザ光の管体9上の照射位置と、ドットレーザ光の管体9上の照射位置とを調整する機能を有する。

【0074】
図15に示すように、光反射手段70は、ミラー71と、ビームスプリッター72とを有する。ミラー71は、ドットレーザ照射装置3の前方に位置している。ミラー71は、ドットレーザ照射装置3が照射したドットレーザ光をビームスプリッター72に向けて反射させる。ビームスプリッター72は、スリットレーザ照射装置2の前方に位置している。ビームスプリッター72は、スリットレーザ光を透過させる一方で、ドットレーザ光を反射させるハーフミラーである。

【0075】
なお、図15では、説明の便宜上、ビームスプリッター72を透過したスリットレーザ光の光軸と、ビームスプリッター72で反射したドットレーザ光の光軸とが、スリットに対して垂直な方向(X方向)において離れているように示されている。しかし、実際には、スリットレーザ光の光軸とドットレーザ光の光軸がスリットに対して垂直な方向において重なるように、ミラー71及びビームスプリッター72が配置されている。これにより、図13に示すようにスリットレーザ照射装置2及びドットレーザ照射装置3を配置した場合でも、スリットに対して垂直な方向における輝線と輝点のずれを解消することが可能となる。

【0076】
<3.輝線の三次元座標の取得処理>
図16を参照しながら、制御装置1(図1)による被測定物である管体9上の輝線(ここでは、図5に示す輝線L1~L4)の三次元座標の取得処理について説明する。輝線の三次元座標の取得処理は、制御装置1の制御部15が記憶部14に記憶されたプログラムを実行することで実現される。

【0077】
図16は、管体9上の輝線L1~L4の三次元座標の取得処理を説明するためのフローチャートである。本フローチャートは、作業者が、スリットレーザ照射装置2、ドットレーザ照射装置3、撮像装置4及び管体9を、測定用の位置にそれぞれセットしたところから開始される。

【0078】
まず、制御部15の照射制御部151は、スリットレーザ照射装置2及びドットレーザ照射装置3を動作させて、管体9にスリットレーザ光23a~23d及びドットレーザ光を照射させる(ステップS102)。具体的には、照射制御部151は、スリットレーザ光23a~23d及びドットレーザ光を同時に管体9に照射させる。これにより、管体9の表面に4つの輝線L1~L4とランダムな複数の輝点Dが現れる。

【0079】
次に、制御部15は、撮像装置4を動作させて、表面に4つの輝線L1~L4とランダムな複数の輝点Dが現れた管体9を撮像する(ステップS104)。そして、撮像装置4は、例えば図5に示すような輝線L1~L4及び複数の輝点Dを含む撮像画像を生成し、撮像画像を制御部15に送信する。

【0080】
次に、制御部15の特定部152は、撮像画像から輝線L1~L4を抽出する(ステップS106)。例えば、特定部152は、公知のメディアンフィルタ等を利用して、撮像画像から輝線L1~L4を抽出する。

【0081】
次に、特定部152は、抽出した輝線L1~L4の座標(u、v)を算出する(ステップS108)。具体的には、特定部152は、抽出した輝線L1~L4を細線化処理した後に、輝線L1~L4の座標(u、v)を算出する。抽出した輝線L1~L4を細線化処理することにより、撮像画像と基準画像とを対比する場合に、計算量を低減することができる。なお、特定部152は、細線化処理をせずに、輝線L1~L4の座標(u、v)を算出してもよい。

【0082】
次に、特定部152は、輝線(ここでは、図7Aに示す輝線L3を例に挙げて説明する)上の一点A(u、v)を含む単位領域の画像(以下、周辺画像とも呼ぶ)を抽出する(ステップS110)。この際、特定部152は、輝線L1~L4を消去して、輝点Dが点在する周辺画像を抽出してもよい。輝線L1~L4の消去は、例えば、ステップS104で生成される撮像画像から、ステップS106で抽出した輝線L1~L4を削除することで、実現される。

【0083】
次に、特定部152は、記憶部14に記憶された基準画像において、周辺画像の輝点Dの点在パターンと同じパターンの単位領域(基準側単位領域)を探索する(ステップS112)。例えば、特定部152は、図8や図9で説明した探索方法で、輝線M1~M4上の点を含む基準側単位領域を探索する。

【0084】
そして、基準画像中で同じパターンを含む基準側単位領域が有る場合には(ステップS114:Yes)、特定部152は、輝線L3に対応するスリットレーザ光がスリットレーザ光23cであると特定する(ステップS116)。

【0085】
なお、ステップS114で同じパターンが見つからない場合には、特定部152は、輝線L3上の次の点の周辺の周辺画像を抽出し(ステップS120)、当該周辺画像の輝点Dの点在パターンと同じパターンを探索する(ステップS112)。

【0086】
輝線L1~L4に対応するスリットレーザ光が特定されると、取得部153は、4つの輝線L1~L4の二次元座標と、特定部152が特定した輝線L1~L4とスリットレーザ光23a~23dとの対応関係とに基づいて、輝線L1~L4の三次元座標を求める(ステップS118)。そして、取得部153は、輝線L1~L4の三次元座標に基づいて管体9の断面形状や中心線等を求めて、管体9の形状を取得する。

【0087】
<4.キャリブレーション>
計測システムSは、上述した管体9上の輝線L1~L4の三次元座標の取得を精度良く行うために、予めスリットレーザ照射装置2及び撮像装置4のパラメータのキャリブレーション(較正)を行っている。キャリブレーションは、例えばスリットレーザ照射装置2や撮像装置4を変更したり被測定物が変わったりした場合等に、輝線L1~L4の三次元座標の取得処理前に行われる。

【0088】
図17は、スリットレーザ照射装置2及び撮像装置4のキャリブレーション方法を説明するためのフローチャートである。図17に示すフローチャートは、図18に示すキャリブレーション用ブロック91を、例えば図2に示す管体9の位置にセットしたところから開始される。

【0089】
図18は、キャリブレーション用ブロック91を説明するための模式図である。図19は、直方体形状のキャリブレーション用ブロック91の前面を示す模式図である。図19に示すように、キャリブレーション用ブロック91は、方眼紙が貼り付けられた目盛り部92と、図形や貼り付けられたマーカー部93と、を含む。

【0090】
目盛り部92は、スリットレーザ照射装置2がスリットレーザ光をキャリブレーション用ブロック91に照射した際に、キャリブレーション用ブロック91の前面に現れる輝線の実際の三次元座標を測定するためのものである。目盛り部92は、キャリブレーション用ブロック91の上面や下面等にも貼り付けられている。輝線の実際の三次元座標は、例えば作業者によって計測される。マーカー部93は、撮像装置4がキャリブレーション用ブロック91を撮像した際に、キャリブレーション用ブロック91における基準位置を特定するためのものである。

【0091】
図17に戻り、まず、スリットレーザ照射装置2が、キャリブレーション用ブロック91にスリットレーザ光を照射する(ステップS202)。これにより、キャリブレーション用ブロック91に輝線が現れる。次に、撮像装置4によって、輝線が現れたキャリブレーション用ブロック91を撮像する(ステップS204)。これにより、輝線を含む撮像画像が生成される。

【0092】
次に、撮像装置4が生成した撮像画像における輝線の二次元座標と、作業者が実際に計測した輝線の実際の三次元座標とを比較して、撮像装置4のパラメータ及びスリットレーザ照射装置2のパラメータを算出する(ステップS206、S208)。撮像装置4のパラメータは、撮像画像における二次元座標を三次元座標に変換するための定数である。撮像装置4のパラメータにより、撮像装置から輝線への視線ベクトルが定義される。スリットレーザ照射装置2のパラメータは、各スリットレーザの平面を定義する定数である。これらのパラメータは、例えば前述した書籍「三次元画像計測」(井口征士、佐藤宏介著)の式(4.18)に適用されるパラメータである。具体的には、撮像装置4のパラメータは、上記書籍の式(4.21)から求められ、スリットレーザ照射装置2のパラメータは、書籍の式(4.24)から求められる。

【0093】
また、レーザ輝線上の点の三次元座標は、カメラの焦点から輝線上の各点への視線ベクトルとスリットレーザ平面の交点を算出することで取得できる。例えば、求めた撮像装置4のパラメータ及びスリットレーザ照射装置2のパラメータを、書籍の式(4.18)に適用する(ステップS210)。輝線の三次元座標の取得処理の際にパラメータが適用された式(4.18)を用いることで、撮像画像中の輝線の三次元座標を高精度に取得できるようになる。

【0094】
なお、上記では、スリットレーザ照射装置2及び撮像装置4についてキャリブレーションを行うこととしたが、これに限定されず、例えばドットレーザ照射装置3についてもキャリブレーションを行ってもよい。

【0095】
<5.本実施形態における効果>
上述した計測システムSは、スリットレーザ照射装置2が複数のスリットレーザ光23a~23dを被測定物である管体9に照射する際に、スリットレーザ光23a~23dの各々と所定の位置関係を有するドット状の複数のドットレーザ光を、管体9に照射するドットレーザ照射装置3を有する。そして、計測システムSは、スリットレーザ光23a~23dによる輝線L1~L4及びドットレーザ光による輝点Dが現れた管体9を撮像装置4が撮像した撮像画像と、輝線及び輝点の予め定まった位置関係を示す基準画像とを対比して、撮像画像の輝線L1~L4とスリットレーザ光23a~23dとの対応関係を特定する。さらに、計測システムSは、撮像画像における輝線L1~L4の二次元座標と、特定した対応関係とに基づいて、輝線L1~L4の三次元座標を取得する。

【0096】
上記のように、輝線L1~L4に対して輝点Dがランダムに点在するようにドットレーザ光を照射することで、撮像画像中の輝線L1~L4の各々が、スリットレーザ光23a~23dのいずれによって現れたかを特定しやすくなる。これにより、輝線L1~L4の基になったスリットレーザ光23a~23dの照射方向(照射角度)も求まるので、求まった照射方向と輝線L1~L4の二次元座標とによって輝線L1~L4の三次元座標を取得できる。この結果、本実施形態によれば、複数のスリットレーザ光23a~23dを同時に管体9に照射した場合でも、輝線L1~L4の三次元座標を高精度に取得可能となる。特に、撮像画像中に、輝線L1~L4に加えて、管体9以外の部分に現れる他の輝線(輝線L1~L4とずれて現れる)も含まれる場合に、より効果的である。

【0097】
また、上記のように取得された輝線L1~L4の三次元座標を用いることで、管体9の形状を精度良く把握できる。すなわち、輝線L1~L4の三次元座標によって、管体9の輝線L1~L4の各々を含む断面形状、外径、中心線を求めることができるので、管体9の詳細な形状を取得できる。

【0098】
また、求まった管体9の中心線をアイソメトリック図に適用することで、管体9の全体形状を把握しやすくなる。さらに、求まった管体9の中心線及び外径を用いることで、CAD化することが可能となる。

【0099】
また、上記では、被測定物として管体9にスリットレーザ光を照射することとしたが、これに限定されない。例えば、スリットレーザ照射装置2は、生体など任意形状の被測定物にスリットレーザ光を照射することとしてもよい。また、スリットレーザ照射装置2が照射するスリットレーザ光の数は、図2に示すような4つに限定されず、例えば3つ以下や5つ以上であってもよい。

【0100】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。例えば、上記の説明においては、スリットレーザ照射装置2とドットレーザ照射装置3とが異なる装置であるものとして説明したが、これに限らず、スリットレーザ照射装置2とドットレーザ照射装置3とが一体化した装置であってもよい。

【0101】
また、スリットレーザ照射装置2及びドットレーザ照射装置3を用いる代わりに、パーソナルコンピュータにおいて縦縞のラインとランダムドットとを含む画面を生成し、生成した画面をプロジェクターで投光することで、プロジェクターを用いてスリットレーザ照射装置2及びドットレーザ照射装置3と同様な機能を実現してもよい。

【0102】
また、上記の実施形態では、撮像手段として撮像装置4を用いる例について説明したが、撮像手段として、複数の撮像装置を用いてもよい。
【符号の説明】
【0103】
1 制御装置
2 スリットレーザ照射装置
3 ドットレーザ照射装置
4 撮像装置
9 管体
70 光反射手段
151 照射制御部
152 特定部
153 取得部
D 輝点
L1~L4 輝線
S 計測システム
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7A】
6
【図7B】
7
【図8】
8
【図9】
9
【図10】
10
【図11】
11
【図12A】
12
【図12B】
13
【図13】
14
【図14】
15
【図15】
16
【図16】
17
【図17】
18
【図18】
19
【図19】
20