TOP > 国内特許検索 > ボケの抽出方法、位置決め方法及びマイクロマニピュレーションシステム > 明細書

明細書 :ボケの抽出方法、位置決め方法及びマイクロマニピュレーションシステム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5273734号 (P5273734)
公開番号 特開2011-065253 (P2011-065253A)
登録日 平成25年5月24日(2013.5.24)
発行日 平成25年8月28日(2013.8.28)
公開日 平成23年3月31日(2011.3.31)
発明の名称または考案の名称 ボケの抽出方法、位置決め方法及びマイクロマニピュレーションシステム
国際特許分類 G06T   1/00        (2006.01)
G02B  21/36        (2006.01)
G02B  21/32        (2006.01)
B25J  13/08        (2006.01)
B25J   7/00        (2006.01)
C12Q   1/02        (2006.01)
FI G06T 1/00 280
G02B 21/36
G02B 21/32
B25J 13/08 A
B25J 7/00
C12Q 1/02
請求項の数または発明の数 10
全頁数 16
出願番号 特願2009-213358 (P2009-213358)
出願日 平成21年9月15日(2009.9.15)
審査請求日 平成24年9月6日(2012.9.6)
特許権者または実用新案権者 【識別番号】304036743
【氏名又は名称】国立大学法人宇都宮大学
発明者または考案者 【氏名】尾崎 功一
【氏名】石濱 貴徳
【氏名】大澤 茂治
早期審査対象出願または早期審理対象出願 早期審査対象出願
個別代理人の代理人 【識別番号】100100077、【弁理士】、【氏名又は名称】大場 充
【識別番号】100136010、【弁理士】、【氏名又は名称】堀川 美夕紀
審査官 【審査官】佐藤 実
参考文献・文献 特開平10-232343(JP,A)
特開昭62-204218(JP,A)
特開2005-258413(JP,A)
調査した分野 G06T 1/00
B25J 7/00
B25J 13/08
G02B 21/32
G02B 21/36
C12Q 1/02
特許請求の範囲 【請求項1】
被処理体と、前記被処理体に対して接近又は離間が可能な処理体とを含む元画像を、前記接近又は離間する方向から撮影する手順(a)と、
異なる二つの閾値を前記元画像に適用して得られる二つの二値化画像に基づき差分画像を作成する手順(b)と、
前記差分画像における、前記被処理体についての差分の領域、及び、前記処理体についての差分の領域を特定する手順(c)と、
を備えることを特徴とするボケの抽出方法。
【請求項2】
被処理体と、前記被処理体に対して接近又は離間が可能な処理体とを含む元画像を、前記接近又は離間する方向から撮影する手順(a)と、
異なる二つの閾値を前記元画像に適用して得られる二つの二値化画像に基づき差分画像を作成する手順(b)と、
前記差分画像における、前記被処理体についての差分の領域の厚さをTp、及び、前記処理体についての差分の領域の厚さをTeとすると、
前記厚さTpと前記厚さTeが一致するように、前記処理体を前記被処理体に向けて移動させる手順(d)と、
を備えることを特徴とする位置決め方法。
【請求項3】
第1の被処理体と、前記第1の被処理体に対して接近又は離間が可能な処理体とを含む第1の元画像を、前記接近又は離間する方向から撮影する手順(a)と、
異なる二つの閾値を前記第1の元画像に適用して得られる二つの二値化画像に基づき第1の差分画像を作成する手順(b)と、
前記第1の差分画像における、前記第1の被処理体についての差分の領域の厚さをTp1、前記処理体についての差分の領域の厚さをTe1とすると、
前記厚さTp1と前記厚さTe1の比率であるRtと、前記処理体の奥行き方向の移動距離Dzとの関係を示す下記近似式に基づいて前記処理体を前記第1の被処理体に向けて移動させる手順(e)と、
を備えることを特徴とする位置決め方法。
近似式:Dz=aRt+c
(Rt:Tp1/Te1,Dz:処理体の奥行き方向の移動距離,a,b:定数、c:補正項)
【請求項4】
前記手順(a)に先立って、
第2の被処理体と、前記第2の被処理体に対して接近又は離間が可能な前記処理体とを含む第2の元画像を、前記接近又は離間する方向から撮影する手順(f)と、
異なる二つの閾値を前記第2の元画像に適用して得られる二つの二値化画像に基づき第2の差分画像を作成する手順(g)と、
前記第2の差分画像における、前記第2の被処理体についての差分の領域の厚さTp2と前記処理体についての差分の領域の厚さTe2が一致するように、前記処理体を前記第2の被処理体に向けて移動させる手順(h)と、
前記手順(h)の前記処理体の移動過程における、前記厚さTp2の推移と前記厚さTe2の推移に基づいて前記近似式を求める手順(i)と、
を行う請求項3に記載の位置決め方法。
【請求項5】
前記手順(a)に先立って、
前記第1の被処理体と前記処理体とを含む元画像を撮影する領域内で、既知の距離を隔てて前記撮影の方向に配置される、第1及び第2の少なくとも二つの参照体を撮影して参照体画像を作成する手順(j)と、
異なる二つの閾値を前記参照体画像に適用して作成される二つの二値化画像に基づき第3の差分画像を作成する手順(k)と、
前記第3の差分画像における、前記第1の参照体についての差分の領域の厚さTr1及び前記第2の参照体についての差分の領域の厚さTr2と、前記既知の距離とに基づいて前記近似式を求める手順(l)と、
を行う請求項3に記載の位置決め方法。
【請求項6】
前記参照体は、前記処理体に設けられる請求項5に記載の位置決め方法。
【請求項7】
顕微鏡の視野内でエンドエフェクタにより被処理体を操作するマイクロマニピュレーションシステムにおいて、
前記エンドエフェクタを前記顕微鏡の光軸方向に移動させる駆動部と、
前記被処理体と、前記被処理体に対して前記光軸方向に移動が可能な前記エンドエフェクタとを含む元画像を、前記光軸方向から撮影する撮影部と、
異なる二つの閾値を前記元画像に適用して作成される二つの二値化画像に基づいて差分画像を作成する画像作成部と、
前記差分画像における、前記被処理体についての差分の領域の厚さTpと、前記エンドエフェクタについての差分の領域の厚さTeと、が一致するように、前記エンドエフェクタを前記被処理体に向けて移動するように前記駆動部に指令する指令部と、
を備えることを特徴とするマイクロマニピュレーションシステム。
【請求項8】
顕微鏡の視野内でエンドエフェクタにより第1の被処理体を操作するマイクロマニピュレーションシステムにおいて、
前記エンドエフェクタを前記顕微鏡の光軸方向に移動させる駆動部と、
前記第1の被処理体と、前記第1の被処理体に対して前記光軸方向に移動が可能な前記エンドエフェクタとを含む第1の元画像を、前記光軸方向から撮影する撮影部と、
異なる二つの閾値を前記第1の元画像に適用して作成される二つの二値化画像に基づいて第1の差分画像を作成する画像作成部と、
前記第1の差分画像における、前記第1の被処理体についての差分の領域の厚さTp1と、前記エンドエフェクタについての差分の領域の厚さTe1の比率であるRtと、前記エンドエフェクタの奥行き方向の移動距離Dzとの関係を示す下記近似式に基づいて前記エンドエフェクタを前記第1の被処理体に向けて移動するように前記駆動部に指令する指令部と、
を備えることを特徴とするマイクロマニピュレーションシステム。
近似式:Dz=aRt+c
(Rt:Tp1/Te1,Dz:エンドエフェクタの奥行き方向の移動距離,a,b:定数、c:補正項)
【請求項9】
第2の被処理体と前記エンドエフェクタとを含む第2の元画像を、前記光軸方向から撮影する前記撮影部と、
異なる二つの閾値を前記第2の元画像に適用して作成される二つの二値化画像に基づいて第2の差分画像を作成する前記画像作成部と、
前記第2の差分画像における、前記第2の被処理体についての差分の領域の厚さTp2と前記エンドエフェクタについての差分の領域の厚さTe2が一致するように、前記エンドエフェクタを前記第2の被処理体に向けて移動させる前記指令部と、
前記エンドエフェクタの移動過程における、前記厚さTp2の推移と前記厚さTe2の推移に基づいて前記近似式を生成する式生成部と、
を備える請求項8に記載のマイクロマニピュレーションシステム。
【請求項10】
前記第1の被処理体と前記エンドエフェクタとを含む元画像を撮影する領域内で、既知の距離を隔てて前記撮影の方向に配置される、第1及び第2の少なくとも二つの参照体画像を撮影する前記撮影部と、
異なる二つの閾値を前記参照体画像に適用して作成される二つの二値化画像に基づき第3の差分画像を作成する前記画像作成部と、
前記第3の差分画像における、前記第1の参照体についての差分の領域の厚さTr1及び前記第2の参照体についての差分の領域の厚さTr2と、前記既知の距離とに基づいて前記近似式を生成する式生成部と、
を備える請求項8に記載のマイクロマニピュレーションシステム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、離れた位置から処理体を奥行き方向に移動させて被処理体に接触させるのに適した位置決め方法に関するものである。
【背景技術】
【0002】
近年の植生調査で、自然では起こらないと考えられていた在来植物と外来植物の自然交雑が起こり、雑種が広まっている。そこで、在来植物、外来植物、そして雑種を区別するには専門機器を用いたDNA分析を行うか、専門家による花粉形状の検査に頼らなければならない。しかし、DNA分析には時間と多額な費用がかかってしまうという問題がある。また花粉形状の検査は、経験や熟練度に依存し、さらに長時間の検査によって身体的、精神的疲労が伴い信頼性に欠ける。このような事から、熟練度や経験に依存せず、観測者の疲労なしに誰にでも簡単に花粉を判別できる手法が求められている。そして専門的な知識を必要とせず簡単に花粉の判別ができれば植生調査における在来植物、外来植物、雑種の判別の効率化に繋がる。花粉への注目は植生調査だけに限らず、品質向上のための技術である交雑育種法にも向けられている。しかし、数十μmオーダーの花粉を顕微鏡の視野内において人の手により操作することは非常に難しく負担となる。このような事から、μmオーダーでの制御ができるマイクロマニピュレータが必要となる。マイクロマニピュレータに、先端径が数μmのエンドエフェクタと称させる微小針を装着することで、人間では困難な花粉操作が実現できる。また、自動でマイクロマニピュレータの制御ができれば、人間にかかる花粉操作の負担を減らす事ができる。
【0003】
マイクロマニピュレータを用いた操作により人間の負担を軽減できるが、特に、花粉及びエンドエフェクタがともに微小であることから、両者間の奥行き方向の距離を把握するのが容易でない。したがって、エンドエフェクタを花粉に向けて移動させてその表面に接触させようとしても、接触に時間がかかりすぎることがあり、又は、必要以上にエンドエフェクタを移動させてしまい花粉を破損させることもある。
【0004】
特許文献1は、顕微鏡の視野内において被検体に対してエンドエフェクタを用いて微細操作を行うマイクロマニピュレーションシステムにおいて、エンドエフェクタの先端部が対物レンズの焦点に合う位置を基準位置として、微細操作を開始するエンドエフェクタの位置を決定し、被検体の対物レンズに対する相対的な移動に応じて、被検体に対物レンズの焦点の合う位置を示す合焦位置を検出し、この検出結果に基づいて被検体を合焦位置に移動させ、かつ、エンドエフェクタを微細操作開始位置に移動させた状態で、微細操作処理を行うことを提案している。
【先行技術文献】
【0005】

【特許文献1】特開2005-258413号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1によれば、高さ方向にばらつきのある複数個の被検体についても一括して自動でのマニピュレータ操作が可能である。しかし、特許文献1は、その図3、図5にも示されるように、エンドエフェクタの先端部が標本ステージに対して平行であることが必要であり、エンドエフェクタの形状に制約がある。また、特許文献1は、エンドエフェクタに加えて、被検体を載せるステージを動かすことを前提としており、装置及び制御が複雑となる。
そこで本発明は、形状に制約のないエンドエフェクタ等の処理体を、花粉等の被処理体に対して正確に位置決めできる方法を提供することを目的とする。
また、本発明は、そのような位置決め方法を実現するのに好適なボケの抽出方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
特許文献1にも記載されているが、顕微鏡画像での被処理体及び処理体の焦点ボケの具合から、奥行き方向の移動量を判断して位置決めを行うことは知られている。しかし、人間の感覚でこの操作を行うには、高度な熟練が必要であった。本発明者等は、このボケを画像処理することにより奥行き方向の移動量を特定して位置決めすることに着目し、以下の知見を得た。
【0008】
エンドエフェクタで花粉を操作する場合を想定する。
花粉とエンドエフェクタについて撮影された画像において、花粉とエンドエフェクタの像が鮮明で両者ともに焦点が合っているか被写界深度の範囲内(以下、両者を含めて焦点が合っている、と表現する)であれば、花粉、エンドエフェクタそれぞれの奥行き方向の位置が一致していると言える。一方、焦点が合っていないと各像はボケる。そして、ボケの程度は、焦点距離からのずれ量に応じて変動する。したがって、両者のボケの程度を合わせれば、花粉とエンドエフェクタの奥行き方向の位置を合わせることができる。
【0009】
以上の位置決め方法を実行するには撮影して取得された画像からボケを抽出することが重要であり、以下に説明するように、本発明者等は取得された画像から二つの二値化画像を作成し、さらに、それらの差分画像を作成することでボケを抽出できた。
図1において、(a)は取得した元画像である。この画像は、花粉Pには焦点が合っているのに対して、エンドエフェクタEには焦点がずれている。
元画像から二つの明度の異なる閾値を用いて、図1(b)、(c)に示すように、二つの二値化画像を得る。
作成した二つの二値化画像(b)、(c)の各画素を比較して差分を求め、その値から一つの差分画像(d)を得る。この差分画像には、花粉P及びエンドエフェクタEの各々についてボケに相当する差分の領域が白抜きで示されている。差分画像におけるこの白抜きの領域を、本願明細書ではボケと言い、その厚さをボケ厚さと言うことがある。
【0010】
花粉Pのボケ厚さTpとエンドエフェクタEのボケ厚さTeを比較しながら、エンドエフェクタEのボケ厚さTeが、花粉Pのボケ厚さTpに近づくようにエンドエフェクタEを奥行き方向に移動させる。この移動操作を、花粉Pの厚さTpとエンドエフェクタEの厚さTeが一致するまで行う。そうすると、花粉PとエンドエフェクタEの奥行き方向の位置が一致することになる。花粉PとエンドエフェクタEが水平方向にずれていれば、次いで、ずれ量に相当する距離だけエンドエフェクタEを平行に移動させることにより、エンドエフェクタEを花粉Pへ接触させることができる。
【0011】
本発明は以上の検討結果に基づくものであり、新規なボケの抽出方法を提供する。このボケの抽出方法は、被処理体と、被処理体に対して接近又は離間が可能な処理体とを含む元画像を、接近又は離間する方向から撮影する手順(a)と、異なる二つの閾値を元画像に適用して得られる二つの二値化画像に基づき差分画像を作成する手順(b)と、差分画像における、被処理体についての差分の領域、及び、処理体についての差分の領域を特定する手順(c)と、を備える。特定される差分の領域がボケ部分に相当するので、この新規な方法によりボケを抽出することで、本発明が目的とする位置決めを実現できる。
なお、花粉が被処理体に該当し、エンドエフェクタが処理体に該当するが、本発明の被処理体、エンドエフェクタがこれらに限定されないことは言うまでもない。
【0012】
本発明は、以上の手順(a)から手順(c)の後に、処理体を被処理体に向けて移動させることで位置決めを行うことができるが、その具体的な方法には第1及び第2の二つの形態がある。
第1の形態は、被処理体についての差分の領域の厚さ(ボケ厚さ)をTp、処理体の差分の領域の厚さ(ボケ厚さ)をTeとすると、ボケ厚さTpとボケ厚さTeが一致するように、処理体を被処理体に向けて移動させる(手順(d))。
【0013】
第2の形態は、第1の被処理体のボケ厚さTp1と処理体のボケ厚さTe1の比率であるRtと、処理体の奥行き方向の移動距離Dzとの関係を示す下記近似式に基づいて処理体を被処理体に向けて移動させる(手順(e))。
近似式:Dz=aRt+c
(Rt:Tp1/Te1,Dz:処理体の奥行き方向の移動距離,a,b:定数、c:補正項)
【0014】
以上の本発明の近似式を求めるに二つの形態がある。
一つ目は、上述した位置決め方法と同様の操作を先行して行うことで、上記本発明の近似式を求めるものである。すなわち、上記位置決めを行うのに先立って、第2の被処理体と、第2の被処理体に対して接近又は離間が可能な処理体とを含む第2の元画像を、前記接近又は離間する方向から撮影する手順(f)と、異なる二つの閾値を第2の元画像に適用して得られる二つの二値化画像に基づき第2の差分画像を作成する手順(g)と、第2の差分画像における、第2の被処理体についての差分の領域の厚さTp2と前記処理体についての差分の領域の厚さTe2が一致するように、処理体を第2の被処理体に向けて移動させる手順(h)と、手順(h)の移動過程における、第2の被処理体の厚さTp2の推移と処理体の厚さTe2の推移に基づいて近似式を求める手順(i)と、を行う。
一つ目の形態は、被処理体に対して実際に処理体を操作させることで本発明の近似式を求めるので、作成される近似式の精度が高い。
【0015】
二つ目は、既知の距離を隔てて配置される複数の参照体(リファレンス)を撮影したときに生ずるボケの幅と、当該距離とから、以下の手順で本発明の近似式を求めるものである。
すなわち、二つ目の形態は、第1の被処理体と処理体とを含む元画像を撮影する領域内で、既知の距離を隔てて撮影の方向に配置される、第1及び第2の少なくとも二つの参照体を撮影して参照体画像を作成する手順(j)と、異なる二つの閾値を参照体画像に適用して作成される二つの二値化画像に基づき第3の差分画像を作成する手順(k)と、第3の差分画像における、第1の参照体についての差分の領域の厚さTr1及び第2の参照体についての差分の領域の厚さTr2と、前記既知の距離とに基づいて近似式を求める手順(l)と、を行う。
二つ目の形態は、被処理体に対して実際に処理体を操作させる必要がないので、一つ目の形態に比べて、本発明の近似式を迅速に作成することができる。
【0016】
以上の参照体は、撮影の範囲内にあればどのようにして設けるかは問われないが、処理体に一体的に設けることが好ましい。処理体を撮影範囲内に配置することで、参照体も自動的に撮影範囲内に配置できると便利である。
【0017】
本発明は、以上の位置決め方法を利用したマイクロマニピュレーションシステムを提供する。このマイクロマニピュレーションシステムは、顕微鏡の視野内でエンドエフェクタにより被処理体を操作するものであり、エンドエフェクタを顕微鏡の光軸方向に移動させる駆動部と、被処理体と、被処理体に対して光軸方向に移動が可能なエンドエフェクタとを含む元画像を、光軸方向から撮影する撮影部と、異なる二つの閾値を元画像に適用して作成される二つの二値化画像に基づいて差分画像を作成する画像作成部と、差分画像における、被処理体についての差分の領域の厚さTpとエンドエフェクタについての差分の領域の厚さTeとが一致するように、エンドエフェクタを被処理体に向けて移動するように駆動部に指令する指令部と、を備えることを特徴とする。
【0018】
本発明の近似式を適用するマイクロマニピュレーションシステムは、エンドエフェクタを顕微鏡の光軸方向に移動させる駆動部と、第1の被処理体と、第1の被処理体に対して光軸方向に移動が可能なエンドエフェクタとを含む第1の元画像を、光軸方向から撮影する撮影部と、異なる二つの閾値を第1の元画像に適用して作成される二つの二値化画像に基づいて第1の差分画像を作成する画像作成部と、第1の差分画像における、第1の被処理体についての差分の領域の厚さTp1と、エンドエフェクタについての差分の領域の厚さTe1の比率であるRtと、エンドエフェクタの奥行き方向の移動距離Dzとの関係を示す下記近似式に基づいてエンドエフェクタを第1の被処理体に向けて移動するように駆動部に指令する指令部と、を備えることもできる。
近似式:Dz=aRt+c
(Rt:Tp1/Te1,Dz:エンドエフェクタの奥行き方向の移動距離,a,b:定数、c:補正項)
【0019】
本発明の近似式を利用するマイクロマニピュレーションシステムは、本発明の近似式を求めるための要素を備えている。
つまり、前述した一つ目の形態に対応するマイクロマニピュレーションシステムは、第2の被処理体とエンドエフェクタとを含む第2の元画像を、光軸方向から撮影する撮影部と、異なる二つの閾値を第2の元画像に適用して作成される二つの二値化画像に基づいて第2の差分画像を作成する画像作成部と、第2の差分画像における、第2の被処理体についての差分の領域の厚さTp2とエンドエフェクタについての差分の領域の厚さTe2が一致するように、エンドエフェクタを第2の被処理体に向けて移動させる指令部と、エンドエフェクタの移動過程における、厚さTp2の推移と厚さTe2の推移に基づいて近似式を生成する式生成部と、を備える。
【0020】
また、前述した二つ目の形態に対応するマイクロマニピュレーションシステムは、第1の被処理体とエンドエフェクタとを含む元画像を撮影する領域内で、既知の距離を隔てて撮影の方向に配置される、第1及び第2の少なくとも二つの参照体画像を撮影する撮影部と、異なる二つの閾値を参照体画像に適用して作成される二つの二値化画像に基づき第3の差分画像を作成する画像作成部と、第3の差分画像における、第1の参照体についての差分の領域の厚さTr1及び第2の参照体についての差分の領域の厚さTr2と、既知の距離とに基づいて近似式を生成する式生成部と、を備える。
【発明の効果】
【0021】
本発明によれば、エンドエフェクタ、つまり処理体の形状を問わずにボケ幅を抽出できるので、形状に制約のないエンドエフェクタ等の処理体を用いることができるとともに、この処理体のみを動かすことで被処理体に対して位置決めを行うことができる。
【図面の簡単な説明】
【0022】
【図1】本発明において、花粉とエンドエフェクタを含む元画像から、ボケを抽出するまでの手順を示す図である。
【図2】本実施の形態におけるマイクロマニピュレーションシステムの構成を示すブロック図である。
【図3】第1実施形態のマイクロマニピュレーションシステムにおいて、花粉に対してエンドエフェクタを接触させるまでの手順を示すフローチャートである。
【図4】花粉Pに焦点を合わせる方法を説明する図である。
【図5】花粉に対してデジタルカメラの焦点を接近させながら取得した画像に生じた花粉のボケの厚さ、ボケの面積の変動を示すグラフであり、(a)がボケの厚さ、(b)がボケの面積を示す。
【図6】図5の6ステップ目((a)、(b))及び34ステップ目((c)、(d))の元画像及び差分画像を示す。
【図7】(a)はエンドエフェクタEのz軸方向の位置とボケ厚さTp、Teの関係を示し、(b)はエンドエフェクタEのz軸方向の位置とボケ厚さTpに対するエンドエフェクタEのボケ厚さTeの比率Rtを示す。
【図8】図7における、1ステップ目の元画像を(a)、1ステップ目の元画像から作成した差分画像を(b)、21ステップ目の元画像を(c)、21ステップ目の元画像から作成した差分画像を(d)に示す。
【図9】第2実施形態のマイクロマニピュレーションシステムにおいて、近似式を用いて花粉に対してエンドエフェクタを接触させるまでの手順を示すフローチャートである。
【図10】第2実施形態において求められた近似式と実測値を対比して示すグラフである。
【図11】第2実施形態において、粒径の異なる花粉に対してエンドエフェクタを容易に接触できることを説明する図である。
【図12】第3実施形態におけるエンドエフェクタを示す図である。
【発明を実施するための形態】
【0023】
<第1実施形態>
以下、実施の形態に基づいて本発明を具体的に説明する。
第1実施形態に係るマイクロマニピュレーションシステム1は、図2に示すように、エンドエフェクタEを備えるマイクロマニピュレータ3(駆動部)と、エンドエフェクタEの駆動を指令するコントローラ(司令部)5とを備えている。エンドエフェクタEは、マイクロマニピュレータ3に備えられたアクチュエータ(図示省略)により、x軸,y軸及びz軸の3軸方向への駆動ができる。なおマイクロマニピュレーションシステム1は、マイクロマニピュレータ3を2台備えている。
マイクロマニピュレーションシステム1は、顕微鏡7を備えている。光の入射方向(光軸方向)と反対側から被処理体である花粉Pを撮影する倒立型顕微鏡は、取得画像に対する照り返しの影響が少ないので、花粉PとエンドエフェクタEのボケ抽出が容易である。そのため、本実施形態は、倒立型の顕微鏡7を用いる。ただし、このことが正立型の顕微鏡を本発明に用いることを制限するものではない。
顕微鏡7の光軸はz軸と方向が一致しており、この方向がマイクロマニピュレーションシステム1における奥行き方向となる。

【0024】
マイクロマニピュレーションシステム1は、顕微鏡7の上面に設置されるスライドガラス9上に載せられる花粉P及びエンドエフェクタEを光軸方向から撮影するデジタルカメラ(撮影部)11を備える。デジタルカメラ11は、固体撮像素子として例えば、CCDイメージセンサ (Charge Coupled Device Image Sensor) を備えるものを用いるが、本発明はこれに限定されるものではない。

【0025】
マイクロマニピュレーションシステム1は、マイクロマニピュレータ3、コントローラ5、顕微鏡7及びデジタルカメラ11の動作を制御するパーソナルコンピュータ(司令部,以下、PC)13を備える。つまりPC13は、コントローラ5に対して、マイクロマニピュレータ3のエンドエフェクタEが移動すべき方向及び距離に関するデータを送る。また、表示ディスプレイ15を備えるPC13は、顕微鏡7を介してデジタルカメラ11で花粉P及びエンドエフェクタEを撮影することを指令し、撮影された画像を処理し、また表示ディスプレイ15に表示させる。より具体的な処理、操作手順を、図3のフローチャート、さらには前述の図1も参照して説明する。

【0026】
花粉Pを載せたスライドガラス9を顕微鏡7の所定位置に設置した後に、ボケ抽出、エンドエフェクタEの位置決め動作の処理手順が開始される。
はじめに、PC13からの指令により、デジタルカメラ11は、花粉PとエンドエフェクタEの画像を撮影する。PC13は撮影された画像(元画像)を取得する(図3 S101)。図1(a)に元画像の例を示すが、デジタルカメラ11の焦点が花粉Pには合っているが、エンドエフェクタEには合っていないため、エンドエフェクタEに対応する部分に大きなボケが生じている。花粉Pにデジタルカメラ11の焦点を合わせる方法については後述する。

【0027】
PC13は、取得した元画像を解析し、画像の明度の差から、二つの異なる閾値を決定する(図3 S103)。この二つの閾値の決定の仕方は任意であり、予め設定しておくこともできる。
PC13は、元画像に対して二つの閾値を適用することにより、二つの二値化画像を作成する(図3 S105)。
図1(b)、(c)に、図1(a)から作成した二つの二値化画像の例を示している。図1(b)に示す二値化画像はボケの外周まで含んでいるためエンドエフェクタEに対応する白抜きの領域が大きい。これに対して図1(c)は、エンドエフェクタEそのものを示している画像とみなされ、ボケをほとんど含んでいないから、白抜きの領域が小さい。二つの閾値は、図1(b)、(c)の例のように、一方の二値化画像はボケを多く含み、他方の二値化画像はボケが微小になるように設定することが肝要である。

【0028】
PC13は、次に、二つの二値化画像から差分画像を作成する(図3 S107)。二つの二値化画像は、一方の二値化画像はボケを多く含み、他方の二値化画像はボケが微小に作成されたものであるから、その差分画像にはボケに対応する部分が抽出される。
図1(d)に二つの二値化画像から作成された差分画像の例を示すが、エンドエフェクタEに対応する白抜きの部分、つまり二つの二値化画像の差分の領域が、元画像のボケを示している。また、図1(d)において、花粉Pの周囲にも白抜きで示される差分の領域が薄く現れている。

【0029】
PC13は、次に、花粉Pの周囲の差分の領域(以下、ボケの領域)の厚さTpとエンドエフェクタEのボケの領域の厚さTeを比較する(図3 S109)。前述したように、厚さTpに厚さTeが一致すれば、花粉PとエンドエフェクタEはともにデジタルカメラ11の焦点に合うことになる。そうすると、エンドエフェクタEは花粉Pとz軸方向(奥行き方向)の位置が一致する。したがって、厚さTpに厚さTeが一致すれば、PC13はz軸方向の位置合わせの処理を終了して、コントローラ5にエンドエフェクタEをx軸方向、y軸方向に移動させることを指令し、花粉PにエンドエフェクタEを接触させる(図3 S113)。厚さTpに厚さTeが一致しなければ、エンドエフェクタEをz軸方向に移動させてから(図3 S109,S115)、図3のS101~S111の処理を、厚さTpに厚さTeが一致するまで繰り返す。
なお、エンドエフェクタEのボケ厚さTeを特定する場合、マイクロマニピュレーションシステム1はエンドエフェクタEの先端を花粉Pに接触させることが目的であることから、先端部分の厚さTeを採用することが好ましい。花粉Pの厚さTpは、厚さがほぼ均一なので、花粉Pの周方向のいずれの部分で特定してもよい。

【0030】
以上の操作を行う場合、当初よりデジタルカメラ11の焦点に花粉Pが合っていることが好ましい。花粉Pをマイクロマニピュレータ3で操作するのは、花粉Pの性情を観察し、選択することを目的とするからである。
花粉Pに焦点が合っているか否かの確認にも、ボケ厚さTpを用いることができる。焦点が合っていなければ、図4(a)、(b)に示すように、ボケ厚さTpが大きくなる。そこから花粉Pが焦点に近づいていくと、図4(c)、(d)に示すように、ボケ厚さTpは小さくなる。そして、焦点を過ぎてしまうと、ボケ厚さTpはまた大きくなる。このことから、花粉Tpに対してデジタルカメラ11の焦点を変化させながら花粉Pの画像を取得し、ボケ厚さTpが最小になる点を見出すことにより花粉Pに焦点を合わせることができる。
なお、ここでは好ましい形態として、当初に焦点が合っている花粉P(被処理体)について説明したが、本発明の有用性はこれに限定されるものではない。

【0031】
以上説明したマイクロマニピュレーションシステム1を用い、粒径が30μm程度の花粉Pに対してデジタルカメラ11の焦点を1ステップ当たり5μmずつ接近させながら1ステップ毎に画像を取得した。取得した画像に生じた花粉Pのボケの厚さ,ボケの面積の変化量を画素(Pixel)として求めた。その結果を、図5(a)、(b)に示す。図5(a)、(b)より、ボケの厚さ、ボケの面積が最小になるステップ(34ステップ目)を特定した。この34ステップ目にける元画像、差分画像を図6(c)、(d)に、6ステップ目の元画像、差分画像を図6(a)、(b)に示す。
図6より、ボケの厚さ、ボケの面積が最小になる34ステップ目における元画像が鮮明であり、焦点が合っていることが確認された。

【0032】
次に、エンドエフェクタEを1ステップ当たり5μmずつz軸方向に移動させて焦点の合っている花粉Pに接近させていきながら、花粉Pのボケ厚さTpとエンドエフェクタEのボケ厚さTeが一致する位置(画素で特定)を求めた。さらに、ステップ毎の花粉のボケ厚さTpに対するエンドエフェクタEのボケ厚さTeの比率(Rt)を求めた。その結果を、図7(a)、(b)に示す。
図8に、1ステップ目の元画像(a)、1ステップ目の元画像に基づいて作成した差分画像(b)、21ステップ目の元画像(c)、21ステップ目の元画像に基づいて作成した差分画像(d)を示す。なお、21ステップ目は、Rtが1を越えた次のステップに該当する。21ステップ目の画像は、花粉P、エンドエフェクタEともにボケが少なく鮮明である。また、実際にエンドエフェクタEの先端が花粉Pに触れた時の画像のエンドエフェクタEと花粉Pのボケの厚さを求めて図8(d)と比較したところ、ほぼ厚さが一致していることが確認できた。

【0033】
<第2実施形態>
次に、近似式を用いてエンドエフェクタEの位置決めを行う第2実施形態について説明する。
第2実施形態も、マイクロマニピュレーションシステム1により実行されるが、近似式の作成、作成された近似式によりエンドエフェクタEの位置決めが行われる点で、第1実施形態と相違する。以下、第1実施形態との相違点を中心に第2実施形態を説明する。

【0034】
第2実施形態によりエンドエフェクタEが行う位置決めの手順を図9のフローチャートに基づいて説明する。
図9に示すように、第2実施形態の手順は、S111までは第1実施形態と同じであり、S111以降は以下のように進められる。
PC13は、ボケ厚さTp2とボケ厚さTe2が一致すれば、近似式を求める(図9 S121)。近似式は、厚さTp2と厚さTe2が一致するまでの過程で得られる、厚さTp2と厚さTe2の比率と奥行き方向の距離Dzの関係から、下記のように求められる。なお、ここまでの手順を、セットアップと言う。
近似式:Dz=aRt+c
(Rt:Tp2/Te2,Dz:エンドエフェクタの奥行き方向の移動距離,
a,b:定数、c:補正項)

【0035】
厚さTp2と厚さTe2の比率と奥行き方向の距離の関係は、例えば図7(a)、(b)のグラフに示されている。
図7(b)において、Rtが1.0の位置で花粉PとエンドエフェクタEの厚さTp2(Tp)と厚さTe2(Te)が一致しており、エンドエフェクタEは花粉Pとz軸方向の位置が一致している。これを基準にして、例えば5ステップ目、10ステップ目、15ステップ目について観ると、Rt及びRtが1.0になるためにエンドエフェクタEが奥行き方向に移動すべき距離Dzは以下の通りである。これらの関係から上記近似式が求められる。
5ステップ目:Rt=0.042,Dz=87画素(ピクセル)
10ステップ目:Rt=0.097,Dz=37画素(ピクセル)
15ステップ目:Rt=0.25,Dz=13画素(ピクセル)

【0036】
本発明者等は、以上のようにして求められた近似式と実測値の比較を行った結果を図10に示すが、近似式が実測値に則っていることが確認された。

【0037】
近似式を求めた後に、スライドガラス9上に載せられている中から、次に操作すべき花粉Pを特定する(図9 S123)。
次の花粉Pが特定されたならば、Rt(Tp2/Te2)を算出する(図9 S125)。Rtは、次の花粉PとエンドエフェクタEについて、図9のS101~S107を行うことで求められる厚さTp2と厚さTe2に基づいて算出される。なお、このRtの算出に先立って、エンドエフェクタEは、近似式を求める手順を開始するときの初期位置に復帰させておく。

【0038】
PC13は、求められたRtを近似式に代入することでエンドエフェクタEをz軸方向に移動させる距離Dzを算出し、そのデータをコントローラ5に送る。コントローラ5は、送られてきたデータDzに基づいて、エンドエフェクタEをz軸方向に移動させるようにマイクロマニピュレータ3に指令する(図9 S127)。
エンドエフェクタEが次の花粉Pに位置決めされ、所定の操作を行った後、さらに操作すべき次の花粉Pがあれば、それを特定する(図9 S129,S123)。さらに操作すべき次の花粉Pがなければ、花粉Pへの操作は終了する。
花粉Pが載せられた次のスライドガラス9があり、それを今までのスライドガラス9と交換する場合には、交換された新たなスライドガラス9について、図9の手順に従って新たな近似式を求める。撮影環境の変動によって、近似式は変わり得るからである。

【0039】
以上説明したように、第2実施形態は近似式を用いることより、ボケの比率Rtとz軸方向の距離Dzの変化を連続的に捉えることができるので、エンドエフェクタEを花粉Pに対して高精度で位置決めできる。
また、近似式を求めた後は、第1実施形態のように、エンドエフェクタEをz軸方向へ移動させる度に画像を取得し、ボケ厚さTpとボケ厚さTeを比較する必要がないので、演算処理の負荷が少ない分、高速な位置決めを実現できる。

【0040】
さらに、近似式を求めた後には、デジタルカメラ11に対して焦点のあっていない花粉Pに対してボケ厚さTpを求めることができれば、エンドエフェクタEの位置決めを行うことができる。つまり第2実施形態によると、図11に示すように、粒径の異なる花粉P1,P2がある場合、花粉P1に対してエンドエフェクタEを操作することにより近似式を求めてセットアップが完了すれば、粒径の異なる花粉P2に対しても近似式を適用するだけでエンドエフェクタEを花粉P2に位置決めできる。

【0041】
<第3実施形態>
以上では、本発明の近似式を求めるのに、花粉PとエンドエフェクタEを用いたが、本発明はこれに限定されない。つまり、既知の距離を隔ててz軸方向に配置される複数の参照体について、各々の参照体のボケ厚さを特定できれば、近似式を求めることができる。以下、図12に基づいて、参照体をエンドエフェクタEに設けた例について第3実施形態として説明する。

【0042】
第3実施形態によるエンドエフェクタEは、図12(a)、(b)に示すように、エンドエフェクタ本体17に、参照体19、21を設けている。棒状の部材である参照体19、21は、エンドエフェクタ本体17の平面方向の一端側に、エンドエフェクタ本体17の先端17Tに向けて突出するように所定の間隔を空けて設けられている。また、参照体19、21は、エンドエフェクタEをマイクロマニピュレータ3に取付けた状態で、スライドガラス9に対して平行に設けられている。そして、エンドエフェクタ本体17の先端17Tから参照体19までのz軸方向の距離、参照体19から参照体21までのz軸方向の距離は既知である。なお、このエンドエフェクタEは、エンドエフェクタ本体17の先端17Tを参照体の1つとして利用する。

【0043】
マニピュレータ3に取付けたエンドエフェクタEをデジタルカメラ11で撮影して元画像(参照体画像)を取得する。
この参照体画像に異なる二つの閾値を適用して、二つの二値化画像を作成する。次いで、二つの二値化画像から差分画像を作成する。
第1実施形態と同様にして作成した差分画像の例を図12(c)に示す。エンドエフェクタ本体17の先端17T(参照体)、参照体19及び参照体21のz軸方向の位置が異なるので、エンドエフェクタ本体17の先端17T(参照体)、参照体19及び参照体21のボケ厚さも異なる。この差分画像における、エンドエフェクタ本体17(先端17T)についての差分の領域の厚さTr1、参照体19についての差分の領域の厚さTr2、及び、参照体21についての差分の領域の厚さTr3を特定し、先端17Tから参照体19までのz軸方向の既知の距離、参照体19から参照体21までのz軸方向の既知の距離に基づいて、近似式(Dz=aRt+c)を求めることができる。
近似式が求められたならば、第2実施形態の図9のS123以降の手順に従って、エンドエフェクタEを花粉Pに対して位置決めをする。
この例では、3つの参照体を用いて近似式を求めているが、二つの参照体があれば近似式を求めることができることは言うまでもない。ただし、近似式の精度を向上させるためには、参照体が多いことが好ましい。

【0044】
以上の実施形態では花粉Pを例に説明したが、本発明の被処理体はこれに限定されないことは言うまでもない。花粉P以外にも、数~数十μmのサイズの、例えば細胞、金属・非金属粒子等、顕微鏡の視野内で操作される微細粒子に広く適用できる。また、本発明の処理体についても、エンドエフェクタEに限るものでなく、上記微細粒子を操作する針状、その他の治具を広く適用できる。
これ以外にも、本発明の主旨を逸脱しない限り、上記実施の形態で挙げた構成を取捨選択したり、他の構成に適宜変更することが可能である。
【符号の説明】
【0045】
1…マイクロマニピュレーションシステム
3…マイクロマニピュレータ、5…コントローラ
7…顕微鏡、9…スライドガラス、11…デジタルカメラ
13…パーソナルコンピュータ、15…表示ディスプレイ、
E…エンドエフェクタ、17…エンドエフェクタ本体、19,21…参照体
P…花粉
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11