TOP > 国内特許検索 > 顕微鏡装置及び輪郭識別プログラム > 明細書

明細書 :顕微鏡装置及び輪郭識別プログラム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4614149号 (P4614149)
公開番号 特開2011-008126 (P2011-008126A)
登録日 平成22年10月29日(2010.10.29)
発行日 平成23年1月19日(2011.1.19)
公開日 平成23年1月13日(2011.1.13)
発明の名称または考案の名称 顕微鏡装置及び輪郭識別プログラム
国際特許分類 G02B  21/00        (2006.01)
FI G02B 21/00
請求項の数または発明の数 8
全頁数 36
出願番号 特願2009-153021 (P2009-153021)
出願日 平成21年6月26日(2009.6.26)
審査請求日 平成21年6月26日(2009.6.26)
特許権者または実用新案権者 【識別番号】503360115
【氏名又は名称】独立行政法人科学技術振興機構
発明者または考案者 【氏名】費 仙鳳
【氏名】五十嵐 康伸
【氏名】橋本 浩一
早期審査対象出願または早期審理対象出願 早期審査対象出願
個別代理人の代理人 【識別番号】100082876、【弁理士】、【氏名又は名称】平山 一幸
【識別番号】100109807、【弁理士】、【氏名又は名称】篠田 哲也
審査官 【審査官】森内 正明
参考文献・文献 特開2008-281720(JP,A)
特許第4288323(JP,B1)
Y. Nakabo, et al.,1ms Column Parallel Vision System and It's Application of High Speed Target Tracking,Proceedings of the 2000 IEEE International Conference on Robotics and Automation,2000年,Vol. 1,p. 650-655
H. Oku, et al.,Two-dimensional tracking of a motile micro-organism allowing high-resolution observation with various imaging techniques,Review of Scientific Instruments,2005年,Vol. 76, Issue 3,034301
X. Fei, et al.,2D tracking of a single paramecium by using a parallel level set and a visual servoing,Proceedings of the 2008 IEEE/ASME International Conference on Advanced Intelligent Mechatronics,2008年,p. 752-757
S. Osher, et al.,Fronts Propagating with Curvature Dependent Speed: Algorithms Based on Hamilton-Jacobi Formulations,Journal of Computational Physics,1988年,Vol. 79,p. 12-49
X. Han, et al.,A Topology Preserving Level Set Method for Geometric Deformable Models,IEEE Transactions on Pattern Analysis and Machine Intelligence,2003年,Vol. 25, Issue 6,p. 755-768
調査した分野 G02B 21/00 - 21/36
特許請求の範囲 【請求項1】
顕微鏡視野の画像を検出する画像情報検出部と、上記画像情報検出部からの画像に基づいて観察対象物の輪郭を識別する輪郭識別手段と、を備え、上記輪郭識別手段が上記画像情報検出部から所定時間ごとに送られてくる画像に基づいて上記輪郭を更新する、顕微鏡装置であって、
上記観察対象物が非観察対象物と衝突したか否かを判別する衝突判定手段と、上記衝突判定手段で上記観察対象物が上記非観察対象物に衝突したと判定された場合に上記輪郭識別手段で更新された上記観察対象物の上記非観察対象物に衝突した時の輪郭の形状を下記(A1)~(A3)の何れかに訂正すると共に、訂正後の輪郭の位置を下記(B1)~(B4)の何れかに訂正する訂正手段と、を備えたことを特徴とする、顕微鏡装置。
(A1)非観察対象物との衝突前の観察対象物の輪郭の形状に置き換える。
(A2)数ピクセル小さくする。
(A3)衝突前の観察対象物の輪郭の形状と衝突後の観察対象物の輪郭の形状との重み付け平均した形状に置き換える。
(B1)観察対象物の訂正後の輪郭を、衝突前の観察対象物の輪郭の画像上の位置と衝突後の観察対象物の画像上の位置の重み付け平均の位置へ置く。
(B2)非観察対象物に衝突前の観察対象物の画像上の輪郭の位置にカルマンフィルター,パーティクルフィルタなどの観察対象物の運動モデルから予測される移動量を足した画像上の位置へ、観察対象物の訂正後の輪郭を置く。
(B3)非観察対象物との衝突前の観察対象物の輪郭の形状の重心を非観察対象物に衝突した時の観察対象物の輪郭の形状の重心に重ねる。
(B4)輪郭の任意の軸に対する回転により、又はアフィン変換、非アフィン変換の何れかにより訂正を行う。
【請求項2】
顕微鏡視野の画像を検出する画像情報検出部と、上記画像情報検出部からの画像に基づいて観察対象物の輪郭を識別する輪郭識別手段と、を備え、上記輪郭識別手段が上記画像情報検出部から所定時間ごとに送られてくる画像に基づいて上記輪郭を更新する、顕微鏡装置であって、
上記観察対象物の輪郭を更新する場合に上記観察対象物の輪郭が複数に分割されるか判定する分割判定手段と、上記分割判定手段で上記観察対象物の輪郭が複数に分割されると判定される場合に上記輪郭識別手段による輪郭の更新を規制する分割規制手段と、を備え、
画面上の各画素に背景か観察対象かを示すラベル値が割り当てられ、輪郭内側のラベル値と輪郭外側のラベル値とは符号が異なり、上記分割判定手段は、前記輪郭を更新するとラベル値の符号が変化する画素を検出し、当該画素が値を更新すると前記観察対象物の輪郭が複数に分かれる特異点であるか否か判定し、
上記画素が特異点であると上記分割判定手段が判定した場合、上記分割規制手段は、当該特異点のラベル値の符号を変更させないことを特徴とする、顕微鏡装置。
【請求項3】
コンピュータを、
画像情報検出部で取得された画像に基づいて観察対象物の輪郭を識別すると共に所定時間ごとに当該観察対象物の輪郭を更新する輪郭識別手段、
上記観察対象物が非観察対象物と衝突したか否かを判別する衝突判定手段、
上記衝突判定手段で上記観察対象物が上記非観察対象物に衝突したと判定された場合に上記輪郭識別手段で更新された上記観察対象物の上記非観察対象物に衝突した時の輪郭の形状を下記(A1)~(A3)の何れかに訂正すると共に、訂正後の輪郭の位置を下記(B1)~(B4)の何れかに訂正する訂正手段、
として機能させるようにしたことを特徴とする、輪郭識別プログラム。
(A1)非観察対象物との衝突前の観察対象物の輪郭の形状に置き換える。
(A2)数ピクセル小さくする。
(A3)衝突前の観察対象物の輪郭の形状と衝突後の観察対象物の輪郭の形状との重み付け平均した形状に置き換える。
(B1)観察対象物の訂正後の輪郭を、衝突前の観察対象物の輪郭の画像上の位置と衝突後の観察対象物の画像上の位置の重み付け平均の位置へ置く。
(B2)非観察対象物に衝突前の観察対象物の画像上の輪郭の位置にカルマンフィルター,パーティクルフィルタなどの観察対象物の運動モデルから予測される移動量を足した画像上の位置へ、観察対象物の訂正後の輪郭を置く。
(B3)非観察対象物との衝突前の観察対象物の輪郭の形状の重心を非観察対象物に衝突した時の観察対象物の輪郭の形状の重心に重ねる。
(B4)輪郭の任意の軸に対する回転により、又はアフィン変換、非アフィン変換の何れかにより訂正を行う。
【請求項4】
コンピュータを、
画像情報検出部で取得された画像に基づいて観察対象物の輪郭を識別すると共に所定時間ごとに当該観察対象物の輪郭を更新する輪郭識別手段、
上記観察対象物の輪郭を更新する場合に、上記観察対象物の輪郭が複数に分割されるか判定する分割判定手段、
上記分割判定手段で上記観察対象物の輪郭が複数に分割されると判定される場合に、上記輪郭識別手段による輪郭の更新を規制する分割規制手段、
として機能させ、
画面上の各画素に背景か観察対象かを示すラベル値が割り当てられ、輪郭内側のラベル値と輪郭外側のラベル値とは符号が異なり、上記分割判定手段は、前記輪郭を更新するとラベル値の符号が変化する画素を検出し、当該画素が値を更新すると前記観察対象物の輪郭が複数に分かれる特異点であるか否か判定し、
上記画素が特異点であると上記分割判定手段が判定した場合、上記分割規制手段は当該特異点のラベル値の符号を変更させないことを特徴とする、輪郭識別プログラム。
【請求項5】
前記観察対象物の輪郭を更新する場合に上記観察対象物の輪郭が複数に分割されるか判定する分割判定手段と、上記分割判定手段で上記観察対象物の輪郭が複数に分割されると判定される場合に上記輪郭識別手段による輪郭の更新を規制する分割規制手段と、を備え、
画面上の各画素に背景か観察対象かを示すラベル値が割り当てられ、輪郭内側のラベル値と輪郭外側のラベル値とは符号が異なり、上記分割判定手段は、前記輪郭を更新するとラベル値の符号が変化する画素を検出し、当該画素が値を更新すると前記観察対象物の輪郭が複数に分かれる特異点であるか否か判定し、
上記画素が特異点であると上記分割判定手段が判定した場合、上記分割規制手段は当該特異点のラベル値の符号を変更させないことを特徴とする、請求項1に記載の顕微鏡装置。
【請求項6】
前記画像情報検出部からの画像を処理する演算部を備え、
上記演算部は、各画素に対応した演算素子もしくは、複数の画素に対応した演算素子を備えることを特徴とする、請求項1,2,5の何れかに記載の顕微鏡装置。
【請求項7】
さらに、前記コンピュータを、
前記観察対象物の輪郭を更新する場合に、前記観察対象物の輪郭が複数に分割されるか判定する分割判定手段、
上記分割判定手段で前記観察対象物の輪郭が複数に分割されると判定される場合に、前記輪郭識別手段による輪郭の更新を規制する分割規制手段、
として機能させ、
画面上の各画素に背景か観察対象かを示すラベル値が割り当てられ、輪郭内側のラベル値と輪郭外側のラベル値とは符号が異なり、上記分割判定手段は、前記輪郭を更新するとラベル値の符号が変化する画素を検出し、当該画素が値を更新すると前記観察対象物の輪郭が複数に分かれる特異点であるか否か判定し、
上記画素が特異点であると上記分割判定手段が判定した場合、上記分割規制手段は当該特異点のラベル値の符号を変更させないことを特徴とする、請求項3に記載の輪郭識別プログラム。
【請求項8】
各画素に対応した演算素子もしくは、複数の画素に対応した演算素子を備える演算部に実装することを特徴とする、請求項3,4,7の何れかに記載の輪郭識別プログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、生体組織等の蛍光観察などに使用される顕微鏡装置及び画像情報検出部で取得された当該顕微鏡視野等の画像に基づいて生体組織等の観察対象物の輪郭を識別するプログラムに関する。
【背景技術】
【0002】
分子生物学分野等において、生体組織や細胞内イオン、分子等の観察は必須の技術である。光学顕微鏡は、主に生体組織を観察するときに用いられる。また、レーザ共焦点顕微鏡は、光を生体細胞の一部に照射し、その照射位置を移動させ、細胞の一部を観察するときに用いられる。
【0003】
光学顕微鏡の主な観察技術の一つに、生体組織の細胞内のイオンや分子に蛍光色素を付け、その蛍光色素に励起光を照射し、励起された蛍光色素が発する蛍光を観察する蛍光観察法がある。
【0004】
蛍光と励起光の波長は異なっている。従って、蛍光を解析することで細胞内分子の検出や濃度の計測が可能になる。このため、蛍光観察は以下の長所を持つ。
(i)イオンや分子の大きさでも観察できる。
(ii)特定のイオンや分子のみを観察できる。
(iii)蛍光の明るさがイオンや分子濃度に応じて変化するので、これらの濃度を測定することができる。
【0005】
しかしながら、一般に蛍光観察は以下の短所も有している。
(i)励起光の波長帯域が紫外の場合、励起光が細胞にとって有毒となる。
(ii)励起光を当て続けると蛍光色素が退色する。退色とは、蛍光の強さが弱まることである。
【0006】
蛍光観察が可能な蛍光顕微鏡を使用して動く細胞を観察していると、細胞が顕微鏡の視野外に出て観察が中断してしまう場合がある。
【0007】
この問題の解決方法として、(1)対物レンズの倍率を下げ視野を広げる、(2)機械的又は化学的に細胞の動きを抑制する、(3)ステージを動かし細胞の位置を視野の中心にする、等で対応している。しかし、(1)の方法は空間解像度が低下し、(2)の方法は細胞へ悪影響を及ぼす可能性がある。
【0008】
近年、細胞を追跡する蛍光顕微鏡システムが開発されている(特許文献1,2)。この技術は、ビジュアルサーボの技術分野に属し、細胞の位置を計算する画像処理技術と細胞の重心位置を顕微鏡の視野中心に自動的に保つ電動ステージの制御技術とを要素技術とする。
【0009】
従来、細胞のXY座標の計算は、背景と細胞の境界情報に基づいている。従来の細胞境界認識の画像処理技術は、2値化処理を基本としたセルフウィンドウ法と並列計算機付き(SIMD型プロセッサ付き)高速(撮影速度1kHz)カメラの組み合わせであった(手法1;非特許文献1、2、3)。しかし、背景と細胞領域の輝度値がはっきりと分かれていない顕微鏡画像において、セルフウィンドウ法は有効に機能しないとの問題があった。
【0010】
背景と細胞領域の輝度値がはっきりと分かれていない状況でも細胞の境界を認識できる技術が開発されている。この技術は領域依存レベルセット法(LSM)を並列化したものである(手法2;非特許文献4)。LSMは、評価関数の設定と、評価関数最小化の戦略により、輪郭を初期値から細胞の境界に近づくように、自動更新することで対象を認識するプログラムである。
【0011】
さらに手法2に、認識領域の総光量を一定とする制約を加えることで、単一細胞の境界を認識する技術も開発されている(手法3;非特許文献5)。
【先行技術文献】
【0012】

【特許文献1】特開2008-281720
【特許文献2】特願2008-235795
【0013】

【非特許文献1】Y. Nakabo, M. Ishikawa, H. Toyoda and S. Mizuno, "1ms Column Parallel Vision System and It's Application of High Speed Target Tracking", Proceedings of the 2000 IEEE International Conference on Robotics and Automation, vol. 10, pp. 650--655, 2000.
【非特許文献2】I. Ishii and M. Ishikawa, "Self Windowing for High-Speed Vision", Systems and Computers in Japan, vol. 32, pp. 51--58, 2001.
【非特許文献3】H. Oku, N. Ogawa, M. Ishikawa, K. Hashimoto, "Two-dimensional tracking of a motile micro-organism allowing high-resolution observation with various imaging techniques", Review of Scientific Instruments, Vol.76, No.3, 2005
【非特許文献4】X. Fei, Y. Igarashi, and K. Hashimoto: "4ms Level Set Method - Parallel Implementation of Contour Detection of Paramecia by using CPV System", 17th CISM-IFToMM Symposium on Robot Design, Dynamics, and Control (Romansy2008), pp. 27-34 (P61), 2008.
【非特許文献5】X. Fei, Y. Igarashi, and K. Hashimoto: "2D tracking of a single paramecium by using a parallel level set and a visual servoing", IEEE/ASME International Conference on Advanced Intelligent Mechatronics (AIM2008), pp. 27-32, 2008.
【非特許文献6】S. Osher and J. A. Sethian, "Fronts Propagating with Curvature Dependent Speed: Algorithms Based on Hamilton-Jacobi Formulations", Journal of Computational Physics, vol. 79, pp. 12--49, 1988.
【非特許文献7】X. Han, C. Xu, and J. L. Prince, “A topology preserving level set method for geometric deformable models”, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 25, pp. 755-768, 2003
【発明の開示】
【発明が解決しようとする課題】
【0014】
しかし、手法1~3は衝突問題にロバストではないという問題がある。つまり、追跡している細胞(追跡細胞)と、その他の細胞(非追跡細胞)、測定液中の泡、容器の枠、その他の対象(非追跡物)等の非観察対象物が接触したときに、非観察対象物を観察対象だと誤認識する問題があった(衝突問題)。この問題を解決し、同一の細胞のみを認識し続けなければ、追跡は失敗してしまう。
【0015】
本発明は上記課題に鑑みて創作されたものであり、衝突問題に対する細胞追跡の頑健性(ロバスト性)を向上させることができる、顕微鏡装置及び画像に基づいて生体組織等の観察対象物の輪郭を識別するプログラムを提供することを目的とする。
【課題を解決するための手段】
【0016】
上記目的を達成するため、本発明の第1の構成は、顕微鏡視野の画像を検出する画像情報検出部と、画像情報検出部からの画像に基づいて観察対象物の輪郭を識別する輪郭識別手段と、を備え、輪郭識別手段が画像情報検出部から所定時間ごとに送られてくる画像に基づいて輪郭を更新するよう構成した顕微鏡装置であって、観察対象物が非観察対象物と衝突したか否かを判別する衝突判定手段と、衝突判定手段で観察対象物が非観察対象物に衝突したと判定された場合に輪郭識別手段で更新された輪郭を訂正する訂正手段と、を備えたことを特徴としている。
【0017】
認識領域の内部状態の変化を検知した場合は、過去及び現在に計算した輪郭を用いて、現在の輪郭を計算し直す例外処理を行う。例えば、認識領域の面積や総光量が一定値を超えたかを検知し、過去のフレームで計算した輪郭(黒色線)を、現在のフレームで計算した輪郭の重心点へ(灰色線)平行移動する例外処理(変位補正)を行う。
【0018】
上記目的を達成するため、本発明の第2の構成は、顕微鏡視野の画像を検出する画像情報検出部と、画像情報検出部からの画像に基づいて観察対象物の輪郭を識別する輪郭識別手段と、を備え、輪郭識別手段が画像情報検出部から所定時間ごとに送られてくる画像に基づいて輪郭を更新するよう構成した顕微鏡装置であって、観察対象物の輪郭を更新する場合に観察対象物の輪郭が複数に分割されるか判定する分割判定手段と、分割判定手段で観察対象物の輪郭が複数に分割されると判定される場合に輪郭識別手段による輪郭の更新に代えて一つの輪郭を成すように観察対象物の輪郭を更新する分割規制手段と、を備えたことを特徴としている。
【0019】
本発明によれば、衝突問題の部分問題である分裂問題を解決する。分裂問題とは、2つの細胞が接触後離れるときに、認識領域の総面積或いは総光量を一定値に保ったまま輪郭が2つに分裂し、2つの細胞を共に部分的に認識してしまう問題である。分裂問題に関し、本発明によれば、観察対象物の輪郭全体のトポロジー(個数)変化を検知した場合は、過去及び現在に計算した輪郭を用いて、現在の輪郭を計算し直す例外処理を行う。例えば、各画素における輪郭更新が、輪郭全体の個数を変化させるか否かを、代数演算を用いて検出する。輪郭全体の個数を変化させない画素においては輪郭更新を許可し、輪郭全体の個数を変化させる画素、即ち特異点においては輪郭更新を許可せず、輪郭全体の個数を変化させない更新におきかえる例外処理(特異点補正)を行う。
【0020】
上記目的を達成するため、本発明の第3の構成は、輪郭識別プログラムであって、画像情報検出部で取得された画像を処理するコンピュータを、顕微鏡視野の画像に基づいて観察対象物の輪郭を識別する輪郭識別手段、観察対象物が非観察対象物と衝突したか否かを判別する衝突判定手段、衝突判定手段で観察対象物が非観察対象物に衝突したと判定された場合に観察対象物の輪郭を訂正する訂正手段、として機能させるようにしたことを特徴としている。第3の構成において、画像とは、輪郭識別プログラムがインストールされた装置に搭載されたカメラ、CCD等の画像情報検出部によって取得された画像に限らず、他の装置の画像情報検出部で取得された画像を含む。また、本発明において、画像は白黒画像,カラー画像,透過光画像,反射画像,蛍光観察によって取得された画像等を含み、これらの少なくとも一つの画像を利用して観察対象物の輪郭の識別が行われる。
【0021】
上記目的を達成するため、本発明の第4の構成は、輪郭識別プログラムであって、画像情報検出部で取得された画像を処理するコンピュータを顕微鏡視野の画像に基づいて観察対象物の輪郭を識別すると共に所定時間ごとに当該観察対象物の輪郭を更新する輪郭識別手段、観察対象物の輪郭を更新する場合に、観察対象物の輪郭が複数に分割されるか判定する分割判定手段、分割判定手段で上記観察対象物の輪郭が複数に分割されると判定される場合に、輪郭識別手段による輪郭の更新に代えて、一つの輪郭を成すように観察対象物の輪郭を更新する分割規制手段、として機能させるようにしたことを特徴としている。第4の構成において、画像とは、輪郭識別プログラムがインストールされた装置に搭載されたカメラ、CCD等の画像情報検出部によって取得された画像に限らず、他の装置の画像情報検出部で取得された画像を含む。また、本発明において、画像は白黒画像,カラー画像,透過光画像,反射画像,蛍光観察によって取得された画像等を含み、これらの少なくとも一つの画像を利用して観察対象物の輪郭の識別が行われる。
【発明の効果】
【0022】
本発明によれば、観察対象物が他の細胞や泡などの非観察対象物に衝突した場合でも観察対象物の輪郭を明確に識別することができる。また、観察対象物である細胞の輪郭をトポロジカル的に捉えて常に一つに周縁として認識することができる。よって、観察対象物である細胞のXY座標の重心位置を正確に計算により求めることができる。したがって、観察対象物である細胞の重心が顕微鏡視野の中心に来るように、ステージの位置を調整することができる。このように、観察対象物で細胞を顕微鏡視野の中央に位置させることができるので、細胞が顕微鏡視野から外れることなく、蛍光観察を長時間に亘って行うことができる。また、輪郭近辺の回折やぼけを用いたZ座標の位置計算の精度も向上することができる。
【図面の簡単な説明】
【0023】
【図1】本発明の実施形態に係る顕微鏡装置の構成を示す模式図である。
【図2】本発明の実施形態に制御部のブロック図である。
【図3】本発明の実施形態に係るレベルセット関数を示す図である。
【図4】図3のレベルセット関数をゼロ等位面で切った切り口を示す図である。
【図5】本発明の実施形態に係るエネルギー関数を示す図である。
【図6】(A)~(D)は、観察対象物と輪郭との関係を模式的に示す図である。
【図7】(A)及び(B)は本発明の実施形態に係る輪郭識別手段の変位補正を説明するための図である。
【図8】(A)~(C)は本発明の実施形態に係る輪郭識別手段の特異点判定を説明するための図である。
【図9】画素間の近傍関係を説明するための図である。
【図10】本発明の実施形態に係る制御部のフローチャートである。
【図11】本発明の実施形態に係る回路構成を示す図である。
【図12】本発明の実施例に係る水槽の模式図である。
【図13】(A),(C),(E)は手法4の実験結果、(B),(D),(F)は手法3の実験結果を示す像である。
【図14】(A)は手法4の実験結果、(B)は手法5の実験結果を示す像である。

【発明を実施するための最良の形態】
【0024】
以下、この発明の実施の形態について図面を参照して詳細に説明する。各図において同一又は対応する部材には同一符号を用いる。
【0025】
図1は本発明の実施形態に係る顕微鏡装置1の構成を示す模式図である。
【0026】
本実施形態に係る顕微鏡装置1は、観察対象物2を載置し、観察対象物2の位置を自由に移動し得るステージ3と、光学系10と、ステージ3の位置等を制御する制御部20と、を備えている。
【0027】
光学系10は、観察対象物2の像や位置を検出するために観察対象物2に照明光を照射する照明用光源4と、観察対象物2で生じる蛍光を励起するための励起光を照射する励起用光源5と、照明用光源4の光が照射されて観察対象物2を透過した透過光Tの光路、励起光5Aを観察対象物2に導く光路及び観察対象物2で生じた蛍光Fの光路を形成するための光学部品を配置した鏡筒部15と、鏡筒部15から出射した観察対象物2からの透過光からなる画像情報を検出する画像情報検出部16と、鏡筒部15から出射された観察対象物2の蛍光画像情報を検出する蛍光画像情報検出部17と、を有している。観察対象物2は、例えば、生体試料である細胞等であってよい。
【0028】
ステージ3には観察対象物2が載置され、後述する制御部20により観察対象物2の位置が制御される。このステージ3は、所謂電動ステージであり、観察対象物2の載置される二次元の平面(X-Y平面)で駆動制御されるXYステージでも、又は三次元で駆動制御されるXYZステージであってもよい。三次元の駆動は、ロボットアーム型のマニュピレータで行ってもよい(特許文献1,2参照)。
【0029】
ここで、観察領域のXY軸方向に関する位置制御は、照明用光源4や励起用光源5の照射位置、図示されていないピンホールの配置される位置を制御してなされてもよい。観察領域のZ軸方向に関する位置制御は、対物レンズ,結像レンズ,ピンホールの配置される位置を制御してなされてもよい(特許文献1,2参照)。
【0030】
照明用光源4が透過光用の光源(以下、透過光用光源と呼ぶ。)である場合、照明用光源4は、観察対象物2が吸収する波長又は反射する波長を含む光を発するものであれば何でもよい。このような透過用光源4としては、ハロゲンランプ等の各種ランプ、発光ダイオード、各種レーザを使用することができる。透過光Tが励起光5Aや蛍光Fと干渉しないように、透過光用光源から出力される光のうち励起光5Aや蛍光Fと同じ波長帯は光学フィルタ8等でカットされることが望ましい。照明用光源4から観察対象物2へ照射された照明光が、観察対象物2からの透過光Tや反射光となって画像情報検出部16で検出される。観察対象物2からの画像は、所謂明視野像や暗視野像等の画像情報である。
【0031】
励起用光源5は、観察対象物2それ自体又は観察対象物2に含有させた蛍光体を励起できる光源であれば何でもよい。このような励起用光源5としては、キセノンランプ、水銀ランプ等のランプ、アルゴンレーザ等の各種レーザを励起光5Aとすることができる。励起光5Aを、透過光Tや蛍光Fと干渉させないためには、不必要な波長帯を光学フィルタ9等でカットすることが望ましい。励起用光源5は、図示しない投光管を介して観察対象物2に導入されてもよい。
【0032】
鏡筒部15は、照明用光源4の光によって観察対象物2で生じた光、励起光5A及び蛍光Fを通過させる光路を形成するために、第1及び第2のビームスプリッター18,19、対物レンズ6及び結像レンズ7,12からなる光学部品を含んで構成されている。図示の場合には、倒立型の顕微鏡装置の一例を示している。正立型の顕微鏡装置を用いることも可能である。ここで、照明用光源4の光によって観察対象物2で生じた光は、透過光Tではなく反射光であってもよい。
【0033】
第1及び第2のビームスプリッター18,19は、鏡筒部15に設けた図示しないポートに配置されてもよい。ビームスプリッター18,19は、透過用光源4の波長と観察対象物2から発生する蛍光Fの波長とを分離できるダイクロイックミラーなどを使用することができる。以下の説明においては、ビームスプリッター18,19をダイクロイックミラーとして説明する。
【0034】
第1のダイクロイックミラー18は、短波長の光を反射し、長波長の光を透過させる作用を有しているので、励起光5Aは反射し、紙面上方の観察対象物2へ入射する。一方、観察対象物2からの透過光Tは、励起光5Aの波長よりも長波長の光を用いることにより、第1のダイクロイックミラー18を透過する。
【0035】
第2のダイクロイックミラー19は、第1のダイクロイックミラー18の下方に配置されている。第1のダイクロイックミラー18を透過した観察対象物2からの透過光Tは、第2のダイクロイックミラー19と結像レンズ7を通過し、鏡筒部15から画像情報検出部16へ出射される。ダイクロイックミラーと画像情報検出部16との間に図示しないフィルタを配置しておくことにより、透過光Tが励起光5Aや蛍光Fと干渉せず、画像情報検出部16へ入射させてもよい。
【0036】
第1のダイクロイックミラー18を透過した観察対象物2からの蛍光Fは、第2のダイクロイックミラー19で反射され、結像レンズ12を通過し、その後、蛍光画像情報検出部17へ出射される。ダイクロイックミラーと蛍光画像情報検出部17との間に図示しないフィルタを配置しておくことにより、蛍光Fが励起光5Aや透過光Tと干渉せず、蛍光画像情報検出部17へ入射させてもよい。
【0037】
画像情報検出部16は、照明用光源4からの光が観察対象物2からの透過光Tや反射光による画像情報を取得できる検知器を備えている。透過光Tの光軸で、かつ、透過光Tを検出する画像情報検出部16の直前には結像レンズ7が設けられている。検知器には、撮像素子を用いることができ、CCD型撮像素子やCMOS型撮像素子を使用できる。さらに、これらの撮像素子は、S/N比(信号対雑音比)を向上させるために雑音を減らすように、例えば液体窒素やペルチェ素子を使用した冷却装置で冷却してもよい。検知器は、画像処理を行う計算機を備えていてもよい。また、目視観察用として接眼レンズを備えていてもよい。
【0038】
蛍光画像情報検出部17は、観察対象物2である細胞からの蛍光画像を取得できる検知器を備えている。この検知器は、目的に応じて銀塩カメラや撮像素子を用いることができる。撮像素子には、画像情報検出部16と同様に、CCD型撮像素子やCMOS型撮像素子を使用できる。さらに、これらの撮像素子は、S/N比(信号対雑音比)を向上させるために雑音を減らすように、液体窒素やペルチェ素子を使用した冷却装置で冷却してもよい。蛍光Fの光路上で、かつ、蛍光Fを検出する蛍光画像情報検出部17の直前に結像レンズ12を設けてもよい。また、目視観察用として接眼レンズを備えていてもよい。
【0039】
画像情報検出部16用の結像レンズ7と蛍光画像情報検出部17用の結像レンズ12は異なるレンズでもよい。例えば、画像情報検出部16用の結像レンズ7の倍率を下げると共に、蛍光画像情報検出部17用の結像レンズ12の倍率を上げるようにしてもよい。この場合、画像情報検出部16で取得する透過光Tの画像の視野を広げることができると共に、蛍光画像情報検出部17では、観察対象物2のより拡大した蛍光画像を得ることができる。
【0040】
図1においては、説明のために透過光Tの光路や励起光5A及び蛍光Fの光路を重ならないように示しているが、これらの各光路は一致させてもよい。画像情報検出部16と蛍光画像情報検出部17との間で、視野中心位置及び焦点位置のズレが生じる場合がある。この場合、予めそれらのズレを測定し、観察対象物2の位置制御及び観察領域制御におけるオフセットとして利用してもよい。オフセットを掛けることによって、視野中心位置や焦点位置のズレを補正することができる。
【0041】
制御部20は、観察対象物2の透過光Tや反射光による画像情報が、画像情報検出部16を介して入力される。制御部20は、画像情報の処理と、画像情報の処理結果に基づいたステージ3の制御とを行う。制御部20は電子計算機から構成されている。このような電子計算機としては、詳細は後述するようにコンピュータを用いることができる。
【0042】
制御部20は、光学系10により観察対象物2を透過した透過光Tの画像情報が入力され、この画像情報によりステージ3上の観察対象物2の位置を制御する。
【0043】
図2は本発明の実施形態に係る制御部20の機能ブロック図である。制御部20は、位置制御手段21と、輪郭識別手段22と、衝突判定手段23と、訂正手段24と、分割判定手段25と、分割規制手段26と、を備えている。
【0044】
以下、構成要素別に説明する。
(1)位置制御手段21について
位置制御手段21は、ステージ3の位置を制御するものである。この位置制御手段21は、画像情報検出部16から観察対象物2の透過光の画像を取得し、当該画像情報から観察対象物2の輪郭を後述の輪郭識別手段22から取得する。位置制御手段21は、観察対象物2の重心が視野中心に移動するように、ステージ3のモーター回転角の目標値を定め、このモーターをフィードバック制御する。例えば、ステージ3にはXYZステージを使用することができる。このフィードバック制御には、比例、積分、微分の何れか、またはこれらの組み合わせによる制御手法を用いることができる。
【0045】
観察対象物2(以下、細胞と言う場合がある。)の軌跡を再構成、つまり、再現するためには、上記のXYZステージ3の変位情報をコンピュータに記録しておく。これにより観察対象物2の軌跡を得ることができる。
【0046】
透過光Tを使用するのは、追跡対象となる観察対象物2の全体像を高輝度で安定して写すためである。透過光T以外には、落斜照明を用いた観察対象物2からの反射光を用いることもできる。反射光の光源は、透過光用光源4と同様の光源を用いることができる。この場合、観察対象物2からの画像は反射光画像である。
(2)輪郭識別手段22について
輪郭識別手段22は、画像情報検出部16からの画像に基づいて観察対象物2の輪郭を識別すると共に、画像情報検出部16から所定時間ごとに送られてくる画像に基づいて当該観察対象物2の輪郭を更新するものである。
【0047】
輪郭識別手段22では、前述の手法1としてのセルフウィンドウ法では顕微鏡視野における背景と観察対象物2の輝度値がはっきりと分かれていない顕微鏡画像に対して有効に機能しない場合があったため、前述の第2の手法を利用する。すなわち、境界認識するための画像処理用のプログラムに領域依存レベルセット法(LSM)を利用する。
(2-1)細胞の境界認識プログラム:手法2について
LSMでは、図3に示すように、3次元のレベルセット関数φ(x,y,t)のゼロ等位面SAで、2次元の輪郭C(x,y,t)を表現する(式1)。以下、レベルセット関数φを関数φと言う場合があり、輪郭C(x,y,t)を輪郭Cと言う場合がある。
【0048】
【数1】
JP0004614149B2_000002t.gif

(x,y)は画像上の各ピクセルを示す。tは時間を示す。
【0049】
図4は、レベルセット関数φ(x,y,t)をゼロ等位面SAで切った切り口、即ち輪郭Cと画像情報検出部16から入力された画像情報を概略的に重ねた図である。
【0050】
輪郭Cの内側と外側の領域は、それぞれ、ΩとΩ*で定義する。
【0051】
【数2】
JP0004614149B2_000003t.gif

例えば、図4に示すように、画像情報検出部16から取得した画像に観察対象物2の細胞があり、輪郭Cの内側に細胞があることを仮定して説明する。図4においてBは観察対象物2と背景との境界である。関数φによる輪郭Cを境界Bと一致させることで、制御部20は観察対象物2の境界Bを認識することができる。具体的には、制御部20は、レベルセット関数φに適当な初期値を与え、エネルギー関数Eを最小にするように、関数φを更新する(式3)ことで、境界B、即ち細胞の正確な輪郭を識別できる。
【0052】
【数3】
JP0004614149B2_000004t.gif

図5はエネルギー関数Eを示している。横軸は観察対象物2に沿った輪郭Cである。このエネルギー関数Eは、輪郭Cの観察対象物2への沿い具合を示す指標であり、輪郭Cが観察対象物2に完全に沿ったとき極小となる。
【0053】
背景BG(後述の図6参照)と細胞領域の輝度値がはっきりと分かれていない場合でも、細胞の境界Bを認識できるように、下記のエネルギー式を利用する(式4)
【0054】
【数4】
JP0004614149B2_000005t.gif

inは輪郭Cの内部エネルギー関数であり(式5)、Eoutは輪郭Cの外部エネルギー関数である(式6)。
【0055】
【数5】
JP0004614149B2_000006t.gif

【0056】
【数6】
JP0004614149B2_000007t.gif

式5、式6の積分区間は画像全体である。式5,式6における係数のα、βは、それぞれEinとEoutの重みパラメータを示す。
【0057】
式6において、λ11(φ)が境界Cの内側を積分した成分であり、λ22(φ)が境界Cの外側を積分した成分である。
【0058】
式5、式6中のIは、画像中の座標(x,y)の輝度値I(x,y)を示す。IinとIoutとはそれぞれ、領域Ωと領域Ω*における輝度値の面積平均を示す(式7)。
【0059】
【数7】
JP0004614149B2_000008t.gif

式5、式6におけるλ1とλ2とは領域Ωと領域Ω*を基準とした輪郭Cの適合度を示す。式5、式6のH(φ)はヘビサイド関数を示す(式8)。
【0060】
【数8】
JP0004614149B2_000009t.gif

上記式(8)のヘビサイド関数を利用すると、1次元のデルタ関数は次のように表すことができる(式9)。
【0061】
【数9】
JP0004614149B2_000010t.gif

関数φの空間変化が小さければ、式4における内部エネルギー関数Einは小さくなる。即ち、内部エネルギー関数Einは輪郭Cを含んだ関数φの形状を滑らかにする機能、即ちスムーザーの機能を有する。
【0062】
輪郭Cが対象の境界B(図4参照)と一致している場合、外部エネルギー関数Eoutは最小値となる。即ち、外部エネルギー関数Eout=0を取る。つまり、外部エネルギー関数Eoutは、境界Bを認識する機能、即ちディテクターの機能を有する。
【0063】
図6(A)~図6(D)は観察対象物2と輪郭Cとの関係を模式的に示す図である。ここで、観察対象物2と背景BGとの境界Bを境に、境界B内の観察対象物2である細胞の輝度は一定であり、且つ、境界B外の背景BGの輝度は一定であると仮定する。外部エネルギー関数Eoutはこの仮定を前提として計算される。
【0064】
図6(A)は輪郭Cが境界Bの外側にある場合を示しており、この場合、F1(φ)>0であり、F2(φ)≒0となる。よって、この場合、輪郭Cは境界Bと一致しないと判断される。
【0065】
図6(B)は輪郭Cが境界Bの内側にある場合を示しており、この場合、F1(φ)≒0であり、F2(φ)>0となる。よって、この場合、輪郭Cは境界Bと一致しないと判断される。
【0066】
図6(C)は輪郭Cが観察対象物2の境界Bの外側と内側とに跨っている場合を示しており、この場合、F1(φ)>0であり、F2(φ)>0となる。よって、この場合、輪郭Cは境界Bと一致しないと判断される。
【0067】
図6(D)は輪郭Cが観察対象物2の境界Bと一致している場合を示しており、この場合、F1(φ)≒0であり、F2(φ)≒0となる。よって、この場合、外部エネルギー関数Eoutは最小値となるため、境界Bが検出されたことになる。
【0068】
これらの機能を持つ式3のエネルギー関数E(φ)は輪郭Cを滑らかにすると同時に、観察対象物2の境界Bへ輪郭Cを初期値から移動させる。この式3は、式4~式6をオイラー・ラグランジェ方程式に対して最急降下法を用いて解くと、下記の式10として表すことができる。
【0069】
【数10】
JP0004614149B2_000011t.gif

この式10に下記の式11、即ち前述の式9の近似式を用いて、式10を近似できる。
【0070】
【数11】
JP0004614149B2_000012t.gif

また、式10は、式11を用いると共に、離散化することにより、式12として表すことができる。
【0071】
【数12】
JP0004614149B2_000013t.gif

式12において、m,n,h,(xi,y)=(ih,jh),Δtは、それぞれフレーム数、イタレーション数、離散空間幅、座標、離散時間幅を示す。φm,n(xi,yj)は座標(xi,yj)におけるφm,nの値を示す。
【0072】
連続する2つのイタレーション間で関数φの値の差が閾値φthよりも小さくなれば、つまりΣiΣj|φm,n(xi,yj)-φm,n-1(xi,yj)|<φthであれば、式12が収束したと判定する。
【0073】
このように、輪郭識別手段22は、従来の手法2を利用することで、背景BGと観察対象物2との境界Bがはっきりと区別できない場合でも境界Bを認識することができる。
(2-2)細胞の境界認識プログラム:手法3について
上記の手法2ではエネルギー関数に基づいて細胞の境界Bを認識することができるが、例えば非追跡細胞が視野中に侵入するだけで、非追跡細胞も追跡細胞だと誤認識してしまう場合がある。このような侵入問題を解決するために、本発明の実施形態に係る輪郭識別手段22では、前述の手法3を利用している。
【0074】
前述の手法2における内部エネルギー関数Einと外部エネルギー関数Eoutとして次のものを利用する。
【0075】
【数13】
JP0004614149B2_000014t.gif

【0076】
【数14】
JP0004614149B2_000015t.gif

式13におけるQは、Q=|S-S0|=|∫H(φ)dxdy-S0|(>0)である。
【0077】
また、式13におけるαとγ、式14におけるβは重みパラメータである。
【0078】
Sは領域Ω内の面積であり、S0は第一フレームで計算した輪郭Cで画される面積、若しくは予め測定しておいた単一細胞の面積の集団平均値を示す。
【0079】
Qは実際に得られたSとS0の差であり、Qが小さくなれば内部エネルギー関数Einは小さくなる。Qは、輪郭Cに依存する領域Ω内の面積を、単一細胞の平均値にする機能を持つ。
【0080】
式4,式13及び式14をオイラー・ラグランジェ方程式に対して最急降下法を用いることで、式3を下記のように表すことができる。
【0081】
【数15】
JP0004614149B2_000016t.gif

また、離散化することにより、式15は下記の式16のように表すことができる。
【0082】
【数16】
JP0004614149B2_000017t.gif

式16においてsign(Q)は以下の通りである。
【0083】
【数17】
JP0004614149B2_000018t.gif

連続する2つのイタレーション間でφの差が閾値φthよりも小さくなれば、つまりΣΣ|φm,n(xi,yj)-φm,n-1(xi,yj)|<φthであれば、式16が収束したと判定する。
【0084】
このようにして、本発明の実施形態に係る輪郭識別手段22によれば、一つの観察対象物2である単一細胞の境界Bを認識することができる。
【0085】
以上の構成は、従来の技術と同一乃至同等であり、本発明に実施形態に係る顕微鏡装置1では制御部20は、以下の『細胞の境界認識プログラム』として手法4及び手法5を備えていることに特徴がある。
(2-3)細胞の境界認識プログラム:手法4について
上記手法2及び手法3によれば、単一の細胞の境界Bを認識することができるが、例えば二つの細胞が衝突した場合に観察対象物2の細胞の輪郭Cを正確に認識できない、即ち衝突した他の細胞内まで含んで輪郭Cを認識してしまう場合がある。このような問題を解決するための手法4について説明する。
【0086】
この衝突問題を解決するために、本発明の実施形態では観察対象物2の輪郭Cの訂正(以下、変位補正と言う場合がある。)を行うことを特徴とする。変位補正とは、観察対象物2、即ち観察対象の細胞が他の細胞と衝突した場合に、観察対象物2の輪郭、具体的には背景等との境界Bが歪むが、その歪みを訂正することを意味する。
【0087】
このため、本発明の実施形態に係る制御部20では、図2に示すように、衝突判定手段23と、訂正手段24とを備えている。
【0088】
衝突判定手段23は、観察対象物2が非観察対象物と衝突したか否かを判別するものである。
【0089】
訂正手段24は、衝突判定手段23で観察対象物2が非観察対象物に衝突したと判定された場合に輪郭識別手段22で更新された観察対象物2の輪郭Cを訂正するものである。
(2-3—1)衝突判定手段23について
衝突判定手段23は、以下の衝突判定を行う。
【0090】
衝突判定は、式16に従い収束した関数φm,nが|S-S1|>Sthを満たしていたら、衝突が起こったと判定する。Sは領域Ω内の観察対象物2の面積であり、S1は第一フレームで収束したSである。Sthは衝突判定の閾値である。この処理で衝突を検出できる理由は、衝突が起こったときに、領域Ωが異物を含んで面積Sが増加するからである。
【0091】
このように衝突が検出できた場合に、変位補正を行う。
(2-3—2)訂正手段24について
訂正手段24は、以下の変位補正を行う。
【0092】
訂正手段24は、非観察対象物に衝突した時の観察対象物2の輪郭を、衝突前の観察対象物2の輪郭に訂正する。即ち、訂正手段24は、収束した関数φm,lastとその輪郭Cm,lastとを衝突前のフレームのものに置き換える。例えば、hフレーム前で収束した関数φm-h,last及びその輪郭Cm-h,lastを利用する。
【0093】
訂正手段24は、衝突前の観察対象物2の輪郭の重心を非観察対象物に衝突した時の観察対象物2の重心に重なるように、衝突した時の観察対象物2の輪郭を衝突前の当該観察対象物2の輪郭に訂正する。ここで、衝突した段階での、フレーム番号をmとして、利用するhフレーム前のフレーム番号を(m-h)とすると、訂正手段24は、輪郭Cm-h,lastの重心位置から衝突した段階での輪郭Cm,lastの重心位置まで当該輪郭Cm-h,lastを平行移動させ、それを衝突した段階での輪郭Cとみなし、関数φm-h,lastを衝突した段階での関数φとみなす。このように本実施形態では、観察対象物2が非観察対象物と衝突した場合には、例外処理として、衝突した段階で算出された関数φm,lastとその輪郭Cm,lastは利用しないことを特徴としている。
【0094】
図7(A)は、二つの細胞が衝突した状態を示しており、この図において左側の細胞が観察対象物2である。この観察対象物2である細胞に関し、顕微鏡装置1では、現在、破線で示すように、輪郭Cm,lastを認識している。この輪郭Cm,lastは、図に示すように、上部が衝突した他の細胞2*までに及んでいる。そこで、本実施形態では、hフレーム前に検出した輪郭Cm-h,lastを利用する。図においてhフレーム前の輪郭Cm-h,lastを実線で示している。本実施形態の訂正手段24は、図7(A)に示すhフレーム前の輪郭Cm-h,lastを、図7(A)に示す輪郭Cm-h,lastの重心の位置から現在検出している図7(A)の輪郭Cm,lastの重心の位置へ、図7(B)に示すように移動させる。このようにして、輪郭Cm,lastを訂正する。このときに、輪郭Cm,lastを数ピクセル小さくしてもよい。
【0095】
本発明の実施形態に係る輪郭識別手段22では、手法3のプログラムを実行することで、観察対象物2が非観察対象部2*に衝突した場合でも、観察対象物2の輪郭Cを正確に識別することができる。
(2-4)細胞の境界認識プログラム:手法5について
上記手法4によれば、細胞同士が衝突した場合でも単一の細胞の境界を正確に認識することができるが、例えば二つの細胞が衝突した後に分離した場合に二つの細胞のそれぞれの部分を纏めて一つの細胞として認識してしまう場合がある。このような問題、即ち分裂問題を解決するために、本発明の実施形態に係る制御部20は、「単一細胞の境界プログラム」として手法5を利用する。
【0096】
この分裂問題を解決するために、本発明の実施形態に係る輪郭識別手段22では、観察対象物2、即ち細胞における輪郭Cの個数は1個であることを前提として、計算処理(画像処理)によって本来一つの輪郭Cが例えば二つに分かれようとする場合にはそのような輪郭数への変更を規制し、輪郭数を二つに変更せずに本来の一つである状態を維持する。
【0097】
具体的には、本実施形態では、画像上の各座標、即ち各ピクセルの所定時間経過後における関数φの値における符号の変化をチェックし、符号が変わった場合にその点について、輪郭Cを二分することになる特異点であるかを判定する。そして、当該チェックした点が特異点であった場合、計算処理をそのまま進めてしまうと、輪郭Cが二つになってしまい、本来一つの細胞に関して一つの輪郭Cしか存在しないとの前提条件を崩してしまうので、このように輪郭Cを二つにする特異点が発生した場合には、当該特異点における関数φの値の変更を許可せず、例えば値の更新を行わなかったり、更新の程度を変更したり、或いは数フレーム前に計算した値を利用することを特徴としている。
【0098】
このため、本発明の実施形態に係る制御部20は、図2に示すように、分割判定手段25と、分割規制手段26と、を備えている。
【0099】
分割判定手段25は、観察対象物2の輪郭Cを更新する場合に観察対象物2の輪郭Cが複数に分割されるか判定するものである。
【0100】
分割規制手段26は、分割判定手段25で観察対象物2の輪郭Cが複数に分割されると判定される場合に、当該観察対象物2の輪郭Cが複数に分かれることを規制する。この場合、分割規制手段26は、輪郭識別手段22による輪郭Cの更新に代えて、一つの輪郭Cを成すように、即ち一つの輪郭を維持するように観察対象物2の輪郭Cを更新するものである。
【0101】
このように、本実施形態では、特異点の補正を行うことを特徴とする。
【0102】
なお、特異点とは輪郭Cを二つに分ける画像上のある点であり、特異点補正とは特異点の更新を行うと輪郭Cが二つになるので、二つの輪郭Cの発生を規制するために、特異点における値の更新を行わず、前の値をそのまま利用するか、更新の程度を変更するか、或いは、数フレーム前における値を利用するように、特異点における値を訂正することを意味する。
【0103】
この特異点補正は、符号判定、特異点判定を行った後に行われる。
(2-4—1)分割判定手段に25ついて
〔分割判定手段の概要〕
分割判定手段25は、上記の符号判定、特異点判定を行う。
【0104】
分割判定手段25は、符号判定及び特異点判定として、画面上の各画素にラベル値(関数φm,nの値)が割り当てられ、輪郭Cの内側における各画素のラベル値が正であり、輪郭Cの外側における各画素のラベル値が負であることを前提として(前述の式2参照)、輪郭C内において、ラベル値を更新するとそのラベル値が変わる画素を検出し、当該画素のラベル値を更新すると観察対象物2の輪郭Cが複数に分かれるか否か判定する。
【0105】
図8(A)において、破線は現在(lastの段階)のフレームで計算した輪郭Cm,lastを示し、黒丸は輪郭Cm,lastの内側の画素を、白丸は輪郭Cm,lastの外側の画素を示す。黒丸における関数φm,nの符号は正であり、白丸における関数φm,nの符号は負である(式2参照)。ここで、図8(B)に示すように、輪郭Cm,lastの内側にあった一つの画素における関数φm,nの符号を反転させる。具体的には、図8(B)における点αの画素の符号を変化させると、点αは関数φm,nの値が負になることから、輪郭の外側に属することになる。このとき、輪郭の形状が変化するが、輪郭自体の個数は変化しない。したがって、この点は特異点ではない。
【0106】
図8(C)に示すように、図8(A)において輪郭Cm,lastの内側にあった点βの画素の符号を正から負へ変化させると、点βの関数φm,nの値、即ちラベル値が変化し、輪郭自体の個数が一つから二つへ変化する。したがって、この点βが特異点である。
【0107】
このような特異点を抽出するために、本実施形態の分割判定手段では次のような処理を行う。
(2-4—1—1)分割判定手段25における符号判定について
分割判定手段25は、符号判定として、式16により関数φm,n(x,y)の符号が変化するか否かを判定する。関数φm,nの値、即ちラベル値を更新する。尚、画像上の全てのピクセル、即ち全ての画素(x,y)について行う。
【0108】
次に、関数φm,n(x,y)の符号が変化した点について、次の処理を行う。即ち、符号が変わった画素が特異点であるか判定(特異点判定)する。
【0109】
なお、関数φm,n(x,y)の符号を変化させない他の点(xi,yj)においては、式16に従った関数φm,n(x,y)の値の更新を行う。
(2-4—1—2)分割判定手段25における特異点判定について
分割判定手段25は、特異点判定として、画像上のあるピクセルの点、即ち座標(xi,yj)における関数φm,n(x,y)の符号変化が輪郭Cm,lastのトポロジー変化を起こすか否かを判断する。ここで、判断の説明のために、座標(xi,yj)におけるピクセル間の8近傍関係を表す座標系Zkを導入する。
【0110】
画像はM行N列の要素に区切られてなることを前提とすると、いま、特異点か否かの判定の対象であるピクセルを中心の要素をZ0とすると、その近傍の要素Z~Zは図9のように表わされる。要素Zk(k:1~8)の値もZkで表す。正数の集合{1,2,3,4,5,6,7,8}をS、集合{1,3,5,7}をS1で表す。各要素は0又は1の値をとるものとし、要素Z0が特異点となる必要十分条件は、Z0の連結数がNc(8)≠1を満たすことである(非特許文献7)。
【0111】
連結数は下記の式18,19として定義される。なお、kが8以上の場合、kを(1-k)と読み替える。
【0112】
【数18】
JP0004614149B2_000019t.gif

【0113】
【数19】
JP0004614149B2_000020t.gif

このように、画像上の各画素に対して式16を計算し、関数φm,n(x,y)の符号が変化した各画素に対して輪郭Cm,lastのトポロジー変化を起こす特異点であるか否かを判断する。そして、式18の計算結果がNc(8)≠1と判断されれば、図8(C)の点βのように、輪郭自体の数が変化し、トポロジー変化を起こす結果、点βは特異点と判断される。
(2-4—2)分割規制手段26について
分割規制手段26では、関数φm,n(x,y)の符号を変化させる座標(xi,yj)が特異点でない場合には式16に従って関数φm,n(xi,yj)の更新を行うが、座標(xi,yj)が特異点である場合には、式16に従った関数φm,n(xi,yj)の更新は行わない。この場合、輪郭識別手段22による輪郭Cの更新に代えて一つの輪郭数を成すように、分割規制手段26が、φm,n(xi,yj)=ε・sign[φm-1,n(xi,yj)]と更新する。即ち、当該判断対象の画素における、1フレーム前の関数φm-1,n(xi,yj)の値の符号を取り、その値に正の微少量であるεを積算したものに訂正する。
【0114】
なお、座標(xi,yj)が特異点である場合には、式16に従った関数φm,n(xi,yj)の変更を行わなくても良く、又はラベル値の符号が変わらない程度に当該ラベル値を変更する程度を変えても良い。
【0115】
このように式16による計算の結果、関数φm,n(xi,yj)の符号が変わる場合であって、その座標(xi,yj)が特異点であるときに、その関数φm,n(xi,yj)の符号を変更してしまうと、上記図8(C)に示すように輪郭Cが二つ生成されてしまう。そこで、本発明の実施形態に係る輪郭識別手段22によれば、分割判定手段25と分割規制手段26とを備えることで、同じ観察対象物2の輪郭Cは常に一つ、即ちトポロジカル的には一つの輪郭Cで画成されることから、当該特異点の更新を行わなず、本来であれば、一つの輪郭Cの内側の点とみなすように、特異点における関数φm,n(xi,yj)を例えば1フレーム前の関数φm-1,n(xi,yj)に訂正する。
【0116】
このように画像上の特異点を成すある座標(xi,yj)における関数φm,nの更新処理について、例外的に別の処理を行うことで、観測した時点で輪郭Cが二つ形成され得る場合であっても、当初一つの輪郭C中のある点、即ち特異点によって輪郭Cが二つになってしまうような事態の発生を防止し、観察対象物2である細胞の境界Bを単一に識別することができる。
【0117】
よって、観察対象の細胞の輪郭数を一つに維持することができる。これにより、一つの観察対象の細胞が他の細胞と衝突して、その後に他の細胞と分かれたとしても、当初の観察対象の細胞に追随するよう顕微鏡視野をトラッキングできる。
【0118】
以上の制御部はコンピュータから構成される。このコンピュータは、前もってインストールされたソフトウェアとしての輪郭識別プログラムを実行することで、上記の手法4及び手法5を実現する。具体的には、コンピュータが輪郭識別プログラムを実行することで、コンピュータが前述の衝突判定手段、訂正手段、分割判定手段、分割規制手段として機能する。
【0119】
なお、複数のコンピュータをLANによって接続して、衝突判定手段、訂正手段、分割判定手段、分割規制手段の動作を複数のパーソナルコンピュータによって分散処理させてもよい。コンピュータは、従来公知の構成のものを使用することができ、RAM,ROM,ハードディスクなどの記憶装置と、キーボード,ポインティング・デバイスなどの操作装置と、操作装置等からの指示により記憶装置に格納されたデータやソフトウェアを処理する中央処理装置(CPU)と、処理結果等を表示するディスプレイなどを備えている。このコンピュータは汎用の装置であっても、専用の装置として構成されたものであってもよい。
(3)制御部の動作
以上のように、本発明の実施形態に係る制御部20は構成されており、以下の図10に示すように、観察対象物2である細胞が非観察対象物2*に接していない状態では、前述の手法3によって細胞固体の輪郭Cを識別するが、観察対象物2の細胞が、非観察対象物2*に接した場合には、手法3の例外処理として手法4,5を行う。
【0120】
制御部20は、処理開始後に画像情報検出部16から取得した画像が第一画像であるか否か判定する(ステップS1)。画像情報検出部16からの画像が第一画像であるときにはパラメータを初期化(ステップS2)し、そうでないときにはパラメータを更新する(ステップS3)。
【0121】
制御部20の輪郭識別手段22が観察対象物2、即ち細胞の輪郭Cを計算する(ステップS4)。輪郭識別手段22は、前述の手法3に従って細胞の輪郭Cを計算する。
【0122】
細胞の輪郭Cを計算したら、分割判定手段25が特異点判定を行う(ステップS5)。具体的には、分割判定手段25は、当該輪郭C内の画素における関数φm,n(xi,yj)を更新し、符号が変わるか否かの符号判定を行い、符号が変わった座標(xi,yj)が特異点であるか否かを判定する。そこで、分割判定手段25は、当該座標(xi,yj)が特異点であると判断したときには、分割規制手段26が特異点の補正を行う(ステップS6)。具体的には、特異点における関数φm,n(xi,yj)の値を例えば変更を行わなくても良く、又はラベル値の符号が変わらない程度に当該ラベル値を変更する程度を変えるようにしても良い。
【0123】
輪郭識別手段22は式16の計算の値が収束したか否か判断する(ステップS7)。値が収束しない場合には、値が収束するまで前述のステップ4~7を繰り返す。
【0124】
次に、衝突判定手段23が、観察対象物2が非観察対象物と衝突したか否か判定する(ステップS8)。観察対象物2が非観察対象物と衝突していると衝突判定手段23によって判定された場合には、訂正手段24が、変位補正、即ち観察対象物2の輪郭Cを訂正する。
【0125】
そして、制御部20は観察対象物2である細胞の位置を計算し、当該細胞の重心が顕微鏡視野の中心に位置するように、ステージ3の位置を調整する(ステップS11)。
【0126】
制御部20は画像情報検出部16から取得した画像が最終画像か否か判断し(ステップS12)、最終画像になるまで、上記のステップS1~S11を繰り返す。
【0127】
このようにして、本発明によれば、画像情報検出部からの画像上の観察対象物2の輪郭Cを識別することができる。
(4)蛍光観察方法
本発明の顕微鏡装置1を用いた蛍光観察方法について説明する。
【0128】
観察対象物2には、蛍光試薬を担持または注入する。観察対象物2が細胞の場合には、Indo-1(AM体)のような蛍光試薬を使用し、適度な濃度で所定時間負荷すればよい。Indo-1(AM体)は蛍光Fを発しないが、微生物の細胞膜を通過する。
【0129】
細胞膜を通過したIndo-1(AM体)は、細胞内の酵素エステラーゼによって脱AM体に変化する。つまり、Indo-1(AM体)は、細胞膜を通過すると、蛍光Fを発するが細胞膜を通過できないIndo-1に変化する。Indo-1はCa2+イオンと結合した場合と解離した場合で異なる波長の蛍光Fを発する。
【0130】
結合と解離のそれぞれの状態にあるIndo-1の量は、Ca2+濃度によって変化する。つまり、Ca2+濃度の上昇に伴い、結合状態のIndo-1による蛍光Fは増え、逆に、解離状態のIndo-1による蛍光Fは減少する。この特性により、それぞれの波長における蛍光Fの強度を比較することで、Ca2+濃度を求めることができる。具体的には、顕微鏡装置1を用いた場合には、2波長蛍光観察像を波長ごとに分割し、各画素ごとに計算した蛍光強度比を、予め作成しておいた検量線に代入することで、Ca2+濃度を求めることができる。
【0131】
Ca2+イオンのみならず、顕微鏡装置1におけるフィルタ,ダイクロイックミラー,レンズ,ランプ等を交換することで、他のイオンや分子を対象とした蛍光色素を利用することも可能である。
【0132】
このように、本発明の実施形態に係る顕微鏡装置1によれば、制御部20の輪郭識別手段22が、観察対象物2である細胞の輪郭Cをトポロジカル的に捉えて常に一つに周縁として認識することができ、特に他の細胞や泡などの非観察対象物に衝突した場合でも観察対象物2の輪郭Cを明確に識別することができる。
【0133】
これにより、観察対象物2の細胞の輪郭を正確に認識することができる。よって、観察対象物である細胞の重心位置を正確に計算により求めることができる。したがって、観察対象物である細胞の重心が顕微鏡視野の中心に来るように、ステージの位置を調整することができる。
【0134】
このように、観察対象物である細胞を顕微鏡視野の中央に位置させることができるので、細胞が顕微鏡視野から外れることなく、蛍光観察を長時間に亘って行うことができる。
(5)並列計算処理について
図11は、本発明の実施形態に係る顕微鏡装置1における回路構成を示すブロック図であり、顕微鏡装置1は、画像情報検出部16と、演算部30と、コントローラ40と、を含む。
【0135】
画像情報検出部16は、各画素に対応した受光素子(PD:photo-detector)を備えている。このPDは128×128個設けられている。
【0136】
演算部30は、各画素に対応した演算素子からなるプログラム可能な演算素子(PE:processing elements)31と、1個の総和演算回路(SC:summation circuit)32を備えている。PEは128×128個設けられている。例えば、実装部30に本実施形態の手法4,5に係るプログラムは実装されている。
【0137】
コントローラ40は、画像情報検出部16と演算部30とに命令を送る。またコントローラ40は、PC(CPU: 3.00 GHz; RAM: 3.00 GHz)とつながっており、プログラムのダウンロード、プログラムのスタート、プログラムのストップ、画像の表示を行うことができる。PE、PD、SC、のビット数は全て8である。画像の輝度値とレベルセット関数はそれぞれ、unsigned 8 bit integerとsigned 16 bit integerで表現される。
【0138】
本実施形態の顕微鏡装置1として利用できるCPV(非特許文献1)は、最大フレームレートが1[kHz]であり、最大命令速度は12.5[MHz]である。
【0139】
PDアレイにある画像データは、PEアレイに、128本のA-D変換器35を通じて並列に転送される。PEアレイは画像の各画素において並列処理を行える。一つのPEは一つのPD及び4つの隣り合うPEと結合しており、ラプラス演算子∇2のような局所画像処理を行うことができる。SIMD(single instruction multiple data stream)型のプログラムが全てのPEに実装できる。SCは全てのPEと結合しており、IinとIoutのような画像全体に渡る画像処理を行うことができる。
【0140】
よって、式16における輪郭更新に関し、各画素についてはPEアレイで計算を行いつつ、IinとIoutのような画像全体に渡る計算についてはSCで行うことができる。
【0141】
よって、本実施形態では、計算量が少なく単純であるが効果的なプログラムと並列計算機の組み合わせによって、衝突問題を実時間で解決し、衝突問題に対する細胞追跡の頑健性(ロバスト性)を向上させることができる。
(6)実装法
前述の手法3~5をCPV(非特許文献1)に実装した。CPVへの手法3~5の実装法は以下の通りである。
手順1:CPVのカメラ部にある画像情報Iを、CPVの演算部に移動する。
手順2:第一フレームにおいて、φ1,1(xi,yj)=64-|I(i,j)-64|+|I(I,j)-64|, α=β=γ=λ1=λ2=m=n=1、h=4、φth=120, Sth=250, S0=0、ε=1.01と初期化する。第一フレーム以外においては、φm,1を前フレームで収束したφm-1,lastで初期化する。初期化の際、φm-1,last にsignをかけてもよい。第二フレームでは、S1を第1フレームで得られた総面積で、初期化する。
手順3: 式16を計算する。
手順4:符号判定と特異点判定と特異点補正を行う。
手順5:収束判定を行う。収束していれば、手順6に移る。収束していなければ、n = n + 1と更新し、手順3に戻る。
手順6:衝突判定と変位補正を行う。
手順7: 認識領域の重心位置を計算する。
手順8:認識領域の重心位置を視野の中心に移動させるために、電動XYZステージをPD制御する。
手順9:終了判定を行う。最終フレームであれば、終了する。最終フレームでなければ、手順1に戻る。
【実施例】
【0142】
(7-1)システム構成
以下、本発明の実施例をより詳細に説明する。
【0143】
光学系10としては、正立顕微鏡(オリンパス株式会社製、BX51)を使用した(図6B)。透過用光源となる透過用光源4は、ハロゲンランプを使用した。対物レンズ6は20倍のもの(N.A 0.75, UAPO, OLYMPUS)を用いた。透過光検知部16には、CPVのカメラ部を用いた。視野はX: 384 [μm], Y: 384 [μm] であった。CPVカメラ部での露光時間、つまり、サンプリング周期は1msとした。
【0144】
観察対象物2を載置する電動ステージ3は、XYZステージ(MR-J3-10A1, HEPHAIST, 可動範囲: X 80 [mm], Y 30 [mm] Z 4 [mm]、位置決め精度XY 2.5 [μm]、Z 1 [μm]、最大速度: 10 [mm/s]、ヒーハイスト精工) を用いた。
【0145】
制御部20は、リアルタイム基本ソフトウェア(以下、適宜にリアルタイムOSと呼ぶ)として、RT-Linuxを搭載したパーソナルコンピュータ21を用いた。
【0146】
CPVで撮像した画像を用いて境界認識を行った。得られた輪郭から、画像特徴量を得た。この画像特徴量を、制御部20のパーソナルコンピュータで読み出し、観察対象物2の重心を求めた。そして重心が視野中心に移動するようにXYZステージ3のモーター回転角の目標値を定め、XYZステージ3をPD制御した。また、観察対象物2の軌跡を再構成するためにXYZステージ3の変位情報をパーソナルコンピュータに記録した。
【0147】
観察対象物2は、ゾウリムシ(P. multimicronucleotum)とした。ゾウリムシの平均体長は約0.1[mm]、厚さ0.05[mm]、平均移動速度は1[mm/s]である。相対速度が10[体長/s]と非常に速いので、細胞追跡技術のベンチマークとなっている。ゾウリムシは、23℃で3日間培養したものを使用した。培養液は黄な粉を溶かしたミネラルウォーターを用いた。
【0148】
図12はゾウリムシが泳ぐ水槽50の模式図である。ゾウリムシが泳ぐ水槽50は、スライドガラス51の上に厚さ0.05mmのシリコンゴムシート52で15mm四方の枠を作り、カバーガラス53を被せてXYZステージ3に固定した(図12)。
【0149】
実験の開始時には、ゾウリムシも、泡も、枠も、ごみもないところで、ゾウリムシが視野に入ってくるのを待った。一匹のゾウリムシが視野に入ってきたと実験者が眼で確認した時点で、そのゾウリムシを追跡する細胞として決め、手動でトラッキングを開始した。
(7-2)追跡性能
衝突問題に対して手法3よりも、手法4がロバストかをゾウリムシの追跡実験で検証した。図13(A),(C),(E)は手法4をCPVに実装し、オンライントラッキングした実験結果を示す。図13(B),(D),(F)は、図13(A),(C),(E)の結果に対して、手法3を適用したらどうなるかを、MATLABを用いてオフラインでシミュレーションした結果を示す。追跡細胞が、図13(A),(B)では非追跡細胞と、図13(C),(D)では測定液中の泡と、図13(E),(F)では容器の枠と接触している。図13(A),(C),(E)では、同一の細胞のみを認識し続け、追跡が成功している。図13(B),(D),(F)では、非追跡物を追跡対象だと誤認識している。つまり、手法3を用いていたら、追跡が失敗していたことを示唆する。白線は、計算した輪郭Cを示す。
【0150】
分裂問題に対して手法4よりも、手法5がロバストかをゾウリムシの追跡実験で検証した。図14(A)は手法4をCPVに実装し、オンライントラッキングした実験結果を示す。図14(B)は図14(A)の結果に対して、手法5を適用したらどうなるかを、MATLABを用いてオフラインでシミュレーションした結果を示す。図14(A)では、非追跡物を追跡対象だと誤認識し、追跡が失敗している。図14(B)では、同一の細胞のみを認識し続けている。つまり、手法5を用いていたら、追跡が成功していたことを示唆する。白線は、計算した輪郭Cを示す。
(7-3)計算時間
手法4をCPVに実装しオンライントラッキングした結果において、各フレームで画像取得から境界認識までにかかった平均計算時間を調べた。第一フレームの平均計算時間は2.41msであった(n=14)。第二フレーム以降の平均計算時間は1.16msであった(n=10000)。収束までにかかったイタレーション数も調べた。第一フレームの平均イタレーション数は1.98回であった(n=14)。第二フレーム以降の平均イタレーション数は1.05回であった(n=10000)。第一フレームと比べて、第二フレーム以降の平均計算時間が少なくなった理由は、平均イタレーション数の減少である。平均イタレーション数の減少原因は、第一フレーム以外では、φm,1 を前フレームで収束したφm-1,lastで初期化した工夫であると予想される。1フレーム間でゾウリムシが動く距離が短い場合、収束までに必要な平均イタレーション数は、上記の工夫により減少する。
【0151】
一方、同じ手法4を、MATLABを用いてオフラインでシミュレーションした場合、第一フレームでの平均計算時間は665msであった(n=20)。第一フレーム以外の平均計算時間は56.7msであった(n=100)。第一フレームでの平均イタレーション数は13.2.回であった(n=20)。第一フレーム以外での平均イタレーション数は4.37回であった(n=100)。
【0152】
本実施例によって第一フレームの平均計算時間は1/276倍に減少した。また、第二フレーム以降の平均計算時間は1/48.9倍に減少した。第一フレームの平均イタレーション数は6.67倍に増えた。第二フレーム以降の平均イタレーション数は4.16倍に増えた。平均計算時間の減少幅よりも、平均イタレーション数の増加幅よりも小さいので、CPVへ実装することにより、一回のイタレーションにかかる計算時間の期待値は減少したと言える。
【0153】
本実施例により、画像取得から境界認識までの平均計算時間を、第一フレームでは276倍、第二フレーム以降では48.9倍早くすることができた。そして、境界認識を約1ms以内に終えることができた。1msの平均計算時間は、カメラの最大撮影速度1kHzを十分に生かす実時間処理であり、この数値の達成を持って1kHzの制御ループを回すことが初めて可能になった。
【0154】
本発明は発明の趣旨を逸脱することなく様々な形態で実施をすることができる。
例えば、以下のように本発明の顕微鏡装置並びにその輪郭識別プログラムは構成されてもよい。
(8-1)手法4について
手法4で、前記非観察対象物に衝突した状態時の前記観察対象物の輪郭の形状を、衝突前の当該観察対象物の輪郭の第1の形状情報を用いて訂正したが、前記非観察対象物に前記衝突した時の観察対象物の第2の形状情報を用いて訂正してもよい。例えば、第2の形状を数ピクセル小さくしたり、楕円に近付けたり、事前知識を基づいた形状に近付けたりしてよい。また、上記第1の形状情報と上記第2の形状情報との組み合わせを用いて訂正してもよい。例えば、上記第1の形状と上記第2の形状の重み付き平均をとってもよい。
【0155】
手法4で、前記非観察対象物に衝突した状態時の前記観察対象物の輪郭の位置を、前記非観察対象物に衝突した時の観察対象物の第2の位置情報を用いて訂正したが、衝突前の観察対象物の輪郭の第1の位置情報を用いて訂正してもよい。例えば、第1の位置に事前知識を基づいた運動モデルから予測される移動量を足した位置に、観察対象物の輪郭を置いてもよい。また、上記第1の位置情報と上記第2の位置情報との組み合わせを用いて訂正してもよい。例えば、第1の位置と第2の位置の重み付き平均をとってもよい。
(8-2)手法5について
手法5で、最近傍の要素を8つにしたが、周囲を取り囲む要素を4つとしてもよい。また、トポロジー変化の判定は連結数ではなく、オイラー数等を用いてもよい。また、トポロジー変化の判定を輪郭更新の前に行ったが、輪郭更新の後に行い、更新前後の画像を比較することでトポロジー変化の判定を行い、トポロジーが変化していた場合には、再計算する方法でもよい。
(8-3)輪郭識別のプログラムについて
輪郭識別は、手法3以外のプログラムを用いても良い。
【0156】
例えば、手法1,2のプログラム、その他の動的輪郭モデル(SNAKE, Geodesic Active Contours)、その他のレベルセット法等、コンピュータビジョン(テキスチャ解析、テンプレートマッチング等)、パターン認識(クラスタリング)等の手法で輪郭識別を行っても良い。
(8-4)カメラについて
カメラは1台だけではなく、複数台用いても良い。
(8-5)3次元制御について
境界認識後に、Depth From Diffraction,輝度値微分,輝度値の周波数解析等の処理を追加し、細胞のZ方向の情報を得て、3次元で制御を行っても良い。
(8-6) 衝突判定について
衝突判定は面積情報のみならず、輝度情報を用いてもよい。輪郭情報に基づいた任意の画像モーメント情報、及び画像モーメント情報の重み付き組み合わせを用いてもよい。また、これらの情報を用いて衝突判定と同時に、もしくは前後に、観察対象物2が非観察対象物に隠れてしまう隠れ(オクルージョン)の判定を行い、オクルージョンに対する対応を追加してもよい。
(8-7)変位補正について
変位補正における輪郭とレベルセット関数の移動は、2次元の平行移動だけでなく、任意の次元の移動、及び任意の軸に対する回転を追加してもよい。アフィン変換のみならず非アフィン変換を行ってもよい。また、その移動と輪郭更新の順序のスケジューリングを行っても良い。カルマンフィルターやパーティクルフィルタなどの枠組みで、細胞の運動モデルを用いた予測結果を利用してもよい。これらはとくに、オクルージョン時に有効である。
(8-8)計算処理について
計算の高速化を、並列計算機の変わりに、並列計算機と非並列計算機の組み合わせで行っても良い。計算機は、シングルプロセッサ,マルチプロセッサ,シングルコア,マルチコアのどれでもよい。また、Graphics Processing Unit (GPU)やビジョンチップ等の専用計算部と並列計算機もしくは非並列計算機の組み合わせで行っても良い。専用計算部は、GPUの他に、FPGA,DSP,ASIC,SoC system on a chip,SiP system in package等を用いても良い。本発明プログラムは、これらの計算機,専用計算部において、各画素毎もしくは、複数の画素毎計算することで、計算の高速性が保てることは勿論である。
(8-9)計算機とカメラとの関連について
本発明では、提案プログラムを並列計算機付き・高速カメラと組み合わせたが、並列計算機と高速カメラは分離していてもよい。
(8-10)輝度値の利用について
前記の手法1において、単一細胞の境界認識プログラムでは、面積を基調として単一の細胞の境界を認識したが、式13の計算において、面積の変わりに輝度値を利用してもよい。
【0157】
例えば、式13において、Q=|∫IH(φ)dxdy-S0|とする。
【0158】
ここでは、単一細胞の総光量は、顕微鏡視野中の位置と姿勢に拘わらず、一定と仮定する。
(8-11)制御部について
本発明を特許文献1,2で提案している顕微鏡装置等と組み合わせ、細胞追跡と同時に蛍光観察及び蛍光観察関連機器及びそれらのパラメータの自動制御を行っても良い。この場合、制御部20によって、蛍光観察の制御や蛍光画像の記録を行うことができる。制御部20はさらに、励起用光源5を制御するための第2光源制御部としての励起用光源制御部を備えて構成されてもよい。励起用光源制御部は、観察対象物2の透過光Tによる画像データに基づいて、励起光5Aにおける点滅や点灯時間を制御する機能を有している。また、励起光5Aの波長及び強度を選択して照射する機能を備えていてもよい。
【0159】
蛍光画像の記録や画像処理を行うために、蛍光画像情報検出部17からの検知出力が制御部20に入力される。
【0160】
さらに、顕微鏡装置1によれば、透過光画像から得られる観察対象物2の情報は、観察対象物2からの蛍光Fに比較して光量が多く、かつ、高速に記録されている。したがって、蛍光Fと同時に取得した透過光画像を、蛍光画像の解析処理に用いることで解析結果の時空間精度が向上する。
(8-12)蛍光画像の記録について
顕微鏡装置1では、透過光画像から得られる位置などの細胞情報と連動させて、蛍光画像情報検出部17の蛍光画像を記録することができる。つまり、蛍光Fが照射されている時間だけ蛍光画像を記録すればよい。したがって、観察対象物2が顕微鏡装置1の視野に入っていない時間の蛍光画像記録が不要となる。このため、蛍光画像記録のための演算時間や記憶装置の容量を減らすことができ、パーソナルコンピュータ21を有効利用することができる。無駄な蛍光画像記録をする必要がなくなるので、蛍光画像の解析時間も大幅に短縮することができる。
(8-13)その他の制御について
なお、電動ステージの制御はPID制御等の古典制御、最適制御,準最適制御等の現代制御、H∞制御,サンプル値制御,有限時間整定制御,適応制御等のポスト現代制御論、ニューラルネットワーク制御,ファジィ制御,遺伝的アルゴリズム制御等の知的制御に従って決定してもよい。
【0161】
カルマンフィルターやパーティクルフィルタなどの枠組みで、細胞の運動モデルを用いた予測結果を制御に併用してもよい。このことによって、観察対象物2が非観察対象物に隠れてしまう隠れ問題に対しても、観察対象物2の追跡がロバストになる。
(8-14)本発明の用途について
上記の説明では、本発明の顕微鏡装置が透過光観察及び蛍光観察を行うことができることを例示したが、本発明の輪郭識別プログラムは用途が顕微鏡に限られるものではない。
【0162】
本発明の輪郭識別プログラムは、試験,研究の分野に限らず、工業分野、産業分野等において、観察対象物を追尾するあらゆるシステムにおいて利用可能であることは勿論である。
(8-15)顕微鏡装置の構成について
上記の説明において、図1の顕微鏡装置の構成は例示である。
(8-16)観察対象物について
上記の説明において、ゾウリムシ,細胞は観察対象物の例示である。例えば、心臓、手、顔等の生物の一部を観察対象物とすることに加えて、人,動物,昆虫等の生物、雲,星の自然物、航空機,ロケット,弾丸等の人工飛行物、道路等の走行する車や車のナンバープレート等の人工走行物などを取り扱うことができる。
(8-17)画像について
本発明の輪郭識別プログラムで処理する画像は顕微鏡視野に限定されるものではない。本発明はビジュアルフィードバック制御を用いる装置と幅広く組みわせることが可能であり、顕微鏡制御装置はその一例である。また、本発明の輪郭識別プログラムが処理する画像は、輪郭識別プログラムが搭載される装置に備え付けのCCD等の画像情報検出部で取得されたものに限定されるものではなく、輪郭識別プログラムが搭載される装置とは別の、例えば別の場所に設置されたCCD等の画像情報検出部で取得された画像であってもよい。
(8-18)
画像の解像度の低さに対処するために、統計的な形状知識を利用してもよい。
(8-19)オフライン時の有用性について
本発明のプログラムは、オフラインの画像処理時にも有用である。例えば、ポストプロダクション、ビデオコーディング、ビデオインデクシングの分野において、画像内の対象物を輪郭識別及び追跡する場合にも有用である。
(8-20)位置以外の利用
本発明プログラムは、空間的な位置に限らず、行列表現される数値データに対して一般的に有用である。対象物に関連する物理量のみならず、非物理量に対しても有用である。例えば、被観察物が持つ物理学的特性あるいは化学的特性の内、特定の次元、あるいは特定の次元の組み合わせ、あるいは特定の次元の重み付き組み合わせで構築される次元上における被観察物の位置に対しても有用である。例えば、被観察物の空間的位置,速度,分布,種類,形状,イオン濃度,分子濃度,DNA発現量、mRNA発現量等の何れか又はこれらの組み合わせの時空間変化を表す計測結果もしくは数理モデルのシミュレーション結果において、それらの組み合わせ次元上における被観察物の内部状態の決定論的及び確率論的な時空間変化及び分布に対しても有用である。また、RGB(赤、緑、青),CMY(シアン、マゼンタ 、イエロー), HSV(色相、彩度、明度),HLS(色相、彩度、輝度)等の色空間、色空間とその他の次元との重み付き組み合わせで構築される次元上でも有用である。
【符号の説明】
【0163】
1:顕微鏡装置
2:観察対象物
3:XYまたはXYZステージ
4:照明用光源
5:励起用光源
5A:励起光
6:対物レンズ
7:結像レンズ(透過光用)
8,9:フィルタ
10:光学系
12:結像レンズ(蛍光用)
15:鏡筒部
16:画像情報検出部
17:蛍光画像情報検出部
18,19:第1及び第2のビームスプリッター(ダイクロイックミラー)
20:制御部
21:位置制御手段
22:輪郭識別手段
23:衝突判定手段
24:訂正手段
25:分割判定手段
26:分割規制手段
30:演算部
40:コントローラ
F:蛍光
T:透過光
C:輪郭
B:境界
SA:レベルセット関数φのゼロ等位面
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13