TOP > 国内特許検索 > ブレ測定システムおよびブレ測定方法 > 明細書

明細書 :ブレ測定システムおよびブレ測定方法

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4930927号 (P4930927)
登録日 平成24年2月24日(2012.2.24)
発行日 平成24年5月16日(2012.5.16)
発明の名称または考案の名称 ブレ測定システムおよびブレ測定方法
国際特許分類 H04N   5/232       (2006.01)
G03B   5/00        (2006.01)
FI H04N 5/232 Z
G03B 5/00 G
請求項の数または発明の数 12
全頁数 17
出願番号 特願2008-551020 (P2008-551020)
出願日 平成19年12月10日(2007.12.10)
国際出願番号 PCT/JP2007/073788
国際公開番号 WO2008/078537
国際公開日 平成20年7月3日(2008.7.3)
優先権出願番号 2006345239
優先日 平成18年12月22日(2006.12.22)
優先権主張国 日本国(JP)
審査請求日 平成21年7月3日(2009.7.3)
特許権者または実用新案権者 【識別番号】504133110
【氏名又は名称】国立大学法人電気通信大学
【識別番号】000201113
【氏名又は名称】船井電機株式会社
発明者または考案者 【氏名】西 一樹
【氏名】追田 真也
【氏名】政木 康生
個別代理人の代理人 【識別番号】110000626、【氏名又は名称】特許業務法人 英知国際特許事務所
審査官 【審査官】内田 勝久
参考文献・文献 特開2005-173507(JP,A)
特開2002-142146(JP,A)
特開2004-080664(JP,A)
調査した分野 H04N 5/222 ~ 5/257
G03B 5/00
特許請求の範囲 【請求項1】
区別可能な複数種類のテストパターンを順次に表示する表示手段と、
表示される前記複数種類のテストパターンをそれぞれテンプレートとして記憶する第一記憶手段と、
順次に表示される前記複数種類のテストパターンの内の2以上のテストパターンを撮影機で静止画像撮影してなる合成画像を記憶する第二記憶手段と、
前記第一記憶手段から前記複数種類のテンプレートを呼び出すとともに前記第二記憶手段から前記合成画像を呼び出し、呼び出された前記テンプレート毎に、そのテンプレートを前記合成画像に対し重ね合わせながら移動させて、前記合成画像から前記各テンプレートに一致する画像を認識するパターン認識手段とを具備し、
前記パターン認識手段による前記各テンプレートの移動方向及び移動量を、前記静止画像撮影の際の前記撮影機のブレ方向およびブレ量とし、このブレ方向およびブレ量を少なくとも2以上得るようにしたことを特徴とするブレ測定システム。
【請求項2】
上記複数種類のテストパターンの各々が、テストパターン間で実質的に互いに重なり合うことのない部分を有する図形であることを特徴とする請求項1記載のブレ測定システム。
【請求項3】
上記移動方向には、上記合成画像の平面上における垂直方向、水平方向、回転方向が含まれ、
上記移動量は、前記方向毎に検出されることを特徴とする請求項2記載のブレ測定システム。
【請求項4】
上記垂直方向の移動量、上記水平方向の移動量、上記回転方向の移動量を、それぞれ、上記撮影機におけるピッチ軸周りのブレ量、パン軸周りのブレ量、ロール軸周りのブレ量に換算するようにしたことを特徴とする請求項3記載のブレ測定システム。
【請求項5】
上記3つのブレ量を、上記テストパターンの表示順に配列して、ブレ軌跡を求めるようにしたことを特徴とする請求項4記載のブレ測定システム。
【請求項6】
上記各テストパターンが、平面的に表示される2以上の図形であることを特徴とする請求項5記載のブレ測定システム。
【請求項7】
上記移動方向及び上記移動量を、上記テストパターンの表示順に配列して、撮影機のブレ軌跡を求めるようにしたことを特徴とする請求項1記載のブレ測定システム。
【請求項8】
上記移動方向には、上記合成画像の平面上における垂直方向、水平方向、回転方向が含まれ、
上記移動量は、前記方向毎に検出されることを特徴とする請求項1記載のブレ測定システム。
【請求項9】
上記移動方向には、上記合成画像の平面上における垂直方向、水平方向、回転方向が含まれ、
上記移動量を前記方向毎に検出し、前記垂直方向の移動量、前記水平方向の移動量、前記回転方向の移動量を、それぞれ、上記撮影機におけるピッチ軸周りのブレ量、パン軸周りのブレ量、ロール軸周りのブレ量に換算するようにしたことを特徴とする請求項1記載のブレ測定システム。
【請求項10】
上記各テストパターンが、平面的に表示される2以上の図形であることを特徴とする請求項1記載のブレ測定システム。
【請求項11】
区別可能な複数種類のテストパターンをそれぞれテンプレートとして記憶する第一記憶手段と、
順次に表示される前記複数種類のテストパターンの内の2以上のテストパターンを撮影機で静止画像撮影してなる合成画像を記憶する第二記憶手段と、
前記第一記憶手段から前記複数種類のテンプレートを呼び出すとともに前記第二記憶手段から前記合成画像を呼び出し、呼び出された前記テンプレート毎に、そのテンプレートを前記合成画像に対し重ね合わせながら移動させて、前記合成画像から前記各テンプレートに一致する画像を認識するパターン認識手段とを具備し、
前記パターン認識手段による前記各テンプレートの移動方向及び移動量を、前記撮影機のブレ方向およびブレ量とし、このブレ方向およびブレ量を少なくとも2以上得るようにしたことを特徴とするブレ測定システム。
【請求項12】
表示手段が、区別可能な複数種類のテストパターンを順次に表示するステップと、
第一記憶手段が、表示される前記複数種類のテストパターンをそれぞれテンプレートとして記憶するステップと、
第二記憶手段が、前記テストパターンの内の2以上のテストパターンを撮影機で静止画像撮影してなる合成画像を記憶するステップと、
パターン認識手段が、前記第一記憶手段から前記複数種類のテンプレートを呼び出すとともに前記第二記憶手段から前記合成画像を呼び出し、呼び出された前記テンプレート毎に、そのテンプレートを前記合成画像に対し重ね合わせながら移動させて、前記合成画像から前記テンプレートに一致する画像を認識するステップとを含み、
前記パターン認識手段による前記各テンプレートの移動方向及び移動量を、前記撮影機のブレ方向およびブレ量とし、このブレ方向およびブレ量を少なくとも2以上得るようにしたブレ測定方法。
発明の詳細な説明 【技術分野】
【0001】
本発明は、デジタルカメラ等の撮影機やその他の光学機器のブレを測定するブレ測定システムおよびブレ測定方法に関するものである。
【背景技術】
【0002】
従来、デジタルカメラに具備されている手ブレ補正装置は、ジャイロセンサにより検出される加速度を積分することでブレ量を求め、このブレ量を相殺するように、レンズや、頂角プリズム、撮像素子等を変位させるようにしている。
このような手ブレ補正装置の一例として、特許文献1に開示された発明では、手ブレを検出する頂角センサ(43,44(ジャイロセンサ等))、光軸を変化させるように変形可能な可変頂角プリズム(41)、該可変頂角プリズム(41)を変形させるアクチュエーター(48,49)、該アクチュエーターへ駆動電圧を印加する制御回路などを具備し、前記頂角センサ(43,44)によって検出される信号に応じて前記アクチュエーター(48,49)により可変頂角プリズム(41)を変形させて光軸を変化させるようにしている。
【0003】
更に、同特許文献1には、光軸変化角度を検出するための受光手段(8(2次元ポジションセンサ))や、頂角センサ(43,44)の出力信号を検出する回路等を具備し、前記駆動電圧と光軸変化角度の関係、頂角検出センサ出力と光軸変化角度の関係等から、手ブレ補正装置の性能を評価するようにした発明が開示されている。
そこで、この発明を用いて、市販のデジタルカメラの手ブレを評価することが考えられるが、仮に、このようにした場合には、上記光軸変化角度を検出するための手段を、デジタルカメラ自体に付加するか、あるいはデジタルカメラに対し接続する必要があり、任意のデジタルカメラの手ブレ測定に適用するには困難であり、現実的でない。
その上、前記のような場合では、ジャイロセンサの取付け方向によって検出可能な手ブレの方向が制限されてしまう上、手ブレ方向および手ブレ量の時系列的な変化を観測するのは困難である。
【0004】
ところで、一般的に、スティルカメラで被写体を撮影した際に生じる手ブレには、パン(pan)軸(垂直軸)周りの回転運動となる手ブレ、ピッチ(pitch)軸(水平軸)周りの回転運動となる手ブレ、ロール(roll)軸(パン軸とピッチ軸の双方に直交する軸)周りの回転運動となる手ブレの3種類がある。なお、前記ピッチ(pitch)軸は、チルト(tilt)軸と呼称される場合もある。
これら3種類の手ブレは、シャッターボタンの位置や、カメラの形状、使用者の男女差、使用者がプロかアマか等、様々な条件によって異なるものと考えられる。
一般的な市販のデジタルカメラの手ブレ補正機能では、ピッチ軸とパン軸の2軸周りのブレ量のみを検出し補正しており、ロール軸(光軸)周りの手ブレについては、検出も補正もしていなかった(例えば、特許文献1の図9参照)。
なぜならば、ロール軸周りの手ブレを検出するためには、ジャイロセンサをデジタルカメラの厚み方向へ取付ける必要があり、このことがデジタルカメラの小型化および低コスト化を阻む一因になってしまうからである。
したがって、仮に、従来のデジタルカメラに対し、特許文献1における光軸変化角度を検出する手段を接続したとしても、ピッチ軸とパン軸の2軸周りの光軸変化角度が得られるのみであり、実際の手ブレ現象である3軸回転運動を検出するのは困難である。
【0005】
また、他の関連技術としては、例えば特許文献2に記載されたブレ補正測定装置がある。この従来技術では、光源(101)から投射されるレーザー光(L)を、ブレ補正機能を有する光学系(103)に通過させた後、スケール(106)に投影し、投影されたスケール上の像の移動量を測定することで、前記ブレ補正機能の性能を評価するようにしている。
この従来技術においても、得られるのは前記スケール(106)に投影される単一の点、もしくは二次元平面上の直線的な軌跡のみであり、実際の手ブレ現象に対応する3軸回転運動や、ブレ方向およびブレ量の時系列的な変化を検出することはできなかった。
【0006】
また、他の関連技術として、例えば特許文献3に記載されたカメラ揺れ補正方法および画像監視システムでは、監視カメラにより撮影された画像中の2フレームの一方を基準画像、他方を処理画像とし、前記基準画像から作成したテンプレートパターンを用いて前記処理画像のパターンマッチングを行い、カメラ揺れによる画像のずれの規則性を利用して特定のマッチング領域を選択し、その移動ベクトルからカメラ揺れ量を算出して画像ずれを補正するようにしている。
しかしながら、この従来技術では、監視カメラにより撮影された単一の任意の画像を基準画像とし、この基準画像から作成したテンプレートパターンを用いて前記処理画像のパターンマッチングを行おうとするものであり、このような構成により得られるカメラ揺れ量は、二次元平面上の直線的な軌跡のみであり、他の特許文献に記載された発明と同様に、スティルカメラの手ブレ現象に対応する3軸回転運動や、ブレ方向およびブレ量の時系列的な変化を検出することはできなかった。

【特許文献1】特許第3143527号公報
【特許文献2】特開2002-195815号公報
【特許文献3】特開平10-23322号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
本発明は上記従来事情に鑑みてなされたものであり、その課題とする処は、任意の撮影機に対し付加装置を必要とすることなく、撮影機のブレの変化を検出することができ、更には、撮影機の3軸周りのブレを検出することができるブレ測定システムおよびブレ測定方法を提供することにある。
【課題を解決するための手段】
【0008】
上記課題を解決するための技術的手段は、区別可能な複数種類のテストパターンを順次に表示する表示手段と、表示される前記複数種類のテストパターンをそれぞれテンプレートとして記憶する第一記憶手段と、順次に表示される前記複数種類のテストパターンの内の2以上のテストパターンを撮影機で静止画像撮影してなる合成画像を記憶する第二記憶手段と、前記第一記憶手段から前記複数種類のテンプレートを呼び出すとともに前記第二記憶手段から前記合成画像を呼び出し、呼び出された前記テンプレート毎に、そのテンプレートを前記合成画像に対し重ね合わせながら移動させて、前記合成画像から前記各テンプレートに一致する画像を認識するパターン認識手段とを具備し、前記パターン認識手段による前記各テンプレートの移動方向及び移動量を、前記静止画像撮影の際の前記撮影機のブレ方向およびブレ量とし、このブレ方向およびブレ量を少なくとも2以上得るようにしたことを特徴とする。
【0009】
なお、上記「区別可能な複数種類のテストパターン」とは、複数のテストパターンの内、任意のテストパターンを他のテストパターンと区別することができる構成であればよい。
したがって、この「区別可能な複数種類のテストパターン」には、任意のテストパターンが他のテストパターンに対し、色や、形状、位置、角度、模様、これらの組合せ等が異なるようにした構成を含む。
すなわち、上記複数種類のテストパターンは、仮に図形輪郭自身が同型であっても、その色や、形状、位置、角度、模様、これらの組み合わせ等が違うものであれば、パターンの機能は同様に扱える(異なるパターンとして扱える)ものである。
【0010】
また、上記撮影機とは、静止画像を記録可能なものであればよく、この撮影機には、一般的なスティルカメラや、デジタルカメラ等を含む。
更に、この撮影機には、一般的なデジタルビデオカメラを含む。すなわち、デジタルビデオカメラにおいて、1フレームの画像は静止画像である。
【0011】
また、上記テンプレートとは、上記各テストパターンの画像データが上記第一記憶手段に記憶された状態を意味する。
【0012】
また、上記パターン認識手段には、例えばパターンマッチング処理やテンプレートマッチング処理等の周知の画像処理を行う構成を含む。
【0013】
上記技術的手段によれば、順次に表示されるテストパターンの内の2以上のテストパターンを撮影機で静止画像撮影してなる1つの撮影画像は、撮影機のブレが、複数種類のテストパターンの変化情報として写し込まれた合成画像となる。
この合成画像から、各テンプレートに一致する画像をパターン認識すれば、このパターン認識の際の各テンプレートの移動方向および移動量が検出される。つまり、順次に表示された各テストパターンが、合成画像上においてどの方向へどれだけ移動したかが検出される。
テンプレート毎に検出される移動方向および移動量は、上記静止画像撮影の際の撮影機のブレ方向およびブレ量に対応する。
前記移動方向および移動量が少なくとも2以上得られれば、撮影機のブレ方向およびブレ量がどのように変化したのかを知ることができる。
【0014】
また、更なる技術的手段では、上記複数種類のテストパターンの各々が、テストパターン間で実質的に互いに重なり合うことのない部分を有する図形であることを特徴とする。
ここで、上記「上記複数種類のテストパターンの各々が、テストパターン間で実質的に互いに重なり合うことのない部分を有する」という構成は、上記複数種類のテストパターン内の任意のテストパターンとその他のテストパターンとが一部分で重なり合い他の部分では重なり合わないようにした態様としてもよいが、より好ましくは、上記複数種類のテストパターンの内の任意のテストパターンとその他のテストパターンとが完全に重なり合わないようにした態様とする。
なお、「互いに重なり合うことのない」とは、換言すれば、「互いに直交する」、あるいは「互いに干渉し合わない」と表現することができる。
前記技術的手段によれば、合成画像から各テンプレートに一致する画像をパターン認識する処理を、より容易に行うことができる。
すなわち、複数種類のテストパターンの内、任意のテストパターンとその他のテストパターンとは、少なくとも重なり合わない一部分を有する。そのため、合成画像から、前記任意のテストパターンに対応するテンプレートに一致する画像がパターン認識される際に、前記その他のテストパターンが誤認識されてしまうのを防ぐことができる。
【0015】
また、更なる技術的手段では、上記移動方向には、上記合成画像の平面上における垂直方向、水平方向、回転方向が含まれ、上記移動量は、前記方向毎に検出されることを特徴とする。
この技術的手段によれば、垂直方向と水平方向と回転方向との夫々に対応して、上記移動量が検出される。
【0016】
また、更なる技術的手段では、上記垂直方向の移動量、上記水平方向の移動量、上記回転方向の移動量を、それぞれ、上記撮影機におけるピッチ軸周りのブレ量、パン軸周りのブレ量、ロール軸周りのブレ量に換算するようにしたことを特徴とする。
この技術的手段によれば、撮影機における3軸(ピッチ軸、パン軸、ロール軸)周りのブレ量がそれぞれ検出される。すなわち、撮影機が実際にどの回転方向へブレたのかを知ることができる。
【0017】
また、更なる技術的手段では、上記3つのブレ量を、上記テストパターンの表示順に配列して、ブレ軌跡を求めるようにしたことを特徴とする。
この技術的手段によれば、上記3つの回転角が時系列順に配列されて、ブレ軌跡が求められる。よって、撮影機のブレが、時系列的にどのような軌跡で変化したのかを知ることができる。
【0018】
また、更なる技術的手段では、上記各テストパターンが、平面的に表示される2以上の図形であることを特徴とする。
ここで、上記「2以上の図形」の好ましい具体例としては、2つの点状図形や、3つの点状図形、4つ以上の点状図形等、複数の点状図形とされる。
また、この構成の他例としては、線や、3角形、多角形等の図形を複数配設した構成とすることも可能である。
前記技術的手段によれば、合成画像から各テストパターンをパターン認識する処理を、より容易に行うことができる。特に、各テストパターンにおける回転方向の移動量の検出が容易である。
【0019】
また、他の技術的手段では、上記移動方向及び上記移動量を、上記テストパターンの表示順に配列して、ブレ軌跡を求めるようにしたことを特徴とする。
この技術的手段によれば、各テンプレートの移動方向及び移動量を、そのままテンプレート表示順に配列するという簡易な処理により、撮影機のブレに対応して時系列的に変化するブレ軌跡を表現することができる。
【0020】
また、他の技術的手段では、区別可能な複数種類のテストパターンをそれぞれテンプレートとして記憶する第一記憶手段と、順次に表示される前記複数種類のテストパターンの内の2以上のテストパターンを撮影機で静止画像撮影してなる合成画像を記憶する第二記憶手段と、前記第一記憶手段から前記複数種類のテンプレートを呼び出すとともに前記第二記憶手段から前記合成画像を呼び出し、呼び出された前記テンプレート毎に、そのテンプレートを前記合成画像に対し重ね合わせながら移動させて、前記合成画像から前記各テンプレートに一致する画像を認識するパターン認識手段とを具備し、前記パターン認識手段による前記各テンプレートの移動方向及び移動量を、前記撮影機のブレ方向およびブレ量とし、このブレ方向およびブレ量を少なくとも2以上得るようにしたことを特徴とする。
【0021】
また、他の技術的手段であるブレ測定方法では、表示手段が、区別可能な複数種類のテストパターンを順次に表示するステップと、第一記憶手段が、表示される前記複数種類のテストパターンをそれぞれテンプレートとして記憶するステップと、
第二記憶手段が、前記テストパターンの内の2以上のテストパターンを撮影機で静止画像撮影してなる合成画像を記憶するステップと、パターン認識手段が、前記第一記憶手段から前記複数種類のテンプレートを呼び出すとともに前記第二記憶手段から前記合成画像を呼び出し、呼び出された前記テンプレート毎に、そのテンプレートを前記合成画像に対し重ね合わせながら移動させて、前記合成画像から前記テンプレートに一致する画像を認識するステップとを含み、前記パターン認識手段による前記各テンプレートの移動方向及び移動量を、前記撮影機のブレ方向およびブレ量とし、このブレ方向およびブレ量を少なくとも2以上得るようにした。
【発明の効果】
【0022】
本発明は、以上説明したように構成されているので、以下に記載されるような作用効果を奏する。
本発明によれば、撮影機に特別な付加装置を必要とすることなく、実際の撮影環境下で、撮影機や使用者の相違に拘わらずに、任意の撮影機のブレを容易に検出することができる。
しかも、複数の移動方向及び移動量データから、撮影機のブレの変化を検出することができる。
更に、撮影機の3軸ブレ方向に対応するように各テンプレートの移動方向毎に移動量を検出すれば、撮影機の3軸周りのブレが時系列的にどのように変化したのかを知ることができる。
また、複数のテストパターンの表示間隔の設定により測定分解能を容易に可変することができる。すなわち、例えば、テストパターンの表示間隔を狭くすれば、撮影機のシャッタースピード(シャッター開放時間)内で検出される移動方向毎の移動量のデータ数が多くなり、測定分解能が向上する。テストパターンの表示間隔を広くした場合には、その逆に測定分解能が低下する。
【0023】
ひいては、複数の撮影機に対し、手ブレの度合いや手ブレ補正性能の比較を行ったり、撮影機形状の違いによる手ブレ傾向を把握したり、あるいは、使用者の個人差による手ブレ傾向を把握したりすることができ、更には、前記のような手ブレの評価をフィードバックして、シャッターボタンの位置や形状の検討、撮影機本体の形状の検討、手ブレ補正装置の機能や構造の検討等、より手ブレに強い撮影機の開発に資することができる。
【発明を実施するための最良の形態】
【0024】
以下、本発明の実施の形態を図面に基づいて説明する。
図1は、本発明に係わるブレ測定システムの一例を示すブロック図である。
このブレ測定システム1は、種類の異なる複数のテストパターンP1~Pnを順次に表示するテストパターン表示部10(表示手段)と、これらテストパターンP1~Pnの内の2以上のテストパターンを撮影機2で静止画像撮影することにより構成される合成画像d(図2及び図3参照)中から、前記テストパターンP1~Pnの各々と一致する画像をパターン認識するとともに、このパターン認識の際に各テストパターンの移動方向毎の相対移動量を検出する演算処理部20とを備えている。
【0025】
テストパターン表示部10は、CPU、記憶装置、入出力装置等を具備した一般的なコンピュータ11、該コンピュータ11を機能させるためのプログラム、該コンピュータ11による処理結果を表示するための表示装置12等により構成される。
【0026】
コンピュータ11は、テストパターン生成器11aによって生成されたテストパターンP1~Pnを、その順序データと共に画像メモリ11bに記憶し、更に、該画像メモリ11bに記憶されたたテストパターンP1~Pnを、ビデオグラフィックアダプタ11c(所謂ビデオカード等)を介して、順次に出力する。
【0027】
テストパターン生成器11aは、例えば図3に示すテストパターンP1~Pnを生成するプログラムである。
このテストパターン生成器11aは、前記多数の点状図形bの位置を計算式により求めてテストパターンP1~Pnを順次に生成し出力するプログラムとしてもよいし、予め人為的に作成されて記憶されたテストパターンP1~Pnを順次に出力するプログラムとしてもよい。
【0028】
テストパターンP1~Pnの各々は、平面上に表示される2以上の図形であり、図3に示す好ましい一例によれば、後述する表示装置12の画面の中央側に表示される略正方形状の基準枠aと、同表示装置12の画面中の前記基準枠a内に分散して表示される多数の点状図形bとからなる。
テストパターンP1~Pn中、任意のテストパターンにおける各点状図形bは、他のテストパターンにおける多数の点状図形bと重なり合うことがないように(換言すれば異なる座標位置となるように)、その座標が決められている。
【0029】
また、表示装置12は、図示例によればコンピュータ用ディスプレイ装置であり、ビデオグラフィックアダプタ11cを介して出力されたテストパターンP1~Pnを、画面上に順次に表示する。
【0030】
テストパターンP1~Pnを切り替える速度は、撮影機2のシャッタースピード(シャッター開放時間)よりも速くすることで、テストパターンP1~Pnの内の少なくとも2以上のテストパターンが、撮影機2によって静止画像撮影されるようにしている。
本実施の形態の好ましい一例によれば、テストパターンP1~Pnの各々を1フレームとした動画像を作成し、この動画像を表示装置12に表示するようにしている。したがって、テストパターンP1~Pnの切り替え速度は、前記動画像のフレームレート(例えば60fps)により決定された速度(例えば1/60秒)となる。
【0031】
テストパターンP1~Pnの数は、少なくとも撮影機2の最大シャッタースピード(最大シャッター開放時間)中に表示可能な枚数よりも多くしている。
更に好ましくは、撮影機2のシャッター開放時間中に、テストパターンP1~Pnの表示が終了してしまわないように、これらテストパターンP1~Pnを無限ループ状に表示する。
なお、他例としては、前記表示可能な枚数よりも少ないテストパターンP1~Pnが無限ループ状に表示されるようにすることも可能である。
【0032】
したがって、表示装置12に高速に切り替えられて表示される画像は、視覚的には、複数のテストパターンP1~Pnの基準枠aおよび点状図形bが、合成されて映し出された1枚の被写体c(図2参照)として認識される。
【0033】
また、撮影機2は、手ブレ補正機能を有する一般的な市販のデジタルカメラである。
この撮影機2によって上記被写体cを撮影した画像は、該撮影機2のシャッタースピード(シャッター開放時間)内で、テストパターンP1~Pnの内の何れか2以上を撮影した合成画像d(図2及び図3参照)となる。
【0034】
前記撮影機2による撮影の際、撮影機2が被験者の手で保持されていると、一般的には、図2に示すように、パン(pan)軸(垂直軸)周りの回転運動となる手ブレ、ピッチ(pitch、もしくはtiltとも称する)軸(水平軸)周りの回転運動となる手ブレ、ロール(roll)軸(パン軸とピッチ軸の双方に直交する軸)周りの回転運動となる手ブレの3種類の手ブレを生じることになる。
したがって、前記合成画像dには、テストパターンP1~Pnの内の撮影されたテストパターン中における基準枠a及び点状図形bが、撮影機2の3軸周りの手ブレによって垂直方向、水平方向、回転方向へ微動し、図2に示す基準枠a’及び点状図形b’として写し出される。
【0035】
また、演算処理部20は、テストパターン表示部10と略同様に、CPU、記憶装置、入出力装置等を具備した一般的なコンピュータと、該コンピュータを機能させるためのプログラムによって構成されている。
この演算処理部20は、撮影機2によって撮影された合成画像dを記憶する画像メモリ21(第二記憶手段)、テストパターン表示部10から転送されたテストパターンP1~Pnのコピーを、その表示順序の情報と共に後述するテンプレートとして記憶する画像メモリ22(第一記憶手段)、画像メモリ21に記憶された合成画像dについてパターン認識等の処理を行うパターン認識処理部23(パターン認識手段)、該パターン認識処理部23の処理結果を撮影機2の3軸回転角に変換する3軸回転角算出部24、更に前記3軸回転角をテストパターンP1~Pnの表示順に配列することでブレ軌跡を求めるブレ軌跡計算部25等を具備している。
【0036】
パターン認識処理部23は、所謂パターンマッチング処理やテンプレートマッチング処理等と呼称される周知の画像処理を行うためのプログラムである。
また、3軸回転角算出部24は、パターン認識処理部23により求められた垂直、水平方、回転方向毎の各テストパターンの移動量を、撮影機2の3軸周りの回転角に変換するためのプログラムである。
そして、ブレ軌跡計算部25は、前記3種類の回転角を上記静止画像撮影の際の時系列順に配列してブレ軌跡を求めるためのプログラムである。
これらプログラムによる処理については、図5に示すフローチャート(図5参照)に基づき、以下に詳述する。
【0037】
図5のフローチャートは、演算処理部20が合成画像dを処理する手順を示すものである。
先ず、図中、ステップ1によれば、演算処理部20は、撮影機2から転送される合成画像dを画像メモリ21に記憶する。
【0038】
次に、ステップ2では、画像メモリ21に記憶された合成画像dの大きさに応じて、パターン認識に用いるテンプレートの大きさが調整される。
ここで、テンプレートとは、テストパターン表示部10から演算処理部20の画像メモリ22へ転送されたテストパターンP1~Pnのコピーである。そして、このテンプレートは、パターン認識の際に、合成画像dの平面上における垂直方向、水平方向、回転方向へ所定刻み分ずつ移動する。
このテンプレートの大きさの調整は、例えば、画像メモリ22に記憶されたテストパターンP1~Pnの基準枠aの大きさと、画像メモリ21に記憶された合成画像d中の基準枠a’の大きさとを一致させればよい。
【0039】
そして、ステップ3では、テストパターンP1~Pnの一つに対応するテンプレート中の基準枠a及び点状図形bと、合成画像d中の基準枠a’及び点状図形b’との合致度を計算する。この合致度とは、前記テンプレートと合成画像dとを重ね合わせたときに、図形同士が一致する度合いを数値的に表したものである。
なお、このステップ3で最初に用いられるテンプレートは、例えば、テストパターンP1~Pn中において順番が先のものとすればよいが、他の任意のテンプレートとすることも可能である。
【0040】
次に、ステップ4aでは、前記一つのテンプレートについて、所定の水平移動量に達したか否かが判断され、達した場合には次のステップ5aへ処理を移行しそうでなければステップ4bへ処理を移行する。
ステップ4bでは、前記テンプレートを一定刻み幅分だけ水平移動して、上記ステップ3へ処理を戻す。
【0041】
ステップ5aでは、前記一つのテンプレートについて、所定の垂直移動量に達したか否かが判断され、達した場合には次のステップ6aへ処理を移行し、そうでなければステップ5bへ処理を移行する。
ステップ5bでは、前記テンプレートを一定刻み幅分だけ垂直移動して、上記ステップ3へ処理を戻す。
【0042】
ステップ6aでは、前記一つのテンプレートについて、所定の回転移動量に達したか否かが判断され、達した場合には次のステップ7aへ処理を移行し、そうでなければステップ6bへ処理を移行する。
前記回転移動の際、その中心は、例えば、各テストパターンを構成する基準枠aの中心とすればよい。
ステップ6bでは、前記テンプレートを一定刻み角度分だけ回転移動して、上記ステップ3へ処理を戻す。
【0043】
すなわち、上記ステップ4a~6bによれば、テストパターンP1~Pn中の一つに対応するテンプレートを、水平・垂直・回転方向にそれぞれ一定の刻みで移動もしくは回転させながら、該テンプレート中の図形と合成画像d中の図形との合致度をその都度計算する。
【0044】
次に、ステップ7aでは、所定の移動量・回転量まで与えて計算された一連の合致度に対して,最大となる値が基準値以上か否かを判断し、基準値以上と判断した場合には次のステップ8へ処理を移行し、そうでなければステップ7bへ処理を移行する。
ステップ7bでは、合致度の最大値が基準値よりも小さいことから、当該テンプレート中の図形が合成画像d中に含まれていないと判断し、当該テンプレートを、他のテンプレート(すなわちテストパターンP1~Pn中のまだパターン認識に用いていないテンプレート)に交換し、上記ステップ2へ処理を戻す。
【0045】
また、ステップ8では、上記ステップ7aで合致度の最大値が基準値以上と判断されたテンプレートについて、その合致度が最大となった時の移動方向毎の移動量を読み取り、次のステップ9へ処理を移行する。
より詳細に説明すれば、このステップ8では、テンプレートの移動方向(水平、垂直、回転方向)毎に、前記合致度が最大になった時点のテンプレートについて、全く移動する前の時点の同テンプレートの位置に対する相対的な移動量を検出する。
【0046】
ステップ9では、前記ステップ8で読み取られた水平移動量・垂直移動量・回転量の各々を、図4に示す計算式に基づき、撮影機2の3軸周りの回転角に換算する。
より詳細に説明すれば、図4に示す水平移動量aを表示装置12から撮影機2までの距離Lで除した数値は、距離Lを底辺とし水平移動量aを垂線とする正接関数tanθpanで表せる。ここで、θは微小量であるので、θpan≒tanθpanより、撮影機2のパン軸周りの回転角θpanは略a/Lとなる。
同様にして、垂直移動量bを前記距離Lで除した数値は正接関数tanθpitchであるから、撮影機2のピッチ軸周りの回転角θpitchは略b/Lとなる。
また、撮影機2のロール軸周りの回転角θrollは、上記ステップ8で読み取られた回転角がそのまま用いられる。
なお、他例としては、θpanとθpitchを、それぞれ、tanθpanの逆関数、tanθpitchの逆関数から求めることも可能である。
【0047】
上記ステップ9によれば、上記距離Lの調整により、撮影機2を保持する被験者や、撮影機2の機種等によるブレ量の大小に応じて、θpan、θpitch、およびθrollの測定感度を適宜に設定することが可能である。
すなわち、例えば、前記ブレ量が比較的小さい場合には、撮影機2のズーム機能により合成画像d上の基準枠a’及び点状図形b’の大きさを略一定に保つようにして、撮影機2を表示装置12から遠ざけて距離Lを長くすれば(望遠撮影状態)、撮影機2のブレが合成画像d上に比較的大きく反映されるため、測定感度を高くすることができる。
また、例えば、前記ブレ量が比較的大きい場合には、撮影機2のズーム機能により合成画像d上の基準枠a’及び点状図形b’の大きさを略一定に保つようにして、撮影機2を表示装置12に近づけて距離Lを短くすれば、撮影機2のブレが合成画像d上に比較的小さく反映されるため、測定感度を低くすることができる。
【0048】
次に、ステップ10では、テストパターンP1~Pnに対応する全てのテンプレートについて、上記ステップ7a(合致度の最大値が基準値以上か否かの判断)を行ったかが判断され、全てのテンプレートについて完了していれば次のステップ11へ処理を進め、そうでなければステップ7bへ処理を移行する。
【0049】
ステップ11では、θpan、θpitch、θrollの3つの回転角を、撮影機2による静止画像撮影の際の時系列順に配列することで、撮影機2のブレ軌跡が求められ、演算処理部20による処理を終了する。
より具体的に説明すれば、テストパターンP1~Pn毎のθpan、θpitch、θrollの3つの回転角は、テストパターン表示部10によるテストパターンの表示順(静止画像撮影の際の時系列順)に、例えば図8に示す3次元グラフ上にプロットされ、この3次元グラフが図示しないディスプレイやプリンター等に出力される。したがって、撮影機2のブレ軌跡が、前記三次元グラフ上のポイントの軌跡として表現されることになる。
【0050】
次に、上述したブレ測定システムを用いた実験例について説明する。
図6は、多数の点状図形を分散させることで構成された1つのテストパターンPxを、10度ずつ回転させることで、合計9つのテストパターンを作成し、これら9つのテストパターンの各々を1フレームとした動画像を作成し、この動画像を、フレームレート60fpsで表示装置12に表示し、この表示されたテストパターンを、シャッタースピード(シャッター開口時間)を約1/10秒に設定した撮影機2によって撮影し、合成画像d’を得るようにしている。したがって、合成画像d’には、前記9つのテストパターンの内の6~7枚が写し出されることになる。
なお、図6に示す一例では、撮影機2にブレを生じないように、該撮影機2を三脚固定した場合の合成画像d’を示している。
【0051】
次に、図7では、図6に示したブレ測定システムにおいて、表示装置12上の9つのテストパターンを、垂直、水平、回転方向へ所定量シフトさせながら、その表示画像を三脚固定された撮影機2によって撮影した結果を示している。すなわち、撮影機2にブレを生じさせるのと同等のシミュレーションを行ったものである。
図7中、符号d’は撮影機2によって撮影された合成画像である。
また、同図中、符号Tは、9つのテストパターンの内、パターン認識により合致度の最大値が基準以上となったテストパターンを表示した画像である。
同図中、符号Td’は、両者を重ね合わせた画像である。
同図中の表に示すように、本実験によれば、垂直および水平方向のシフトについては±0.1pixel、回転方向のシフトについて±0.01度の精度が確認できた。
【0052】
また、図8では、図6に示したブレ測定システムを用い、実際に被験者が手で撮影機2を保持し、手ブレ量および手ブレ軌跡を検出した結果を示している。
図8中の3次元グラフは、撮影機2の3軸(パン軸、ピッチ軸、ロール軸)周りの回転角について直交する三つの座標とし、これら座標上に各軸周りの回転角データを時系列順にプロットしたものである。したがって、このグラフより、撮影機2の3軸周りのブレが、時系列的にどのように変化したのかを知ることができる。
【0053】
また、図9は、図6に示したブレ測定システムにより測定されたデータについて、被験者の違いと手ブレ量との関係を示しており、上表は撮影機2の手ブレ補正機能をOFFにした場合のデータを示し、下表は撮影機2の手ブレ補正機能をONにした場合のデータを示す。
図9中の上下表の比較より、撮影機2の手ブレ補正機能によりピッチ(tillt)・パン軸に関して1/3から1/2程度の手ブレ量が軽減されるのに対して、ロール軸に関しては殆ど手ブレ量の軽減効果がないことがわかる。
また、図10は、図6に示したブレ測定システムにより測定されたデータについて、被験者の違いと手ブレ量との関係を示しており、上表は撮影機の手ブレ補正機能をOFFにした場合のデータを示し、下表は撮影機の手ブレ補正機能をONにした場合のデータを示す。
この図10中の上下表の比較からも、撮影機2の手ブレ補正機能によりピッチ(tillt)・パン軸に関しては手ブレ軌跡の長さが短縮されているのに対して、ロール軸に関しては手ブレ軌跡の長さを短縮する効果が殆どないことがわかる。
図9及び図10に示される上下表の比較結果は、撮影機2が一般に市販されているデジタルカメラであり、ロール軸周りの手ブレを補正する機能を有していないことに起因している。
【0054】
また、図11と図12は、図6に示したブレ測定システムにより検出されたデータについて、撮影機2の機種の違いとブレ量の関係(図11)と、撮影機2の機種の違いと手ブレ軌跡の長さとの関係(図12)を、手ブレ補正OFFの場合(上表)、手ブレ補正ONの場合(下表)を、それぞれ示している。
これら図11及び図12中の表より、撮影機2の機種の違いによって手ブレ補正能力に差が生じていることがわかる。
【0055】
なお、上述した構成によれば、撮影機2は一般に市販されている手ブレ補正機能を有するデジタルカメラとしたが、この撮影機2の他例としては、手ブレ補正機能を具備しないデジタルカメラであってもよいし、ビデオカメラで静止画撮影機能を使用したものであってもよい。更に、ビデオカメラで動画撮影した画像の1フレーム(静止画像)を上記合成画像d(又はd’)として用いるようにすることも可能である。
【0056】
また、テストパターン表示部10は、上述した態様に限定されるものでなく、例えば、多数のLEDを点滅させて、上記テストパターンP1~Pnが順次に表示されるようにしてもよい。この構成によれば、一般的にLEDの応答速度が液晶ディスプレイよりも速いことから、テストパターンP1~Pnの切り替え速度をより高速化して、測定分解能を向上することができる。
また、上記テストパターンP1~Pnを機械的手段によって移動もしくは回転させることにより、これらテストパターンP1~Pnが見かけ上で高速に切り替わるようにすることも可能である。
また、上記テストパターンP1は、平面上に表示する例に限らず、奥行き方向にも広がるパターン(空間配置したLEDなどでパターンを平面的に形成するもの)であっても良い。
【0057】
また、上記実施の形態によれば、演算処理部20によって撮影機2の3軸周りの回転角を求める構成としているが、より簡素化した構成としては、3軸回転角算出部24を省き、パターン認識処理部23でのパターン認識の際に検出された各テンプレートの移動方向および移動量を、そのまま撮影機2のブレに対応する値として用いて時系列順に配列することで、ブレ軌跡を求めるようにしてもよい。
【0058】
また、上記実施の形態によれば、複数のテストパターンP1~Pnを互いに重なり合うことのない部分を有する異なる図形とすることで、合成画像dからブレ移動後の各テストパターンを認識し易くしているが、他例としては、テストパターンP1~Pnをそれぞれ異なる色の図形とし、この色情報によって、合成画像dからブレ移動後の各テストパターンを認識することも可能である。
【0059】
また、上記実施の形態は、テストパターン表示部10と演算処理部20を別体のコンピュータを用いて構成した一例を示しているが、これらテストパターン表示部10を同一のコンピュータもしくは三以上のコンピュータを用いて構成することも可能である。
更に、上記テストパターン生成器11a、パターン認識処理部23、3軸回転角算出部24、およびブレ軌跡計算部25の一部または全部は、プログラムとして記録されたコンピュータ読み取り可能な記録媒体とすることが可能である。
【0060】
また、本発明のブレ測定システムおよびブレ測定方法は、上記実施の形態によれば撮影機2の手ブレの測定に係る発明ではあるが、単に撮影機2の手ブレ測定のみでなく、通常の撮影機による動画撮影や静止画連写撮影などにおける撮像フレームレートでは速すぎて観測できない(追いきれない)各種振動計測・画像解析のためにもその原理が応用できる。
【図面の簡単な説明】
【0061】
【図1】本発明に係わるブレ測定システムの一例を示すブロック図である。
【図2】同ブレ測定システムにおいて、順次に表示されるテストパターンを静止画像撮影機で撮影して合成画像を構成する概念を示す説明図である。
【図3】同ブレ測定システムにおいて、撮影された合成画像から各テストパターンをパターン認識する概念を示す説明図である。
【図4】同ブレ測定システムにおいて、移動方向成分毎の移動量を、静止画像撮影機の回転角に換算する概念を示す説明図である。
【図5】同ブレ測定システムの手順を示すフローチャートである。
【図6】本発明に係わるブレ測定システムを具体的に実施した実験例を示す説明図である。
【図7】同ブレ測定システムにより実験的に検出精度を求めた結果を示す説明図である。
【図8】同ブレ測定システムによりブレ軌跡を求めた結果を示す説明図である。
【図9】同ブレ測定システムによって検出されたデータについて、被験者の違いとブレ量の関係を示す表であり、上表は撮影機の手ブレ補正機能をOFFにした場合のデータを示し、下表は撮影機の手ブレ補正機能をONにした場合のデータを示す。
【図10】同ブレ測定システムによって検出されたデータについて、被験者の違いとブレ軌跡長の関係を示す表であり、上表は撮影機の手ブレ補正機能をOFFにした場合のデータを示し、下表は撮影機の手ブレ補正機能をONにした場合のデータを示す。
【図11】同ブレ測定システムによって検出されたデータについて、撮影機の機種の違いとブレ量の関係を示す表であり、上表は撮影機の手ブレ補正機能をOFFにした場合のデータを示し、下表は撮影機の手ブレ補正機能をONにした場合のデータを示す。
【図12】同ブレ測定システムによって検出されたデータについて、撮影機の機種の違いとブレ軌跡長の関係を示す表であり、上表は撮影機の手ブレ補正機能をOFFにした場合のデータを示し、下表は撮影機の手ブレ補正機能をONにした場合のデータを示す。
【符号の説明】
【0062】
1:ブレ測定システム
2:撮影機
10:テストパターン表示部(表示手段)
20:演算処理部
21:画像メモリ(第二記憶手段)
22:画像メモリ(第一記憶手段)
23:パターン認識処理部(パターン認識手段)
P1~Pn,Px:テストパターン
a,a’:基準枠
b,b’:点状図形
c:被写体
d,d’:合成画像
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11