Top > Search of Japanese Patents > OPTICAL INSTRUMENT > Specification

Specification :(In Japanese)光学機器

Country (In Japanese)日本国特許庁(JP)
Gazette (In Japanese)特許公報(B1)
Patent Number P6080991
Date of registration Jan 27, 2017
Date of issue Feb 15, 2017
Title of the invention, or title of the device (In Japanese)光学機器
IPC (International Patent Classification) G02B   7/08        (2006.01)
G02B   7/28        (2006.01)
H04N   5/232       (2006.01)
H04N   5/225       (2006.01)
G03B  15/00        (2006.01)
G03B  17/00        (2006.01)
G03B  17/02        (2006.01)
G03B   5/00        (2006.01)
FI (File Index) G02B 7/08 C
G02B 7/28 H
H04N 5/232 A
H04N 5/225 Z
G03B 15/00 F
G03B 17/00 X
G03B 17/02
G02B 7/08 B
G03B 5/00 J
G03B 5/00 K
Number of claims or invention 3
Total pages 9
Application Number P2016-016495
Date of filing Jan 29, 2016
Date of request for substantive examination Apr 26, 2016
Patentee, or owner of utility model right (In Japanese)【識別番号】504171134
【氏名又は名称】国立大学法人 筑波大学
Inventor, or creator of device (In Japanese)【氏名】村田 耕一
【氏名】江國 翔太
【氏名】朝倉 靖成
【氏名】上原 皓
Accelerated examination, or accelerated appeal examination (In Japanese)早期審査対象出願
Representative (In Japanese)【識別番号】100167184、【弁理士】、【氏名又は名称】井上 真一郎
Examiner (In Japanese)【審査官】榎 一
Document or reference (In Japanese)特開2002-189464(JP,A)
特開2012-093767(JP,A)
特開平10-020997(JP,A)
特開2007-212501(JP,A)
Field of search H04N 5/222~257
G02B 7/08
G02B 7/28
G03B 5/00
G03B 15/00
G03B 17/00
G03B 17/02
Abstract (In Japanese)【課題】光学機器の小型化を図る。
【解決手段】撮像装置1は、ズーム機能およびピント調整機能を備える撮像部5と、利用者の顔近傍の生体電位信号を計測する電極3から得られた信号に基づき、撮像部5のズームおよびピントを調整する制御回路4と、撮像部5により撮像された画像を利用者の目の前に表示する視覚表示部6と、を有する。
【選択図】図1
Scope of claims (In Japanese)【請求項1】
ズーム機能およびピント調整機能を備える撮像部と、
利用者の顔近傍の生体電位信号を計測する電極から得られた信号に基づき、顔面の筋肉の動きを推定して利用者のズームイン・ズームアウトの意思を判断し、前記撮像部のズームおよびピントを調整する制御部と、
前記撮像部により撮像された画像を利用者の目の前に表示する表示部と、
を有することを特徴とする光学機器。
【請求項2】
前記表示部近傍に覗き口を備え、生体が前記覗き口をのぞき込む際に、前記電極が前記生体のこめかみ部分に接触する部位に配置されている請求項1に記載の光学機器。
【請求項3】
前記制御部は、電極から得られた信号に基づき生体が接触状態から非接触状態に移行したと判断したとき、前記撮像部の接触状態におけるズームおよびピントを解除する請求項1または2に記載の光学機器。
Detailed description of the invention (In Japanese)【技術分野】
【0001】
本発明は光学機器に関する。
【背景技術】
【0002】
焦点距離を注視点距離に応じて変化させることができる眼鏡が知られている。
【0003】
例えば、両眼がそれぞれどの方向を向いているかを検出して両眼が注視している位置までの距離の情報を推定する手段と焦点距離を調節できるレンズ系とを備え、前記検知された注視点までの距離情報に応じて前記レンズ系の焦点距離を自動的に調節するように構成するものが知られている。
また、咀嚼筋電を用いて、短時間でメニュー選択が可能にするインタフェースシステムが知られている。
【先行技術文献】
【0004】

【特許文献1】特開2000-249902号公報
【特許文献2】国際公開第2010/004710号
【発明の概要】
【発明が解決しようとする課題】
【0005】
カメラを用いて目の動作をセンシングする場合、目の前にカメラを設置すると、カメラが視界を遮ったり、装置が大型化するという問題があった。
1つの側面では、本発明は、機器の小型化を図ることを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するために、開示の光学機器が提供される。この光学機器は、ズーム機能およびピント調整機能を備える撮像部と、利用者の顔近傍の生体電位信号を計測する電極から得られた信号に基づき、撮像部のズームおよびピントを調整する制御部と、撮像部により撮像された画像を利用者の目の前に表示する表示部と、を有する。
【発明の効果】
【0007】
1態様では、機器の小型化を図ることができる。
【図面の簡単な説明】
【0008】
【図1】第1の実施の形態の撮像装置を示す図である。
【図2】実施の形態の撮像装置の機能を説明する図である。
【図3】メモリに記憶される情報の一例を説明する図である。
【図4】変形例の撮像装置を示す図である。
【図5】第2の実施の形態の光学機器を示す図である。
【図6】実施の形態の光学機器を遠隔操作が可能なシステムに適用した場合を説明する図である。
【発明を実施するための形態】
【0009】
以下、実施の形態の光学機器を、図面を参照して詳細に説明する。
<第1の実施の形態>

【0010】
図1は、第1の実施の形態の撮像装置を示す図である。図1(a)は、実施の形態の撮像装置の正面図であり、図1(b)は、実施の形態の撮像装置の背面図である。図1に示す撮像装置1は光学機器の一例である。

【0011】
撮像装置1は、利用者が顔に取り付けるヘッドマウントディスプレイ(HMD)タイプの装置であり、マウンタ2と、電極3と、制御回路4と、光学ズーム機能およびピント調整機能を備える撮像部5と、視覚表示部6とを有している。なお、図1では、撮像装置1を顔に固定する手段の図示を省略している。撮像装置1を顔に固定する手段としては、従来公知のものを用いることができる。

【0012】
電極3は、マウンタ2に取り付けられている。より詳しくは、電極3は、撮像装置1の装着時に、撮像装置1の装着者(以下、単に「装着者」という)の顔面(例えば、目の下や、こめかみ付近等)に接触する位置に取り付けられている。

【0013】
電極3は、装着者が目を細めたときや、歯を噛みしめたときに発生する生体電位信号を計測する。電極3の数は、図1に示すように複数でもよいし、1つでもよい。
制御回路4は、撮像装置1の処理全般を司る部分である。なお、制御回路4の配置位置は,図示のものに限定されない。

【0014】
撮像部5は、イメージセンサを備えている。イメージセンサの種別としては、例えばCCD(Charged-coupled devices)や、CMOS(Complementary metal-oxide-semiconductor)等が挙げられる。

【0015】
撮像部5は、ズーム機能およびピント調整機能を備えている。ピント調整については、アナログ方式とデジタル方式のいずれによって行うこともできる。アナログの場合は、測距モジュールで計測した対象物との距離と現在のズーム倍率から被写界深度を計算し、ピント調節を行う。デジタルの場合は画像処理技術を用いてピント調整を行う。
視覚表示部6には、撮像部5が撮像した画像が制御回路4を介して表示される。
装着者は、視覚表示部6を視認することにより、撮像部5により撮像された画像を見ることができる。

【0016】
図2は、実施の形態の撮像装置の機能を説明する図である。
図1と同じ名称の部分には、同じ符号を付し、説明を省略する。
制御回路4は、信号処理回路4aと、メモリ4bと、制御部4cとを備えている。
信号処理回路4aは、電極3により計測された生体電位信号に平滑化等のフィルタ処理を行う。信号処理回路4aは、フィルタ処理後の信号を制御部4cに送る。

【0017】
メモリ4bには、事前に、強い瞬きや目を凝らす、または奥歯を噛みしめるといった顔面の特定の動作の信号パターンとズームイン・ズームアウト機能が対応付けられて記憶されている。記憶する信号パターンの特徴量としては、信号の強度およびその時系列変化を用いる。メモリ4bとしては、例えばフラッシュメモリ等の半導体記憶装置が挙げられる。
制御部4cは、CPU(Central Processing Unit)を備えている。

【0018】
制御部4cは、信号処理回路4aから出力されたアナログ信号をデジタル信号に変換したのちパターンマッチングを行い、顔面の筋肉の動きを推定する。具体的には、制御部4cは、メモリ4bに記憶された情報を参照し、信号処理回路4aから取得した信号に一致する信号パターンが存在するか否かを判断する。例えば、装着者が事前に目を凝らしたときに表れた信号パターンと同様のパターンが表れた場合は、装着者がズームインを希望しているものと判断する。
そして、一致する信号パターンが存在する場合、制御部4cは、ズーム操作やピント調整に関するデジタル信号を撮像部5に送る。
また、制御部4cは、撮像部5により撮像された画像を視覚表示部6に表示する。
撮像部5は、制御部4cから送られたデジタル信号を利用してズーム操作やピント調整を行う。
次に、撮像装置1の動作を説明する。

【0019】
まず、電源投入時に撮像装置1は、キャリブレーションを実行する。具体的には、制御部4cがメモリ4bに記憶されている情報に基づき装着者に対して対象動作を行う旨の指示を視覚表示部6に表示する。対象動作としては、例えば、目を強くつぶる、目を凝らす、奥歯を噛みしめる、目をそらす等が挙げられる。
なお、撮像装置1にスピーカーを取り付け、制御部4cが対象動作を行う旨の指示を聴覚的に提示するようにしてもよい。

【0020】
制御部4cは、視覚表示部6に表示された動作を装着者が行ったときに電極3が計測し、信号処理回路4aにより平滑化された生体電位信号のパターン(生体電位信号パターン)を教示データとしてメモリ4bに記憶する。例えば、キャリブレーションの際に、装着者が任意の対象物を凝視する。このとき、制御部4cは、対象物が最も鮮明に見えるように撮像部5を調節する。制御部4cは、撮像部5から映像を取得し、視覚表示部6に出力する。また、制御部4cは、取得した生体電位信号パターンと、撮像部5のズームの速度や倍率などの情報およびピント調整状態を関連づけてメモリ4bに記憶する。

【0021】
図3は、メモリに記憶される情報の一例を説明する図である。
図3ではメモリに記憶される情報をテーブル化して示している。図3に示すテーブルT1には、動作、生体電位信号パターン、ズーム、およびピントの欄が設けられている。横方向に並べられた情報同士が互いに関連づけられている。
動作の欄には、予め用意されたアクションが設定されている。

【0022】
生体電位信号パターンの欄には、キャリブレーションの際に装着者が動作の欄に設定されたアクションを実行したときの信号パターンを識別できる情報が設定される。
ズームの欄には、キャリブレーションの際に装着者が動作の欄に設定されたアクションを実行したときのズームの速度や倍率が設定される。
ピントの欄には、キャリブレーションの際に装着者が動作の欄に設定されたアクションを実行したときのピント調整状態が設定される。

【0023】
キャリブレーションが完了した後も、信号処理回路4aは、電極3により計測された生体電位信号にフィルタ処理を行い、制御部4cに送り続ける。そして、制御部4cは、メモリ4bに記憶された生体電位信号パターンを、送られてきた生体電位信号パターンと対比する。そして、所定の生体電位信号パターンを検出すると、制御部4cは、検出に同期してメモリ4bに記憶された分だけ撮像部5のレンズをズームさせ、ピント調整を行う。
これにより、装着者は,手を使わず、現在向いている方向の映像を直感的にズームすることができ、人間の視覚情報を大きく拡張することが可能となる。

【0024】
ところで、ズームを行った状態では、頭の微小な動きが視野に大きな影響を与える。そのため、撮像装置1ではリアルタイムでぶれ補正を行い、頭の動きによる影響を軽減する。

【0025】
ぶれ補正には大きく分けて機械式、または電子式の手法が考えられるが、どちらの手法を用いてもよい。機械式の手法ではジャイロセンサなどで取得した撮像部5の姿勢を元に、レンズまたはイメージセンサ全体を移動させることで物理的に補正を行う。また、電子式の手法では撮像部5が取得した画像を逐次制御回路4が取り込み、各画像間でマッチングを行うことで撮像部5の姿勢変化量を計算し、その変化量を打ち消すように画像処理を行う。このようなぶれ補正を行うことで、装着者は不快感を覚えることなく撮像装置1を使用することができる。

【0026】
このようなシステム構成により、目の周辺に発生する生体電位信号を用いて、視覚拡張デバイスのズームやピント調整操作をハンズフリーかつ直感的に行うことが可能となる。

【0027】
なお、撮像部5、制御回路4、および視覚表示部6は、視覚拡張デバイスの一例である。視覚拡張デバイスの他の例として、双眼鏡、単眼鏡、顕微鏡、glass型コンピュータ、サバイバルゲームのスコープなどが挙げられる。

【0028】
以上述べたように、撮像装置1によれば、電極3によって計測される生体電位信号は電位情報として計測されるため、カメラで計測した画像情報よりも、視覚拡張デバイスを操作するために必要な情報量が大きく低減する。
なお、本実施の形態では、両眼の前に視覚表示部6を配置する構成としたが、どちらか一方の目の前に視覚表示部6を配置する構成としてもよい。

【0029】
図4は、変形例の撮像装置を示す図である。図1と同じ機能を備える箇所については同じ符号を付し、詳細な説明を省略する。
図4に示す撮像装置1aは、左目の前に視覚表示部6を配置する構成であり、マウンタ2aに電極3、制御回路4(図示せず)および撮像部5がマウントされている。なお、図4では、撮像装置1aを顔に固定する手段の図示を省略している。撮像装置1aを顔に固定する手段としては、従来公知のものを用いることができる。

【0030】
<第2の実施の形態>
次に、第2の実施の形態の光学機器について説明する。
以下、第2の実施の形態の光学機器について、前述した第1の実施の形態との相違点を中心に説明し、同様の事項については、その説明を省略する。

【0031】
図5は、第2の実施の形態の光学機器を示す図である。
図5に示す単眼鏡1bは、利用者がアイピース7を覗き込んだときに、利用者のこめかみ部分に接触する部位にガード7aが設けられている。このガード7aには、電極3aが取り付けられている。
単眼鏡1bを覗き込む際に、電極3aが皮膚に接触し、生体電位信号を計測することができる。単眼鏡1bによれば、電極3aなどの付属品をあらかじめ皮膚上に装着する手間が必要なく、ズーム・ピント機能を操作することが可能となる。

【0032】
この単眼鏡1bは、利用者の目の周辺に発生する生体電位信号を顔に接触させた電極3aにより検出し、それと同期して単眼鏡1bが備える撮像部(図示せず)のズーム倍率を操作する。その後、カメラの撮影映像とコントラストオートフォーカス技術を利用して自動でピント調節を行う。なお、ピント調節方法は、これに限らず、測距モジュールなどを用いてレンズ間距離を変更するアナログ式の手法を用いてもよい。また、人間の目でピント調整できる場合は、ピント調整機能を設けなくても良い。

【0033】
さらに単眼鏡1bによれば、電極3aが皮膚に接触しているか否かをセンシングすることで、利用者が単眼鏡1bから目を離した事を検知して、ズーム倍率を初期状態に戻す処理を組み込むことが可能である。

【0034】
これにより、単眼鏡1bの利用を開始する際に単眼鏡1bをのぞき込んだ場合には、視野角が広い視覚情報が提示される。注目したい領域がある場合には、利用者が生体電位信号を用いてズーム操作を行うことができる。

【0035】
人が遠くのものを見る際には、視界全体を大まかに捉えた後に、注目したい領域に目を凝らす動作を行っている。単眼鏡1bは、これと同様な認知プロセスを再現しているため、ユーザビリティの向上に寄与する。

【0036】
また、単眼鏡1bが一度ズームをした後に利用者が目標物を見失う状況が考えられる。この場合、利用者は一度アイピース7から顔を外し、目標物を確認した後に再度アイピース7を覗き込むことが考えられる。このため、単眼鏡1bは、電極3aからの生体電位信号パターンを検出できなくなってからも所定時間ズーム倍率を初期状態に戻さず、所定時間が経過した後に、ズーム倍率を初期状態に戻すようにしてもよい。
なお、図5では単眼鏡を例に説明したが、双眼鏡や、顕微鏡、スコープ等にも前述した機能を適用することができる。
第2の実施の形態の単眼鏡1bを用いることにより、例えばバードウォッチングやスポーツ観戦、サバイバルゲームなどをより楽しむことが可能となる。
なお、撮像装置1、撮像装置1a、および単眼鏡1bが行った処理が、複数の装置によって分散処理されるようにしてもよい。以下、具体例を用いて説明する。

【0037】
図6は、実施の形態の光学機器を遠隔操作が可能なシステムに適用した場合を説明する図である。
以下に、ロボットに適用した例を説明するが、ウェブカメラなどに用いてもよい。
光学システム1cは、マウンタ2bと、撮像部5aと、ロボット8とを備えている。
マウンタ2bは、撮像装置1aのマウンタ2aが備える機能から撮像部5aが独立したものである。
また、マウンタ2bおよび撮像部5aは、それぞれデータをやりとりする送受信部を備えている。通信手段としては、特に限定されないが、例えばBluetooth(登録商標)や、Wi-Fi(登録商標)等の通信手段が挙げられる。

【0038】
撮像部5aは、ロボット8に搭載されている。ロボット8は、光学ズーム機能およびピント調整機能を備える。この光学ズーム機能およびピント調整機能は、制御回路4により遠隔操作される。

【0039】
撮像部5aが撮像した映像は、マウンタ2bに内蔵された制御回路4に送られ、その後視覚表示部6に表示されることにより、利用者に提示される。なお、図6では信号の流れを点線で示している。
この光学システム1cの動作を説明する。

【0040】
利用者の目の周辺に発生する生体電位信号を電極3により検出し、制御部4cが所定の生体電位信号パターンを検出すると、検出に同期して送受信部を介してロボット8に制御信号が送られる。

【0041】
その後、ロボット8は制御信号に応じて撮像部5aのズーム調整を行い、デジタル式またはアナログ式のピント調節を行う。これにより、利用者は,手を使わず、ロボット8に搭載された撮像部5aのズーム調節とピント調節を行うことができる。
光学システム1cを使用することで、利用者は遠隔地の詳細な映像をより直感的に得ることが可能となる。

【0042】
さらに、現在のテレイグジスタンスシステムでは撮像部の操作だけでなく、移動やマニピュレーションなど多くの操作を手で行う必要がある。光学システム1cにより、撮像部操作をハンズフリーで行うことが可能となり、より利便性の高いテレイグジスタンスシステムが実現できる。

【0043】
以上、本発明の光学機器を、図示の実施の形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置換することができる。また、本発明に、他の任意の構成物や工程が付加されていてもよい。
また、本発明は、前述した各実施の形態のうちの、任意の2以上の構成(特徴)を組み合わせたものであってもよい。
【符号の説明】
【0044】
1、1a 撮像装置
1b 単眼鏡
1c 光学システム
2、2a、2b マウンタ
3、3a 電極
4 制御回路
4a 信号処理回路
4b メモリ
4c 制御部
5、5a 撮像部
6 視覚表示部
7 アイピース
8 ロボット
T1 テーブル
Drawing
(In Japanese)【図1】
0
(In Japanese)【図2】
1
(In Japanese)【図3】
2
(In Japanese)【図4】
3
(In Japanese)【図5】
4
(In Japanese)【図6】
5