TOP > 国内特許検索 > 撮像システム > 明細書

明細書 :撮像システム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4878025号 (P4878025)
公開番号 特開2009-141617 (P2009-141617A)
登録日 平成23年12月9日(2011.12.9)
発行日 平成24年2月15日(2012.2.15)
公開日 平成21年6月25日(2009.6.25)
発明の名称または考案の名称 撮像システム
国際特許分類 H04N   7/32        (2006.01)
FI H04N 7/137 Z
請求項の数または発明の数 6
全頁数 13
出願番号 特願2007-315076 (P2007-315076)
出願日 平成19年12月5日(2007.12.5)
新規性喪失の例外の表示 特許法第30条第1項適用 平成19年8月29日 社団法人 電子情報通信学会発行の「電子情報通信学会 2007年 ソサイエティ大会 講演予稿集」に発表
審査請求日 平成22年11月22日(2010.11.22)
特許権者または実用新案権者 【識別番号】301022471
【氏名又は名称】独立行政法人情報通信研究機構
発明者または考案者 【氏名】滝沢 賢一
【氏名】浜口 清
個別代理人の代理人 【識別番号】100107250、【弁理士】、【氏名又は名称】林 信之
【識別番号】100120868、【弁理士】、【氏名又は名称】安彦 元
審査官 【審査官】岩井 健二
参考文献・文献 特開2007-274035(JP,A)
特開2007-074306(JP,A)
特開2004-064300(JP,A)
M.Tagliasacchi et al.,Intra Mode Decision Based on Spatio-Temporal Cues in Pixel Domain Wyner-Ziv Video Coding,Proceedings of 2006 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2006),IEEE,2006年 5月,Vol.2,pp.II-57 - II-60
Bernd Girod et al.,Distributed Video Coding,Proceedings of the IEEE,IEEE,2005年 1月,Vol.93,No.1,pp.71-83
調査した分野 H04N 7/24 - 7/68
特許請求の範囲 【請求項1】
被写体を撮像することにより生成した動画像データをキーフレームと非キーフレームに振り分ける撮像手段と、上記キーフレームをフレーム内符号化するフレーム内符号化手段と、上記非キーフレームと上記フレーム内符号化されたキーフレームとをそれぞれ符号化する符号化手段と、上記符号化されたキーフレーム並びに非キーフレームをそれぞれ無線データストリーム化して送信する送信手段とを有する撮像デバイスと、
上記撮像デバイスから受信した無線データストリームから上記キーフレーム並びに非キーフレームをそれぞれ復号化する復号化手段と、上記復号化されたキーフレームを更にフレーム内復号化するフレーム内復号化手段と、上記フレーム内復号化されたキーフレームに関する情報に基づいて上記復号化された非キーフレームに対してフレーム内オブジェクトの動き補償する動き補償手段と、上記動き補償された非キーフレームと上記キーフレームとを合成して動画像を生成する動画像生成手段と、上記動き補償手段による動き補償に利用された動きベクトル情報に基づいて上記撮像デバイスにおける上記撮像手段を無線通信を介して制御する制御手段とを有する制御装置とを備え、
上記制御手段は、上記フレーム内オブジェクトの動き補償手段による動き補償に利用された動きベクトル量に基づいて、単位時間あたりのキーフレームと非キーフレームの割合を調整するように上記撮像手段を制御し、更に当該動きベクトル量に基づいて上記キーフレームと上記非キーフレームを合わせたフレームレートを調整するように上記撮像手段を制御すること
を特徴とする撮像システム。
【請求項2】
上記制御手段は、上記フレーム内オブジェクトの動き補償手段による動き補償に利用された動きベクトル量が所定値以上の場合において、上記フレームレートを増加させるように上記撮像手段を制御すること
を特徴とする請求項1記載の撮像システム。
【請求項3】
上記符号化手段は、Distributed Video Coding(DVC)方式に基づいて符号化し、
また上記復号化手段は、DVC方式に基づいて復号化すること
を特徴とする請求項1又は2項記載の撮像システム。
【請求項4】
上記撮像デバイスは、人体内に埋設され、
上記送信手段は、特定小電力無線局又は微弱無線局に基づく無線通信方式による無線データストリームを伝送すること
を特徴とする請求項1~3のうち何れか1項記載の撮像システム。
【請求項5】
請求項1~4のうち何れか1項に記載の撮像システムにおいて適用されることを特徴とする撮像デバイス。
【請求項6】
請求項1~4のうち何れか1項に記載の撮像システムにおいて適用されることを特徴とする制御装置。
発明の詳細な説明 【技術分野】
【0001】
本発明は、体内撮影動画像を体外へ無線伝送することにより、高度な治療・診断行為を実現する際に好適な撮像システムに関するものである。
【背景技術】
【0002】
従来、動画像に対する圧縮符号化方式として、MPEG-1/2/4が提案されている。これら従来の圧縮符号化方式における送信装置では、フレーム内での相関及びフレーム間での相関を最大限有効利用し圧縮符号化を実現している。フレーム内については、不要な高周波成分の抑制や、直流や低周波成分の予測を行い、またフレーム間については、過去の画像からの動きの予測を行っている。符号化時には、これらの予測処理により、現在の画像を近似した画像すなわち予測画像を作成し、現在の画像と予測画像との差分情報、並びに予測画像を作成するために必要な制御情報とを符号化し伝送する。
【0003】
また、この従来の圧縮符号化方式における受信装置では、制御情報に基づき予測画像を作成し、受信された差分情報と足し合わせることで、復号画像を得ることができる。ここで伝送路エラーにより信号の品質が変化する場合には、予測のための制御情報並びに差分情報の双方が正常である場合に限り、正常な復号処理が可能となる。さらに復号された画像は、次の画像を予測するために再度使用されるため、復号画像に誤りがある場合には、以後の画像の復号時にも誤りが伝播することになる。このようにMPEG-1/2/4を始めとした従来の圧縮符号化方式では、高い圧縮率を実現している一方で伝送路エラーに弱いという欠点を有している。
【0004】
このため、近年において、新しい符号化方式としてDistributed Video Coding(DVC)が提案されている(例えば、非特許文献1参照。)。このDVCによる符号化の特徴として、誤り訂正符号化を用いているところにある。図5に示すように、キーフレームと非キーフレームは互いに異なる符号化方式に基づいて符号化する。キーフレームは、エンコーダ71において例えば従来から利用されているフレーム内符号化を行うのに対して、非キーフレームに対しては誤り訂正符号化を行い、その結果計算されたいわゆる検査ビットのみをデコーダ72へ送信する。デコーダ72においては、次フレームの画像を予め予測し、その推測画像と、次フレームの画像との差分(推測誤り)を、エンコーダ71から送られてきた検査ビットに基づいて検査し、その推測誤りを訂正することにより、次フレームの画像を得ることが可能となる。このようにDVCは、エンコーダ71において動きベクトル探索を行うことなく符号化するため、上述した従来の圧縮符号化方式と比較して少ない計算量で符号化することができる。
【0005】
このため、DVCによる符号化方式は、従来の圧縮符号化方式よりも機器の消費電力を低減させることができ、機器の軽量小型化を実現することが可能となる。

【非特許文献1】B.Girod, et al., “Distributed Video Coding” Proceedings of The IEEE,Vol93,No.1 January 2005
【発明の開示】
【発明が解決しようとする課題】
【0006】
ところで、特に近年における医療では、人体内に撮像デバイスを埋設(インプラント)して、人体内を撮像し、体内の状況把握や診断を行うケースが増加している。このため、体内に埋設された撮像デバイスと基地局としての制御装置の間で無線通信リンクを確立して無線通信を行うシステムに関する研究も注目を浴びている。中でもリアルタイムに患者の検査データを取得するため、通信の高速化、利用しやすさ、信頼性に焦点を当てたシステムの構築も進展しつつある。
【0007】
実際に、この人体埋設型の撮像デバイスによる無線通信システムでは、先ず超小型で構成される必要があり、低電圧で動作する必要がある。上述したDVCによる符号化方式を利用した撮像システムは、機器の軽量小型化を実現することが可能となることから、人体埋設型の撮像デバイスに対して適用する上で好ましいものと考えられてきた。
【0008】
しかしながら、この人体埋設型の撮像デバイスは、食道等のように動きの速い部位を撮影対象とする場合もあれば、胃のように動きが遅い臓器を撮影対象とする場合もある。また、撮影対象の動きが速くなったり遅くなったりする臓器を撮影対象とする場合もあることから、動きの速さが千差万別でしかも時々刻々と変化する可能性もある撮影対象を適宜好適な条件の下で撮像しなければならない。
【0009】
従来のDVCによる符号化方式を利用した撮像システムでは、撮像デバイスを人体に埋設し、人体内の臓器等の動きの時々刻々と変化するものを撮影対象とする点について何ら想定するものではない。このため、人体内に埋設した撮像デバイスにより、時系列的に変化する撮影対象の動きを常時最適な条件で撮像することができず、得られた画像の品質を向上させることができないという問題点があった。
【0010】
そこで、本発明は、上述した課題に鑑みて案出されたものであり、その目的とするところは、人体内に撮像デバイスを埋設し、人体内を撮像して体内の状況把握や診断を行う際により高品質な動画像を得ることが可能な撮像システムを提供することにある。
【課題を解決するための手段】
【0011】
本発明を適用した撮像システムは、上述した課題を解決するために、被写体を撮像することにより生成した動画像データをキーフレームと非キーフレームに振り分ける撮像手段と、上記キーフレームをフレーム内符号化するフレーム内符号化手段と、上記非キーフレームと上記フレーム内符号化されたキーフレームとをそれぞれ符号化する符号化手段と、上記符号化されたキーフレーム並びに非キーフレームをそれぞれ無線データストリーム化して送信する送信手段とを有する撮像デバイスと、上記撮像デバイスから受信した無線データストリームから上記キーフレーム並びに非キーフレームをそれぞれ復号化する復号化手段と、上記復号化されたキーフレームを更にフレーム内復号化するフレーム内復号化手段と、上記フレーム内復号化されたキーフレームに関する情報に基づいて上記復号化された非キーフレームに対してフレーム内オブジェクトの動き補償する動き補償手段と、上記動き補償された非キーフレームと上記キーフレームとを合成して動画像を生成する動画像生成手段と、上記動き補償手段による動き補償に利用された動きベクトル情報に基づいて上記撮像デバイスにおける上記撮像手段を無線通信を介して制御する制御手段とを有する制御装置とを備え、上記制御手段は、上記フレーム内オブジェクトの動き補償手段による動き補償に利用された動きベクトル量に基づいて、単位時間あたりのキーフレームと非キーフレームの割合を調整するように上記撮像手段を制御し、更に当該動きベクトル量に基づいて上記キーフレームと上記非キーフレームを合わせたフレームレートを調整するように上記撮像手段を制御することを特徴とする。




【0012】
本発明を適用した撮像システムは、上述した課題を解決するために、被写体を撮像することにより生成した動画像データをキーフレームと非キーフレームに振り分ける撮像手段と、上記キーフレームをフレーム内符号化するフレーム内符号化手段と、上記非キーフレームと上記フレーム内符号化されたキーフレームとをそれぞれ符号化する符号化手段と、上記符号化されたキーフレーム並びに非キーフレームをそれぞれ無線データストリーム化して送信する送信手段とを有する撮像デバイスと、上記撮像デバイスから受信した無線データストリームから上記キーフレーム並びに非キーフレームをそれぞれ復号化する復号化手段と、上記復号化されたキーフレームを更にフレーム内復号化するフレーム内復号化手段と、上記フレーム内復号化されたキーフレームに関する情報に基づいて上記復号化された非キーフレームに対してフレーム内オブジェクトの動き補償する動き補償手段と、上記動き補償された非キーフレームと上記キーフレームとを合成して動画像を生成する動画像生成手段と、上記復号化手段による上記非キーフレームの復号の収束値に基づいて上記撮像デバイスにおけるフレーム内符号化手段又は上記符号化手段を無線通信により制御する制御手段とを有する制御装置とを備えることを特徴とする。
【発明の効果】
【0013】
上述した構成からなる本発明では、撮像デバイスにおける撮像のビットレートやキーフレームの割合、さらには符号量制御までを全て制御装置側において行うことができる。また非キーフレームのフレーム内オブジェクトの動き補償を撮像デバイス内で実行するのではなく、あくまで制御装置側において実行し、その動き補償に利用した動きベクトルの情報を常時取得して制御部による制御に利用することができる。
【0014】
このため、撮像デバイス側において動き補償やこれに基づく制御を行うための回路を実装する必要がなくなることから、撮像デバイスの形状をより小型化することが可能となり、また軽量化を図ることも可能となる。
【0015】
即ち、本発明は、撮像デバイスを人体内に埋設する際に小型軽量化を図ることができ、しかも動きの速さが千差万別でしかも時々刻々と変化する可能性もある撮影対象を、動きベクトル情報等に基づいて適宜好適な条件の下で動画像を取得できるように撮像デバイスを制御することが可能となる。
【発明を実施するための最良の形態】
【0016】
以下、本発明を実施するための最良の形態として、体内撮影動画像を体外へ無線伝送する撮像システムについて、図面を参照しながら詳細に説明する。
【0017】
本発明を適用した撮像システム1は、図1に示すように人体内に埋設(インプラント)される撮像デバイス2と、人体外に配設された制御装置3とを備えている。この撮像デバイス2は、人体内を撮像し、体内の状況把握や診断を行うためのデバイスである。撮像デバイス2は、胃カメラのように口から飲み込むことにより体内に入れるようにしても良いし、インプラントしたものであってもよい。制御装置3は、撮像デバイス2により撮像された動画像が無線通信を介して伝送されてくる。この制御装置3は、少なくとも撮像デバイス2を無線通信により制御する。ちなみに、この制御装置3は、例えばパーソナルコンピュータ(PC)等の電子機器により構成されていてもよく、撮像デバイス2から伝送される画像データを記録し、また記録した画像データにつき図示しないディスプレイを介して検査者に表示する。またこの制御装置3は、図示しないネットワークシステムを介して画像データを他の端末装置へと送信するようにしてもよい。
【0018】
なお、この撮像システム1では、撮像デバイス2から制御装置3に対して動画像を伝送する際には、Distributed Video Coding(DVC)方式に基づいて符号化することを前提としている。
【0019】
以下、この撮像デバイス2と制御装置3の構成について図面を参照しながら詳細に説明をする。
【0020】
撮像デバイス2は、図2に示すように、被写体を撮像するためのカメラ21と、このカメラ21に接続されている振分器22と、この振分器22にそれぞれ接続されている画像符号器23、第2の符号器25と、画像符号器23に接続された第1の符号器24と、第2の符号器25とに接続され、無線データストリームを無線伝送系5を介して制御装置3へと送信する送信部26とを備えている。
【0021】
制御装置3は、撮像デバイス2から無線伝送系5を介して送信されてきた無線データストリームを受信する受信部31と、受信部31にそれぞれ接続されている復号器32、動き補償部34a、非キーフレーム再構成部34b、SNR(Signal-to-Noise Ratio)検出部38と、復号器32に接続されている画像復号器33と、画像復号器33、動き補償部34に接続されている合成部35と、合成部に接続されている映像表示部36と、非キーフレーム再構成部34b、映像表示部36にそれぞれ接続されている制御部37とを備えている。
【0022】
カメラ21は、被写体からの像光を結像させるためのレンズと、レンズを介して入射される像光を遮光するシャッタ羽根等により絞り量を調整する絞り駆動部と、入力される被写体像に基づき電気的な撮像信号を生成するCCD(Charge Coupled Device)イメージセンサとを有している。
【0023】
また、このカメラ21は、CCDイメージセンサにより生成された撮像信号C1のばらつきを補償するためのCDS(Correlated Double Sampling)回路や、CDS回路から供給される撮像信号をアナログ/デジタル変換処理するA/D変換部、A/D変換部から供給されるデジタル化された撮像信号としての画像データに所定の処理を施すディジタルシグナルプロセッサ(DSP)と、接続されたDSPからの画像データを一時的に記憶する画像用RAM等を備えていてもよい。
【0024】
なお、このカメラ21は、後述するように、制御装置3における制御部37から、その撮像条件等について制御されることになる。
【0025】
振分器22は、カメラ21から送られてくる画像データをフレーム毎に振り分けを行う。後述するようにDVC方式に基づいて符号化する観点から、振分器22は、動画フレーム列をキーフレームと非キーフレームの2種類に振り分ける。振分器22は、例えば数フレームに一枚の頻度でキーフレームが発生し、残りが非キーフレームとなるように振り分けを行うようにしてもよい。振分器22において振り分けられたキーフレームは、画像符号器23へ、また非キーフレームは、第2の符号器25へと送られることになる。なお、この振分器22は、後述するように、制御装置3における制御部37から、キーフレームと非キーフレームの割合等が調整される場合もある。
【0026】
画像符号器23は、振分器22から送られてきたキーフレームについて、従来のMPEG-1/2/4等におけるIフレームと同様に、通常のフレーム内符号化を行う。このとき、画像符号器23は、送られてきたキーフレームについて、DCT(Discrete Cosine Transform)変換した上で量子化することにより、非可逆的な画像圧縮を実現するようにしてもよい。また、この画像符号器23においては、ハフマン符号化を適用するようにしてもよい。
【0027】
第1の符号器24は、画像符号器23によりフレーム内符号化されたキーフレームについて、更に通信路を介して伝送する上で必要な、ターボ符号化、或いはLDPC(Low Density Parity Check)符号化等、いわゆる誤り訂正符号化を行い、これを送信部26へと出力する。
【0028】
第2の符号器25は、振分器22から非キーフレームのみが送られてくる。この第2の符号器25は、畳み込み符号化やターボ符号化、或いはLDPC符号化等を用いて、非キーフレームに対して誤り訂正符号の生成を行う。この第2の符号器25は、この誤り訂正符号化を行った結果、得られたその冗長成分又はそのシンドローム成分のみを上記無線データストリームするためのデータとして、これを送信部26へと送る。
【0029】
送信部26は、第1の符号器24から送られてくるキーフレームと、第2の符号器25から送られてくる冗長成分又はシンドローム成分を無線データストリーム化して無線伝送系5を介して制御装置3へと送信する。この送信部26は、例えば小型アンテナ等で構成され、人体内の組織を介して外部へと電磁波を放射可能に構成されている。
【0030】
無線伝送系5は、特定小電力無線局や、微弱無線局に基づく無線通信方式による無線データストリームを伝送するようにしてもよい。このとき、401~406MHz帯域の、望ましくは402~405MHz帯域の無線データストリームを伝送可能な系として構成するようにしてもよい。402~405MHzの周波数帯域を利用することにより、人体への影響の軽減を優先して通信を低電圧で実現することができる。
【0031】
受信部31は、撮像デバイス2から無線伝送系5を介して送信されてくる無線データストリームを受信するためのアンテナ等で構成される。この受信部31は、受信した無線データストリームについて、キーフレームに関しては復号器32へ、また非キーフレームを符号化する際に生成される冗長成分又はシンドローム成分については、非キーフレーム再構成部34bへと送信する。
【0032】
復号器32は、受信部31から送られてくるキーフレーム成分について復号処理を施す。また画像復号器33は、復号器32において復号化されたキーフレーム成分について、更にフレーム内復号を行う。このフレーム内復号は、従来のMPEG-1/2/4等におけるIフレームへの復号処理と同様の処理手順に基づいて実行するようにしてもよい。また、この画像復号器33は、フレーム内復号されたキーフレームの動きベクトルに基づいて生成したデータを動き補償部34aに対して送信する。また、画像復号器32は、フレーム内復号したキーフレームを合成部35へと送信する。
【0033】
動き補償部34aは、受信部31から非キーフレーム成分についての冗長成分又はシンドローム成分等の誤り訂正符号を受信し、これを復号化する。また、動き補償部34aは、画像復号器33から送られてくるデータに基づいて、動きベクトルを求める等の処理を行う。非キーフレーム再構成部34bは、この動き補償部34aにおいて求められた動きベクトルに基づいて、受信部31からの非キーフレームについて動き補償する。非キーフレーム再構成部34bは、この動き補償をした非キーフレームを合成部35へと送信する。なお、この動き補償部34a並びに非キーフレーム再構成部34bを組み合わせて一つの非キーフレーム再構成部ユニット34として構成するようにしてもよい。
【0034】
合成部35は、送られてきたキーフレームと非キーフレームとを合成する。この合成部35におけるフレームの合成は、振分器22における振り分けのレート等を参照して行う。
【0035】
映像表示部36は、合成部35から送られてきたキーフレームと非キーフレームとからなる動画像を生成して、これを検査者に対して表示するためのディスプレイ等で構成される。また、この映像表示部36は、制御部37による制御の下、検査者に対して、この撮像システム1全体の制御を促すための情報を表示するために使用される場合もある。
【0036】
制御部37は、撮像デバイス2、制御装置3を含む撮像システム1全体を制御するための中央制御ユニットとしての役割を担う。この制御部37は、非キーフレーム再構成部34bにおける動き補償に利用された動きベクトル情報を検出し、当該動きベクトル情報に基づいて撮像デバイス2を制御する。具体的には、この制御部37は、動きベクトル情報に基づいて、撮像デバイス2におけるカメラ21、振分器22等を制御する。
【0037】
また制御部37は、非キーフレーム再構成部34bにおける非キーフレームの復号の収束値に基づいて撮像デバイス2を制御してもよい。かかる場合において制御部37は、かかる復号の収束値に基づいて第2の符号器25を制御対象としていくことになる。
【0038】
SNR検出部38は、受信部31における無線データストリームの受信状況をSN比等を介して検出、識別し、これに基づいて撮像デバイス2、具体的には、送信部6における出力等を制御する。
【0039】
次に、上述した構成からなる撮像システム1の動作について説明をする。
【0040】
先ず、人体内に埋設された撮像デバイス2におけるカメラ21により体内の組織や臓器等を撮影対象とした動画像の撮像を行う。図3に示すように、カメラ21により撮像された画像データとしての動画フレーム列44は、キーフレーム41と非キーフレーム42とに振り分けられる。キーフレーム41と非キーフレーム42の割合は、後述するように制御装置3により制御されるが、この図3では、キーフレーム41間に4枚の非キーフレーム42が挿入された状態を示している。
【0041】
キーフレーム41は、画像符号器23においてフレーム内符号化され、さらに第1の符号器24において、いわゆる誤り訂正符号化が行われ、符号化ビット列(K)として無線伝送系5を介して制御装置3へと伝送される。非キーフレーム42は、第2の符号器25に供給され、誤り訂正符号の生成が行われると共に、得られたその冗長成分又はそのシンドローム成分のみを符号化ビット列(WZ)として無線伝送系5を介して制御装置3へと伝送される。
【0042】
制御装置3へと伝送された符号化ビット列(K)を構成するキーフレーム成分は、復号器32において、推定アルゴリズム(例えば、ベイズアルゴリズム、事後確率最大化アルゴリズム等)を用いて復号化され、さらに画像復号器33においてフレーム内復号化される。このとき画像復号器33は、復号化したキーフレームに関する情報を動き補償部34aへと送信することになるが、例えばキーフレームの画素値尤度比を当該情報として送信するようにしてもよい。
【0043】
このとき図4に示すように、キーフレームKについて画素値尤度比logPc,pK0(i,j)を、またその後に続くキーフレームKについて画素値尤度比logPc,pK1(i,j)をそれぞれ算出する。ここでcは、色の濃淡を示す階調であり、0~256の数値で表される。また、cは、R,G,B(Red, Green, Blue)の光の三原色を表すものである。ちなみに、この例は、8ビットRGBの場合であるが、これに限定されるものではない。上付き文字は、キーフレームの種類(・・K、K・・・)を特定するものである。また(i,j)は、フレーム内の画素の座標を表すものであり、図4に示すようにi行j列の画素を特定するためのものである。
【0044】
このような画素値尤度比logPc,pK(i,j)が各キーフレームを構成する各画素について求められ、これが動き補償部34へ送られる。
【0045】
動き補償部34aは、画像復号器33から送られてくる情報から、各キーフレームを構成する各画素について求められた画素値尤度比logPc,pK(i,j)を取得し、これに基づいて、キーフレームKとキーフレームKとの間にある非キーフレームWZnについて、図4に示すように動き補償を行う。この動き補償は対数尤度領域で行うこととする。式(1)は、かかる対数尤度領域において、動き補償すべき非キーフレームとその前後に位置するキーフレームとの間での画素値尤度比の関係式を示している。
【0046】
logPc,pWZn(i,j)=f(logPc,pK0(i,j), logPc,pK1(i,j), rc,pWZn(i,j),m(i,j))・・・・・・(1)
【0047】
(1)式において、rc,pWZn(i,j)は、非キーフレームWZnにおけるフレーム受信データの対数尤度値である。このrc,pWZn(i,j)は、動き再補償部34bにおいて非キーフレームに基づいて実際に算出したものである。また、動きベクトルm(i,j)は、非キーフレームWZnにおいて動き補償に利用される動きベクトルであるが、これは動き補償部34aにおいてキーフレームKとキーフレームKに基づいて予測されたものである。この動きベクトルm(i,j)は、ベクトルの方向が原点から水平方向にi画素、垂直方向にj画素シフトしたベクトル方向として定義されるものである。
【0048】
非キーフレームWZnについての画素値尤度比logPc,pWZn(i,j)は、(1)式において、logPc,pK0(i,j), logPc,pK1(i,j), rc,pWZn(i,j),m(i,j)の4つの変数により与えられる。
【0049】
このようにして得られた動きベクトルに基づいて非キーフレームWZnに対して動き補償を施すことにより、非キーフレームの画像を完成させることができる。このとき、図4に示した非キーフレームWZnには、キーフレームKにおけるオブジェクトの位置、キーフレームKにおけるオブジェクトの位置に基づいて動き補償されたオブジェクトが描かれることになる。
【0050】
キーフレームと非キーフレームは、合成部35において合成されて映像表示部36において表示すべき動画像が生成される。
【0051】
また、制御部37は、動き補償部34における動き補償に利用された動きベクトルに関する動きベクトル情報を検出する。この動きベクトル情報とは、動きベクトル量を意味するものであるが、これに限定されることなく、動きベクトルに関するいかなる情報を含むものとする。
【0052】
制御部37は、取得した動きベクトル情報に基づいて撮像デバイス2におけるカメラ21を無線通信を介して制御する。
【0053】
このとき制御部37は、動き補償部34による動き補償に利用された動きベクトル量に基づいて、単位時間あたりのキーフレームと非キーフレームの割合を調整するようにカメラ21及び振分器22を制御する。
【0054】
特に人体内に埋設される撮像デバイス2は、食道等のように動きの速い部位を撮影対象とする場合もあれば、胃のように動きが遅い臓器を撮影対象とする場合もある。また、撮影対象の動きが速くなったり遅くなったりする臓器を撮影対象とする場合もあることから、動きの速さが千差万別でしかも時々刻々と変化する可能性もある。かかる場合において、先ず動き補償部34における動き補償に利用した動きベクトル量を識別することにより、撮影対象そのものの動き量を識別することができる。即ち、撮影対象が動きの速いものであるのか、動きの遅いものであるのかを、この動きベクトル量を介して識別することが可能となる。
【0055】
撮影対象の動き速度に応じて、単位時間あたりのキーフレームと非キーフレームの割合を調整する。具体的には、動き補償部34による動き補償に利用された動きベクトル量が大きい場合には、単位時間あたりのキーフレームの割合を増加させるように、また係る動きベクトル量が小さい場合には、単位時間あたりのキーフレームの割合を減少させるように、カメラ21及び振分器22を制御する。
【0056】
動き量が大きい撮影対象の場合には、キーフレームの割合を増加させ、その間に介挿される非キーフレームの割合を少なくすることにより、動き補償の精度が低下してしまうのを防止することが可能となる。これに対して、動き量が小さい撮影対象の場合には、キーフレームの割合を減少させ、その間に介挿される非キーフレームの割合を多くしても、動き補償の精度が低下してしまう虞もなく、圧縮率を高くすることが可能となり、省電力化にも寄与することになる。
【0057】
実際に、動き補償に利用された動きベクトル量が所定値以上の場合において、単位時間あたりのキーフレームの割合を増加させるようにカメラ21並びに振分器22を制御し、動き補償に利用された動きベクトル量が所定値未満の場合において、単位時間あたりのキーフレームの割合を減少させるようにカメラ21並びに振分器22を制御するようにしてもよい。
【0058】
また、制御部37は、動き補償部34による動き補償に利用された動きベクトル量に基づいて、キーフレームと非キーフレームを合わせたフレームレートを調整するようにカメラ21を制御するようにしてもよい。具体的には動き量が大きい撮影対象の場合には、フレームレートを向上させ、動き量が小さい撮影対象の場合には、キーフレームの割合を減少させるようにしてもよい。
【0059】
動きの速い撮影対象については、フレームレートを向上させることにより、単位時間当たりのフレームの量を増加させることにより、動きの速い撮影対象のより細かな動きについても高精度に捉えることが可能となる。動きの遅い撮影対象については、フレームレートを減少させることにより、単位時間当たりのフレームの量を減少させることにより、処理速度の高速化を図るようにしてもよい。
【0060】
このとき、制御部37は、動き補償部34による動き補償に利用された動きベクトル量が所定値以上の場合において、フレームレートを増加させるようにカメラ21を制御し、動き補償部34による動き補償に利用された動きベクトル量が所定値未満の場合において、フレームレートを減少させるようにカメラ21を制御するようにしてもよい。
【0061】
さらに本発明においては、上述したように動きベクトル量を始めとした動きベクトル情報に基づいて撮像デバイス3を制御する場合に限定されるものではなく、動き補償部34における非キーフレームの復号の収束値に基づいて撮像デバイス3を制御するようにしてもよい。このとき制御部37は、動き補償部34における非キーフレームの復号の収束値に基づいて、撮像デバイス3における画像符号器23、第1の符号器24、第2の符号器25を制御するようにしてもよい。ここでいう復号の収束値とは、非キーフレームWZnにおける各ピクセルに対する対数尤度値を意味する。この対数尤度値logPc,pWZn(i,j)の収束が十分でない場合、第2の符号器25における誤り訂正能力が低い可能性があることから、より高い訂正モードに切り替える。高い訂正モードとは、間引きパターンを切り替えたり、より多くの情報を送ったり、符号化のパラメータを切り替える等の処理を意味する。
【0062】
また、対数尤度値の収束が十分であるか否かの判別は、対数尤度値の分散等の統計量を計算し、所定の閾値との間で比較することにより判定することにより実行する。
【0063】
また、動き補償部34による非キーフレームの復号の収束値が所定値未満の場合には、画像符号器23においてフレーム内符号化されるキーフレームについて符号量制御を行う。このとき、制御部37は、キーフレームを無線データストリーム化した際のビットレートがより高くなるように、画像符号器23に対して符号量制御を行う。
【0064】
これにより動き補償部34における復号時において、対数尤度値の収束をより十分なものとすることができ、非キーフレームの画素補間を高精度に行うことが可能となる。
【0065】
このように、本発明では、撮像デバイス2における撮像のビットレートやキーフレームの割合、さらには符号量制御までを全て制御装置3側において行うことができる。また非キーフレームの動き補償を撮像デバイス2内で実行するのではなく、あくまで制御装置3側において実行し、その動き補償に利用した動きベクトルの情報を常時取得して制御部37による制御に利用することができる。
【0066】
このため、撮像デバイス2側において動き補償やこれに基づく制御を行うための回路を実装する必要がなくなることから、撮像デバイス2の形状をより小型化することが可能となり、また軽量化を図ることも可能となる。
【0067】
即ち、本発明は、撮像デバイス2を人体内に埋設する際に小型軽量化を図ることができ、しかも動きの速さが千差万別でしかも時々刻々と変化する可能性もある撮影対象を、動きベクトル情報等に基づいて適宜好適な条件の下で動画像を取得できるように撮像デバイス2を制御することが可能となる。
【図面の簡単な説明】
【0068】
【図1】本発明を適用した撮像システムの全体構成図である。
【図2】本発明を適用した撮像システムのブロック構成図である。
【図3】本発明を適用した撮像システムの動作について説明するための図である。
【図4】本発明を適用した撮像システムにおける動き補償の例について説明するための図である。
【図5】従来技術について説明するための図である。
【符号の説明】
【0069】
1 撮像システム
2 撮像デバイス
3 制御装置
5 無線伝送系
21 カメラ
22 振分器
23 画像符号器
24 第1の符号器
25 第2の符号器
26 送信部
31 受信部
32 復号器
33 画像復号器
34a 動き補償部
34b 非キーフレーム再構成部
35 合成部
36 映像表示部
37 制御部
38 SNR検出部
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4