Top > Search of Japanese Patents > VIDEO TRANSMISSION SYSTEM, VIDEO TRANSMISSION DEVICE, VIDEO TRANSMITTING METHOD, INVESTIGATION ROBOT, AND PROGRAM > Specification

Specification :(In Japanese)映像伝送システム、映像伝送装置、映像伝送方法、探査ロボット、及びプログラム

Country (In Japanese)日本国特許庁(JP)
Gazette (In Japanese)特許公報(B2)
Patent Number P5017646
Publication number P2008-211405A
Date of registration Jun 22, 2012
Date of issue Sep 5, 2012
Date of publication of application Sep 11, 2008
Title of the invention, or title of the device (In Japanese)映像伝送システム、映像伝送装置、映像伝送方法、探査ロボット、及びプログラム
IPC (International Patent Classification) H04N   7/18        (2006.01)
FI (File Index) H04N 7/18 D
H04N 7/18 A
Number of claims or invention 17
Total pages 16
Application Number P2007-044723
Date of filing Feb 23, 2007
Date of request for substantive examination Jan 8, 2010
Patentee, or owner of utility model right (In Japanese)【識別番号】304021288
【氏名又は名称】国立大学法人長岡技術科学大学
Inventor, or creator of device (In Japanese)【氏名】岩橋 政宏
【氏名】木村 哲也
Representative (In Japanese)【識別番号】100090273、【弁理士】、【氏名又は名称】國分 孝悦
Examiner (In Japanese)【審査官】鈴木 明
Document or reference (In Japanese)特開2006-180026(JP,A)
特開2002-040335(JP,A)
特開2005-267218(JP,A)
国際公開第2005/011285(WO,A1)
特開2002-027448(JP,A)
Field of search H04N 7/18
Scope of claims (In Japanese)【請求項1】
撮像装置を搭載した移動機能を有するロボットの前記撮像装置により得られる映像信号を、伝送路を介して遠隔地の受信側装置に伝送する映像伝送装置であって、
前記撮像装置により得られる映像信号を時空間分解処理して複数の映像成分に分解する分解手段と、
前記分解手段により分解された複数の映像成分の中から、状況に応じて送信する映像成分を選択する選択手段と、
前記選択手段により選択された映像成分を送信する送信手段とを備え、
前記分解手段は、前記撮像装置により得られる映像信号を、当該映像信号を構成する複数のフレームについてのフレーム間処理により時間方向に複数の成分に分解する時間的順変換手段、及びフレーム内処理により空間方向に複数の成分に分解する空間的順変換手段を有し、
前記時間的順変換手段は、前記映像信号を構成する連続したフレームを隣接する複数のフレームからなるフレーム群に分割して、各フレーム群に対して順方向に時間的変換処理としてN×N画素(Nは正の整数)の順方向の直交変換を施し、前記時間的変換処理して得られた低域のM×M画素(Mは正の整数かつM<N)を時間方向に係る第1成分とし、残りの成分を時間方向に係る第2成分とすることを特徴とする映像伝送装置。
【請求項2】
撮像装置を搭載した移動機能を有するロボットの前記撮像装置により得られる映像信号を、伝送路を介して遠隔地の受信側装置に伝送する映像伝送装置であって、
前記撮像装置により得られる映像信号を時空間分解処理して複数の映像成分に分解する分解手段と、
前記分解手段により分解された複数の映像成分の中から、状況に応じて送信する映像成分を選択する選択手段と、
前記選択手段により選択された映像成分を送信する送信手段とを備え、
前記分解手段は、前記撮像装置により得られる映像信号を、当該映像信号を構成する複数のフレームについてのフレーム間処理により時間方向に複数の成分に分解する時間的順変換手段、及びフレーム内処理により空間方向に複数の成分に分解する空間的順変換手段を有し、
前記時間的順変換手段は、前記映像信号を構成する連続したフレームを隣接する複数のフレームからなるフレーム群に分割して、各フレーム群に対して順方向に時間的変換処理としてSステージ(Sは正の整数)のオクターブ分割を施し、前記時間的変換処理して得られた第Tステージ(Tは正の整数かつT>S)の低域成分の復号に用いられる成分を時間方向に係る第1成分とし、残りの成分を時間方向に係る第2成分とすることを特徴とする映像伝送装置。
【請求項3】
前記空間的順変換手段は、前記映像信号を構成する各フレーム内の画素を隣接する複数の画素からなる画素群に分割して、各画素群に対して順方向に空間的変換処理としてP×P画素(Pは正の整数)の順方向の直交変換を施し、前記空間的変換処理して得られた低域のQ×Q画素(Qは正の整数かつQ<P)を空間方向に係る第1成分とし、残りの成分を空間方向に係る第2成分とすることを特徴とする請求項1又は2記載の映像伝送装置。
【請求項4】
前記空間的順変換手段は、前記映像信号を構成する各フレーム内の画素を隣接する複数の画素からなる画素群に分割して、各画素群に対して順方向に空間的変換処理としてXステージ(Xは正の整数)のオクターブ分割を施し、前記空間的変換処理して得られた第Yステージ(Yは正の整数かつY>X)の低域成分の復号に用いられる成分を空間方向に係る第1成分とし、残りの成分を空間方向に係る第2成分とすることを特徴とする請求項1又は2記載の映像伝送装置。
【請求項5】
前記選択手段は、前記ロボットの観察時には、時間解像度を低くするように映像成分を選択し、前記ロボットの移動動作時には空間解像度を低くするように成分を選択することを特徴とする請求項1~4の何れか1項に記載の映像伝送装置。
【請求項6】
請求項1又は2記載の映像伝送装置から送信された映像成分を受信する受信手段と、
前記受信手段により受信した映像成分を合成して映像信号を生成する合成手段と、
前記合成手段により生成された映像信号に係る映像を表示する表示手段とを備えることを特徴とする映像伝送装置。
【請求項7】
前記合成手段により生成された映像信号の各フレーム画像を繋ぎ合わせてパノラマ画像を生成し前記表示手段に表示させるパノラマ生成手段を備えることを特徴とする請求項6記載の映像伝送装置。
【請求項8】
撮像装置を搭載した移動機能を有するロボットと遠隔地の受信側装置とが、伝送路を介して通信可能に接続される映像伝送システムであって、
前記撮像装置により得られる映像信号を時空間分解処理して複数の映像成分に分解する分解手段と、
前記分解手段により分解された複数の映像成分の中から、状況に応じて送信する映像成分を選択する選択手段と、
前記選択手段により選択された映像成分を送信する送信手段と、
前記送信手段と前記伝送路を介して接続され、前記送信手段より送信された映像成分を受信する受信手段と、
前記受信手段により受信した映像成分を合成して映像信号を生成する合成手段と、
前記合成手段により生成された映像信号に係る映像を表示する表示手段とを備え、
前記分解手段は、前記撮像装置により得られる映像信号を、当該映像信号を構成する複数のフレームについてのフレーム間処理により時間方向に複数の成分に分解する時間的順変換手段、及びフレーム内処理により空間方向に複数の成分に分解する空間的順変換手段を有し、
前記時間的順変換手段は、前記映像信号を構成する連続したフレームを隣接する複数のフレームからなるフレーム群に分割して、各フレーム群に対して順方向に時間的変換処理としてN×N画素(Nは正の整数)の順方向の直交変換を施し、前記時間的変換処理して得られた低域のM×M画素(Mは正の整数かつM<N)を時間方向に係る第1成分とし、残りの成分を時間方向に係る第2成分とすることを特徴とする映像伝送システム。
【請求項9】
撮像装置を搭載した移動機能を有するロボットと遠隔地の受信側装置とが、伝送路を介して通信可能に接続される映像伝送システムであって、
前記撮像装置により得られる映像信号を時空間分解処理して複数の映像成分に分解する分解手段と、
前記分解手段により分解された複数の映像成分の中から、状況に応じて送信する映像成分を選択する選択手段と、
前記選択手段により選択された映像成分を送信する送信手段と、
前記送信手段と前記伝送路を介して接続され、前記送信手段より送信された映像成分を受信する受信手段と、
前記受信手段により受信した映像成分を合成して映像信号を生成する合成手段と、
前記合成手段により生成された映像信号に係る映像を表示する表示手段とを備え、
前記分解手段は、前記撮像装置により得られる映像信号を、当該映像信号を構成する複数のフレームについてのフレーム間処理により時間方向に複数の成分に分解する時間的順変換手段、及びフレーム内処理により空間方向に複数の成分に分解する空間的順変換手段を有し、
前記時間的順変換手段は、前記映像信号を構成する連続したフレームを隣接する複数のフレームからなるフレーム群に分割して、各フレーム群に対して順方向に時間的変換処理としてSステージ(Sは正の整数)のオクターブ分割を施し、前記時間的変換処理して得られた第Tステージ(Tは正の整数かつT>S)の低域成分の復号に用いられる成分を時間方向に係る第1成分とし、残りの成分を時間方向に係る第2成分とすることを特徴とする映像伝送システム。
【請求項10】
撮像装置を搭載した移動機能を有するロボットの前記撮像装置により得られる映像信号を、伝送路を介して遠隔地の受信側装置に伝送する映像伝送方法であって、
前記撮像装置により得られる映像信号を時空間分解処理して複数の映像成分に分解する分解工程と、
前記分解工程にて分解して得られる複数の映像成分の中から、状況に応じて送信する映像成分を選択する選択工程と、
前記選択工程にて選択された映像成分を送信する送信工程とを有し、
前記分解工程は、前記撮像装置により得られる映像信号を、当該映像信号を構成する複数のフレームについてのフレーム間処理により時間方向に複数の成分に分解する時間的順変換工程、及びフレーム内処理により空間方向に複数の成分に分解する空間的順変換工程を有し、
前記時間的順変換工程では、前記映像信号を構成する連続したフレームを隣接する複数のフレームからなるフレーム群に分割して、各フレーム群に対して順方向に時間的変換処理としてN×N画素(Nは正の整数)の順方向の直交変換を施し、前記時間的変換処理して得られた低域のM×M画素(Mは正の整数かつM<N)を時間方向に係る第1成分とし、残りの成分を時間方向に係る第2成分とすることを特徴とする映像伝送方法。
【請求項11】
撮像装置を搭載した移動機能を有するロボットの前記撮像装置により得られる映像信号を、伝送路を介して遠隔地の受信側装置に伝送する映像伝送方法であって、
前記撮像装置により得られる映像信号を時空間分解処理して複数の映像成分に分解する分解工程と、
前記分解工程にて分解して得られる複数の映像成分の中から、状況に応じて送信する映像成分を選択する選択工程と、
前記選択工程にて選択された映像成分を送信する送信工程とを有し、
前記分解工程は、前記撮像装置により得られる映像信号を、当該映像信号を構成する複数のフレームについてのフレーム間処理により時間方向に複数の成分に分解する時間的順変換工程、及びフレーム内処理により空間方向に複数の成分に分解する空間的順変換工程を有し、
前記時間的順変換工程では、前記映像信号を構成する連続したフレームを隣接する複数のフレームからなるフレーム群に分割して、各フレーム群に対して順方向に時間的変換処理としてSステージ(Sは正の整数)のオクターブ分割を施し、前記時間的変換処理して得られた第Tステージ(Tは正の整数かつT>S)の低域成分の復号に用いられる成分を時間方向に係る第1成分とし、残りの成分を時間方向に係る第2成分とすることを特徴とする映像伝送方法。
【請求項12】
撮像装置を搭載した移動機能を有するロボットの前記撮像装置により得られる映像信号を、伝送路を介して遠隔地の受信側装置に伝送する処理をコンピュータに実行させるためのプログラムであって、
前記撮像装置により得られる映像信号を時空間分解処理して複数の映像成分に分解する分解ステップと、
前記分解ステップにて分解して得られる複数の映像成分の中から、状況に応じて送信する映像成分を選択する選択ステップと、
前記選択ステップにて選択された映像成分を送信する送信ステップとをコンピュータに実行させ、
かつ前記分解ステップは、前記撮像装置により得られる映像信号を、当該映像信号を構成する複数のフレームについてのフレーム間処理により時間方向に複数の成分に分解する時間的順変換ステップ、及びフレーム内処理により空間方向に複数の成分に分解する空間的順変換ステップを有し、
前記時間的順変換ステップでは、前記映像信号を構成する連続したフレームを隣接する複数のフレームからなるフレーム群に分割して、各フレーム群に対して順方向に時間的変換処理としてN×N画素(Nは正の整数)の順方向の直交変換を施し、前記時間的変換処理して得られた低域のM×M画素(Mは正の整数かつM<N)を時間方向に係る第1成分とし、残りの成分を時間方向に係る第2成分とすることを特徴とするプログラム。
【請求項13】
撮像装置を搭載した移動機能を有するロボットの前記撮像装置により得られる映像信号を、伝送路を介して遠隔地の受信側装置に伝送する処理をコンピュータに実行させるためのプログラムであって、
前記撮像装置により得られる映像信号を時空間分解処理して複数の映像成分に分解する分解ステップと、
前記分解ステップにて分解して得られる複数の映像成分の中から、状況に応じて送信する映像成分を選択する選択ステップと、
前記選択ステップにて選択された映像成分を送信する送信ステップとをコンピュータに実行させ、
かつ前記分解ステップは、前記撮像装置により得られる映像信号を、当該映像信号を構成する複数のフレームについてのフレーム間処理により時間方向に複数の成分に分解する時間的順変換ステップ、及びフレーム内処理により空間方向に複数の成分に分解する空間的順変換ステップを有し、
前記時間的順変換ステップでは、前記映像信号を構成する連続したフレームを隣接する複数のフレームからなるフレーム群に分割して、各フレーム群に対して順方向に時間的変換処理としてSステージ(Sは正の整数)のオクターブ分割を施し、前記時間的変換処理して得られた第Tステージ(Tは正の整数かつT>S)の低域成分の復号に用いられる成分を時間方向に係る第1成分とし、残りの成分を時間方向に係る第2成分とすることを特徴とするプログラム。
【請求項14】
移動機能を有する探査ロボットであって、
移動中であるか観察中であるかを検知する状況検知手段と、
映像を撮影する撮像手段と、
前記撮像手段により得られる映像信号を時空間分解処理して複数の映像成分に分解する分解手段と、
前記状況検知手段での検知結果に応じて、前記分解手段により分解された複数の映像成分の中から、伝送路を介して遠隔地の受信側装置に送信する映像成分を選択する選択手段と、
前記選択手段により選択された映像成分を前記伝送路に対して送信する送信手段とを備え、
前記分解手段は、前記撮像手段により得られる映像信号を、当該映像信号を構成する複数のフレームについてのフレーム間処理により時間方向に複数の成分に分解する時間的順変換手段、及びフレーム内処理により空間方向に複数の成分に分解する空間的順変換手段を有し、
前記時間的順変換手段は、前記映像信号を構成する連続したフレームを隣接する複数のフレームからなるフレーム群に分割して、各フレーム群に対して順方向に時間的変換処理としてN×N画素(Nは正の整数)の順方向の直交変換を施し、前記時間的変換処理して得られた低域のM×M画素(Mは正の整数かつM<N)を時間方向に係る第1成分とし、残りの成分を時間方向に係る第2成分とすることを特徴とする探査ロボット。
【請求項15】
移動機能を有する探査ロボットであって、
移動中であるか観察中であるかを検知する状況検知手段と、
映像を撮影する撮像手段と、
前記撮像手段により得られる映像信号を時空間分解処理して複数の映像成分に分解する分解手段と、
前記状況検知手段での検知結果に応じて、前記分解手段により分解された複数の映像成分の中から、伝送路を介して遠隔地の受信側装置に送信する映像成分を選択する選択手段と、
前記選択手段により選択された映像成分を前記伝送路に対して送信する送信手段とを備え、
前記分解手段は、前記撮像手段により得られる映像信号を、当該映像信号を構成する複数のフレームについてのフレーム間処理により時間方向に複数の成分に分解する時間的順変換手段、及びフレーム内処理により空間方向に複数の成分に分解する空間的順変換手段を有し、
前記時間的順変換手段は、前記映像信号を構成する連続したフレームを隣接する複数のフレームからなるフレーム群に分割して、各フレーム群に対して順方向に時間的変換処理としてSステージ(Sは正の整数)のオクターブ分割を施し、前記時間的変換処理して得られた第Tステージ(Tは正の整数かつT>S)の低域成分の復号に用いられる成分を時間方向に係る第1成分とし、残りの成分を時間方向に係る第2成分とすることを特徴とする探査ロボット。
【請求項16】
撮像装置を搭載した移動機能を有するロボットと遠隔地の受信側装置とが、伝送路を介して通信可能に接続される映像伝送システムであって、
前記撮像装置により得られる映像信号を時空間分解処理して複数の映像成分に分解する分解手段と、
前記分解手段により分解された複数の映像成分を送信する送信手段と、
前記送信手段と前記伝送路を介して接続され、前記送信手段より送信された複数の映像成分の中から、状況に応じた映像成分だけを選択して受信する受信手段と、
前記受信手段により受信した映像成分を合成して映像信号を生成する合成手段と、
前記合成手段により生成された映像信号に係る映像を表示する表示手段とを備え、
前記分解手段は、前記撮像装置により得られる映像信号を、当該映像信号を構成する複数のフレームについてのフレーム間処理により時間方向に複数の成分に分解する時間的順変換手段、及びフレーム内処理により空間方向に複数の成分に分解する空間的順変換手段を有し、
前記時間的順変換手段は、前記映像信号を構成する連続したフレームを隣接する複数のフレームからなるフレーム群に分割して、各フレーム群に対して順方向に時間的変換処理としてN×N画素(Nは正の整数)の順方向の直交変換を施し、前記時間的変換処理して得られた低域のM×M画素(Mは正の整数かつM<N)を時間方向に係る第1成分とし、残りの成分を時間方向に係る第2成分とすることを特徴とする映像伝送システム。
【請求項17】
撮像装置を搭載した移動機能を有するロボットと遠隔地の受信側装置とが、伝送路を介して通信可能に接続される映像伝送システムであって、
前記撮像装置により得られる映像信号を時空間分解処理して複数の映像成分に分解する分解手段と、
前記分解手段により分解された複数の映像成分を送信する送信手段と、
前記送信手段と前記伝送路を介して接続され、前記送信手段より送信された複数の映像成分の中から、状況に応じた映像成分だけを選択して受信する受信手段と、
前記受信手段により受信した映像成分を合成して映像信号を生成する合成手段と、
前記合成手段により生成された映像信号に係る映像を表示する表示手段とを備え、
前記分解手段は、前記撮像装置により得られる映像信号を、当該映像信号を構成する複数のフレームについてのフレーム間処理により時間方向に複数の成分に分解する時間的順変換手段、及びフレーム内処理により空間方向に複数の成分に分解する空間的順変換手段を有し、
前記時間的順変換手段は、前記映像信号を構成する連続したフレームを隣接する複数のフレームからなるフレーム群に分割して、各フレーム群に対して順方向に時間的変換処理としてSステージ(Sは正の整数)のオクターブ分割を施し、前記時間的変換処理して得られた第Tステージ(Tは正の整数かつT>S)の低域成分の復号に用いられる成分を時間方向に係る第1成分とし、残りの成分を時間方向に係る第2成分とすることを特徴とする映像伝送システム。
Detailed description of the invention (In Japanese)【技術分野】
【0001】
本発明は、映像伝送システム、映像伝送装置、映像伝送方法、探査ロボット、及びプログラムに関し、特に、自走式ロボットに搭載されたカメラにより得られた映像信号を伝送するシステムに用いて好適なものである。
【背景技術】
【0002】
高い旋回性能と安定した重心バランスにより、段差の乗越えや狭小空間への進入が可能なクローラ型走行ロボットが開発されている(例えば、特許文献1参照。)。このような走行ロボットにカメラを搭載して、撮影された映像の映像信号を遠隔地点に伝送することで、表示された映像を見ながらロボットを遠隔操作するためのロボットビジョン・システムも開発されている。その際、膨大な映像信号をインターネット等の通信ネットワーク経由で伝送する方法が各種提案されている(例えば、特許文献2参照。)。
【0003】

【特許文献1】特開2005-111595号公報
【特許文献2】特開2002-305743号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、従来において、ロボットに搭載されたカメラで撮影される映像は、常に同じ画素数かつ同じフレームレートで伝送されるため、映像信号の伝送路に対して、常に膨大な量のデータ転送、すなわち広い伝送帯域を要求することになる。その結果、混線や輻輳といった伝送路の障害による影響を受けやすい。例えば、迅速かつ正確であることが要求される消防活動や救助活動に、カメラを搭載したロボットを利用する場合にはできるだけ安定した映像の伝送は欠かせない。
【0005】
本発明は、状況に応じて映像成分を適応的に伝送し、伝送路の帯域を有効に活用できるようにすることを目的とする。
【課題を解決するための手段】
【0006】
本発明の映像伝送装置は、撮像装置を搭載した移動機能を有するロボットの前記撮像装置により得られる映像信号を、伝送路を介して遠隔地の受信側装置に伝送する映像伝送装置であって、前記撮像装置により得られる映像信号を時空間分解処理して複数の映像成分に分解する分解手段と、前記分解手段により分解された複数の映像成分の中から、状況に応じて送信する映像成分を選択する選択手段と、前記選択手段により選択された映像成分を送信する送信手段とを備え、前記分解手段は、前記撮像装置により得られる映像信号を、当該映像信号を構成する複数のフレームについてのフレーム間処理により時間方向に複数の成分に分解する時間的順変換手段、及びフレーム内処理により空間方向に複数の成分に分解する空間的順変換手段を有し、前記時間的順変換手段は、前記映像信号を構成する連続したフレームを隣接する複数のフレームからなるフレーム群に分割して、各フレーム群に対して順方向に時間的変換処理としてN×N画素(Nは正の整数)の順方向の直交変換を施し、前記時間的変換処理して得られた低域のM×M画素(Mは正の整数かつM<N)を時間方向に係る第1成分とし、残りの成分を時間方向に係る第2成分とすることを特徴とする。
本発明の映像伝送装置は、撮像装置を搭載した移動機能を有するロボットの前記撮像装置により得られる映像信号を、伝送路を介して遠隔地の受信側装置に伝送する映像伝送装置であって、前記撮像装置により得られる映像信号を時空間分解処理して複数の映像成分に分解する分解手段と、前記分解手段により分解された複数の映像成分の中から、状況に応じて送信する映像成分を選択する選択手段と、前記選択手段により選択された映像成分を送信する送信手段とを備え、前記分解手段は、前記撮像装置により得られる映像信号を、当該映像信号を構成する複数のフレームについてのフレーム間処理により時間方向に複数の成分に分解する時間的順変換手段、及びフレーム内処理により空間方向に複数の成分に分解する空間的順変換手段を有し、前記時間的順変換手段は、前記映像信号を構成する連続したフレームを隣接する複数のフレームからなるフレーム群に分割して、各フレーム群に対して順方向に時間的変換処理としてSステージ(Sは正の整数)のオクターブ分割を施し、前記時間的変換処理して得られた第Tステージ(Tは正の整数かつT>S)の低域成分の復号に用いられる成分を時間方向に係る第1成分とし、残りの成分を時間方向に係る第2成分とすることを特徴とする。
【発明の効果】
【0007】
本発明によれば、ロボットに搭載された撮像装置により得られる映像信号を時間方向及び空間方向に複数の映像成分に分解し、状況に応じた映像成分を適切に選択して送信し、それをもとに受信側で映像を再生させる。これにより、常に映像成分のすべてを伝送する場合と比較して、伝送するデータ量を低減し、伝送路の帯域を有効に活用することができる。
【発明を実施するための最良の形態】
【0008】
以下、本発明の実施形態を図面に基づいて説明する。
【0009】
<第1の実施形態>
本発明の第1の実施形態における映像伝送システムは、自走式ロボットに搭載されたカメラにより得られる映像信号を、データ伝送路を介して遠隔地の受信側装置に伝送するシステムであって、映像信号を複数の映像成分に分解して、利用状況に応じて映像成分を選択し圧縮伝送する。
【0010】
図1は、第1の実施形態における映像伝送システムの構成例を示すブロック図である。第1の実施形態における映像伝送システムは、図1に示すように、自走式のロボット1とロボット1の操縦者あるいは状況の観察者といった映像の受信者が利用する受信側装置3とが、データ伝送路2を介して通信可能なように接続される。ここで、データ伝送路2は、ロボット1と受信側装置3との間でデータが伝送可能であればよく、インターネット等の通信ネットワークであっても良いし、ロボット1と受信側装置3に係る個別の通信回線(有線、無線)であっても良い。
【0011】
以下、図1に示した映像伝送システムについて詳細に説明する。
(ロボット1)
ロボット1は、撮像装置であるカメラ11を搭載し、遠隔操作により自走することが可能な移動機能を有する自走式ロボットであり、例えば消防活動や救助活動等で使用される探査ロボットである。ロボット1は、カメラ11、映像信号処理部(送信側)12A、映像送信部17、制御信号受信部18、移動制御部19、走行装置20、及び状況検知部21を有する。
【0012】
カメラ11は、ロボット1が存在する地点やその周辺の映像を撮影するためのものであり、遠隔操作によりアングルも操作可能となっている。
【0013】
映像信号処理部12Aは、カメラ11により撮影された映像の映像信号に対して所定の処理を施す。映像信号処理部12Aは、成分分解部13及び成分選択部16を有する。
成分分解部13は、カメラ11により得られた映像信号に時空間分解処理を施す。成分分解部13は、時間的順変換部14及び空間的順変換部15を有し、映像信号を時間方向及び空間方向に複数の映像成分に分解する。
【0014】
時間的順変換部14は、映像信号を構成する複数のフレームについてのフレーム間処理により映像信号を時間方向の映像成分に分解する。また、空間的順変換部15は、各フレームについてのフレーム内処理により映像信号を空間方向の映像成分に分解する。すなわち、時間的順変換部14及び空間的順変換部15により、映像信号は、複数の時空間成分に分解される。
【0015】
成分選択部16は、ロボット1の利用状況(例えば、受信者の利用形態や状況検知部21の検知結果など)に応じて、成分分解部13により時空間方向に分解して得られた複数の映像成分の中から受信側装置3に送信する映像成分を選択する。本実施形態では、成分選択部16は、複数の映像成分の中から、ロボット1の利用状況に応じた必要最小限の映像成分を選択するものとする。
【0016】
映像送信部17は、映像信号処理部12Aから供給される映像信号(詳細には、成分選択部16により選択された映像成分)を符号化し、データ伝送路2を介して受信側装置3に送信する。
【0017】
制御信号受信部18は、データ伝送路2を介して送信された受信側装置3からのロボット1を遠隔操作するための各種制御信号を受信する。移動制御部19は、制御信号受信部18にて受信した制御信号に基づいて、ロボット1を移動させる走行装置20を制御する。状況検知部21は、ロボット1の状況を検知するものであり、例えば制御信号受信部18にて受信した制御信号等に基づいて、移動中であるか観察中であるか検知する。
【0018】
(受信側装置3)
受信側装置3は、ロボット1からの映像を受けてロボット1を遠隔操作する。受信側装置3は、映像受信部31、映像信号処理部(受信側)32A、映像表示部36、操作制御部37、及び制御信号送信部38を有する。
【0019】
映像受信部31は、ロボット1から送信された映像信号(選択された映像成分)を、データ伝送路2を介して受信して復号する。
映像信号処理部32Aは、成分合成部33を有し、映像受信部31により得られた映像信号に対して所定の処理を施す。
【0020】
成分合成部33は、映像受信部31により得られた映像成分を合成する。具体的には、成分合成部33は、時間的逆変換部34及び空間的逆変換部35を有し、受信された映像成分を時間方向及び空間方向について合成する。
時間的逆変換部34は、時間的順変換部14で施される処理の逆方向のフレーム間処理により時間方向の成分として合成する。また、空間的逆変換部35は、空間的順変換部15で施される処理の逆方向のフレーム内処理により空間方向の成分として合成する。
【0021】
映像表示部36は、成分合成部33により合成され生成された映像信号を再生表示する。
【0022】
操作制御部37は、オペレータ等からの操作部等を介した入力に基づいて、ロボット1を遠隔操作するための制御信号を生成する。制御信号送信部38は、操作制御部37により生成された制御信号をデータ伝送路2を介してロボット1に送信する。
【0023】
次に、映像信号処理部12A及び32Aでの処理について説明する。
まず、時間的順変換部14及び時間的逆変換部34にてそれぞれ行われる時間方向の分解処理及びその逆処理について説明する。
【0024】
時間的順変換部14は、映像信号を構成する連続したフレームを、隣接する複数のブロック(隣接する複数のフレームからなるフレーム群)に分割する。そして、分割した各ブロックから1つのフレームを選択して、それを時間方向の第1成分とする。また、例えば各ブロックの残りのフレームを時間方向の第2成分とする。
成分選択部16は、時間的順変換部14により時間方向に分解して得られた第1成分及び第2成分を利用状況に応じて選択する。
【0025】
例えば、時間的順変換部14は、連続した2つのフレームを1つのブロックとして、ブロック内の最初のフレームをL成分、最後のフレームをH成分とする。そして、成分選択部16は、観察時など時間解像度は低くても良いが高い空間解像度が要求される場合には、ブロック内の最初の1フレーム(L成分)を選択する。
時間的逆変換部34は、成分選択部16によって選択されたフレームを受信して合成し映像信号を生成する。したがって、ブロック内の最初の1フレーム(L成分)のみが選択されている場合には、受信側装置3では1/2にコマ落としされた映像が出力され、時間分解能が低くなる。
【0026】
まとめると図5に示すように、本実施形態では、状況を精査するために映像をゆっくりパンさせて周囲を観察するような「観察時」には、時間的なH成分を伝送しないことによるコマ落しにより時間分解能を低くしてデータの伝送量を低減する。
【0027】
また、時間的順変換部14は、連続したフレームを、隣接する複数のブロックに分割し、各ブロックに対して順方向に時間的変換を施すようにしても良い。この場合、成分選択部16は、観察時など時間解像度は低くても良いが高い空間解像度が要求される場合には、時間的変換により得られた成分から特定の成分のみを選択すれば良い。
【0028】
時間的変換としては、ウォルシュ・アダマール変換や離散コサイン変換といった直交変換を適用することが可能である。例えば、時間的順変換部14での時間的変換がN×N点(縦方向にN画素かつ横方向にN画素)の順方向の直交変換の場合には、時間解像度を低くするために、成分選択部16は低域のM×M点を選択する。なお、NとMは正の整数であり、N>Mである。
時間的逆変換部34は、M×M点の逆方向の直交変換を行い、映像信号を生成する。なお、低域に選択されたM×M点を配置し高域にゼロ値を配置してから、N×N点の逆方向の直交変換を行うようにしても良い。
【0029】
また、時間的変換として、ウェーブレット変換やフィルタバンクによるオクターブ分割を適用することも可能である。例えば、時間的順変換部14での時間的変換がSステージのオクターブ分割の場合には、時間解像度を低くするために成分選択部16は第Tステージの最低域の成分を復号するのに必要最小限の成分を全て選択する。なお、SとTは正の整数であり、T>Sである。時間的逆変換部34は、第Tステージの最低域をオクターブ合成してこれを出力する。
【0030】
オクターブ分割を適用した場合,最低域をL成分、それ以外の高域すべてをH成分とする。L成分は、カメラ11が静止している状態であればフレーム同期加算した結果と等価であり、降雨雪粒子などの移動体が映像から消失させ静止している観測対象(例えば壁のヒビ等)を鮮明化する働きがある。このため、L成分のみを受信側装置3で再生表示することで、観察に適した映像を閲覧することができる。
また、例えばハール基底に基づくウェーブレット変換を用いることで、加減算とシフト演算のみで上述した処理を高速に実現することができる。
【0031】
次に、空間的順変換部15及び空間的逆変換部35にてそれぞれ行われる空間方向の分解処理及びその逆処理について説明する。
【0032】
空間的順変換部15は、映像信号を構成する各フレーム内の画素を、隣接する複数のブロック(隣接する複数の画素からなる画素群)に分割する。そして、分割した各ブロックから1つの画素を選択して、それを空間方向の第1成分とする。また、例えば各ブロックの残りの画素を空間方向の第2成分とする。
成分選択部16は、空間的順変換部15により空間方向に分解して得られた第1成分及び第2成分を利用状況に応じて選択する。
【0033】
例えば、空間的順変換部15は、フレーム内の互いに隣接する2×2画素(縦方向に2かつ横方向に2の合計4画素)を1つのブロックとして、ブロック内の特定の位置における1つの画素をL成分、それ以外の3つの画素をH成分とする。そして、成分選択部16は、移動時(走行時)など空間解像度は低くても良いが高い時間解像度が要求される場合には、L成分のみを選択する。
空間的逆変換部35は、成分選択部16によって選択されたL成分を受信して合成し映像信号を生成する。したがって、L成分のみが選択されている場合には、受信側装置3では画素数が縦横共に1/2に間引かれた映像が出力され、空間分解能が低くなる。
【0034】
まとめると図5に示すように、ロボット1を走行させて迅速に場所を移動するような「走行時」には、空間的なH成分を伝送しないことによる画素間引きにより空間分解能を低くしてデータの伝送量を低減する。
【0035】
また、空間的順変換部15は、フレーム内の画素を、隣接する複数のブロックに分割し、各ブロックに対して順方向に空間的変換を施すようにしても良い。この場合、成分選択部16は、移動時(走行時)など空間解像度は低くても良いが高い時間解像度が要求される場合には、空間的変換により得られた成分から特定の成分のみを選択すれば良い。
【0036】
空間的変換としては、ウォルシュ・アダマール変換や離散コサイン変換といった直交変換を適用することが可能である。例えば、空間的順変換部15での空間的変換がN×N点の順方向の直交変換の場合には、空間解像度を低くするために、成分選択部16は低域のM×M点を選択する。なお、NとMは正の整数であり、N>Mである。
空間的逆変換部35は、M×M点の逆方向の直交変換を行い、映像信号を生成する。なお、低域に選択されたM×M点を配置し高域にゼロ値を配置してから、N×N点の逆方向の直交変換を行うようにしても良い。
【0037】
また、空間的変換として、ウェーブレット変換やフィルタバンクによるオクターブ分割を適用することも可能である。例えば、空間的順変換部15での空間的変換がSステージのオクターブ分割の場合には、空間解像度を低くするために成分選択部16は第Tステージの最低域の成分を復号するのに必要最小限の成分を全て選択する。なお、SとTは正の整数であり、T>Sである。空間的逆変換部35は、第Tステージの最低域をオクターブ合成してこれを出力する。
【0038】
このように、従来は映像信号の全成分を常に伝送していたが(図2(a)参照)、本実施形態では、図2(b)に示すように映像信号を時間方向及び空間方向に複数の映像成分に分解して、状況に応じて映像成分を選択的に伝送する。
【0039】
また、映像信号に対して時間的及び空間的な変換を施すことで、映像送信部17によるデータ圧縮の効率を高めることができる。また,空間的な変換結果から最低域をL成分とすることで,縮小映像(低い空間解像度の映像)におけるエリアス誤差を抑圧する効果があり,エリアス誤差が少ない品質の良い映像を再生することができる。
【0040】
以上、説明したように第1の実施形態によれば、遠隔操作により自走することが可能なロボット1に搭載されたカメラ11から得られた映像信号が、成分分解部13により時間方向及び空間方向に複数の成分に分解され、成分選択部16により状況に応じて必要な映像成分のみが選択されてデータ伝送路2を介して遠隔地の受信側装置3に伝送される。そして、受信側装置3では、ロボット1から送信されたデータ(映像成分)が受信・復号され、成分合成部33により元の成分が合成されて映像信号が生成され、映像表示部36にて再生表示し閲覧者に映像を提供する。これにより、常に映像成分のすべてを通信する場合に比べ、伝送するデータ量を低減し、伝送に要する伝送路の帯域を低減することができる。
【0041】
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。
図3は、第2の実施形態における映像伝送システムの構成例を示すブロック図である。この図3において、図1に示したブロック等と同一の機能を有するブロック等には同一の符号を付し、重複する説明は省略する。
【0042】
第2の実施形態における映像伝送システムは、自走式ロボットに搭載されたカメラにより得られる映像信号を、データ伝送路を介して遠隔地の受信側装置に伝送するシステムであって、映像信号を複数の映像成分に分解して成分毎に伝送する。そして、受信側で、利用状況に応じて映像成分を選択して受信し復号することで、利用状況に応じて適切な映像を表示できるようにする。
【0043】
第1の実施形態とは、映像信号処理部(送信側)12Bが成分選択部を有さずに成分分解部13で構成され、映像成分の選択を行うデータ選択部39を受信側装置3に備えたことが相違する。データ選択部39は、ロボット1から映像成分毎に送信された映像信号から、ロボット1の利用状況(例えば、受信者の利用形態など)に応じて所望の映像成分を選択して映像受信部31に出力する。
【0044】
これにより、第2の実施形態における映像伝送システムでは、ロボット1から送信された映像信号のうち、利用状況に応じて必要な映像成分のみがデータ選択部39により選択されて受信されるので、常に全成分を受信する場合に比べ、受信側装置3における処理を低減することができる。また、複数の受信側装置3が存在する場合には、受信側装置3毎に時間方向及び空間方向について異なる解像度での映像を表示することが可能になる。
【0045】
<第3の実施形態>
次に、本発明の第3の実施形態について説明する。
図4は、第3の実施形態における映像伝送システムの構成例を示すブロック図である。この図4において、図1に示したブロック等と同一の機能を有するブロック等には同一の符号を付し、重複する説明は省略する。
【0046】
第3の実施形態における映像伝送システムは、自走式ロボットに搭載されたカメラにより得られる映像信号を、データ伝送路を介して遠隔地の受信側装置に伝送するシステムであって、映像信号を複数の映像成分に分解して,利用状況に応じて映像成分を選択し圧縮伝送する。また、受信側装置3では、受信して生成された映像信号を元にパノラマ画像を生成して映像履歴を閲覧者等に提供する。
【0047】
第1の実施形態とは、映像信号処理部(受信側)32B内にパノラマ生成部40を備えたことが相違する。パノラマ生成部40は、成分合成部33により合成された映像信号を構成するフレーム画像を繋ぎ合わせてパノラマ画像を生成する。パノラマ生成部40により各フレームが接合されて生成されたパノラマ画像は、映像表示部36により表示する。これにより、ロボット1により撮影された映像の映像履歴を容易に閲覧することができる。
【0048】
(本発明の他の実施形態)
なお、上述した実施形態は、コンピュータのCPU又はMPU、RAM、ROM等で構成可能なものであり、RAMやROMに記憶されたプログラムが動作することによって実現でき、前記プログラムは本発明の実施形態に含まれる。また、コンピュータが上述の実施形態の機能を果たすように動作させるプログラムを、例えばCD-ROMのような記録媒体に記録し、コンピュータに読み込ませることによって実現できるものであり、前記プログラムを記録した記録媒体は本発明の実施形態に含まれる。前記プログラムを記録する記録媒体としては、CD-ROM以外に、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等を用いることができる。
また、コンピュータがプログラムを実行し処理を行うことにより、上述の実施形態の機能が実現されるプログラムプロダクトは、本発明の実施形態に含まれる。前記プログラムプロダクトとしては、上述の実施形態の機能を実現するプログラム自体、前記プログラムが読み込まれたコンピュータ、ネットワークを介して通信可能に接続されたコンピュータに前記プログラムを提供可能な送信装置、及び当該送信装置を備えるネットワークシステム等がある。
また、コンピュータが供給されたプログラムを実行することにより上述の実施形態の機能が実現されるだけでなく、そのプログラムがコンピュータにおいて稼働しているOS(オペレーティングシステム)又は他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合や、供給されたプログラムの処理のすべて又は一部がコンピュータの機能拡張ボードや機能拡張ユニットにより行われて上述の実施形態の機能が実現される場合も、かかるプログラムは本発明の実施形態に含まれる。
【0049】
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図面の簡単な説明】
【0050】
【図1】本発明の第1の実施形態における映像伝送システムの構成例を示す図である。
【図2】本発明の実施形態における映像信号の伝送方式を概念的に示す図である。
【図3】本発明の第2の実施形態における映像伝送システムの構成例を示す図である。
【図4】本発明の第3の実施形態における映像伝送システムの構成例を示す図である。
【図5】本発明の実施形態における映像信号の伝送方式の特徴を示した図である。
【符号の説明】
【0051】
1 ロボット
2 データ伝送路
3 受信側装置
11 カメラ
12 映像信号処理部
13 成分分解部
14 時間的順変換部
15 空間的順変換部
16 成分選択部
17 映像送信部
31 映像受信部
32 映像信号処理部
33 成分合成部
34 時間的逆変換部
35 空間的逆変換部
36 映像表示部
Drawing
(In Japanese)【図1】
0
(In Japanese)【図2】
1
(In Japanese)【図3】
2
(In Japanese)【図4】
3
(In Japanese)【図5】
4