TOP > 国内特許検索 > 画像通信装置及び画像通信方法 > 明細書

明細書 :画像通信装置及び画像通信方法

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4934808号 (P4934808)
公開番号 特開2008-099033 (P2008-099033A)
登録日 平成24年3月2日(2012.3.2)
発行日 平成24年5月23日(2012.5.23)
公開日 平成20年4月24日(2008.4.24)
発明の名称または考案の名称 画像通信装置及び画像通信方法
国際特許分類 H04N   7/30        (2006.01)
G06T   9/00        (2006.01)
H04N   1/41        (2006.01)
H04N   1/413       (2006.01)
FI H04N 7/133 Z
G06T 9/00
H04N 1/41 B
H04N 1/413 D
請求項の数または発明の数 12
全頁数 21
出願番号 特願2006-279200 (P2006-279200)
出願日 平成18年10月12日(2006.10.12)
審査請求日 平成21年9月16日(2009.9.16)
特許権者または実用新案権者 【識別番号】304021288
【氏名又は名称】国立大学法人長岡技術科学大学
発明者または考案者 【氏名】岩橋 政宏
個別代理人の代理人 【識別番号】100090273、【弁理士】、【氏名又は名称】國分 孝悦
審査官 【審査官】畑中 高行
参考文献・文献 特開2001-086506(JP,A)
特開平08-050649(JP,A)
特開2001-285642(JP,A)
特開2006-196969(JP,A)
特開2006-013754(JP,A)
鈴木 貴之、外2名,JPEG2000を活用した人物モニタリングシステム,情報処理学会第68回(平成18年)全国大会講演論文集(2) 人工知能と認知科学,社団法人情報処理学会,2006年 3月 7日,p.2-361~2-362
タンスリヤボン スリヨン、外2名,一人暮らしの老人に適用したプライバシー・コンシャス・ビデオ介護支援システムの開発,映像情報メディア学会技術報告,社団法人映像情報メディア学会,2005年 8月29日,第29巻、第46号,p.63-64
タンスリヤボン スリヨン、外3名,JPEG2000要素技術を利用したプライバシー・コンシャス・ビデオ通信システムの開発,映像情報メディア学会技術報告,社団法人映像情報メディア学会,2005年 6月23日,第29巻、第34号,p.5-8
竹田 将英、外2名,JPEG2000の要素技術を活用した画像認識システムの一構成法 -プライバシー・コンシャス・テレコミュニケーション・システムの構築に向けて-,第18回 回路とシステム軽井沢ワークショップ 論文集,電子情報通信学会 システムと信号処理サブソサイエティ 電子情報通信学会 非線形理論とその応用サブソサイエティ,2005年 4月25日,p.479-484
調査した分野 H04N7/24-7/68
H04N1/41-1/419
H03M3/00-11/00
G06T9/00-9/40
特許請求の範囲 【請求項1】
人物が存在しないときに撮影された背景画像及び人物が存在するときに撮影された動画像を複数種類の帯域信号に帯域分割するとともに、動画像から背景画像を各画素毎について減算する変換手段と、
上記変換手段にて背景画像を減算された動画像の帯域信号から人物領域を同定して当該領域の帯域信号を出力する人物領域抽出手段と、
上記人物領域抽出手段より出力される人物領域の帯域信号における各画素値をビットプレーンに分解するビットプレーン分解手段と、
上記ビットプレーン分解手段によりビットプレーン分解された人物領域の各種帯域信号のうち高域の帯域信号の上位のビットプレーン又は低域の帯域信号の上位のビットプレーンをアウェアネス情報を表示させるための基本階層に分類し、上記基本階層以外の上記ビットプレーン分解手段によりビットプレーン分解された人物領域の帯域信号を拡張階層に分類する階層化手段と、
上記階層化手段により分類された上記基本階層及び上記拡張階層のそれぞれのデータをエントロピ符号化する第1の符号化手段とを備え、
受信側にてアウェアネス情報を表示させる第1の状態では上記基本階層の符号化データを送信し、撮影された元の動画像を受信側にて再生表示可能とさせる第2の状態では上記基本階層の符号化データに加えて上記拡張階層の符号化データを追加送信することを特徴とする画像通信装置。
【請求項2】
上記変換手段は、
上記背景画像及び上記動画像を複数種類の帯域信号に帯域分割する帯域分割手段と、
上記帯域分割手段により帯域分割された背景画像を、帯域分割された動画像から各画素毎について減算する背景差分手段とを備えることを特徴とする請求項1記載の画像通信装置。
【請求項3】
上記人物領域抽出手段より出力される人物領域の帯域信号における各画素値を量子化する量子化手段をさらに備え、
上記ビットプレーン分解手段は、上記量子化手段により量子化された人物領域の帯域信号をビットプレーンに分解することを特徴とする請求項1又は2記載の画像通信装置。
【請求項4】
上記帯域分割、上記量子化、上記ビットプレーン分解、及び上記エントロピ符号化に係る処理は、JPEG2000規格に準拠した処理であることを特徴とする請求項3記載の画像通信装置。
【請求項5】
上記階層化手段は、動画像を構成するフレームを所定間隔で抽出し、抽出されたフレームに係る上記人物領域の帯域信号を上記基本階層と上記拡張階層とに分類することを特徴とする請求項1~4の何れか1項に記載の画像通信装置。
【請求項6】
請求項1~5の何れか1項に記載の画像通信装置から送信された上記基本階層の符号化データ、又は上記基本階層の符号化データと上記拡張階層の符号化データを受信し、当該画像通信装置での処理の逆処理を受信した符号化データに施して人物領域の帯域信号を再生する再生手段と、
上記再生手段により再生された人物領域の帯域信号と、上記画像通信装置からの背景画像データを再生して得られる背景画像の帯域信号とを各画素毎について加算するとともに、帯域信号を帯域合成して動画像を再生する合成手段とを備えることを特徴とする画像通信装置。
【請求項7】
上記階層化手段は、上記ビットプレーン分解手段によりビットプレーン分解された人物領域の帯域信号を上記基本階層と上記拡張階層とに分類するとともに、基本階層については基本階層として分類された人物領域の帯域信号のビットプレーン以外にゼロ値を挿入して人物領域に係る基本階層の帯域信号を生成し、拡張階層については基本階層として分類された人物領域の帯域信号のビットプレーンをゼロ値で置き換えて人物領域に係る拡張階層の帯域信号を生成し、
かつ上記第1の符号化手段に代えて、帯域合成手段と第2の符号化手段を備え、
上記帯域合成手段は、上記階層化手段により生成された基本階層及び拡張階層の帯域信号をそれぞれ帯域合成して基本階層画像及び拡張階層画像を生成し、
上記第2の符号化手段は、上記帯域合成手段により生成される基本階層画像及び拡張階層画像をJPEG2000規格に準拠した符号化方式でそれぞれ符号化し、
受信側にてアウェアネス情報を表示させる第1の状態では上記基本階層画像の符号化データを送信し、撮影された元の動画像を受信側にて再生表示可能とさせる第2の状態では上記基本階層画像の符号化データに加えて上記拡張階層画像の符号化データを追加送信することを特徴とする請求項1~の何れか1項に記載の画像通信装置。
【請求項8】
上記帯域分割、上記ビットプレーン分解、及び上記帯域合成に係る処理は、JPEG2000規格に準拠した処理であることを特徴とする請求項7記載の画像通信装置。
【請求項9】
請求項7又は8記載の画像通信装置から送信された上記基本階層画像の符号化データ、又は上記基本階層画像の符号化データと上記拡張階層画像の符号化データを受信し、受信した符号化データをJPEG2000規格に準拠して復号し上記基本階層画像、又は上記基本階層画像及び上記拡張階層画像を取得する復号手段と、
上記復号手段により復号された上記基本階層画像、又は上記基本階層画像及び上記拡張階層画像と、上記画像通信装置からの背景画像データを再生して得られる背景画像とを複数種類の帯域信号に帯域分割する帯域分割手段と、
上記帯域分割手段により帯域分割された上記基本階層画像の帯域信号、又は上記基本階層画像及び上記拡張階層画像の帯域信号に上記ビットプレーン分解手段での処理の逆処理を施した後、上記基本階層画像の帯域信号、又は上記基本階層画像及び上記拡張階層画像の帯域信号と上記背景画像の帯域信号とを各画素毎について加算するとともに、帯域信号を帯域合成して動画像を再生する合成手段とを備えることを特徴とする画像通信装置。
【請求項10】
上記人物領域のデータについては、上記拡張階層に係るデータは送受信せずに、上記基本階層に係るデータのみを送受信することを特徴とする請求項1~9の何れか1項に記載の画像通信装置。
【請求項11】
人物が存在しないときに撮影された背景画像及び人物が存在するときに撮影された動画像を複数種類の帯域信号に帯域分割するとともに、動画像から背景画像を各画素毎について減算する変換工程と、
上記変換工程で背景画像を減算された動画像の帯域信号から人物領域を同定して当該領域の帯域信号を出力する人物領域抽出工程と、
上記人物領域抽出工程で出力される人物領域の帯域信号における各画素値をビットプレーンに分解するビットプレーン分解工程と、
上記ビットプレーン分解工程でビットプレーン分解された人物領域の各種帯域信号のうち高域の帯域信号の上位のビットプレーン又は低域の帯域信号の上位のビットプレーンをアウェアネス情報を表示させるための基本階層に分類し、上記基本階層以外の上記ビットプレーン分解工程でビットプレーン分解された人物領域の帯域信号を拡張階層に分類する階層化工程と、
上記階層化工程で分類された上記基本階層及び上記拡張階層のそれぞれのデータをエントロピ符号化する第1の符号化工程と、
受信側にてアウェアネス情報を表示させる第1の状態では上記基本階層の符号化データを送信し、撮影された元の動画像を受信側にて再生表示可能とさせる第2の状態では上記基本階層の符号化データに加えて上記拡張階層の符号化データを追加送信する送信工程とを有することを特徴とする画像通信方法。
【請求項12】
上記階層化工程では、上記ビットプレーン分解工程でビットプレーン分解された人物領域の帯域信号を上記基本階層と上記拡張階層とに分類するとともに、基本階層については基本階層として分類された人物領域の帯域信号のビットプレーン以外にゼロ値を挿入して人物領域に係る基本階層の帯域信号を生成し、拡張階層については基本階層として分類された人物領域の帯域信号のビットプレーンをゼロ値で置き換えて人物領域に係る拡張階層の帯域信号を生成し、
かつ上記第1の符号化工程に代えて、
上記階層化工程で生成された基本階層及び拡張階層の帯域信号をそれぞれ帯域合成して基本階層画像及び拡張階層画像を生成する帯域合成工程と、
上記帯域合成工程で生成される基本階層画像及び拡張階層画像をJPEG2000規格に準拠した符号化方式でそれぞれ符号化する第2の符号化工程とを有し、
上記送信工程では、受信側にてアウェアネス情報を表示させる第1の状態では上記基本階層画像の符号化データを送信し、撮影された元の動画像を受信側にて再生表示可能とさせる第2の状態では上記基本階層画像の符号化データに加えて上記拡張階層画像の符号化データを追加送信することを特徴とする請求項11記載の画像通信方法。
発明の詳細な説明 【技術分野】
【0001】
本発明は、画像通信装置及び画像通信方法に関し、詳しくは、通常は低ビットレートのデータ通信で「アウェアネス」を表示し、必要に応じて追加情報をも送信することで「映像」を表示可能にする画像通信技術に関する。
【背景技術】
【0002】
従来の画像通信システムは、例えばJPEG(Joint Photographic Experts Group)やMPEG(Moving Picture Experts Group)といった公知の画像圧縮方式のように、カメラで撮像して得られた映像をできるだけそのまま伝送することを目的として設計されている。例えば、特許文献1には、データ通信時にバーストエラーが発生しても何らかの画像が表示されるような、JPEG2000又はMotion JPEG2000といった国際標準符号化方式に基づく画像通信技術について開示されている。
【0003】
上述した従来の画像通信システムに対して、近年、被写体の詳細な映像を隠蔽し、その代わりに被写体の顔を認識してその氏名を動きに合わせて表示することができる画像通信システムが提案され、被写体のプライバシーや対話の意思を、受信側での表示映像に反映できるプライバシーコンシャスな画像通信システムが注目されている(例えば、非特許文献1参照。)。
【0004】

【特許文献1】特開2004-166096号公報
【非特許文献1】タンスリヤボン スリヨン,千葉正広,花木真一,共著、“状況映像における顔認識を用いた選択的人物隠蔽”,映像メディア学会誌,Vol.56,No.12,pp.1980-1988,2002.
【発明の開示】
【発明が解決しようとする課題】
【0005】
従来のプライバシーコンシャスな画像通信においては、撮影画像に係るディジタル映像信号のすべてを符号化して送受信していた。そのため、画像通信装置間で送受信される通信データの総量は膨大であり、通信に要する時間が長くなるか、或いは通信に要する帯域が広くなる。その結果、通信コストが高額になったり、通信回線の混雑に対して脆弱となったりしてしまう。
【0006】
本発明は、装置間で通信すべきデータ量を低減し、かつプライバシーコンシャスな画像通信を実現可能な画像通信装置及び画像通信方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の画像通信装置は、人物が存在しないときに撮影された背景画像及び人物が存在するときに撮影された動画像を複数種類の帯域信号に帯域分割するとともに、動画像から背景画像を各画素毎について減算する変換手段と、変換手段にて背景画像を減算された動画像の帯域信号から人物領域を同定して当該領域の帯域信号を出力する人物領域抽出手段と、人物領域抽出手段より出力される人物領域の帯域信号における各画素値をビットプレーンに分解するビットプレーン分解手段と、ビットプレーン分解手段によりビットプレーン分解された人物領域の各種帯域信号のうち高域の帯域信号の上位のビットプレーン又は低域の帯域信号の上位のビットプレーンをアウェアネス情報を表示させるための基本階層に分類し、基本階層以外のビットプレーン分解手段によりビットプレーン分解された人物領域の帯域信号を拡張階層に分類する階層化手段と、階層化手段により分類された基本階層及び拡張階層のそれぞれのデータをエントロピ符号化する第1の符号化手段とを備え、受信側にてアウェアネス情報を表示させる第1の状態では基本階層の符号化データを送信し、撮影された元の動画像を受信側にて再生表示可能とさせる第2の状態では基本階層の符号化データに加えて拡張階層の符号化データを追加送信することを特徴とする。
本発明の画像通信装置は、送信側の画像通信装置から送信された基本階層の符号化データ、又は基本階層の符号化データと拡張階層の符号化データを受信し、送信側の画像通信装置での処理の逆処理を受信した符号化データに施して人物領域の帯域信号を再生する再生手段と、再生手段により再生された人物領域の帯域信号と、送信側の画像通信装置からの背景画像データを再生して得られる背景画像の帯域信号とを各画素毎について加算するとともに、帯域信号を帯域合成して動画像を再生する合成手段とを備えることを特徴とする。
本発明の画像通信方法は、人物が存在しないときに撮影された背景画像及び人物が存在するときに撮影された動画像を複数種類の帯域信号に帯域分割するとともに、動画像から背景画像を各画素毎について減算する変換工程と、変換工程で背景画像を減算された動画像の帯域信号から人物領域を同定して当該領域の帯域信号を出力する人物領域抽出工程と、人物領域抽出工程で出力される人物領域の帯域信号における各画素値をビットプレーンに分解するビットプレーン分解工程と、ビットプレーン分解工程でビットプレーン分解された人物領域の各種帯域信号のうち高域の帯域信号の上位のビットプレーン又は低域の帯域信号の上位のビットプレーンをアウェアネス情報を表示させるための基本階層に分類し、基本階層以外のビットプレーン分解工程でビットプレーン分解された人物領域の帯域信号を拡張階層に分類する階層化工程と、階層化工程で分類された基本階層及び拡張階層のそれぞれのデータをエントロピ符号化する第1の符号化工程と、受信側にてアウェアネス情報を表示させる第1の状態では基本階層の符号化データを送信し、撮影された元の動画像を受信側にて再生表示可能とさせる第2の状態では基本階層の符号化データに加えて拡張階層の符号化データを追加送信する送信工程とを有することを特徴とする。
【発明の効果】
【0008】
本発明によれば、アウェアネス情報を表示させるための基本階層とそれ以外の拡張階層に分けて動画像における人物領域のデータを符号化することで、通常はアウェアネス情報を表示させるための基本階層のデータのみを送信して装置間で通信すべきデータ量を低減することができる。また、必要に応じて基本階層のデータに加え拡張階層のデータをも送信することで撮影された動画像を再生表示させることができる。
【発明を実施するための最良の形態】
【0009】
以下、本発明の実施形態を図面に基づいて説明する。
図1は、本発明の一実施形態による画像通信装置(送信側)1の構成例を示すブロック図であり、図2は、本発明の一実施形態による画像通信装置(受信側)2の構成例を示すブロック図である。
【0010】
図1に示す画像通信装置1は、送信側装置としての機能を有する画像通信装置であり、カメラ等を用いて撮影されたディジタル動画像信号(動画像)が入力され、それをJPEG2000国際標準規格に準拠した要素技術で符号化し圧縮データとして出力する。画像通信装置1は、JPEG2000(JP2K)規格に準拠して画像信号を符号化する帯域分割部11、量子化部14、ビットプレーン分解部15、エントロピ符号化部17、及びJP2Kエンコーダ18に加え、背景差分部12、人物領域抽出部13、及び機能的階層化部16を有する。すなわち、後述する帯域分割部11での帯域分割、量子化部14での量子化、ビットプレーン分解部15でのビットプレーン分解、及びエントロピ符号化部17でのエントロピ符号化に係る処理は、JP2K規格に準拠した処理である。
【0011】
また、図2に示す画像通信装置2は、受信側装置としての機能を有する画像通信装置であり、図1に示す画像通信装置1より伝送された圧縮データを受信し、それを復号してディジタル動画像信号として再生し図示しない画像表示装置に投影する(表示する)。画像通信装置2は、JP2K規格に準拠して圧縮データ(符号化されたデータ)を復号するエントロピ復号部21、ビットプレーン合成部22、逆量子化部23、帯域合成部25、及びJP2Kデコーダ26に加え、背景合成部24を有する。
【0012】
ここで、画像通信装置1が有する各機能部11、14、15、17、18、及び画像通信装置2が有する各機能部21、22、23、25、26の作用は、ISO(International Organization for Standardization)が定める国際標準のひとつであるJPEG2000により規定されており、例えば、文献「JPEG 2000-Image compression fundamentals, standards and practice」、D.S.Taubman,M.W.Marcellin共著,Kluwer Academic Publishers,2002出版に記載されている。
【0013】
図1に示す画像通信装置1について詳細に説明する。
画像通信装置1には、人物が存在しないときに撮影された静止画像である背景画像と、人物が存在する又は存在しないときに撮影された動画像が入力される。ここで、動画像は複数枚の静止画像から構成されており、それぞれの静止画像はフレームと呼ばれる。
【0014】
帯域分割部11は、JP2K規格に準拠したウェーブレット変換により背景画像及び動画像のそれぞれに対してタイル毎に帯域分割を施す。ここで、タイルとは、画像全体を分割することで得られる互いに隣接するN×N画素(Nは任意の自然数)の矩形領域であり、このタイルを符号化単位として画像信号が符号化される。
【0015】
また、帯域分割部11でのウェーブレット変換による帯域分割の結果として、低域成分からなる1LL帯域と、高域成分を含む1LH帯域、1HL帯域、1HH帯域と呼ばれる4種類の帯域信号が得られる。また、1LL帯域の帯域信号を更に帯域分割することで、2LL帯域、2LH帯域、2HL帯域、2HH帯域と呼ばれる4種類の帯域信号が生成される。このような再帰的な変換(帯域分割)が適用可能であり、この回数(帯域分割回数)はステージ数と呼ばれる。
帯域分割部11は、生成された複数種類の帯域信号を背景差分部12に供給する。
【0016】
背景差分部12は、帯域分割部11にてそれぞれ複数種類の帯域信号に帯域分割された背景画像と動画像において同じ位置に存在する画素値の差分値を画素値とする画像を出力する。すなわち、背景差分部12は、帯域分割された動画像の各フレームの画素値から、同じく帯域分割された背景画像の画素値を対応する画素毎に引き算し、その結果を出力する。帯域分割された動画像から帯域分割された背景画像を減算して生成された帯域信号は、人物領域抽出部13に供給される。
【0017】
ここで、撮像された動画像はリアルタイムに入力され、帯域分割部11を経て背景差分部12に随時供給されている。したがって、リアルタイムに撮像された動画像に基づく背景差分された帯域信号も複数種類が随時生成される。
なお、図1に示した例では、動画像及び背景画像を帯域分割した後に背景差分に係る処理を行うようにしているが、背景差分に係る処理を行った後に帯域分割を行うようにしても良い。
【0018】
人物領域抽出部13は、背景差分部12にて動画像から背景画像を減算して生成された帯域信号に基づいて、タイル毎に人物領域か否かを判定し、人物領域の信号のみを処理して後段に出力する。人物領域であるか否かの判定方法としては、例えば、背景差分部12の結果として得られた画素値が比較的小さい値であれば背景画素、そうでなければ人物画素であると判断して、人物画素をある閾値より多く含むタイルを人物領域タイルとし、それ以外を背景領域タイルと判別しても良い。
【0019】
但し、人物領域か否かを何らかの手段により受信側に伝送する必要がある。そのために、タイル毎のヘッダとして、例えばJP2K規格に準拠したビットストリームにおいて個々のタイルに対応するタイルパートヘッダのコメント拡張マーカなどに、人物領域か否かを記述して送信するようにしても良い。
【0020】
また、例えば、図3(a)に示すような撮影された動画像に帯域分割部11及び背景差分部12で処理を施して生成される複数種類の低域画像(1LL帯域、2LL帯域、3LL帯域)に、2値化処理を施して図3(b)に示すような画像を取得する。そして、図3(b)に示す各画像を原画像サイズに拡大した後、これらすべての画像を用いて対応する画素毎に論理和演算を行うことにより図3(c)に示すように人物領域が特定された画像を得られる。この図3(c)に示す画像に基づいて、図3(d)に示すように人物領域を含むタイルを人物領域タイルとして判定するようにしても良い。
【0021】
上述のようにしてタイル単位で抽出された人物領域の例を図4に示す。
図4においては、(a1)~(a4)に示される撮影された動画像に基づいて抽出された人物領域を(b1)~(b4)にそれぞれ示している。
【0022】
図1に戻り、量子化部14は、JP2K規格に準拠した方法により、人物領域抽出部13により抽出された人物領域の帯域信号を所定の量子化ステップサイズで量子化する。なお、この量子化処理はレート制御の精度を高めるためのものであるので、本実施形態において必須の処理ではなく、量子化処理を行うか否かは任意である。
【0023】
ビットプレーン分解部15は、量子化部14により量子化された又は量子化されていない人物領域の複数種類の帯域信号をJP2K規格に準拠した方法で帯域毎にビットプレーン分解する。なお、ビットプレーンとは、ある画像信号の全画素について、2進数で表現された画素値のあるビットのみを抽出することで得られる集合のことであり、元の画像信号と同じ構成要素数であり各構成要素は二値で表現される。
【0024】
機能的階層化部16は、ビットプレーン分解部15より供給された複数種類の帯域信号の複数枚のビットプレーンについて基本階層か拡張階層かの何れかに分類する。これまでの処理により、画像通信装置1に入力された動画像信号は、タイル毎に人物領域であるか否かが判定されており、人物領域の各タイルについては複数種類の帯域信号に分割され、更に各帯域信号の各画素値については複数のビットプレーンに分割されている。したがって、機能的階層化部16は、何れのタイルの、何れの帯域の、何れのビットプレーンを基本階層とするかを判別する。基本階層とするもの以外は拡張階層に判別する。
【0025】
ここで、機能的階層化部16は、人の詳細は特定できないが人の存在や動きなどの状態を示すことが可能なアウェアネス情報を受信側にて表示させるためのものを基本階層に分類し、それ以外のものを拡張階層に分類する。したがって、受信側では基本階層のみを受信することでアウェアネス情報を表示することができる。また、基本階層に加えて更に拡張階層を受信することで元の動画像を再生表示することができる。
【0026】
エントロピ符号化部17は、機能的階層化部16から供給される基本階層及び拡張階層のそれぞれについて、JP2K規格に準拠した方法により各ビットプレーンを符号化する。そして、符号化により得られた基本階層の符号化データ(基本階層データ)及び拡張階層の符号化データ(拡張階層データ)を圧縮された人物領域のデータとして出力する。
【0027】
JP2Kエンコーダ18は、背景差分部12に供給されるものと同じ背景画像をJP2K規格に準拠した方法で符号化し、圧縮された背景画像データとして画像通信装置2(JP2Kデコーダ26)に送信する。ここで、画像通信装置1と画像通信装置2との間では、まったく同じ背景画像を共有していることが必要である。背景画像は全体あるいは一部を適宜更新しても良く、背景画像を適宜更新するようにした場合には、日照や照明の変化に応じた、より画質の良好な画像通信が可能になる。また、背景画像を符号化するエンコーダ及び復号するデコーダについては、JP2K規格に準拠していなくとも良く、他の符号化/復号化方式のものを用いても構わない。
【0028】
次に、図2に示す画像通信装置2について詳細に説明する。
画像通信装置2は、上述した画像通信装置1から送信される基本階層データ、拡張階層データ、及び背景画像データを受信する。
【0029】
エントロピ復号部21は、画像通信装置1からの基本階層データ及び拡張階層データについてJP2K規格に準拠した方法により人物領域の帯域信号のビットプレーンを再生する。具体的には、エントロピ復号部21は、受信した基本階層データ及び拡張階層データに画像通信装置1のエントロピ符号化部17とは逆の処理を施し、人物領域の帯域信号のビットプレーンを再生する。
【0030】
ビットプレーン合成部22は、JP2K規格に準拠した、画像通信装置1のビットプレーン分解部15とは逆の処理により、エントロピ復号部21で再生された基本階層及び拡張階層それぞれの帯域信号のビットプレーンから人物領域の帯域信号を再生する。
逆量子化部23は、ビットプレーン合成部22で再生された人物領域の帯域信号を画像通信装置1の量子化部14における量子化ステップサイズで逆量子化する。
【0031】
背景合成部24は、逆量子化部23にて逆量子化処理が施された人物領域の帯域信号と、画像通信装置1のJP2Kエンコーダ18に対応するJP2Kデコーダ26にて背景画像データから復号された背景画像の帯域信号とを各画素値について加算する。
帯域合成部25は、背景合成部24において人物領域の画像と背景画像とを合成して得られる動画像の帯域信号を、画像通信装置1の帯域分割部11とは逆の処理により帯域合成してアウェアネス又は動画像を再生する。
【0032】
上述した構成により、画像通信装置2は、基本階層データのみを受信した場合にはアウェアネス情報を表示し、基本階層データと拡張階層データの両方を受信し処理した場合には、撮影された元の動画像、すなわち通常の監視カメラのような人物等も明確に表示される画像を再生表示することができる。
【0033】
上述した画像通信装置1の機能的階層化部16において、アウェアネス情報を受信側にて表示させるための基本階層に、どのような信号(データ)を分類するかについては、以下のような幾つかの方法が考えられる。以下、図5-1、図5-2を適宜参照して説明する。なお、図5-1に示す(A1)~(A4)の画像を、撮影された動画像とする。
【0034】
<半透明化によるアウェアネス>
N(Nは整数)を帯域信号のビットプレーンの総数、pを0~(N-1)までの整数として、機能的階層化部16において、全部でN枚あるビットプレーンのうちの上位の(N-p)枚のみ、すなわち帯域信号の振幅値のMSB側から(N-p)枚のビットプレーンを基本階層に分類する。また、透明度qを2の(-p)乗と表記する。但し、p=(N-1)のときの透明度qは0とする。そして、受信側の画像通信装置2は、送信側の画像通信装置1からの基本階層データ及び背景画像データを、{(人物領域の帯域信号の振幅値)×(透明度)+(背景画像の帯域信号の振幅値)×(1-透明度)}として画像全体の帯域信号を再生する。
【0035】
このように、N枚あるビットプレーンのうちの上位の(N-p)枚のみを基本階層に分類することで、基本階層データとしてデータ画像通信装置1と2の間で送受信するデータ量を低減し、なおかつ受信側で半透明な人物映像としてのアウェアネス情報を再生表示することができる。
【0036】
なお、機能的階層化部16によりタイル単位で指定される透明度は、何らかの形で受信側に伝送する必要があり、例えば、JP2K規格に準拠したビットストリームにおいて個々のタイルに対応するタイルパートヘッダのコメント拡張マーカに指定される透明度を記述してもよい。
【0037】
また、透明度については、例えば、人物とカメラとの距離に応じて変化させても良い。この場合、図5-1における画像(B1)~(B4)に示すように、カメラから遠い場合には半透明なアウェアネス情報が、近い場合には不透明な通常の監視カメラ映像が受信側に表示される。なお、図5-1における画像(B1)~(B4)は、図5-1に示す画像(A1)~(A4)にそれぞれ対応する受信側での表示画像である。
【0038】
ここで、人物とカメラとの距離については、人物領域の面積(画素数やタイル数)から判断するようにしても良いし、別途、距離センサを設置してその出力信号を用いるようにしても良い。距離センサとしては、例えば、天井に設置されたカメラ、床に埋め込まれた圧力センサ、赤外線センサなどが利用できる。
【0039】
また、人物とカメラとの距離にかかわらず表示される人物映像の透明度を一定に設定しても良い。このときの透明度はユーザの要求に応じて適宜更新可能にしても良い。特に、複数の人物が存在する場合においては、オクルージョン(映像上での人物の重なり)の影響を受けないために有効なアウェアネス表示方法の1つとなる。
【0040】
<輪郭化によるアウェアネス>
機能的階層化部16において、人物領域の各種帯域信号のうちの高域の帯域信号のみを基本階層に分類することで、基本階層データとして装置1、2の間で送受信するデータ量を低減し、なおかつ受信側で輪郭のみが写された人物映像を再生表示することができる。図5-2の画像(C1)~(C3)に、人物の輪郭をアウェアネス情報としたときに受信側で表示される映像を示す。図5-2における画像(C1)~(C3)は、図5-1に示す画像(A1)~(A3)にそれぞれ対応する受信側での表示画像である。
【0041】
この例では、人物がカメラから「近い」か「遠い」かの二通りで透明度を表現し、「近い」場合には、全ての帯域{1LH、1HH、1HL、2LH、2HH、2HL、2LL}を基本階層とし、不透明な通常の監視カメラ映像が受信側に表示される(図示せず)。一方、「遠い」場合には{2LH,2HH,2HL,2LL}を削除して輪郭成分である{1LH,1HH,1HL}のみを基本階層とし、画像(C1)~(C3)に示すように人物の輪郭によるアウェアネス情報が受信側に表示される。なお、図5-2の画像(C1)~(C3)に示した例では、上述した一部のビットプレーンのみの抽出は行わず、全てのビットプレーンを処理している。
【0042】
<暈かしによるアウェアネス>
機能的階層化部16において、人物領域の各種帯域信号のうちの低域の帯域信号のみを基本階層に分類することで、基本階層データとして装置1、2間で送受信するデータ量を低減し、なおかつ受信側において不鮮明な人物映像を再生表示することもできる。
【0043】
<コマ落しによるアウェアネス>
機能的階層化部16において、コマ落しされたフレーム、言い換えれば所定の間隔で抽出されたフレームを基本階層に分類することで、基本階層データとして装置1、2の間で送受信するデータ量を低減し、なおかつ受信側においてコマ落しされた人物映像をアウェアネス情報として再生表示することもできる。これにより、更なる伝送ビットレートの低減が可能となる。
【0044】
<半透明化、輪郭化、暈かし、コマ落しの任意の組み合わせによるアウェアネス>
なお、上述した半透明化、輪郭化、暈かし、コマ落しによるアウェアネスを適宜組み合わせても良い。つまり、機能的階層化部16において、人物領域の各種帯域信号のうちの幾つかの帯域信号のみを基本階層に分類することで、基本階層データとして装置1,2の間で送受信するデータ量を低減し、なおかつ受信側において半透明化、輪郭化、暈かし、及びコマ落しが任意に組み合わされた人物映像を再生表示することもできる。
【0045】
例えば、図5-2の画像(D1)~(D3)には、半透明化されかつ不鮮明な人物映像をアウェアネス情報としたときに受信側で表示される映像を示す。図5-2における画像(D1)~(D3)は、図5-1に示す画像(A1)~(A3)にそれぞれ対応する受信側での表示画像である。ここでは、人物とカメラとの距離により透明度を数段階に分け、それに応じてビットプレーンの一部を抽出し、更に暈け成分である1LL帯域のみを符号化している。あるいは、2LL帯域のみを符号化することでより暈かされた(プライバシーの保護された)人物映像が再生表示される。
【0046】
また、例えば、図5-2の画像(E1)~(E3)には、半透明化、輪郭化、及び暈かしを組み合わせアウェアネス情報としたときに受信側で表示される映像を示す。図5-2における画像(E1)~(E3)は、図5-1に示す画像(A1)~(A3)にそれぞれ対応する受信側での表示画像である。ここでは、人物とカメラとの距離により透明度を数段階に分け、それに応じてビットプレーンの一部を抽出し、輪郭成分である{1LH,1HH,1HL}帯域と暈け成分である{2LL}帯域のみを符号化している。
【0047】
図6は、本発明の他の実施形態による画像通信装置(送信側)3の構成例を示すブロック図であり、図7は、本発明の他の実施形態による画像通信装置(受信側)4構成例を示すブロック図である。この図6及び図7において、図1及び図2に示したブロック等と同一の機能を有するブロック等には同一の符号を付し、重複する説明は省略する。
【0048】
図6に示す画像通信装置3は、JP2K規格に準拠して画像信号を符号化する帯域分割部11、ビットプレーン分解部15、帯域合成部20、及びJP2Kエンコーダ31~33に加え、背景差分部12、人物領域抽出部13、及びゼロ値挿入部19を有する。すなわち、帯域分割部11での帯域分割、ビットプレーン分解部15でのビットプレーン分解、及び帯域合成部20での帯域合成に係る処理は、JP2K規格に準拠した処理である。
【0049】
ゼロ値挿入部19は、図1に示した機能的階層化部16と同様にして、ビットプレーン分解部15より供給された複数種類の帯域信号の複数枚のビットプレーンについて基本階層か拡張階層かの何れかに分類する。さらに、ゼロ値挿入部19は、基本階層については基本階層として分類された人物領域の帯域信号のビットプレーン以外にゼロ値を挿入し、拡張階層については基本階層として分類された人物領域の帯域信号のビットプレーンをゼロ値で置き換える。
【0050】
帯域合成部20は、ゼロ値挿入部19にて基本階層に分類され、ゼロ値の挿入が行われた基本階層の各種帯域信号を帯域合成して基本階層画像を生成する。また、帯域合成部20は、同様にゼロ値挿入部19にて拡張階層に分類され、ゼロ値の置換が行われた拡張階層の各種帯域信号を帯域合成して拡張階層画像を生成する。
【0051】
JP2Kエンコーダ31は、図1に示したJP2Kエンコーダ18に相当し、背景画像をJP2K規格に準拠した方法で符号化し、圧縮された背景画像データとして画像通信装置4(JP2Kデコーダ34)に送信する。
JP2Kエンコーダ32は、帯域合成部20にて生成された拡張階層画像をJP2K規格に準拠した方法で符号化し、圧縮された拡張階層データとして画像通信装置4(JP2Kデコーダ35)に送信する。
JP2Kエンコーダ33は、帯域合成部20にて生成された基本階層画像をJP2K規格に準拠した方法で符号化し、圧縮された基本階層データとして画像通信装置4(JP2Kデコーダ35)に送信する。
【0052】
図7に示す画像通信装置4は、JP2K規格に準拠して圧縮データ(符号化データ)を復号する帯域分割部27、ビットプレーン合成部22、帯域合成部25、及びJP2Kデコーダ34~36に加え、背景合成部24を有する。
【0053】
JP2Kデコーダ34は、図2に示したJP2Kデコーダ26に相当し、画像通信装置3からの背景画像データをJP2K規格に準拠した方法で復号し背景画像を出力する。
JP2Kデコーダ35は、画像通信装置3からの拡張階層データをJP2K規格に準拠した方法で復号して拡張階層画像を出力し、JP2Kデコーダ36は、画像通信装置3からの基本階層データをJP2K規格に準拠した方法で復号して基本階層画像を出力する。
【0054】
帯域分割部27は、JP2K規格に準拠したウェーブレット変換により、JP2Kデコーダ34~36で復号された基本階層画像、拡張階層画像、及び背景画像のそれぞれに対してタイル毎に帯域分割を施す。
【0055】
図6及び図7に示した画像通信装置3,4によれば、ビットプレーン分解された複数種類の帯域信号の複数枚のビットプレーンについて、上述した図1及び図2に示した画像通信装置1,2と同様に基本階層又は拡張階層に分類することで、装置3、4の間で送受信するデータ量を低減し、なおかつ受信側でプライバシーの保護された人物映像を再生表示させることができる。また、送信側において基本階層については基本階層として分類された人物領域の帯域信号のビットプレーン以外にゼロ値を挿入し、拡張階層については基本階層として分類された人物領域の帯域信号のビットプレーンをゼロ値で置き換えることで、人物領域であるか否かをタイルパートヘッダのコメント拡張マーカなどに記述する処理が不要になるとともに、ビットプレーンの一部を抽出する処理が不要になる。
【0056】
なお、図1に示した画像通信装置1、図6に示した画像通信装置3において、拡張階層を生成する機能を備えずに、基本階層のみを生成してアウェアネス情報に係る通信に機能を限定することで、装置の簡素化及び省電力化を図ることができる。
また同様に、図2に示した画像通信装置2、図7に示した画像通信装置4において、拡張階層データを処理する機能を備えずに、基本階層データのみを受信してアウェアネスのみを表示させるようにすることで、受信側の装置においても簡素化及び省電力化を図ることができる。
【0057】
以上、説明したように本実施形態によれば、下記に示すような効果を得ることができる。
従来、プライバシーコンシャスな画像通信を実現しようとする場合には、常に撮影により映像信号のすべてを符号化して送信していた。
それに対して本実施形態では、送信側の画像通信装置1(3)から映像信号を圧縮伝送する際に、基本階層と拡張階層に分けて、通常は基本階層のデータのみを超低ビットレートで伝送し、必要に応じて拡張階層のデータを追加して伝送する。また、受信側の画像通信装置2(4)により、基本階層のデータのみを復号した場合にはアウェアネスが表示され、基本階層のデータに加え拡張階層のデータも併せて復号した場合には撮影された元の映像が表示される。
【0058】
ここで、本実施形態において、基本階層のデータと拡張階層のデータを合わせた全体の符号量は、基本階層と拡張階層の2つに分離せずに符号化した場合の全符号量と等しい。したがって、通常は超低ビットレートの通信で全符号化データの一部である基本階層のデータを送信してアウェアネスを再生表示させ、必要な場合のみに全符号化データを通信して映像信号を再生表示させることにより、通信に要するデータ伝送量を大幅に低減し、かつプライバシーコンシャスな画像通信を実現することができる。
【0059】
具体的には、画像通信装置1(3)により、人物領域が、(a)アウェアネス情報を含む基本階層(低帯域又は高帯域の上位ビットプレーン)と、(b)追加情報を含む拡張階層(基本階層以外の帯域と基本階層に属する帯域の下位ビットプレーン)に分けられる。アウェアネス情報を含む基本階層には、(1)人物領域のみ、(2)上位ビットプレーンのみ、(3)優先された一部の帯域のみが含まれるため、通常のアウェアネス表示時に要するデータ伝送量は少なく低ビットレートでの通信が可能となる。以下、この様子を実証データで示す。
【0060】
図8は、全タイル中の人物領域タイルの占有率と、基本階層の伝送に要したビットレートとの関係を示す。但し、量子化、帯域切捨て、ビットプレーン切捨といったロスを生じさせる処理は行っていない。また、透明度は、カメラと人物との距離に応じて変化させている。図9、図10においても同様である。全タイル中の人物領域タイルの占有率と、基本階層の伝送に要したビットレートとの相関係数は0.99であり、人物領域タイルのみを伝送することで通信量が削減されることが確認できる。
【0061】
図9は、透明度に応じて半透明化された人物を表示するのに必要最低限のビットプレーンの割合(枚数/全部で8枚)と、基本階層の伝送に要したビットレートとの関係を示す。ビットプレーンの割合と、基本階層の伝送に要したビットレートとの相関係数は0.95であり、上位ビットプレーンのみを伝送することで通信量が削減されることが確認できる。
【0062】
図10は、一部の帯域のみをアウェアネスとした場合の伝送レートを示している。人物とカメラとの距離が短くなる程に、第3ステージ、第2ステージ、第1ステージのそれぞれのLL帯域を伝送した場合を示している。すなわち、伝送量としては画素数にすると(0.25)の2乗,(0.25)の1乗,(0.25)の0乗の割合となる。これらの割合と伝送に要したビット数との相関係数は0.77であった。これにより、一部の帯域のみを伝送することで通信量が削減されることが確認できる。
【0063】
また、本実施形態では、JP2K規格に準拠した符号化処理、復号処理に含まれる処理の一部を送信側及び受信側の画像通信装置での処理を活用することで、JP2K規格に準拠した処理を実行するために開発された汎用的なLSIのハードウェアコアを活用できるため、通信装置の開発費及びコストを削減することができるとともに、ハードウェア設計の開発期間を短縮することができる。
【0064】
(本発明の他の実施形態)
なお、以上に説明した本実施形態の画像通信装置は、コンピュータのCPU又はMPU、RAM、ROM等で構成されるものであり、RAMやROMに記憶されたプログラムが動作することによって実現でき、上記プログラムは本発明の実施形態に含まれる。また、コンピュータが上述した実施形態の機能を果たすように動作させるプログラムを、例えばCD-ROMのような記録媒体に記録し、コンピュータに読み込ませることによって実現できるものであり、上記プログラムを記録した記録媒体は本発明の実施形態に含まれる。上記プログラムを記録する記録媒体としては、CD-ROM以外に、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等を用いることができる。
【0065】
また、コンピュータがプログラムを実行し処理を行うことにより、上述の実施形態の機能が実現されるプログラムプロダクトは、本発明の実施形態に含まれる。上記プログラムプロダクトとしては、上述の実施形態の機能を実現するプログラム自体、上記プログラムが読み込まれたコンピュータ、ネットワークを介して通信可能に接続されたコンピュータに上記プログラムを提供可能な送信装置、及び当該送信装置を備えるネットワークシステム等がある。
【0066】
また、コンピュータが供給されたプログラムを実行することにより上述の実施形態の機能が実現されるだけでなく、そのプログラムがコンピュータにおいて稼働しているOS(オペレーティングシステム)又は他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合や、供給されたプログラムの処理のすべて又は一部がコンピュータの機能拡張ボードや機能拡張ユニットにより行われて上述の実施形態の機能が実現される場合も、かかるプログラムは本発明の実施形態に含まれる。
【0067】
例えば、本実施形態の画像通信装置は、図11に示すようなコンピュータ機能1100を有し、そのCPU1101により上述した実施形態での動作が実施される。
【0068】
コンピュータ機能1100は、上記図11に示すように、CPU1101と、ROM1102と、RAM1103と、キーボード(KB)1109のキーボードコントローラ(KBC)1105と、表示部としてのCRTディスプレイ(CRT)1110のCRTコントローラ(CRTC)1106と、ハードディスク(HD)1111及びフレキシブルディスク(FD)1112のディスクコントローラ(DKC)1107と、ネットワークインタフェースカード(NIC)1108とが、システムバス1104を介して互いに通信可能に接続された構成としている。
【0069】
CPU1101は、ROM1102又はHD1111に記憶されたソフトウェア、又はFD1112より供給されるソフトウェアを実行することで、システムバス1104に接続された各構成部を総括的に制御する。
すなわち、CPU1101は、上述したような動作を行うための処理プログラムを、ROM1102、HD1111、又はFD1112から読み出して実行することで、上述した実施形態での動作を実現するための制御を行う。
【0070】
RAM1103は、CPU1101の主メモリ又はワークエリア等として機能する。
KBC1105は、KB1109や図示していないポインティングデバイス等からの指示入力を制御する。
CRTC1106は、CRT1110の表示を制御する。
DKC1107は、ブートプログラム、種々のアプリケーション、ユーザファイル、ネットワーク管理プログラム、及び上記処理プログラム等を記憶するHD1111及びFD1112とのアクセスを制御する。
NIC1108はネットワーク1113上の他の装置と双方向にデータをやりとりする。
【0071】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図面の簡単な説明】
【0072】
【図1】本発明の実施形態による画像通信装置(送信側)の構成例を示す図である。
【図2】本発明の実施形態による画像通信装置(受信側)の構成例を示す図である。
【図3】人物領域タイルの判定方法の一例を説明するための図である。
【図4】タイル単位で抽出された人物領域の一例を示す図である。
【図5-1】受信側の画像通信装置での表示画像の一例を示す図である。
【図5-2】受信側の画像通信装置での表示画像の一例を示す図である。
【図6】本発明の他の実施形態による画像通信装置(送信側)の構成例を示す図である。
【図7】本発明の他の実施形態による画像通信装置(受信側)の構成例を示す図である。
【図8】人物領域タイルの占有率と、基本階層の伝送に要したビットレートとの関係を示す図である。
【図9】ビットプレーンの割合と、基本階層の伝送に要したビットレートとの関係を示す図である。
【図10】一部の帯域のみをアウェアネスとした場合の伝送レートを示す図である。
【図11】本実施例における画像処理装置を実現可能なコンピュータ機能を示すブロック図である。
【符号の説明】
【0073】
1、3 画像通信装置(送信側)
2、4 画像通信装置(受信側)
11 帯域分割部
12 背景差分部
13 人物領域抽出部
14 量子化部
15 ビットプレーン分解部
16 機能的階層化部
17 エントロピ符号化部
18、31~33 JP2Kエンコーダ
19 ゼロ値挿入部
20 帯域合成部
21 エントロピ復号部
22 ビットプレーン合成部
23 逆量子化部
24 背景合成部
25 帯域合成部
26、34~36 JP2Kデコーダ
27 帯域分割部
図面
【図1】
0
【図2】
1
【図6】
2
【図7】
3
【図8】
4
【図9】
5
【図10】
6
【図11】
7
【図3】
8
【図4】
9
【図5-1】
10
【図5-2】
11