TOP > 国内特許検索 > 映像変更装置、映像変更方法および映像変更プログラム > 明細書

明細書 :映像変更装置、映像変更方法および映像変更プログラム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4654330号 (P4654330)
公開番号 特開2007-110571 (P2007-110571A)
登録日 平成23年1月7日(2011.1.7)
発行日 平成23年3月16日(2011.3.16)
公開日 平成19年4月26日(2007.4.26)
発明の名称または考案の名称 映像変更装置、映像変更方法および映像変更プログラム
国際特許分類 H04N   1/387       (2006.01)
FI H04N 1/387
請求項の数または発明の数 11
全頁数 17
出願番号 特願2005-301072 (P2005-301072)
出願日 平成17年10月14日(2005.10.14)
審査請求日 平成20年5月20日(2008.5.20)
特許権者または実用新案権者 【識別番号】504132881
【氏名又は名称】国立大学法人東京農工大学
発明者または考案者 【氏名】北澤 仁志
【氏名】田中 聡久
【氏名】薮田 顕一
個別代理人の代理人 【識別番号】100095485、【弁理士】、【氏名又は名称】久保田 千賀志
審査官 【審査官】渡辺 努
参考文献・文献 藪田顕一、外2名,プライバシー保護と被写体の識別を両立させる固定モニタカメラ映像処理手法,電子情報通信学会技術研究報告,日本,社団法人電子情報通信学会,2005年 4月15日,Vol.105 No.29,13-18,SIP2005-1~10
調査した分野 H04N 1/387
特許請求の範囲 【請求項1】
原映像中の移動オブジェクトを、異形態移動オブジェクトに置き換えて変更映像を作成する映像変更装置であって、
前記原映像中の前記移動オブジェクトを検出する移動オブジェクト抽出手段と、
前記移動オブジェクト抽出手段により抽出した前記移動オブジェクトから、
(A)輪郭が前記移動オブジェクトの輪郭と同じまたは概略同じであり、
(a)前記輪郭内の全部が透明である前記異形態移動オブジェクト、または、
(b)前記輪郭内の模様の全部が前記移動オブジェクトの模様と異なる前記異形態移動オブジェクト、あるいは、
(B)輪郭が前記移動オブジェクトの輪郭と異なり、
(a)前記輪郭内の全部が透明である前記異形態移動オブジェクト、または、
(b)前記輪郭内の模様の全部が前記移動オブジェクトの模様と異なる前記異形態移動オブジェクト、
の何れかを作成する、異形態移動オブジェクト作成手段と、
前記移動オブジェクトのうち前記異形態移動オブジェクトに現れない部分の画像データを、前記原映像の前記異形態移動オブジェクトを除く領域に不可視情報として埋め込み、不可視情報埋め込み映像を生成する移動オブジェクトデータ埋込み手段と、
前記異形態移動オブジェクトを、前記不可視情報が埋め込まれた映像に重ね合わせて、変更映像を作成する変更映像作成手段と、
を備えたことを特徴とする映像変更装置。
【請求項2】
移動オブジェクトデータ埋込み手段は、前記不可視情報に復号鍵を設定することを特徴とする請求項1に記載の映像変更装置。
【請求項3】
前記原映像を取得する撮影手段を備えたことを特徴とする請求項1または2に記載の映像変更装置。
【請求項4】
前記変更映像を保存する変更映像保存手段を備えたことを特徴とする請求項1から3の何れかに記載の映像変更装置。
【請求項5】
前記変更映像を表示する変更映像表示手段を備えたことを特徴とする請求項1から4の何れかに記載の映像変更装置。
【請求項6】
原映像上の移動オブジェクトを、異形態移動オブジェクトに置き換えて変更映像を作成する映像変更方法であって、
前記原映像上の前記移動オブジェクトを検出する移動オブジェクト検出ステップと、
前記移動オブジェクト検出ステップにおいて検出した前記移動オブジェクトから、
(A)輪郭が前記移動オブジェクトの輪郭と同じまたは概略同じであり、
(a)前記輪郭内の全部が透明である異形態移動オブジェクト、または、
(b)前記輪郭内の模様の全部が前記移動オブジェクトの模様と異なる異形態移動オブジェクト、あるいは、
(B)輪郭が前記移動オブジェクトの輪郭と異なり、
(a)前記輪郭内の全部が透明である異形態移動オブジェクト、または、
(b)前記輪郭内の模様の全部が前記移動オブジェクトの模様と異なる異形態移動オブジェクト、
の何れかを作成する、
異形態移動オブジェクト作成ステップと、
前記移動オブジェクトのうち前記異形態移動オブジェクトに現れない部分の画像データを、前記原映像の前記異形態移動オブジェクトを除く領域に不可視情報として埋め込み不可視情報埋込み映像を生成する移動オブジェクトデータ埋込みステップと、
前記異形態移動オブジェクトを、前記不可視情報が埋め込まれた前記不可視情報埋込み映像に重ね合わせて、変更映像を作成する変更映像作成ステップと、
を有することを特徴とする映像変更方法。
【請求項7】
前記移動オブジェクトデータ埋込みステップでは、前記不可視情報に復号鍵を設定することを特徴とする請求項に記載の映像変更方法。
【請求項8】
前記原映像を取得する撮影ステップを備えたことを特徴とする請求項6または7に記載の映像変更方法。
【請求項9】
前記変更映像を保存する変更映像保存ステップを有することを特徴とする請求項6からの何れかに記載の映像変更方法。
【請求項10】
前記変更映像を表示する変更映像表示ステップを有することを特徴とする請求項6からの何れかに記載の映像変更方法。
【請求項11】
請求項6に記載の各ステップを実行するプログラムモジュールまたはプログラムライブラリー、またはさらに、請求項7、8、9または10の各ステップを実行するプログラムモジュールまたはプログラムライブラリーを含むことを特徴とする映像変更プログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、人物,自動車等の映像中のプライバシ保護すべき移動オブジェクトの原映像を見る権限がない者に移動オブジェクトの本来の把握が不可能となる映像を表示する一方、本来のテクスチャーの把握を必要とする前記権限がある者に原映像の閲覧を可能とする、映像変更装置、映像変更方法、および映像変更プログラムに関する。
【背景技術】
【0002】
近年、犯罪の捜査・発見・抑止等のために、街頭、集合住宅のロビー・エレベータ等にモニタカメラが設置されるようになっている(特許文献1参照)。
通常、この種のモニタカメラにより撮影された映像は管理されており、犯罪が生じたとき等、閲覧権限を持つ者(本明細書では、「閲覧権限者」と言う)にのみ開示される。しかし、この管理が適正に行われずに、権限がない者(本明細書では「閲覧無権限者」と言う)が撮影映像を閲覧した場合には、映像中の人物のプライバシが侵害されるといった問題が生じる。この種の問題は、映像中の自動車のナンバプレートが認識できるような場合において、閲覧無権限者が映像を閲覧する場合にも生じる。
【0003】
一方、従来、映像中の人物、自動車等の移動オブジェクトを、透明化、シルエット化、モザイク化または低解像度化する技術が知られている。たとえば、移動オブジェクトを透明化した場合には当該移動オブジェクトは輪郭のみで表示され、シルエット化した場合には輪郭内部が単一色,模様等で置き換えられて表示される。また、移動オブジェクトをモザイク化した場合には、もとの移動オブジェクトを多数区画に分割してなるブロックの配置がランダムに置き換えられて表示され、低解像度化した場合にはもとの移動オブジェクトよりも解像度が低く表示される。
【発明の開示】
【発明が解決しようとする課題】
【0004】
この種の技術を、プライバシ保護のために使用する場合、移動オブジェクトを透明化またはシルエット化してしまうと、原映像中の移動オブジェクトを本来のテクスチャーとして把握できなくなるため、犯罪の捜査・発見等の本来のモニタカメラ設置の意味がなくなる。移動オブジェクトをモザイク化してしまうと処理が複雑になる。移動オブジェクトの解像度を当該移動オブジェクトを把握できない程度に低下させると本来のモニタカメラ設置の意味がなくなるし、当該移動オブジェクトを把握できる程度に低下させただけでは、プライバシ保護が図れない。
【0005】
もちろん、原映像のファイルと、透明化,シルエット化,モザイク化または低解像度化した映像のファイルとを別ファイルとして分割保存しておき、閲覧権限者が閲覧したいときだけ原映像のを表示するようにすることも可能である。しかし、この方法では、ファイル伝送や保存の際に管理が煩雑化する。
【0006】
本発明の目的は、人物,自動車等の映像中のプライバシ保護すべき移動オブジェクトの原映像を見る権限がない者には、移動オブジェクトの本来の把握が不可能となる映像を表示する一方、本来のテクスチャーの把握を必要とする前記権限がある者には、たとえばパスワードによる個人認証を行うことで原映像の閲覧を可能とする映像変更装置、映像変更方法、および映像変更プログラムを提供することにある。
【課題を解決するための手段】
【0007】
本発明の映像変更装置は、(1)から(5)を要旨とする。
(1) 原映像中の移動オブジェクトを、異形態移動オブジェクトに置き換えて変更映像を作成する映像変更装置であって、
前記原映像中の前記移動オブジェクトを検出する移動オブジェクト抽出手段と、
前記移動オブジェクト抽出手段により抽出した前記移動オブジェクトから、
(A)輪郭が前記移動オブジェクトの輪郭と同じまたは概略同じであり、
(a)前記輪郭内の全部が透明である前記異形態移動オブジェクト、または、
(b)前記輪郭内の模様の全部が前記移動オブジェクトの模様と異なる前記異形態移動オブジェクト、あるいは、
(B)輪郭が前記移動オブジェクトの輪郭と異なり、
(a)前記輪郭内の全部が透明である前記異形態移動オブジェクト、または、
(b)前記輪郭内の模様の全部が前記移動オブジェクトの模様と異なる前記異形態移動オブジェクト、
の何れかを作成する、異形態移動オブジェクト作成手段と、
前記移動オブジェクトのうち前記異形態移動オブジェクトに現れない部分の画像データを、前記原映像の前記異形態移動オブジェクトを除く領域に不可視情報として埋め込み、不可視情報埋め込み映像を生成する移動オブジェクトデータ埋込み手段と、
前記異形態移動オブジェクトを、前記不可視情報が埋め込まれた映像に重ね合わせて、変更映像を作成する変更映像作成手段と、
を備えたことを特徴とする映像変更装置。

【0008】
(2) 移動オブジェクトデータ埋込み手段は、前記不可視情報に復号鍵を設定することを特徴とする請求項1に記載の映像変更装置。
【0009】
(3) 前記原映像を取得する撮影手段を備えたことを特徴とする請求項1または2に記載の映像変更装置。
【0010】
(4) 前記変更映像を保存する変更映像保存手段を備えたことを特徴とする(1)から(3)の何れかに記載の映像変更装置。
【0011】
(5) 前記変更映像を表示する変更映像表示手段を備えたことを特徴とする(1)から(4)の何れかに記載の映像変更装置。
【0012】
本発明の映像変更方法は、(6)から(10)を要旨とする。
) 原映像上の移動オブジェクトを、異形態移動オブジェクトに置き換えて変更映像を作成する映像変更方法であって、
前記原映像上の前記移動オブジェクトを検出する移動オブジェクト検出ステップと、
前記移動オブジェクト検出ステップにおいて検出した前記移動オブジェクトから、
(A)輪郭が前記移動オブジェクトの輪郭と同じまたは概略同じであり、
(a)前記輪郭内の全部が透明である異形態移動オブジェクト、または、
(b)前記輪郭内の模様の全部が前記移動オブジェクトの模様と異なる異形態移動オブジェクト、あるいは、
(B)輪郭が前記移動オブジェクトの輪郭と異なり、
(a)前記輪郭内の全部が透明である異形態移動オブジェクト、または、
(b)前記輪郭内の模様の全部が前記移動オブジェクトの模様と異なる異形態移動オブジェクト、
の何れかを作成する、
異形態移動オブジェクト作成ステップと、
前記移動オブジェクトのうち前記異形態移動オブジェクトに現れない部分の画像データを、前記原映像の前記異形態移動オブジェクトを除く領域に不可視情報として埋め込み不可視情報埋込み映像を生成する移動オブジェクトデータ埋込みステップと、
前記異形態移動オブジェクトを、前記不可視情報が埋め込まれた前記不可視情報埋込み映像に重ね合わせて、変更映像を作成する変更映像作成ステップと、
を有することを特徴とする映像変更方法。
【0013】
) 前記移動オブジェクトデータ埋込みステップでは、前記不可視情報に復号鍵を設定することを特徴とする請求項に記載の映像変更方法。
【0014】
) 前記原映像を取得する撮影ステップを備えたことを特徴とする請求項6または7に記載の映像変更方法。
【0015】
) 前記変更映像を保存する変更映像保存ステップを有することを特徴とする請求項6からの何れかに記載の映像変更方法。
【0016】
10) 前記変更映像を表示する変更映像表示ステップを有することを特徴とする請求項6からの何れかに記載の映像変更方法。
【0017】
本発明の映像変更プログラムは、(11)を要旨とする。
11) (6)に記載の各ステップを実行するプログラムモジュールまたはプログラムライブラリー、またはさらに、(7)、(8)、(9)または(10)の各ステップを実行するプログラムモジュールまたはプログラムライブラリーを含むことを特徴とする映像変更プログラム。
【発明の効果】
【0018】
(1)変更映像(マスキング映像)は一般の画像ビューアで閲覧可能とすることができる。たとえば集合住宅等において被撮影者が自己のプライバシが侵害されていないか確認する場合などに変更映像の閲覧を可能とする。
典型的には、変更映像は、JPEG等の汎用フォーマットで保存しておき、特別な設定をしなくても閲覧が可能となる。マスキング映像を、通常のビューアで表示するときには、移動オブジェクトの本来の把握が不可能となる。これにより、被撮影者のプライバシが保護される。
【0019】
(2)本発明では、移動オブジェクトは、移動オブジェクト除去領域に不可視情報(電子すかし)として埋め込まれる。
移動オブジェクトを、移動オブジェクト除去領域に埋め込まずに別ファイルに保存する場合には、ファイル伝送や保存の際に管理が煩雑化し、最悪の場宮、ファイル紛失を招き再構成不能となるおそれがある。また、復元映像の証拠能力の信頼性が低い。
【0020】
(3)犯罪の捜査・発見など、移動オブジェクトの本来の把握が必要となったときは、原映像を忠実に復元する必要がある。本発明では、移動オブジェクトを移動オブジェクト除去領域に不可視情報(電子すかし)として埋め込むに際し、不可視情報には復号鍵を設定することができるので、犯罪の捜査・発見などの場合にのみ、閲覧権限者が移動オブジェクトの本来の把握が可能となる。
【発明を実施するための最良の形態】
【0021】
《映像変更装置》
図1は、本発明の映像変更装置を示すブロック図である。映像変更装置1は、以下に説明するように原映像フレーム上のオブジェクトの移動オブジェクトMOを、異形態移動オブジェクトMODに置き換えて変更映像フレームFCnを作成することができる。
【0022】
図1において、映像変更装置1は、移動オブジェクト検出手段11と、異形態移動オブジェクト作成手段12と、移動オブジェクトデータ埋込み手段13と、変更映像フレーム作成手段14と、撮影手段15と、変更映像保存手段16、変更映像表示手段17と、撮影手段18とを備えている。
【0023】
移動オブジェクト検出手段11は、原映像フレーム上の移動オブジェクトMOを検出することができる。撮影手段15により撮影した映像は、移動オブジェクト領域と、移動オブジェクトを除く領域(以下、「移動オブジェクト除去領域」と言う)に分類できる。移動オブジェクト除去領域は、通常は移動オブジェクトの背景であるが、移動オブジェクトの前に静止物があるような場合には前景のこともある(以下、移動オブジェクトが除去された画像を「移動オブジェクト除去画像」という)。
移動オブジェクト検出手段11は、入力画像(撮影手段18から取得した画像)と移動オブジェクト除去画像との差分をとり移動物体領域を抽出する。
【0024】
具体的には、差分がゼロでない画素を連結領域ごとにまとめて仮移動オブジェクトとし、その画素数が所定の閾値以上であるか否かを判断する。差分がゼロでない画素を検出するために、背景画像をガウス分布で近似し、入力画素との差(輝度,彩度,RGB値など、種々の手法がある)が標準偏差のk倍を超えたら移動物体に関わるピクセルの候補とし、その後、領域処理やトラキングを経て実際に移動物体かどうかを判別するようにできる。本発明はこのような判別方法には限定されない。また、画素のデータ構造を、マスクピクセルMijにより表しているがこれに限定されない。
【0025】
ここでは、仮移動オブジェクトがk個であるとし、閾値をThとする。
いま、i番目の仮移動オブジェクトの画素数をNpixel(i=1,2,・・・,k)とし、次式(1)を満たす仮移動オブジェクトを移動オブジェクトとする。
Npixel(i)≧Th(i=1,2,・・・,k) (1)
m×nの画像内の移動オブジェクトに含まれる画素をマスクピクセルMij(i=1,2,・・・,m:j=1,2,・・・,n)として式(2)で表す。また、移動オブジェクトに含まれない画素は式(3)で表す。マスクピクセルMijは二値化したデータで表される。
【0026】
Mij=1:座標(i,j)にはMasking処理が必要 (2)
Mij=0:座標(i,j)にはasking処理は不要 (3)
異形態移動オブジェクト作成手段12は、移動オブジェクト抽出手段11により検出した移動オブジェクトMOから、
(A)輪郭OLが移動オブジェクトMOの輪郭と同じまたは概略同じであり、
(a)輪郭OL内の全部が透明である異形態移動オブジェクトMOD、または、
(b)輪郭OL内の模様TXの全部が移動オブジェクトMOの模様と異なる異形態移動オブジェクトMOD、あるいは、
(B)輪郭OLが移動オブジェクトMOの輪郭と異なり、
(a)輪郭OL内の全部が透明である異形態移動オブジェクトMOD、または、
(b)輪郭OL内の模様TXの全部が前記移動オブジェクトMOの模様と異なる異形態移動オブジェクトMOD、
の何れかを作成する。
【0027】
(A)(a)では通常輪郭OLの線幅はゼロより大きい値とされ、(A)(b)では輪郭OLの線幅はゼロであってもよいしゼロより大きい値としてもよい。なお、(A)(b)では後述するスクランブル処理を行うことができる。
(B)(a)では、たとえば、移動オブジェクトが人物であるときに異形態移動オブジェクトを輪郭つきの透明な円とでき、また移動オブジェクトが車両であるときに異形態移動オブジェクトを透明なナンバプレートとできる。(B)(b)では、たとえば、移動オブジェクトが人物であるときに異形態移動オブジェクトを輪郭つきの所定色の円とでき、また移動オブジェクトが車両であるときに異形態移動オブジェクトを所定色のナンバプレートとできる。なお、(B)(b)では後述するスクランブル処理を行うことができる。
【0028】
(A)(a),(B)(a)は、透明化処理(Transparency処理)であり、移動オブジェクト領域を背景画像に置き換えることにより移動オブジェクトを透明化する処理である。移動オブジェクトを完全に透明化してしまうと移動オブジェクトの存在すら分からなくなるため、移動オブジェクトの形状が識別できるように輪郭が表示される。
【0029】
(A)(b),(B)(b)では、前述したようにスクランブル処理(Scramble処理)を行うことができる。スクランブル処理では、移動オブジェクト領域の画素を入れ換えることにより、被写体の把握を不可能にする。スクランブル処理では、移動オブジェクト領域の画素を入れ換えるだけなので人の顔のみ、車両のナンバプレートのみを隠蔽でき、顔やナンバプレートの全体の色調がある程度わかる。
【0030】
異形態移動オブジェクトが透明化処理されていても、スクランブル処理されていても、閲覧無権限者は、後述するように変更映像表示手段17により、変更映像(またはフレーム)を表示して、異形態移動オブジェクトを把握することができる。透明化処理の場合には、人や車両が移動していることは分かっても、人物や車両の特定が全くできない。スクランブル処理の場合には、人や車両が移動していることが分かり、人の性別の特定、車両の色や型の特定がある程度可能となる。
【0031】
移動オブジェクトデータ埋込み手段13は、移動オブジェクトMOのうち異形態移動オブジェクトMODに現れない部分の画像データを、原映像(またはフレーム)OFの異形態移動オブジェクトMODを除く領域(透明の場合その輪郭内部の領域を含む)に不可視情報として埋め込み不可視情報埋込み映像(またはフレーム)FRnを生成する。
【0032】
透明化処理、スクランブル処理の何れにおいても、移動オブジェクトを特殊ビューアにより再構成するためには、移動オブジェクトの画像情報を移動オブジェクト除去領域に埋め込まなくてはならない。単純な画素の人れ換えを用いてスクランブル処理を行い、再び同一の入れ替えを行うことによって原画像を再構成する場合には、JPEG圧縮した場合には色調が変化する。また、移動オブジェクトの情報を移動オブジェクト除去領域に画素データの下位bitを利用して埋め込むと、JPEG圧縮によって下位bitが変化してしまう。このため、図2に示すように再構成を行うことができない。
【0033】
このような不都合を回避するため、移動オブジェクトデータ埋込み手段13は、不可視情報に復号鍵Kを設定することができる。不可視情報は具体的には電子透かしであり、この電子すかしを用いて原映像(フレーム)を保存することで、再構成の際に色調の変化等が生じないようにする。
【0034】
変更映像(フレーム)作成手段14は、異形態移動オブジェクト作成手段13により作成した異形態移動オブジェクトMODを、移動オブジェクト除去フレーム作成手段12により作成した移動オブジェクト(フレーム)FRnに重ね合わせて、変更映像フレームFCnを作成することができる。
【0035】
撮影手段15は、モニタカメラであり、原映像VSを取得することができる。
変更映像保存手段16は、変更映像作成手段14により作成した変更映像(フレーム)FCnを変更映像VCとして保存することができる。
変更映像表示手段17は、変更映像作成手段15により作成した変更映像(フレーム)FCnを変更映像VCとして表示することができる。
【0036】
《変更映像のデータ構造》
以上のようにして、移動オブジェクトMOが異形態移動オブジェクトMODに置き換えられ、変更映像のデータ構造が作成される。
この変更映像のデータ構造は、前述したように、移動オブジェクトMOが前記異形態移動オブジェクトMODに置き換えられた変更映像(またはフレーム)FCnである。
異形態移動オブジェクトMODは、
【0037】
(A)輪郭OLが移動オブジェクトMOの輪郭と同じまたは概略同じであり、
(a)輪郭OL内の全部が透明(完全透明または歪透明)であり、または、
(b)輪郭OL内の模様TXの全部が移動オブジェクトの模様と異なり、あるいは、
【0038】
(B)輪郭OLが移動オブジェクトMOの輪郭と異なり、
(a)輪郭OL内の全部が透明であり、または、
(b)輪郭OL内の模様TXの全部が移動オブジェクトMOの模様と異なり、
移動オブジェクトMOのうち異形態移動オブジェクトMODに現れない部分の画像データが、変更映像(またはフレーム)FCnの異形態移動オブジェクトMODを除く領域に不可視情報として埋め込まれている。
また、この変更映像データ構造は、不可視情報には復号鍵Kが設定されている。
【0039】
《映像復元装置》
図3により映像復元装置の実施形態を説明する。図3の映像復元装置2は、上記のデータ構造を持つ変更映像(またはフレーム)FCnから復元映像(またはフレーム)FAnを作成することができる。
【0040】
図3において、映像復元装置2は、移動オブジェクト復元手段21と、復元映像(またはフレーム)生成手段22と、復号鍵照合手段23と、復元映像保存手段24と、復元映像表示手段25とを備えている。
復元移動オブジェクト生成手段21は、変更映像(またはフレーム)FCnの、異形態移動オブジェクトMODを除く領域から、不可視情報を抽出し、復元移動オブジェクトFMOを生成することができる。
【0041】
復元映像(またはフレーム)生成手段22は、変更映像(またはフレーム)FCnに復元移動オブジェクト生成手段21により生成した復元移動オブジェクトFMOを上書きして復元映像(またはフレーム)FQnを生成することができる。
復号鍵照合手段23は、不可視情報に設定されている復号鍵Kと、入力された復号鍵とを照合し、照合が成功したときにのみ、復元移動オブジェクト生成手段21による復元映像(またはフレーム)の生成を行うことができる。
【0042】
復元映像保存手段24は、復元映像(またはフレーム)を保存することができ、復元映像表示手段25は、復元映像を保存することができる。
【0043】
《映像変更方法》
図4のフローチャートおよび図5の補助説明図により、本発明の映像変更方法を説明する。本発明の映像変更方法では、原映像(またはフレーム)FSn上の移動オブジェクトMOを、異形態移動オブジェクトMODに置き換えて変更映像(またはフレーム)FCnを作成することができる。
本実施形態では、映像変更方法は、撮影ステップS101と、移動オブジェクト検出ステップS102と、異形態移動オブジェクト作成ステップS103と、移動オブジェクトデータ埋込みステップS104と、変更映像(またはフレーム)作成ステップS105と、変更映像保存ステップS106と、変更映像表示ステップS107とを有している。
撮影ステップS101では、原映像(またはフレーム)FSnを取得する。
移動オブジェクト検出ステップS102では、原映像(またはフレーム)FSn上の移動オブジェクトMOを検出する。
異形態移動オブジェクト作成ステップS103では、移動オブジェクト検出ステップS102において検出した移動オブジェクトMOから、
【0044】
(A)輪郭OLが移動オブジェクトMOの輪郭と同じまたは概略同じであり、
(a)輪郭OL内の全部が透明である異形態移動オブジェクトMOD、または、
(b)輪郭OL内の模様TXの全部が移動オブジェクトMOの模様と異なる異形態移動オブジェクトMOD、あるいは、
(B)輪郭OLが移動オブジェクトMOの輪郭と異なり、
(a)輪郭OL内の全部が透明である異形態移動オブジェクトMOD、または、
(b)輪郭OL内の模様TXの全部が移動オブジェクトMOの模様と異なる異形態移動オブジェクトMOD、
の何れかを作成する。
【0045】
前述したように(A)(a),(B)(a)が透明化処理であり、(A)(b),(B)(b)がスクランブル処理である。
透明化処理では、入力画像における移動オブジェクト領域内の画素を、背景または前景の同一座標の画素に置き換えることにより擬似的な透明化を実現する。また、このときに、透明化したオブジェクトの形状を把握することができるように移動オブジェクト領域の輪郭を所定幅の線により表示する。
【0046】
そして、移動オブジェクト抽出により得たマスクピクセルMijを利用して、オブジェクト領域のエッジを判定する。
Mij=1であり、かつその上下左右にひとつでもMij=0となる画素が存在するときは、座標(i,j)の画素をエッジと判定する。すなわち、Mijの画素の上下左右の4画素(Mi-1,j、Mi+1,j、Mi,j-1、Mi,j+1)の和をNijとしたとき、式(5)を満たせば、座標(i,j)の画素はオブジェクト領域のエッジであるとみなす。
【0047】
0<Mij×Nij<4 (4)
スクランブル処理では、移動オブジェクト領域内の各画素をナンバリングし、乱数を用いて画素を入換える。
移動オブジェクト領域にn個の画素が存在する場合、生成された乱数列をR(i)(i=1,2,,n)とする。このときk番目の画素をP(k)(k=1,2,…,n)として,式(5)を用いて画素の置換えを行う。
【0048】
P(k)=P(R(k)) (5)
移動オブジェクトデータ埋込みステップS104では、移動オブジェクトMOのうち異形態移動オブジェクトMODに現れない部分の画像データを、原映像(またはフレーム)OFの異形態移動オブジェクトMODを除く領域に不可視情報として埋め込み不可視情報埋込み(またはフレーム)FRnを生成する。このとき、不可視情報に復号鍵を設定することができる。具体的には、原映像(またはフレーム)を、JPEGのDCT係数内に不可視情報を埋め込むことができる。
【0049】
まず、原映像フレームを、JPEG圧縮の最小単位である16×16画素のMCU(MinimumCodedUnit)に分割する。各MCUにおいて移動オブジェクト領域を含むものに対して、それぞれにJPEG圧縮を施す。
JPEG圧縮を施したデータを1byteごとの配列に保存する(array(i)(i=1,2,…,n))。このとき、JPEGヘッダを取り除きハフマン符号化されたイメージデータのみを配列に保存する。
【0050】
次に,LFSR(Linear Feedback Shift Register)を用いて擬似乱数を生成する。なお、AES(Advanced Encription Standard)等、他の暗号化の手法を採用することができる。
【0051】
LFSRの動作を図6に示す。
時刻をt(t=0,…,2k-1)とおくと,Xi(i=1,2,…,k)の値は次式で与えられる。
【0052】
【数1】
JP0004654330B2_000002t.gif

【0053】
【数2】
JP0004654330B2_000003t.gif
cが一定の条件を満たす場合,式(8)におけるZは1~2-1が1回ずつ出現する擬似乱数となる.
【数3】
JP0004654330B2_000004t.gif
ただし,初期状態においてXi=0(i=1,2,・・・,k)でないことが条件となる.また,適切でない係数ciを選択した場合には短いシーケンスの乱数となる。同一の係数ciと初期値Xiを与えることにより同一の擬似乱数を得ることが可能である。
【0054】
生成した擬似乱数1≦Z(j)≦N(k=1,2,・・・,m)により、array[Z(j)]とarray[Z(m-j-1)]とを入れ換え、暗号化された原画像データshafflearray[i](i=1,2,・・・,n)を作成する.次に、shafflearray[p]=0xFFが存在する場合、shafflearray[p+1]=0x00を追加し、以降を一つずつ後方にシフトする。この作業を行った配列を、shafflearray’[i](i=1,2,・・・,n’)とする
【0055】
shafflearray’[i](i=1,2,・・・,n’)に、shafflearray’[n’+1]=0xFF、shafflearray’[n’+2]=0xD9を追加する。0xFF、0xD9はJPEGのイメージ終了を表す識別子である。これにより、時号化されたデータ列を作成する。この作業を画像内の全てのMCUに対し行う。
【0056】
この配列を電子透かしを利用して移動オブジェクト除去画像に埋め込む。
JPEG圧縮に際し、DCT係数の低周波領域の変化は目立ちやすく、高周波領域の変化は量子化テーブルの影響で大きな変化となる。そこで知覚されにくい中間周波数領域を用いて電子透かしを行う。本実施形態では、図7の位置にある係数の下位1bitの偶奇を変えることにより電子透かしを行う。
【0057】
shafflearray’[i]を1bitずつ読み込み,各MCU埋め込み位置の係数の下位1bitを置き換えていく。量子化を行い,ジグザグスキャンを行ったDCT係数を、QDCTZ_k(i)(i=1,2,・・・,64)とする。本実施形態ではiの値により表1に示すように埋め込み位置を定める。本実験で用いた画像サイズは320×240であるため,MCUは320×240÷162×6=1800個生成される.そこで、抜き出したオブジェクトのサイズに応じて表2に示すように、埋め込み位置を変更する。原画像データの埋め込みの終わったDCT係数にハフマン符号化をかけJPEGビットストリームとして出力する。
【0058】
【表1】
JP0004654330B2_000005t.gif

【0059】
【表2】
JP0004654330B2_000006t.gif
変更映像(またはフレーム)作成ステップS105では、異形態移動オブジェクトMODを、不可視情報が埋め込まれた不可視情報埋込み映像(またはフレーム)FRnに重ね合わせて、変更映像(またはフレーム)FCnを作成する。
変更映像保存ステップS106では、変更映像(またはフレーム)FCnを保存し、変更映像表示ステップS107では、変更映像(またはフレーム)FCnを表示する。
電子透かしを、違法コピーの検出や、著作権情報の埋め込みに使用する場合には、画像の改ざん,拡大縮小,色調変更に対して頑健でなければならない。さらに、埋め込みが行われたコンテンツの品質を損なわないことが要求される。
【0060】
しかし,本発明においては、画像の改ざんがなされた場合には移動オブジェクト除去画像が正確でなくなったと判断し、再構成不可能となっても不都合は生じない。また、移動オブジェクト除去画像は重要な情報を含まないと考えられるため、移動オブジェクト除去画像の画質劣化は問題になりにくい。
そこで違法コピーの検出などの用途に比べて、多くのbit数を埋め込むことが可能になり上記で生成したサイズのデータ列を埋め込むことが可能となる。
【0061】
《映像復元方法》
図7のフローチャートにより、本発明の映像復元方法を説明する。本発明の映像復元方法により、上述したデータ構造を持つ変更映像(またはフレーム)FCnから復元映像(またはフレーム)FAnを作成することができる。
本実施形態では、映像変更方法は、図8に示すように、復元移動オブジェクト生成ステップS201と、復元映像(またはフレーム)生成ステップS202と、復号鍵照合ステップS203と、復元映像保存ステップS204と、復元映像表示ステップS205とを有している。
【0062】
復元移動オブジェクト生成ステップS201では、変更映像(またはフレーム)FCnの、異形態移動オブジェクトMODを除く領域から、前記不可視情報を抽出し、復元移動オブジェクトFMOを生成する。
【0063】
復元映像(またはフレーム)生成ステップS202では、変更映像(またはフレーム)FCnに復元移動オブジェクト生成ステップS201において生成した復元移動オブジェクトFMOを上書きして復元映像(またはフレーム)FQnを生成する。
【0064】
復号鍵照合ステップS203では、不可視情報に設定されている復号鍵Kと、入力された復号鍵とを照合する。
復元映像保存ステップS204では、復元映像(またはフレーム)FQnを保存する。
復元映像表示ステップS205では、復元映像を表示する。
本発明の映像復元方法による復元の例を図9に示す。(A)に示す原画像は、(B)に示すようにモザイク化され、また適宜(C)に示すように復元される。
【図面の簡単な説明】
【0065】
【図1】本発明の映像変更装置を示すブロック図である。
【図2】移動オブジェクトの情報を移動オブジェクト除去領域に画素データの下位bitを利用して埋め込んだ場合のJPEG圧縮による不都合を示す図である。
【図3】映像復元装置の実施形態の説明図である。
【図4】本発明の映像変更方法を示すフローチャートである。
【図5】図4のフローチャートの補助説明図である。
【図6】LFSRの動作説明図である。
【図7】電子透かしを行う周波数域の説明図である
【図8】本発明の映像復元方法を示すフローチャートである。
【図9】本発明の映像復元方法による復元の例を示す図であり、(A)は原画像を、(B)は透明化画像を、(C)は復元画像を示す図である。
【符号の説明】
【0066】
1 映像変更装置
2 映像復元装置
11 移動オブジェクト検出手段
12 異形態移動オブジェクト作成手段
13 移動オブジェクトデータ埋込み手段
14 変更映像フレーム作成手段
15 撮影手段
16 変更映像保存手段
17 変更映像表示手段
18 撮影手段
21 移動オブジェクト復元手段
22 復元映像生成手段
23 復号鍵照合手段23
24 復元映像保存手段
25 復元映像表示手段
図面
【図1】
0
【図3】
1
【図4】
2
【図5】
3
【図6】
4
【図7】
5
【図8】
6
【図2】
7
【図9】
8