TOP > 国内特許検索 > 撮像装置、電子透かしの抽出方法、電子透かし及び開閉パターンの最適化方法 > 明細書

明細書 :撮像装置、電子透かしの抽出方法、電子透かし及び開閉パターンの最適化方法

発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2016-163064 (P2016-163064A)
公開日 平成28年9月5日(2016.9.5)
発明の名称または考案の名称 撮像装置、電子透かしの抽出方法、電子透かし及び開閉パターンの最適化方法
国際特許分類 H04N   5/232       (2006.01)
H04N   1/387       (2006.01)
G06T   1/00        (2006.01)
FI H04N 5/232 Z
H04N 1/387
G06T 1/00 500B
請求項の数または発明の数 9
出願形態 OL
全頁数 18
出願番号 特願2015-037159 (P2015-037159)
出願日 平成27年2月26日(2015.2.26)
発明者または考案者 【氏名】小野 智司
【氏名】川崎 洋
【氏名】前原 武
【氏名】堀田 祐樹
出願人 【識別番号】504258527
【氏名又は名称】国立大学法人 鹿児島大学
個別代理人の代理人 【識別番号】100095407、【弁理士】、【氏名又は名称】木村 満
【識別番号】100162259、【弁理士】、【氏名又は名称】末富 孝典
【識別番号】100133592、【弁理士】、【氏名又は名称】山口 浩一
【識別番号】100168114、【弁理士】、【氏名又は名称】山中 生太
審査請求 未請求
テーマコード 5B057
5C076
5C122
Fターム 5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CG05
5B057CG07
5C076AA14
5C076BA06
5C122FB02
5C122FG15
5C122FH12
5C122FH22
5C122FH23
5C122HA31
5C122HA40
要約 【課題】手ぶれしても、動画像の電子透かしであっても、電子透かしを正確に抽出する。
【解決手段】撮像素子4は、受光面上に結像する2次元画像を撮像し、2次元画像の画像データを取得する。結像光学系1(レンズ1A、1B)は、電子透かしが埋め込まれた2次元画像を撮像素子4の受光面に結像させる。開口絞り2は、撮像の露光時間中、結像光学系1から撮像素子4へ到達する光が通過する開口を、時間変化が符号化されている開閉パターンで開閉する符号化露光を行う。画像処理部5は、撮像素子4で取得された画像データに対して開閉パターンに対応する関数を用いたデコンボリューションを実行して、2次元画像の画像データを得る。画像処理部5は、得られた2次元画像の画像データから電子透かしを抽出する。
【選択図】図1
特許請求の範囲 【請求項1】
受光面上に結像する2次元画像を撮像し、前記2次元画像の画像データを取得する撮像素子と、
電子透かしが埋め込まれた2次元画像を前記撮像素子の受光面に結像させる結像光学系と、
露光時間中、前記結像光学系から前記撮像素子へ到達する光が通過する開口の開閉を、符号化されている開閉パターンで繰り返す符号化露光を行う露光部と、
前記撮像素子で取得された画像データに対して前記開閉パターンに対応する関数を用いたデコンボリューションを含む画像処理を実行して、前記電子透かしを抽出する画像処理部と、
を備える撮像装置。
【請求項2】
前記電子透かしは、
情報端末の画像に表示されている動画像である、
請求項1に記載の撮像装置。
【請求項3】
前記2次元画像は、
情報端末の画像に表示されている2次元コードである、
請求項1に記載の撮像装置。
【請求項4】
前記画像処理部は、
前記開閉パターンに対応する関数を用いたデコンボリューションを実行して、前記2次元画像の画像データを復元し、
復元された前記2次元画像の画像データに対して周波数変換処理を実行することにより、前記電子透かしを抽出する、
請求項1から3のいずれか一項に記載の撮像装置。
【請求項5】
液晶駆動部を備え、
前記露光部は、
前記液晶駆動部によって駆動されることにより、開口を形成する透過型の液晶開口である、
請求項1から4のいずれか一項に記載の撮像装置。
【請求項6】
前記露光部は、
開口が開いている間、前記結像光学系を介して前記撮像素子に入射する光が通過する符号化開口を有する開口絞りとして動作する、
請求項5に記載の撮像装置。
【請求項7】
前記結像光学系を介して前記撮像素子に入射する光が通過する符号化開口を有する開口絞りを備え、
前記露光部は、
前記撮像素子への光の入射を遮断するシャッタである、
請求項1から4のいずれか一項に記載の撮像装置。
【請求項8】
結像光学系から撮像素子へ到達する光が通過する開口の開閉を、符号化されている開閉パターンで繰り返す符号化露光を行いながら、前記結像光学系を介して電子透かしが埋め込まれた2次元画像の画像データを撮像素子で撮像して、前記画像データを取得する撮像工程と、
前記撮像素子で取得された画像データに対して前記開閉パターンに対応する関数を用いたデコンボリューションを含む画像処理を実行して、前記電子透かしを抽出する画像処理工程と、
を含む電子透かしの抽出方法。
【請求項9】
結像光学系から撮像素子へ到達する光が通過する開口の開閉を、符号化されている開閉パターンで繰り返す符号化露光を行いながら、前記結像光学系を介して電子透かしが埋め込まれた2次元画像の画像データを撮像素子で撮像して、前記画像データを取得する撮像工程と、
前記撮像素子で取得された画像データに対して前記開閉パターンに対応する関数を用いたデコンボリューションを含む画像処理を実行して、前記電子透かしを抽出する画像処理工程と、
前記画像処理工程で抽出された前記電子透かしの抽出率を算出する算出工程と、
を含み、
前記電子透かしのパターン及び前記開閉パターンを変更しながら、前記撮像工程と、前記画像処理工程と、前記算出工程とを繰り返し行い、最適化手法を用いて、前記抽出率が最大となる前記電子透かし及び前記開閉パターンを決定する
電子透かし及び開閉パターンの最適化方法。
発明の詳細な説明 【技術分野】
【0001】
この発明は、撮像装置、電子透かしの抽出方法、電子透かし及び開閉パターンの最適化方法に関する。
【背景技術】
【0002】
航空機又は列車の搭乗券、イベントなどの入場券、電子マネー、クーポンなど、2次元コードが認証の役割を担うことが期待されている。紙に印刷された2次元コードに電子透かしを埋め込むことで、不正に複製された2次元コードを識別可能な技術が開示されている(例えば、特許文献1、2参照)。
【0003】
一方で、携帯電話の画面に表示された2次元コードの複製もより正確に検知する技術の実現が望まれている。
【先行技術文献】
【0004】

【特許文献1】特許第4713691号公報
【特許文献2】特許第4742175号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、2次元コードに埋め込まれた電子透かしを抽出する際、手ぶれなどにより撮像される画像データがぼけると、高周波成分である電子透かしを正確に抽出できなくなるおそれがある。また、動画像の電子透かしをぼけることなく撮像して、電子透かしを抽出するのは容易なことではない。
【0006】
本発明は、上記実情に鑑みてなされたものであり、手ぶれしたり、電子透かしが動画像データであったりしても、電子透かしを正確に抽出することができる撮像装置、電子透かしの抽出方法、電子透かし及び開閉パターンの最適化方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するため、本発明の第1の観点に係る撮像装置は、
受光面上に結像する2次元画像を撮像し、前記2次元画像の画像データを取得する撮像素子と、
電子透かしが埋め込まれた2次元画像を前記撮像素子の受光面に結像させる結像光学系と、
露光時間中、前記結像光学系から前記撮像素子へ到達する光が通過する開口の開閉を、符号化されている開閉パターンで繰り返す符号化露光を行う露光部と、
前記撮像素子で取得された画像データに対して前記開閉パターンに対応する関数を用いたデコンボリューションを含む画像処理を実行して、前記電子透かしを抽出する画像処理部と、
を備える。
【0008】
前記電子透かしは、
情報端末の画像に表示されている動画像である、
こととしてもよい。
【0009】
前記2次元画像は、
情報端末の画像に表示されている2次元コードである、
こととしてもよい。
【0010】
前記画像処理部は、
前記開閉パターンに対応する関数を用いたデコンボリューションを実行して、前記2次元画像の画像データを復元し、
復元された前記2次元画像の画像データに対して周波数変換処理を実行することにより、前記電子透かしを抽出する、
こととしてもよい。
【0011】
液晶駆動部を備え、
前記露光部は、
前記液晶駆動部によって駆動されることにより、開口を形成する透過型の液晶開口である、
こととしてもよい。
【0012】
前記露光部は、
開口が開いている間、前記結像光学系を介して前記撮像素子に入射する光が通過する符号化開口を有する開口絞りとして動作する、
こととしてもよい。
【0013】
前記結像光学系を介して前記撮像素子に入射する光が通過する符号化開口を有する開口絞りを備え、
前記露光部は、
前記撮像素子への光の入射を遮断するシャッタである、
こととしてもよい。
【0014】
本発明の第2の観点に係る電子透かしの抽出方法は、
結像光学系から撮像素子へ到達する光が通過する開口の開閉を、符号化されている開閉パターンで繰り返す符号化露光を行いながら、前記結像光学系を介して電子透かしが埋め込まれた2次元画像の画像データを撮像素子で撮像して、前記画像データを取得する撮像工程と、
前記撮像素子で取得された画像データに対して前記開閉パターンに対応する関数を用いたデコンボリューションを含む画像処理を実行して、前記電子透かしを抽出する画像処理工程と、
を含む。
【0015】
本発明の第3の観点に係る電子透かし及び開閉パターンの最適化方法は、
結像光学系から撮像素子へ到達する光が通過する開口の開閉を、符号化されている開閉パターンで繰り返す符号化露光を行いながら、前記結像光学系を介して電子透かしが埋め込まれた2次元画像の画像データを撮像素子で撮像して、前記画像データを取得する撮像工程と、
前記撮像素子で取得された画像データに対して前記開閉パターンに対応する関数を用いたデコンボリューションを含む画像処理を実行して、前記電子透かしを抽出する画像処理工程と、
前記画像処理工程で抽出された前記電子透かしの抽出率を算出する算出工程と、
を含み、
前記電子透かしのパターン及び前記開閉パターンを変更しながら、前記撮像工程と、前記画像処理工程と、前記算出工程とを繰り返し行い、最適化手法を用いて、前記抽出率が最大となる前記電子透かし及び前記開閉パターンを決定する。
【発明の効果】
【0016】
この発明によれば、露光時間中、結像光学系から撮像素子へ到達する光が通過する開口を、時間変化が符号化されている開閉パターンで開閉する符号化露光を行うことにより、電子透かしが埋め込まれた2次元画像の画像データが得られる。符号化露光によって得られる画像データは、開閉パターンに対応する関数と2次元画像とがコンボリューションした画像となる。この画像データは、開閉パターンに対応する関数を用いてデコンボリューションされる。手ぶれにより2次元コードの画像データの像がぼけたり、電子透かしが動画像データであったりしても、その画像データを開閉パターンに対応する関数でデコンボリューションすれば、電子透かしの高周波成分を失うことなく、2次元画像の画像データを得ることができる。この結果、手ぶれしたり、電子透かしが動画像データであったりしても、電子透かしを正確に抽出することができる。また、所定のパターンで符号化露光を行える装置でなければ復号が不可能な動画像の電子透かしを実現することができる。
【図面の簡単な説明】
【0017】
【図1】この発明の実施の形態1に係る撮像装置の光学系の構成を示すブロック図である。
【図2】図2(A)は、情報端末の画面に表示される2次元画像であるカバー画像の一例である。図2(B)は、2次元コードに埋め込まれる電子透かしの一例である。図2(C)は、電子透かしが埋め込まれた透かし入り2次元画像の一例である。
【図3】開閉パターンの一例を示す図である。
【図4】図1の画像処理部のハードウエア構成を示すブロック図である。
【図5】図1の画像処理部のソフトウエア構成を示すブロック図である。
【図6】図1の撮像装置の動作を示すフローチャートである。
【図7】図7(A)は、撮像された2次元コードの画像データ(その1)の一例である。図7(B)は、図7(A)の画像データから抽出された電子透かしの画像データ(その1)である。
【図8】撮像装置の構成の他の例を示すブロック図である。
【図9】符号化開口の一例を示す図である。
【図10】図10(A)は、撮像された2次元コードの画像データ(その1)の一例である。図10(B)は、図10(A)の画像データから抽出された電子透かしの画像データ(その1)である。
【図11】図11(A)は、撮像された2次元コードの画像データ(その2)の一例である。図11(B)は、図11(A)の画像データから抽出された電子透かしの画像データ(その2)である。
【図12】図12(A)は、符号化開口の他の例である。図12(B)は、背景画像の他の例である。図12(C)は、2次元画像に埋め込まれる電子透かしの一例である。
【図13】この発明の実施の形態2に係る電子透かし及び開閉パターンの設計システムの構成を示す模式図である。
【図14】図13の設計システムの構成を示すブロック図である。
【図15】図13の設計システムの動作の一部を示すフローチャートである。
【図16】図15のステップS12の具体的な処理を示すフローチャートである。
【図17】図17(A)は、符号化露光で撮像されデコンボリューションされた画像の一部(飛行機のコックピットの部分)である。図17(B)は、通常の露光で撮像されデコンボリューションされた画像の一部(飛行機のコックピットの部分)である。
【図18】図18(A)は、符号化露光で撮像されデコンボリューションされた画像の一部(電子透かしが埋め込まれた部分)である。図18(B)は、通常の露光で撮像されデコンボリューションされた画像の一部(電子透かしが埋め込まれた部分)である。
【発明を実施するための形態】
【0018】
以下、この発明の実施の形態について図面を参照して詳細に説明する。

【0019】
実施の形態1.
まず、この発明の実施の形態1について説明する。

【0020】
撮像装置100は、レンズ1A、開口絞り2と、レンズ1Bと、駆動部3、撮像素子4及び画像処理部5を備える。情報端末200は、画面10を有する。撮像装置100は、情報端末200の画面10に表示された2次元画像を撮像対象とする。撮像装置100は、例えば、デジタルカメラ、携帯電話、スマートフォン、タブレットコンピュータ、モバイルコンピュータ等である。情報端末200は、携帯電話、スマートフォン、タブレットコンピュータ、モバイルコンピュータ、バーコードリーダ(設置型,ハンドヘルド型)等である。

【0021】
情報端末200の画面10に表示される2次元画像は、例えば図2(A)に示すような2次元コード(QR(Quick Response)コード(登録商標))11を原画像(カバー画像)とする。QRコード(登録商標)は、マトリックス型の2次元コードである。2次元コード(QRコード(登録商標))11は縦横に情報を持つ。3隅の四角い切り出しシンボル(位置検出パターン、ファインダパターン)が特徴的である。加えて、小さい四角のアラインメントパターンが固定となっており、それ以外の部分に符号が記録される。

【0022】
この2次元コード11には、図2(B)に示す電子透かし12が埋め込まれている。電子透かし12は、パターンが時間変化する動画像である。電子透かし技術は、画像や音楽等のデジタルコンテンツに情報を埋め込む情報ハイディング(データハイディング)技術の一種である。図2(A)に示す2次元コード11に図2(B)に示す電子透かし12が埋め込まれることによって、図2(C)に示す全体の2次元画像13が形成される。電子透かし12が動画像であるので、形成される2次元画像13も動画像となる。

【0023】
電子透かし12の埋め込みは以下のようにして行われる。例えば、図2(A)に示す2次元コード11は、例えばRGBの各色成分に分離される。各色成分の画像データに対して、それぞれ離散ウェーブレット変換が行われ、各画像データは、LL成分(低周波成分)、LH成分(垂直方向が低周波成分、水平方向が高周波成分)、HL成分(垂直方向が低周波成分、水平方向が高周波成分)及びHH成分(対角方向に高周波数成分)といった周波数成分に分解される。そして、ウェーブレット係数の値(係数値)がLH成分に比べて小さいLH成分、HL成分、HH成分の少なくとも1つに透かし情報を埋め込んで、各成分を逆離散ウェーブレット変換して画像を再構築することにより、図2(C)に示す2次元画像13が生成される。

【0024】
このように、図2(A)の2次元コード11を周波数変換し、高い空間周波成分に図2(B)に示す電子透かし12の成分を埋め込んだ後、逆変換を行って画像を再構築し、図2(C)に示す電子透かし12が埋め込まれた2次元画像13が生成される。周波数変換には、上述の離散ウェーブレット変換のほか、離散コサイン変換又はフーリエ変換などの様々な変換方法を適用することが可能である。

【0025】
図1に戻り、レンズ1A、1Bは凸レンズである。レンズ1A、1Bで結像光学系1が構成される。結像光学系1は、電子透かし12が埋め込まれた2次元画像13を、撮像素子4の受光面に結像させる。結像光学系1の構成は、図1に示すものには限られない。3枚以上のレンズを光軸AXに沿って配置することにより構成される結像光学系であってもよい。

【0026】
開口絞り2は、結像光学系1(レンズ1A、1B)の瞳位置に配置されている。開口絞り2には、円形の開口が形成されている。開口絞り2は、例えば、OHPシートや金属板で作成することができるが、透過型の液晶開口を用いることができる。この実施の形態では、駆動部3が、液晶開口中の所望の画素の透光率を制御する(光を通さない部分の透光率を下げ、光を通す部分の透光率を上げる)ことにより、液晶開口上に所望の形状の開口を形成することができるようになっている。

【0027】
開口絞り2は、露光時間中、結像光学系1から撮像素子4へ到達する光が通過する開口を、時間変化が符号化されている開閉パターンで開閉する符号化露光を行う。すなわち、この実施の形態では、開口絞り2が露光部として動作する。図3には、この開口絞り2における露光時間中の開閉の時間変化が示されている。図3に示すように、露光時間中の開口絞り2の開閉状態の時間変化は、符号化された開閉パターンとなっている。

【0028】
撮像素子4は、受光面上に結像する2次元の画像データを撮像する。撮像素子4は例えば、CCD(Charge Coupled Device)である。撮像素子4は、複数の画素が受光面上に敷き詰められている。各画素には、撮影中の露光時間に入射した光に対応する電荷が蓄積され、各画素に蓄積された電荷によって2次元のデジタル画像データが生成される。

【0029】
画面10に表示された2次元画像13の像は、結像光学系1(レンズ1A、1B)によって撮像素子4の受光面上に結像する。その際、撮像素子4に入射する光は、開口絞り2の円形開口を通過する。

【0030】
画像処理部5は、撮像素子4で取得された画像データに対する画像処理を行う。画像処理部5はコンピュータである。図1の画像処理部5のハードウエア構成を示す図4に示すように、画像処理部5は、制御部21、主記憶部22、外部記憶部23及び入出力部25を備える。主記憶部22、外部記憶部23及び入出力部25はいずれも内部バス28を介して制御部21に接続されている。

【0031】
制御部21は、CPU(Central Processing Unit)等から構成されている。このCPUが、外部記憶部23に記憶され主記憶部22に格納されるプログラム29を実行することにより、図1に示す画像処理部5の各構成要素が実現される。

【0032】
主記憶部22は、RAM(Random-Access Memory)等から構成されている。主記憶部22には、外部記憶部23に記憶されているプログラム29がロードされる。この他、主記憶部22は、制御部21の作業領域(データの一時記憶領域)として用いられる。

【0033】
外部記憶部23は、フラッシュメモリ、ハードディスク、DVD-RAM(Digital Versatile Disc Random-Access Memory)、DVD-RW(Digital Versatile Disc ReWritable)等の不揮発性メモリから構成される。外部記憶部23には、制御部21に実行させるためのプログラム29があらかじめ記憶されている。また、外部記憶部23は、制御部21の指示に従って、このプログラム29の実行の際に用いられるデータを制御部21に供給し、制御部21から供給されたデータを記憶する。

【0034】
入出力部25は、撮像素子4から画像データを入力する。一方で、入出力部25は、演算結果を出力する。

【0035】
図1に示す画像処理部5の各種構成要素は、図4に示すプログラム29が、制御部21、主記憶部22、外部記憶部23及び入出力部25などをハードウエア資源として用いて実行されることによってその機能を発揮する。

【0036】
図1の画像処理部5のソフトウエア構成を示す図5に示すように、画像処理部5は、デコンボリューション部30と、抽出部31とを備える。

【0037】
デコンボリューション部30は、撮像素子4で取得された画像データに対して開閉パターンに対応する関数を用いたデコンボリューション(逆疊込み演算)を実行して、2次元画像の画像データを得る。

【0038】
抽出部31は、デコンボリューション部30で得られた2次元画像の画像データから電子透かしを抽出する。具体的には、画像データに対してRGBの各色成分に分離された後、R、G、Bの色別に離散ウェーブレット変換が施され、電子透かしが埋め込まれたHH成分等が抽出され、そのHH成分等に対して逆変換が施されることにより電子透かしが抽出される。

【0039】
次に、この実施の形態に係る撮像装置100の動作について説明する。

【0040】
図6に示すように、撮像装置100は、開口絞り2を符号化された開閉パターンで開閉しつつレンズを介して電子透かし12が埋め込まれた2次元画像13の画像データを撮像素子4で撮像する(ステップS1)。例えば、電子透かしが、電子透かし12でなく、物体が右から左へ移動するような動画像であった場合には、図7(A)に示すように、画像データは、左右にぶれた画像となる。

【0041】
続いて、デコンボリューション部30は、撮像素子4で撮像された画像データに対して開閉パターンに対応する関数を用いてデコンボリューションを実行して、2次元画像13の画像データを得る(ステップS2)。この場合、図7(B)に示すように、デコンボリューション後の画像データは、左右のぶれが著しく低減している。

【0042】
続いて、抽出部31は、デコンボリューション部30で得られた2次元画像13の画像データから電子透かし12を抽出する(ステップS3)。具体的には、画像データを周波数変換し、電子透かし12が埋め込まれている高周波数成分を抽出して、逆変換することにより電子透かし12を抽出する。

【0043】
このように、電子透かし12を正確に抽出するのに、撮像(露光時間)中に開口絞り2を符号化された開閉パターンで開閉すれば、電子透かし12が埋め込まれた2次元画像の高い空間周波数成分が損なわれないようにすることができるので、得られた画像データに対して開閉パターンに対応する関数でデコンボリューションを行えば、電子透かし12を正確に抽出することができる。

【0044】
以上詳細に説明したように、この実施の形態によれば、露光時間中、結像光学系1から撮像素子4へ到達する光が通過する開口絞り2を、時間変化が符号化されている開閉パターンで開閉する符号化露光を行うことにより、電子透かし12が埋め込まれた2次元画像13の画像データが得られる。符号化露光によって得られる画像データは、開閉パターンに対応する関数と2次元画像とがコンボリューションした画像となる。この画像データは、開閉パターンに対応する関数を用いてデコンボリューションされる。手ぶれにより2次元画像13の画像データの像がぼけたり、電子透かし12が動画像データであったりしても、その画像データを開閉パターンに対応する関数でデコンボリューションすれば、電子透かし12の高い空間周波成分を失うことなく、2次元画像の画像データを得ることができる。この結果、手ぶれしたり、電子透かし12が動画像データであったりしても、電子透かし12を正確に抽出することができる。また、所定のパターンで符号化露光を行える装置でなければ復号が不可能な動画像の電子透かし12を実現することができる。

【0045】
情報端末200に表示された2次元画像を他の情報端末で撮像し、表示させることによって2次元画像を複製した場合、得られた画像データに対してデコンボリューションを行わずにその画像データを画面に表示しても、その画像は、高い空間周波数成分が失われたままの画像となっているので、電子透かし12を正確に抽出するのが困難になる。すなわち、この実施の形態によれば、符号化された開閉パターンによるコンボリューション及びデコンボリューションを取り入れることによって、電子透かし12が埋め込まれた2次元画像の複製を検知することができるようにもなっている。

【0046】
なお、露光時間中に開閉パターンにしたがって開閉するのは開口絞り2には限られない。図8に示すように、シャッタ15を、露光時間中、開閉パターンに従って駆動部3で開閉するようにしてもよい。

【0047】
実施の形態2.
次に、この発明の実施の形態2について説明する。上記実施の形態では、時間軸方向に変化する符号化された開閉パターンを用いて、電子透かし12が埋め込まれた2次元画像13の撮像を行ったが、この実施の形態では、符号化露光に加え、開口絞り2に符号化開口を形成し、符号化開口を用いて撮像を行う。

【0048】
この実施の形態では、開口絞り2には、図9に示すような、符号化開口20が形成されている。図9に示すように、この開口絞り2の符号化開口20では、正方形の開口部分がモザイク状に配置されている。ここで、符号化開口20とは、符号化された開口パターンを含んでいる。符号化された開口パターンは、複数の方向に、広い周波数帯域の空間周波数成分を含んでいる。

【0049】
ここで、開口絞り2の符号化開口20の空間上の位置(光線が通過する位置)を(X、Y;X、Yは光軸AXに直交)と置く。仮に、開口絞り2の開口の形状が円形だった場合には、撮像素子4の各画素に入射する光は、入射した光の開口内の位置情報(X、Y)に関する情報が失われた光となる。これに対して、開口絞り2の開口パターンが符号化された符号化開口であれば、撮像素子4の各画素に入射する光には、その光が通過した開口内の位置情報(X、Y)に関する情報が残ることになる。

【0050】
開口絞り2は、透過型の液晶開口を用いることができる。この実施の形態では、駆動部3が、液晶開口中の所望の画素の透光率を制御することにより、液晶開口上に所望の形状の符号化開口20を形成することができるようになっている。

【0051】
符号化開口20を用いれば、例えば、図10(A)に示すような2次元画像の画像データに対して、図10(B)に示すような電子透かし12が抽出される。抽出された電子透かし12は、本来の電子透かし12に極めて近いパターンとなっている。

【0052】
開口絞り2として符号化開口20を用いることにより、図11(A)に示すように、2次元コードが傾斜した状態であっても、図11(B)に示すように電子透かし12をほぼ正確に抽出することができる。

【0053】
また、符号化開口20の開口パターン、カバー画像等は、上述のものには限られない。例えば、図12(A)に示すようにパターンを採用することができる。また、カバー画像として図12(B)に示すような画像を採用することもできる。このような符号化開口20の開口パターン及び画像を採用しても、図12(C)に示すような電子透かし12を埋め込んで、抽出することができる。

【0054】
この実施の形態では、撮像素子4で取得された画像データは、開口絞り2の開閉パターンで時間方向にコンボリューションされ、開口絞り2の符号化開口20により、空間方向にコンボリューションした画像データとなる。そこで、デコンボリューション部30は、
開閉パターンに対応する関数を用いたデコンボリューションと、符号化開口20に対応するぼけ関数を用いたデコンボリューションを両方行う必要がある。この場合、どちらを先におこなってもよい。

【0055】
符号化開口20を介して得られる画像データは、符号化開口20に対応するぼけ関数と2次元画像の像とがコンボリューションした画像となる。この画像データは、符号化開口20に対応するぼけ関数を用いてデコンボリューションされる。焦点ずれにより2次元画像の画像データの像がぼけたとしても、その画像データを焦点ずれに応じたぼけ関数でデコンボリューションすれば、電子透かし12の高周波成分を失うことなく、2次元画像の画像データを得ることができる。この結果、焦点ずれしても、電子透かし12を正確に抽出することができる。

【0056】
実施の形態3.
次に、この発明の実施の形態3について説明する。上記実施の形態では、電子透かし12が埋め込まれた2次元画像の撮像に、開口絞り2の開閉パターン及び符号化開口20が用いられた。この実施の形態においても、電子透かし12が埋め込まれた2次元画像の撮像に、開口絞り2の開閉パターン及び符号化開口20を用いる。そして、電子透かし12の抽出率が最適になるような電子透かし12のパターン及び符号化開口20の設計方法について説明する。

【0057】
図13には、電子透かし12及び開閉パターンの設計システム500が示されている。図13に示すように、設計システム500は、撮像装置100及び情報端末200の他、コンピュータ300を備えている。コンピュータ300は、CPU及びメモリその他のハードウエアを備えており、CPUがメモリに格納されたプログラムを実行することにより、その機能を実現する。

【0058】
撮像装置100及び情報端末200の構成及び動作は、上記実施の形態1と同じである。コンピュータ300は、無線通信又は有線通信により、撮像装置100及び情報端末200とデータ送受信が可能である。情報端末200は、電動ステージ201の上に搭載されており、情報端末200に手ぶれを模した移動を生じさせることが可能となっている。

【0059】
図14に示すように、コンピュータ300は、抽出率算出部32と、最適化部33と、開閉パターン生成部34と、画像生成部35とを備える。

【0060】
抽出率算出部32は、撮像装置100の画像処理部5から、抽出された電子透かし12の画像データを入力する。抽出率算出部32は、入力された電子透かし12の画像データと、電子透かし12の参照画像データとのマッチングを行い、一致する画素の数の全画素数に対する比率を電子透かし12の抽出率として算出する。

【0061】
最適化部33は、抽出率算出部32で算出される抽出率に基づいて、開口絞り2の開閉パターン及び電子透かし12のパターンの最適化を、最適化手法を用いて行う。この実施の形態では、最適化手法として遺伝的アルゴリズムが採用される。

【0062】
最適化部33は、開口絞り2の開閉パターン及び情報端末200の画面10における電子透かし12のパターンを変更しながら、情報端末200の画面10への電子透かし12が埋め込まれた2次元画像の表示と、撮像装置100における開口絞り2を用いた撮像とを行わせる。最適化部33は、電子透かし12のパターン及び開口絞り2の開閉パターンを変更しながら、最適化手法を用いて、抽出率が最大となる電子透かし12のパターン及び開口絞り2の開閉パターンを探索する。

【0063】
開閉パターン生成部34は、最適化部33からの指示に従って、開口絞り2の開閉パターンを生成する。開閉パターン生成部34は、生成した開口絞り2の開閉パターンを駆動部3に出力する。駆動部3は入力した開閉パターンに基づいて、開口絞り2の液晶開口を駆動し、その開閉パターンにしたがって、露光時間中、開口絞り2を開閉する。

【0064】
画像生成部35は、最適化部33からの指示に従って、電子透かし12が埋め込まれた2次元画像データを生成する。画像生成部35は、情報端末200に、生成した画像データを送信する。情報端末200は、受信した2次元画像を画面10に表示する。

【0065】
図15には、最適化部33を中心にして行われる最適化工程の処理の流れが示されている。図15に示すように、まず、最適化部33は、親世代の候補を複数選択する(ステップS11)。この候補は、電子透かし12のパターンと、開口絞り2の開閉パターンとの組み合わせの候補である。

【0066】
続いて、最適化部33は、選択された電子透かし12のパターンと開口絞り2の開閉パターンとの組み合わせを、開閉パターン生成部34と画像生成部35に指示し、撮像装置100及び情報端末200に上記組み合わせのそれぞれで撮像及び電子透かし12の抽出を実行させる(ステップS12)。ここでは、選択された電子透かし12のパターンと開口絞り2の開閉パターンとの組み合わせそれぞれでの電子透かし12の抽出率が、抽出率算出部32により算出され、最適化部33に出力される。

【0067】
ステップS12では、具体的には、図16に示すように、まず、最適化部33は、開閉パターン生成部34を介して開口絞り2の開閉パターンを駆動部3に設定し、画像生成部35を介して、電子透かし12が埋め込まれた2次元画像を情報端末200に設定し、その2次元画像を情報端末200の画面10に表示させる(ステップS1)。

【0068】
続いて、開閉パターンに従って開口絞り2を開閉して、結像光学系1を介して、電子透かし12が埋め込まれた2次元画像の画像データを撮像素子4で撮像する(ステップS2)。

【0069】
続いて、撮像装置100(画像処理部5のデコンボリューション部30)は、撮像素子4で撮像された画像データに対して開口絞り2の開閉パターンに対応する関数を用いてデコンボリューションを実行して、2次元画像の画像データを得る(ステップS3)。前述のとおり、電子透かし12の動画像の動きに関わらず、クリアな画像データが取得される。

【0070】
続いて、画像処理部5(抽出部31)は、デコンボリューション部30で得られた2次元画像の画像データから電子透かし12を抽出する(ステップS4)。前述のとおり、ここで、周波数変換、高い周波数帯域の抽出、逆変換により、電子透かし12の画像データが得られる。

【0071】
続いて、コンピュータ300(抽出率算出部32)は、抽出された電子透かし12の抽出率を算出する(ステップS5)。前述のとおり、得られた電子透かし12の画像データと参照用の電子透かし12の画像データとの一致度に基づいて、電子透かし12の抽出率が算出される。

【0072】
続いて、最適化部33は、全ての移動パターン(手ぶれを模した情報端末200の微小な移動)での抽出が完了しているか否かを判定する(ステップS6)。まだ完了していなければ(ステップS6;No)、最適化部33は、電動ステージ201を駆動して、撮像装置100と、情報端末200に手ぶれなどを模した動きを生じさせる(ステップS7)。その後、最適化部33は、再び撮像(ステップS2)、デコンボリューション(ステップS3)、電子透かし12の抽出(ステップS4)、抽出率算出(ステップS5)、抽出完了判定(ステップS6)が繰り返される。

【0073】
全ての移動パターンでの電子透かし12の抽出が完了したと判定されると(ステップS6;Yes)、最適化部33は、開口絞り2の開閉パターンと電子透かし12のパターンの全ての組み合わせで、電子透かし12の抽出が完了したか否かが判定される(ステップS8)。完了していなければ(ステップS8;No)、最適化部33は、次の候補である電子透かし12のパターン及び開口絞り2の開閉パターンを設定する(ステップS1)。以降、ステップS2~S8が繰り返され、次の候補での処理が行われる。全てのパターンの組み合わせが完了すると(ステップS8;Yes)、最適化部33は、ステップS12の処理を終了する。

【0074】
最適化部33は、このようにして、電子透かし12のパターン及び開口絞り2の開閉パターンを変更し、情報端末200の移動パターンを変更ながら、撮像(ステップS2)と、デコンボリューション(ステップS3)と、電子透かし12の検出(ステップS4)と、抽出率の算出(ステップS5)とを繰り返し行う。

【0075】
図15に戻り、続いて、最適化部33は、遺伝的アルゴリズム(GA)により子世代の候補を複数生成する(ステップS13)。GAでは、候補を個体として、交叉(組み替え)、突然変異を行って子世代の候補を生成する処理である。なお、子世代の個体には、親世代で最良であった個体をそのまま残すようにする。

【0076】
続いて、最適化部33は、電子透かし12の抽出率の値が一定範囲内に収束したか否かを判定する(ステップS14)。いわゆる探索の終了判定である。終了判定の判定条件には、世代数が所定数となることであってもよいし、抽出率が閾値を上回ることであってもよい。

【0077】
抽出率の値が収束していないと判定された場合(ステップS14;No)、最適化部33は、ステップS12に戻り、子世代における電子透かし12の抽出の実行(ステップS12)、子世代の候補の生成(ステップS13)、抽出率の収束判定(ステップS14)を繰り返し行う。

【0078】
抽出率が収束したと判定された場合(ステップS14;Yes)、最適化部33は、最も抽出率が高い候補を最終的なパターンとして決定する(ステップS15)。続いて、最適化部33は、決定された候補を出力し(ステップS16)、処理を終了する。

【0079】
なお、最適化手法は、遺伝的アルゴリズムには限られない。山登り法、焼き鈍し法、粒子群最適化、差分進化法などを用いるようにしてもよい。また、電子透かし12及び開口絞り2の開閉パターンに加えて、符号化開口20の開口パターンを最適化するようにしてもよい。また、目的関数が複数である多目的最適化アルゴリズムを用いるようにしてもよい。例えば、第一目的関数を透かしの抽出率とし、第二目的関数を、透かしを抽出可能な手ぶれの範囲として、多目的最適化アルゴリズムを実行することで、透かしの抽出の容易さと頑健さの双方を考慮した最適化も可能となる。

【0080】
電子透かし12はより高周波のパターンとして2次元画像に埋め込まれているため、ナンバープレート又はバーコードのぼけを除去する符号化開口と比較して、符号化開口20のパターンは、より高い空間周波数成分を含むものとするのが望ましい。

【0081】
図17(A)には、符号化露光により撮像されデコンボリューションされた画像の一部(飛行機のコクピットの部分)が示され、図17(B)には、通常の露光により撮像されデコンボリューションされた画像の一部(飛行機のコクピットの部分)が示されている。図17(A)と図17(B)とを比較するとわかるように、符号化露光で得られた画像はよく復元できているのに対し、通常の露光で得られた画像は、縦方向の縞が表れている。これは、通常露光では、シャッタが開いた間のすべての光の積分値により各画素が構成されるので、撮像対象が横方向に動いていると、HL成分が失われるためである。

【0082】
図18(A)には、符号化露光により撮像されデコンボリューションされた画像の一部(電子透かし12が埋め込まれた部分)が示され、図18(B)には、通常の露光により撮像されデコンボリューションされた画像の一部(電子透かし12が埋め込まれた部分)が示されている。図18(A)と図18(B)とを比較するとわかるように、符号化露光で得られた画像は、HL成分(垂直方向の高周波数成分)、LH成分(水平方向の高周波数成分)、HH成分(対角方向の高周波数成分)ともによく復元できているのに対し、通常の露光で得られた画像は、撮像対象が横方向に動いているため、HL成分が失われている。

【0083】
上記実施の形態では、情報端末200の画面10に表示された2次元画像13から電子透かし12を抽出する場合について説明したが、本発明はこれには限られない。紙媒体に印刷された2次元画像から電子透かし12を抽出する場合にも本発明を適用することができる。

【0084】
なお、上記の実施の形態において、実行されるプログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read-Only Memory)、DVD(Digital Versatile Disc)、MO(Magneto-Optical Disc)等のコンピュータが読み取り可能な記録媒体に格納して配布し、そのプログラムを、コンピュータ等にインストールすることにより、図6、図15、図16に示す処理を実行するコンピュータ300を構成することとしてもよい。

【0085】
また、上述のプログラムをインターネット等の通信ネットワーク上の所定のサーバ装置が有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、ダウンロード等するようにしてもよい。

【0086】
また、上述の図6、図15、図16に示す処理を、各OS(Operating System)が分担して実現する場合、または、OSとアプリケーションとの協働により実現する場合等には、OS以外の部分のみを媒体に格納して配布してもよく、また、ダウンロード等してもよい。

【0087】
この発明は、この発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、この発明の範囲を限定するものではない。すなわち、この発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。
【産業上の利用可能性】
【0088】
この発明は、2次元コードに埋め込まれる電子透かしを抽出するシステムに適用することができる。特に動画像の電子透かしを抽出するシステムに適用することができる。
【符号の説明】
【0089】
1 結像光学系、1A、1B レンズ、2 開口絞り、3 駆動部、4 撮像素子、5 画像処理部、10 画面、11 2次元コード、12 電子透かし、13 2次元画像、15 シャッタ、20 符号化開口、21 制御部、22 主記憶部、23 外部記憶部、25 入出力部、28 内部バス、29 プログラム、30 デコンボリューション部、31 抽出部、32 抽出率算出部、33 最適化部、34 開閉パターン生成部、35 画像生成部、100 撮像装置、200 情報端末、201 電動ステージ、300 コンピュータ、500 設計システム
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14
【図16】
15
【図17】
16
【図18】
17