Top > Search of Japanese Patents > IMAGING DEVICE, EXTRACTION METHOD OF DIGITAL WATERMARK, DIGITAL WATERMARK AND OPTIMIZATION METHOD OF CODED APERTURE > Specification

Specification :(In Japanese)撮像装置、電子透かしの抽出方法、電子透かし及び符号化開口の最適化方法

Country (In Japanese)日本国特許庁(JP)
Gazette (In Japanese)特許公報(B2)
Patent Number P6406758
Publication number P2016-165070A
Date of registration Sep 28, 2018
Date of issue Oct 17, 2018
Date of publication of application Sep 8, 2016
Title of the invention, or title of the device (In Japanese)撮像装置、電子透かしの抽出方法、電子透かし及び符号化開口の最適化方法
IPC (International Patent Classification) H04N   1/387       (2006.01)
H04N   5/232       (2006.01)
H04N   5/225       (2006.01)
G06K  19/06        (2006.01)
FI (File Index) H04N 1/387
H04N 5/232
H04N 5/225
G06K 19/06 037
G06K 19/06 056
Number of claims or invention 11
Total pages 19
Application Number P2015-045040
Date of filing Mar 6, 2015
Date of request for substantive examination Jan 17, 2018
Patentee, or owner of utility model right (In Japanese)【識別番号】504258527
【氏名又は名称】国立大学法人 鹿児島大学
Inventor, or creator of device (In Japanese)【氏名】小野 智司
【氏名】川崎 洋
【氏名】前原 武
【氏名】堀田 祐樹
Representative (In Japanese)【識別番号】100095407、【弁理士】、【氏名又は名称】木村 満
【識別番号】100162259、【弁理士】、【氏名又は名称】末富 孝典
【識別番号】100133592、【弁理士】、【氏名又は名称】山口 浩一
【識別番号】100168114、【弁理士】、【氏名又は名称】山中 生太
Examiner (In Japanese)【審査官】豊田 好一
Document or reference (In Japanese)特開2014-164721(JP,A)
特開2011-015431(JP,A)
特表2011-523238(JP,A)
特開2014-216974(JP,A)
Field of search H04N 1/387
G06K 19/06
H04N 5/225
H04N 5/232
Scope of claims (In Japanese)【請求項1】
受光面上に結像する2次元画像を撮像し、前記2次元画像の画像データを取得する撮像素子と、
電子透かしが埋め込まれた2次元画像を前記撮像素子の受光面に結像させる結像光学系と、
前記結像光学系を介して前記撮像素子に入射する光の光路上に配置された符号化開口を有する開口絞りと、
前記撮像素子で取得された画像データに対して前記符号化開口に対応するぼけ関数を用いたデコンボリューションを含む画像処理を実行して、前記画像データから前記電子透かしを抽出する画像処理部と、
を備える撮像装置。
【請求項2】
前記符号化開口には、
周波数解析により前記2次元画像から分解された複数の画像のうち、前記電子透かしが埋め込まれた画像の空間周波数成分に対応する方向に空間周波数成分を有する符号パターンが形成されている、
請求項1に記載の撮像装置。
【請求項3】
前記画像処理部は、
前記符号化開口に対応するぼけ関数を用いたデコンボリューションを実行して、前記2次元画像の画像データを復元し、
復元された前記2次元画像の画像データに対して周波数変換処理を実行することにより、前記電子透かしを抽出する、
請求項1又は2に記載の撮像装置。
【請求項4】
前記画像処理部は、
前記符号化開口に対応するぼけ関数と、前記電子透かしを抽出する関数とが合成された関数を用いたデコンボリューションを実行して、前記電子透かしを抽出する、
請求項1又は2に記載の撮像装置。
【請求項5】
液晶駆動部を備え、
前記開口絞りは、
前記液晶駆動部によって駆動されることにより、前記符号化開口を形成する透過型の液晶開口である、
請求項1から4のいずれか一項に記載の撮像装置。
【請求項6】
前記液晶駆動部は、
前記2次元画像を抽出するための第1の開口と、前記電子透かしを抽出する前記符号化開口としての第2の開口とが交互に形成されるように前記液晶開口を駆動し、
前記画像処理部は、
前記第1の開口を介して前記撮像素子に入射した光に基づいて取得された第1の画像データに対して画像処理を実行して前記2次元画像を抽出し、
前記第2の開口を介して前記撮像素子に入射した光に基づいて取得された第2の画像データに対して画像処理を実行して前記電子透かしを抽出する、
請求項5に記載の撮像装置。
【請求項7】
前記開口絞りは、
前記2次元画像を抽出するための第1の開口と、前記電子透かしを抽出する前記符号化開口としての第2の開口と、を有し、
前記結像光学系は、
前記第1の開口を介した光に基づく第1の像と、前記第2の開口を介した光に基づく第2の像とを、前記撮像素子上に別々に結像させる光分割手段を有し、
前記画像処理部は、
前記第1の像の画像データに対して画像処理を実行して前記2次元画像を抽出し、
前記第2の像の画像データに対して画像処理を実行して前記電子透かしを抽出する、
請求項1から6のいずれか一項に記載の撮像装置。
【請求項8】
前記2次元画像は、
情報端末の画像に表示されている2次元コードである、
請求項1から7のいずれか一項に記載の撮像装置。
【請求項9】
前記開口絞りは、前記結像光学系の瞳位置に配置される、
請求項1から8のいずれか一項に記載の撮像装置。
【請求項10】
結像光学系及び符号化開口を有する開口絞りを介して、電子透かしが埋め込まれた2次元画像の画像データを撮像素子で撮像して、前記画像データを取得する撮像工程と、
前記撮像工程で取得された画像データに対して前記符号化開口に対応するぼけ関数を用いたデコンボリューションを含む画像処理を実行して、前記画像データから前記電子透かしを抽出する画像処理工程と、
を含む電子透かしの抽出方法。
【請求項11】
結像光学系及び符号化開口を有する開口絞りを介して、電子透かしが埋め込まれた2次元画像の画像データを撮像素子で撮像して、前記画像データを取得する撮像工程と、
前記撮像工程で取得された画像データに対して前記符号化開口に対応するぼけ関数を用いたデコンボリューションを含む画像処理を実行して、前記画像データから前記電子透かしを抽出する画像処理工程と、
前記画像処理工程で抽出された前記電子透かしの抽出率を算出する算出工程と、
を含み、
前記電子透かしのパターン及び前記符号化開口のパターンを変更しながら、前記撮像工程と、前記画像処理工程と、前記算出工程とを繰り返し行い、最適化手法を用いて、前記抽出率が最大となる前記電子透かし及び前記符号化開口を決定する、
電子透かし及び符号化開口の最適化方法。
Detailed description of the invention (In Japanese)【技術分野】
【0001】
この発明は、撮像装置、電子透かしの抽出方法、電子透かし及び符号化開口の最適化方法に関する。
【背景技術】
【0002】
航空機又は列車の搭乗券、イベントなどの入場券、電子マネー、クーポンなど、2次元コードが認証の役割を担うことが期待されている。紙に印刷された2次元コードに電子透かしを埋め込むことで、不正に複製された2次元コードを識別可能な技術が開示されている(例えば、特許文献1、2参照)。
【0003】
一方で、携帯電話の画面に表示された2次元コードの複製もより正確に検知する技術の実現が望まれている。
【先行技術文献】
【0004】

【特許文献1】特許第4713691号公報
【特許文献2】特許第4742175号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、2次元コードに埋め込まれた電子透かしを抽出する際、焦点ずれなどにより撮像される画像データがぼけると、その画像データから高周波成分である電子透かしを正確に抽出するのが困難になる。
【0006】
本発明は、上記実情に鑑みてなされたものであり、焦点ずれしても、電子透かしを正確に抽出することができる撮像装置、電子透かしの抽出方法、電子透かし及び符号化開口の最適化方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するため、本発明の第1の観点に係る撮像装置は、
受光面上に結像する2次元画像を撮像し、前記2次元画像の画像データを取得する撮像素子と、
電子透かしが埋め込まれた2次元画像を前記撮像素子の受光面に結像させる結像光学系と、
前記結像光学系を介して前記撮像素子に入射する光の光路上に配置された符号化開口を有する開口絞りと、
前記撮像素子で取得された画像データに対して前記符号化開口に対応するぼけ関数を用いたデコンボリューションを含む画像処理を実行して、前記画像データから前記電子透かしを抽出する画像処理部と、
を備える。
【0008】
前記符号化開口には、
周波数解析により前記2次元画像から分解された複数の画像のうち、前記電子透かしが埋め込まれた画像の空間周波数成分に対応する方向に空間周波数成分を有する符号パターンが形成されている、
こととしてもよい。
【0009】
前記画像処理部は、
前記符号化開口に対応するぼけ関数を用いたデコンボリューションを実行して、前記2次元画像の画像データを復元し、
復元された前記2次元画像の画像データに対して周波数変換処理を実行することにより、前記電子透かしを抽出する、
こととしてもよい。
【0010】
前記画像処理部は、
前記符号化開口に対応するぼけ関数と、前記電子透かしを抽出する関数とが合成された関数を用いたデコンボリューションを実行して、前記電子透かしを抽出する、
こととしてもよい。
【0011】
液晶駆動部を備え、
前記開口絞りは、
前記液晶駆動部によって駆動されることにより、前記符号化開口を形成する透過型の液晶開口である、
こととしてもよい。
【0012】
前記液晶駆動部は、
前記2次元画像を抽出するための第1の開口と、前記電子透かしを抽出する前記符号化開口としての第2の開口とが交互に形成されるように前記液晶開口を駆動し、
前記画像処理部は、
前記第1の開口を介して前記撮像素子に入射した光に基づいて取得された第1の画像データに対して画像処理を実行して前記2次元画像を抽出し、
前記第2の開口を介して前記撮像素子に入射した光に基づいて取得された第2の画像データに対して画像処理を実行して前記電子透かしを抽出する、
こととしてもよい。
【0013】
前記開口絞りは、
前記2次元画像を抽出するための第1の開口と、前記電子透かしを抽出する前記符号化開口としての第2の開口と、を有し、
前記結像光学系は、
前記第1の開口を介した光に基づく第1の像と、前記第2の開口を介した光に基づく第2の像とを、前記撮像素子上に別々に結像させる光分割手段を有し、
前記画像処理部は、
前記第1の像の画像データに対して画像処理を実行して前記2次元画像を抽出し、
前記第2の像の画像データに対して画像処理を実行して前記電子透かしを抽出する、
こととしてもよい。
【0014】
前記2次元画像は、
情報端末の画像に表示されている2次元コードである、
こととしてもよい。
【0015】
前記開口絞りは、前記結像光学系の瞳位置に配置される、
こととしてもよい。
【0016】
本発明の第2の観点に係る電子透かしの抽出方法は、
結像光学系及び符号化開口を有する開口絞りを介して、電子透かしが埋め込まれた2次元画像の画像データを撮像素子で撮像して、前記画像データを取得する撮像工程と、
前記撮像工程で取得された画像データに対して前記符号化開口に対応するぼけ関数を用いたデコンボリューションを含む画像処理を実行して、前記画像データから前記電子透かしを抽出する画像処理工程と、
を含む。
【0017】
本発明の第3の観点に係る電子透かし及び符号化開口の最適化方法は、
結像光学系及び符号化開口を有する開口絞りを介して、電子透かしが埋め込まれた2次元画像の画像データを撮像素子で撮像して、前記画像データを取得する撮像工程と、
前記撮像工程で取得された画像データに対して前記符号化開口に対応するぼけ関数を用いたデコンボリューションを含む画像処理を実行して、前記画像データから前記電子透かしを抽出する画像処理工程と、
前記画像処理工程で抽出された前記電子透かしの抽出率を算出する算出工程と、
を含み、
前記電子透かしのパターン及び前記符号化開口のパターンを変更しながら、前記撮像工程と、前記画像処理工程と、前記算出工程とを繰り返し行い、最適化手法を用いて、前記抽出率が最大となる前記電子透かし及び前記符号化開口を決定する。
【発明の効果】
【0018】
この発明によれば、符号化開口を有する開口絞りを介して、電子透かしが埋め込まれた2次元画像の画像データが撮像素子で撮像される。符号化開口を介して得られる画像データは、符号化開口に対応するぼけ関数と2次元画像とがコンボリューションした画像となる。この画像は、符号化開口により高い空間周波数成分が失われない状態で撮像素子上に結像する。このため、焦点ずれにより2次元コードの画像データの像がぼけたとしても、その画像データを焦点ずれに応じた符号化開口に対応するぼけ関数でデコンボリューションを含む画像処理を行えば、電子透かしの高い空間周波数成分を失うことなく、2次元コードの画像データを得ることができる。この結果、焦点ずれしても、電子透かしを正確に抽出することができる。また、符号化開口を備えた装置でなければ復号できない電子透かしを実現することができる。
【図面の簡単な説明】
【0019】
【図1】この発明の実施の形態1に係る撮像装置の光学系の構成を示すブロック図である。
【図2】図2(A)は、情報端末の画面に表示される2次元画像であるカバー画像の一例である。図2(B)は、2次元コードに埋め込まれる電子透かしの一例である。図2(C)は、電子透かしが埋め込まれた透かし入り2次元画像の一例である。
【図3】符号化開口の一例を示す図である。
【図4】図1の画像処理部のハードウエア構成を示すブロック図である。
【図5】図1の画像処理部のソフトウエア構成を示すブロック図である。
【図6】図1の撮像装置の動作を示すフローチャートである。
【図7】図7(A)は、撮像された2次元コードの画像データ(その1)の一例である。図7(B)は、図7(A)の画像データから抽出された電子透かしの画像データ(その1)である。
【図8】図8(A)は、撮像された2次元コードの画像データ(その2)の一例である。図8(B)は、図8(A)の画像データから抽出された電子透かしの画像データ(その2)である。
【図9】図9(A)は、円形の開口絞りを用いて撮像された2次元コードの画像データの一例である。図9(B)は、図9(A)の画像データから抽出された電子透かしの画像データである。
【図10】図10(A)は、符号化開口の他の例である。図10(B)は、2次元画像の他の例である。図10(C)は、2次元画像に埋め込まれる電子透かしの一例である。
【図11】この発明の実施の形態2に係る電子透かし及び符号化開口の設計システムの構成を示す模式図である。
【図12】図11の設計システムの構成を示すブロック図である。
【図13】図11の設計システムの動作の一部を示すフローチャートである。
【図14】図13のステップS12の具体的な処理を示すフローチャートである。
【図15】図15(A)は、チェックパターンの符号化開口と電子透かしの検出結果を示す図である。図15(B)は、円形開口と電子透かしの検出結果を示す図である。図15(C)は、符号化開口(Zhouコード)と電子透かしの検出結果を示す図である。図15(D)は、他の符号化開口(Zhouコード)と電子透かしの検出結果を示す図である。
【図16】図16(A)は、円形開口を示す図である。図16(B)は、符号化開口を示す図である。図16(C)は、撮像装置の構成の変形例(その1)を示す図である。
【図17】図17(A)は、円形開口及び符号化開口が形成された開口絞りを示す図である。図17(B)は、撮像装置の構成の変形例(その2)を示す図である。
【発明を実施するための形態】
【0020】
以下、この発明の実施の形態について図面を参照して詳細に説明する。

【0021】
実施の形態1.
まず、この発明の実施の形態1について説明する。

【0022】
撮像装置100は、レンズ1A、開口絞り2と、レンズ1Bと、駆動部3、撮像素子4と、画像処理部5とを備える。情報端末200は、画面10を有する。撮像装置100は、情報端末200の画面10に表示された2次元画像を撮像対象とする。撮像装置100は、例えば、デジタルカメラ、携帯電話、スマートフォン、タブレットコンピュータ、モバイルコンピュータ等である。情報端末200は、携帯電話、スマートフォン、タブレットコンピュータ、モバイルコンピュータ,バーコードリーダ(設置型,ハンドヘルド型)等である。

【0023】
情報端末200の画面10に表示される2次元画像は、例えば図2(A)に示すような2次元コード(QR(Quick Response)コード(登録商標))11を原画像(カバー画像)とする。QRコード(登録商標)は、マトリックス型の2次元コードである。2次元コード(QRコード(登録商標))11は縦横に情報を持ち、3隅の四角い切り出しシンボル(位置検出パターン、ファインダパターン)が特徴的である。加えて、小さい四角のアラインメントパターンが固定されている。そして、それ以外の部分に符号が記録される。

【0024】
この2次元コード11には、電子透かしが埋め込まれている。図2(B)に示すように、電子透かし12も、2次元コードである。電子透かし技術は、画像や音楽等のデジタルコンテンツに情報を埋め込む情報ハイディング(データハイディング)技術の一種である。図2(A)に示す2次元コード11に図2(B)に示す電子透かし12が埋め込まれることによって、図2(C)に示す全体の2次元画像13が形成される。

【0025】
電子透かし12の埋め込みは以下のようにして行われる。例えば、図2(A)に示す2次元コード11は、例えばRGBの各色成分に分離される。各色成分の画像データに対して、それぞれ離散ウェーブレット変換が行われ、各画像データは、LL成分(低周波成分)、LH成分(垂直方向が低周波成分、水平方向が高周波成分)、HL成分(垂直方向が高周波成分、水平方向が低周波成分)及びHH成分(対角方向が高周波成分)といった周波数成分に分解される。そして、ウェーブレット係数の値(係数値)がLL成分以外の成分、HH成分、LH成分、HL成分の少なくとも1つに透かし情報を埋め込んで、各成分を逆離散ウェーブレット変換して画像を再構築することにより、図2(C)に示す2次元画像13が生成される。

【0026】
このように、図2(A)の2次元コード11を周波数変換し、高い空間周波成分に図2(B)に示す電子透かし12の成分を埋め込んだ後、逆変換を行って画像を再構築し、図2(C)に示す電子透かし12が埋め込まれた2次元画像13が生成される。周波数変換には、上述の離散ウェーブレット変換のほか、離散コサイン変換又はフーリエ変換などの様々な変換方法を適用することが可能である。

【0027】
図1に戻り、レンズ1A、1Bは凸レンズである。レンズ1A、1Bで結像光学系1が構成される。結像光学系1は、電子透かし12が埋め込まれた2次元画像13を、撮像素子4の受光面に結像させる。結像光学系1の構成は、図1に示すものには限られない。3枚以上のレンズを光軸AXに沿って配置することにより構成される結像光学系であってもよい。

【0028】
開口絞り2は、結像光学系1(レンズ1A、1B)の瞳位置など、結像光学系1を介して撮像素子4に入射される光の光路上に配置されている。開口絞り2には、図3に示すような、符号化開口20が形成されている。図3に示すように、この開口絞り2の符号化開口20では、正方形の開口部分がモザイク状に配置されている。符号化開口20には、符号化された開口パターンが形成されている。符号化された開口パターンは、複数の方向に、広い帯域の空間周波数成分を含んでいる。

【0029】
ここで、開口絞り2の符号化開口20の面内位置(光線が通過する位置)を(X、Y)と置く。仮に、開口絞り2の開口の形状が円形だった場合には、撮像素子4の各画素に入射する光は、入射した光の開口内の位置情報(X、Y)に関する情報が失われた光となる。これに対して、開口絞り2の開口パターンが符号化された符号化開口20であれば、撮像素子4の各画素に入射する光には、その光が通過した開口内の位置情報(X、Y)に関する情報が残ることになる。

【0030】
開口絞り2は、例えば、OHPシートや金属板で作成することができるが、透過型の液晶開口を用いることができる。この実施の形態では、駆動部3が、液晶開口中の所望の画素の透光率を制御する(光を通す部分の透光率を上げ、光を通さない部分の透光率を下げる)ことにより、液晶開口上に所望の符号パターンを含む符号化開口20を形成することができるようになっている。

【0031】
撮像素子4は、受光面上に結像する2次元の画像データを撮像する。撮像素子4は例えば、CCD(Charge Coupled Device)である。撮像素子4は、複数の画素が受光面上に敷き詰められている。各画素には、撮影中の露光時間に入射した光に対応する電荷が蓄積され、各画素に蓄積された電荷によって2次元のデジタル画像データが生成される。

【0032】
画面10に表示された2次元画像13の像は、結像光学系1(レンズ1A、1B)によって撮像素子4の受光面上に結像する。その際、撮像素子4に入射する光は、符号化開口20を通過する。これにより、撮像素子4上に結像する2次元画像13の像は、画面10に表示された2次元画像13と、符号化開口20に対応するぼけ関数がコンボリューションされた画像となる。このぼけ関数は、2次元コードの画像データの結像位置と撮像素子4の受光面との光軸方向のずれ、すなわちフォーカスずれに応じて異なったものとなる。このぼけ関数は、カーネルともいう。このぼけ関数は、フーリエ光学における光学伝達関数(OTF)に対応する。

【0033】
したがって、仮に、撮像素子4の位置が、2次元画像13の結像位置に対してフォーカスずれしていたとしても、その像を符号化開口20に対応し、フォーカスずれ量に対応するぼけ関数を用いたデコンボリューションを含む画像処理により、元の画像データを復元することが可能である。

【0034】
画像処理部5は、撮像素子4で取得された画像データに対する画像処理を行う。画像処理部5はコンピュータである。図1の画像処理部5のハードウエア構成を示す図4に示すように、画像処理部5は、制御部21、主記憶部22、外部記憶部23及び入出力部25を備える。主記憶部22、外部記憶部23及び入出力部25はいずれも内部バス28を介して制御部21に接続されている。

【0035】
制御部21は、CPU(Central Processing Unit)等から構成されている。このCPUが、外部記憶部23に記憶され主記憶部22に格納されるプログラム29を実行することにより、図1に示す画像処理部5の各構成要素が実現される。

【0036】
主記憶部22は、RAM(Random-Access Memory)等から構成されている。主記憶部22には、外部記憶部23に記憶されているプログラム29がロードされる。この他、主記憶部22は、制御部21の作業領域(データの一時記憶領域)として用いられる。

【0037】
外部記憶部23は、フラッシュメモリ、ハードディスク、DVD-RAM(Digital Versatile Disc Random-Access Memory)、DVD-RW(Digital Versatile Disc ReWritable)等の不揮発性メモリから構成される。外部記憶部23には、制御部21に実行させるためのプログラム29があらかじめ記憶されている。また、外部記憶部23は、制御部21の指示に従って、このプログラム29の実行の際に用いられるデータを制御部21に供給し、制御部21から供給されたデータを記憶する。

【0038】
入出力部25は、撮像素子4から画像データを入力する。一方で、入出力部25は、演算結果を出力する。

【0039】
図1に示す画像処理部5の各種構成要素は、図4に示すプログラム29が、制御部21、主記憶部22、外部記憶部23及び入出力部25などをハードウエア資源として用いて実行されることによってその機能を発揮する。

【0040】
図5(図1の画像処理部5のソフトウエア構成)に示すように、画像処理部5は、デコンボリューション部30と、抽出部31とを備える。

【0041】
デコンボリューション部30は、撮像素子4で取得された画像データに対して,例えば符号化開口20に対応するぼけ関数を用いたデコンボリューション(逆畳込み演算)を実行して、2次元画像13の画像データを得る。デコンボリューション部30には、例えば、様々な複数のデフォーカス量と、そのデフォーカス量に対応するぼけ関数がそれぞれ対応づけられて記憶されている。デコンボリューション部30は、複数のぼけ関数それぞれについてデコンボリューションを行う。そして、デコンボリューション部30は、デコンボリューションの結果得られた複数の画像の中から、元の2次元画像13とのマッチングを行い、一致度が最も高い画像を、デコンボリューションの結果得られる画像データとして出力する。

【0042】
抽出部31は、デコンボリューション部30で得られた2次元コードの画像データから電子透かしを抽出する。具体的には、画像データに対してRGBの各色成分に分離された後、R、G、Bの色別の画像に離散ウェーブレット変換が施され、電子透かしが埋め込まれたHH成分、LH成分、HL成分の少なくとも1つが抽出され、抽出されたHH成分、LH成分、HL成分の少なくとも1つに対して逆変換を施すことにより電子透かしが抽出される。

【0043】
次に、この実施の形態に係る撮像装置100の動作について説明する。

【0044】
図6に示すように、撮像装置100は、符号化開口20を開口絞り2として用いて、結像光学系1を介して電子透かし12が埋め込まれた2次元画像13の画像データを撮像素子4で撮像する(ステップS1)。これにより、図7(A)に示すような2次元画像データが得られる。

【0045】
続いて、デコンボリューション部30は、撮像素子4で撮像された画像データに対して符号化開口20に対応するぼけ関数を用いてデコンボリューションを実行して、2次元画像13の画像データを得る(ステップS2)。

【0046】
続いて、抽出部31は、デコンボリューション部30で得られた2次元画像13の画像データから電子透かしを抽出する(ステップS3)。具体的には、抽出部31は、画像データを周波数変換し、電子透かしが埋め込まれている高い空間周波数成分を抽出して、逆変換することにより電子透かしを抽出する。図7(B)には、抽出された電子透かしの一例が示されている。

【0047】
開口絞り2として符号化開口20を用いることにより、図8(A)に示すように、2次元画像13が傾斜した状態であっても、図8(B)に示すように電子透かしを抽出することができる。これに対し、開口絞り2の開口パターンに円形の開口を用いた場合には、図9(A)に示す2次元画像に対して抽出される電子透かしは、図9(B)に示すように、本来の電子透かし12(図2(B)参照)とは大きく異なる画像となる。

【0048】
また、符号化開口20の開口パターン、カバー画像等は、上述のものには限られない。例えば、図10(A)に示すようにパターンを採用することができる。また、カバー画像として図10(B)に示すような画像を採用することもできる。このような符号化開口20の開口パターン及び背景画像を採用しても、図10(C)に示すような電子透かしを埋め込んで、抽出することができる。

【0049】
このように、電子透かしを正確に抽出するのに、開口絞り2として符号化開口20を用いれば、電子透かしが埋め込まれた2次元画像の高い空間周波数成分が損なわれないようにすることができるので、得られた画像データに対して画像処理を行えば、電子透かしを正確に抽出することができる。

【0050】
なお、画像処理部5では、デコンボリューションと、電子透かしの抽出を分けて行ったが、符号化開口に対応するぼけ関数と、電子透かしを抽出する関数(電子透かしが埋め込まれている高い空間周波数成分を抽出するための関数)とが合成された関数を用いたデコンボリューションを実行して、電子透かしを抽出するようにしてもよい。

【0051】
以上詳細に説明したように、この実施の形態によれば、符号化開口20を有する開口絞り2を介して電子透かし12が埋め込まれた2次元画像13の画像データが得られる。符号化開口20を介して得られる画像データは、符号化開口20に対応するぼけ関数と2次元画像の像とがコンボリューションした画像となる。この画像データは、例えば,符号化開口20に対応するぼけ関数を用いてデコンボリューションされる。画像データを焦点ずれに応じたぼけ関数でデコンボリューションすれば、電子透かし12の高い空間周波成分を失うことなく、2次元画像の画像データを得ることができる。この結果、焦点ずれにより2次元画像の画像データの像がぼけたとしても、電子透かし12を正確に抽出することができる。これにより、例えば、焦点を合致させることなく撮影するなどして画質が劣化した状態でも、電子透かし12を精度良く抽出することができる。また、符号化開口を備えた装置でなければ復号できない電子透かしを実現することができる。

【0052】
また、情報端末200に表示された2次元画像を他の情報端末で撮像し、表示させることによって2次元画像を複製した場合、得られた画像データに対してデコンボリューション等の画像処理を行わずにその画像データを画面に表示しても、その画像は、高い空間周波成分が失われたままの画像となることが多いので、その画像から電子透かしを正確に抽出するのが困難になる。すなわち、この実施の形態によれば、符号化開口20によるコンボリューション及びデコンボリューションを取り入れることによって、電子透かしが埋め込まれた2次元画像の複製を検知することができるようにもなっている。

【0053】
実施の形態2.
次に、この発明の実施の形態2について説明する。上記実施の形態では、電子透かしが埋め込まれた2次元画像の撮像に、開口絞り2として符号化開口20が用いられた。この実施の形態においても、電子透かしが埋め込まれた2次元画像の撮像に、開口絞り2として符号化開口20を用いる。そして、電子透かしの抽出率が最適になるような電子透かしのパターン及び符号化開口20の開口パターンの設計方法について説明する。

【0054】
図11には、電子透かし及び符号化開口20の設計システム500が示されている。図11に示すように、設計システム500は、撮像装置100及び情報端末200の他、コンピュータ300を備えている。コンピュータ300は、CPU及びメモリその他のハードウエアを備えており、CPUがメモリに格納されたプログラムを実行することにより、その機能を実現する。

【0055】
撮像装置100及び情報端末200の構成及び動作は、上記実施の形態1と同じである。コンピュータ300は、無線通信又は有線通信により、撮像装置100及び情報端末200とデータ送受信が可能である。情報端末200は、電動ステージ201の上に搭載されており、撮像装置100と情報端末200との距離を調整可能となっている。撮像装置100と情報端末200との距離を調整できれば、電動ステージ201はなくてもよいが、電動ステージ201を用いることで焦点ずれにより頑健な透かしと符号化開口を効率的に設計できる。

【0056】
図12に示すように、コンピュータ300は、抽出率算出部32と、最適化部33と、符号化開口生成部34と、画像生成部35とを備える。

【0057】
抽出率算出部32は、撮像装置100の画像処理部5から、抽出部31で抽出された電子透かしの画像データを入力する。抽出率算出部32は、入力された電子透かしの画像データと、電子透かしの参照画像データとのマッチングを行い、輝度値が一致する画素の数の全画素数に対する比率を電子透かしの抽出率として算出する。

【0058】
最適化部33は、抽出率算出部32で算出される抽出率に基づいて、符号化開口20の開口パターン及び電子透かしのパターンの最適化を、最適化手法を用いて行う。この実施の形態では、最適化手法として遺伝的アルゴリズムが採用される。

【0059】
最適化部33は、符号化開口20の開口パターン及び情報端末200の画面10における電子透かしのパターンを変更しながら、情報端末200の画面10への電子透かしが埋め込まれた2次元画像の表示と、撮像装置100における符号化開口20の開口絞り2を用いた撮像とを行わせる。最適化部33は、電子透かしのパターン及び符号化開口20の開口パターンを変更しながら、最適化手法を用いて、抽出率が最大となる電子透かしのパターン及び符号化開口20の開口パターンを探索する。

【0060】
符号化開口生成部34は、最適化部33からの指示に従って、符号化開口20の開口パターンを生成する。符号化開口生成部34は、生成した符号化開口20の開口パターンを駆動部3に送信する。駆動部3は受信した開口パターンに基づいて、開口絞り2の液晶開口を駆動し、その開口パターンに対応する符号化開口20を形成する。

【0061】
画像生成部35は、最適化部33からの指示に従って、電子透かしが埋め込まれた2次元画像データを生成する。画像生成部35は、情報端末200に、生成した画像データを送信する。情報端末200は、受信した2次元画像を画面10に表示する。

【0062】
図13には、最適化部33を中心にして行われる最適化工程の処理の流れが示されている。図13に示すように、まず、最適化部33は、親世代の候補を複数選択する(ステップS11)。この候補は、電子透かしのパターンと、符号化開口20のパターンとの組み合わせの候補である。

【0063】
続いて、最適化部33は、選択された電子透かしのパターンと符号化開口20の開口パターンとの組み合わせを、符号化開口生成部34と画像生成部35に指示し、上記パターンの組み合わせのそれぞれで撮像装置100及び情報端末200に撮像及び電子透かしの抽出を実行させる(ステップS12)。ここでは、選択された電子透かしのパターンと符号化開口20の開口パターンとの組み合わせそれぞれでの電子透かしの抽出率が、抽出率算出部32により算出され、最適化部33に出力される。

【0064】
ステップS12では、具体的には、図14に示すように、まず、最適化部33は、符号化開口生成部34を介して符号化開口20の開口パターンを駆動部3に設定し、画像生成部35に、電子透かしが埋め込まれた2次元画像13を生成させることにより、その電子透かしを設定する(ステップS1)。2次元画像13は、情報端末200に送信され、情報端末200の画面10に表示され、駆動部3の駆動により、開口絞り2に符号化開口20が形成される。

【0065】
続いて、符号化開口20を開口絞り2として用いて、結像光学系1を介して、電子透かしが埋め込まれた2次元画像の画像データを撮像素子4で撮像する(ステップS2)。

【0066】
続いて、撮像装置100(画像処理部5のデコンボリューション部30)は、撮像素子4で撮像された画像データに対して符号化開口20に対応するぼけ関数を用いてデコンボリューションを実行して、2次元画像の画像データを得る(ステップS3)。前述のとおり、撮像素子4の受光面と2次元画像13の結像面とのフォーカスずれに応じたぼけ関数によりデコンボリューションされたクリアな画像データがここで取得される。

【0067】
続いて、画像処理部5(抽出部31)は、デコンボリューション部30で得られた2次元画像の画像データから電子透かしを抽出する(ステップS4)。前述のとおり、ここで、周波数変換、高い周波数帯域の抽出、逆変換が行われ、電子透かしの画像データが得られる。

【0068】
続いて、コンピュータ300(抽出率算出部32)は、抽出された電子透かしの抽出率を算出する(ステップS5)。前述のとおり、得られた電子透かしの画像データと参照用の電子透かしの画像データとの一致度に基づいて、電子透かしの抽出率が算出される。

【0069】
続いて、最適化部33は、全ての距離(撮像装置100と情報端末200との距離)での抽出が完了しているか否かを判定する(ステップS6)。まだ完了していなければ(ステップS6;No)、最適化部33は、電動ステージ201を駆動して、撮像装置100と、情報端末200との距離を変更する(ステップS7)。その後、最適化部33は、再び撮像(ステップS2)、デコンボリューション(ステップS3)、電子透かし抽出(ステップS4)、抽出率算出(ステップS5)、抽出完了判定(ステップS6)を繰り返す。

【0070】
全ての距離での電子透かしの抽出が完了したと判定されると(ステップS6;Yes)、最適化部33は、符号化開口20の開口パターンと電子透かしのパターンの全ての組み合わせで、電子透かしの抽出が完了したか否かが判定される(ステップS8)。完了していなければ(ステップS8;No)、最適化部33は、次の候補である電子透かしのパターン及び符号化開口20の開口パターンを設定する(ステップS1)。以降、ステップS2~S8が繰り返され、次の候補での処理が行われる。全ての組み合わせが完了すると(ステップS8;Yes)、最適化部33は、ステップS12の処理を終了する。

【0071】
最適化部33は、このようにして、電子透かしのパターン及び符号化開口20の開口パターンを変更し、撮像装置100と情報端末200との距離を変更ながら、撮像(ステップS2)と、デコンボリューション(ステップS3)と、電子透かしの検出(ステップS4)と、抽出率の算出(ステップS5)とを繰り返し行う。

【0072】
図13に戻り、続いて、最適化部33は、遺伝的アルゴリズム(GA)により子世代の候補を複数生成する(ステップS13)。GAでは、候補を個体として、交叉(組み替え)、突然変異を行って子世代の候補を生成する処理である。なお、子世代の個体には、親世代で最良であった個体をそのまま残すようにする。

【0073】
続いて、最適化部33は、電子透かしの抽出率の値が一定範囲内に収束したか否かを判定する(ステップS14)。いわゆる探索の終了判定である。終了判定の判定条件には、世代数が所定数となることであってもよいし、抽出率が閾値を上回ることであってもよい。

【0074】
抽出率の値が収束していないと判定された場合(ステップS14;No)、最適化部33は、ステップS12に戻り、子世代における電子透かし抽出の実行(ステップS12)、子世代の候補の生成(ステップS13)、抽出率の収束判定(ステップS14)を繰り返し行う。

【0075】
抽出率が収束したと判定された場合(ステップS14;Yes)、最適化部33は、最も抽出率が高い候補を最終的なパターンとして決定する(ステップS15)。続いて、最適化部33は、決定された候補を出力し(ステップS16)、処理を終了する。

【0076】
なお、最適化手法は、遺伝的アルゴリズムには限られない。山登り法、焼き鈍し法、粒子群最適化、差分進化法などを用いるようにしてもよい。また、目的関数が複数である多目的最適化アルゴリズムを用いるようにしてもよい。例えば、第一目的関数を透かしの抽出率とし、第二目的関数を、透かしを抽出可能なデフォーカスの範囲として、多目的最適化アルゴリズムを実行することで、透かしの抽出の容易さと頑健さの双方を考慮した最適化も可能となる。

【0077】
なお、電子透かしはより高周波のパターンとして2次元画像に埋め込まれているため、ナンバープレート又はバーコードのぼけを除去する符号化開口と比較して、符号化開口20の開口パターンは、より高周波なパターンとなる。

【0078】
上述のような符号化開口の符号パターンの最適化方法を用いた結果、周波数解析により2次元画像から分解された複数の画像のうち、電子透かしが埋め込まれた画像の空間周波数成分に対応する方向に空間周波数成分を有する符号パターンが形成された符号化開口20が電子透かしを良好に抽出可能であることが判明した。例えば、2次元画像がLL成分、LH成分、HL成分、HH成分の画像に分割され、電子透かしが、HH成分の画像に埋め込まれた場合には、水平方向及び垂直方向に交差する斜め方向に空間周波数成分を有する符号パターン、すなわち上述のような図15(A)に示す斜め方向に空間周波数成分を有するチェックパターンが形成された符号化開口20が電子透かしを良好に抽出できることが判明した。

【0079】
この符号化開口20が、電子透かし抽出用として良好であることを確認するために、電子透かしを良好に抽出できるとされるチェックパターンの符号化開口20と、円形開口と、ぼけ除去に用いられる符号化開口(Zhouコード)とにおける電子透かし抽出の比較実験を行った。図15(A)には、チェックパターンの符号化開口20(左)と、チェックパターンを用いたときの電子透かしの検出結果(右)が示されている。また、図15(B)には。円形開口40と、円形開口40を用いたときの電子透かしの検出結果が示されている。図15(C)には、符号化開口(Zhouコード)41と、そのコードを用いたときの電子透かしの検出結果が示されている。図15(D)には、他の符号化開口(Zhouコード)42と、そのコードを用いたときの電子透かしの検出結果が示されている。図15(A)と図15(B)~図15(D)とを比較するとわかるように、チェックパターンの符号化開口20が、最も良好に電子透かしを抽出できている。

【0080】
なお、電子透かしがLH成分に埋め込まれている場合には、符号化開口20の符号パターンは、垂直方向に空間周波数成分を有するだけのパターンであってもよいし、電子透かしがHL成分に埋め込まれている場合には、水平方向に空間周波数成分を有するだけのパターンであってもよい。

【0081】
なお、開口絞り2は、上述のものには限られない。開口絞り2が液晶開口である場合、図16(A)に示す円形開口40と図16(B)に示す符号化開口20とが交互に形成されるように、液晶開口の開口形状を時間変化させるようにしてもよい。円形開口40は、2次元画像(カバー画像)を抽出するための開口絞りであり、符号化開口20は、電子透かしを抽出するための開口絞りである。図16(C)に示すように、駆動部3は、現在円形開口40を表示しているか、符号化開口20を表示しているかを示す信号を画像処理部5に出力している。画像処理部5は、この信号に基づいて、開口絞り2に円形開口40が表示されているときに、円形開口40を介して撮像素子4に入射した光に基づいて取得された画像データに対して画像処理を実行して2次元画像を抽出する。一方、画像処理部5は、入力される信号に基づいて、開口絞り2に符号化開口20が表示されているときに、符号化開口20を介して撮像素子4に入射した光に基づいて取得された画像データに対して画像処理を実行し、電子透かしを抽出する。このようにすれば、2次元画像と、電子透かしとを両方精度良く抽出することが可能となる。

【0082】
開口絞り2には、図17(A)に示すように、2次元画像を抽出するための円形開口40と、電子透かしを抽出する符号化開口20とが形成されるようにしてもよい。この場合、結像光学系1には、図17(B)に示すように、円形開口40を介した光に基づく像Aと、符号化開口20を介した光に基づく像Bとを、撮像素子4上に別々に結像させるためにハーフミラー1C、ミラー1D、1E及びハーフミラー1Fが設けられている。画面10上の2次元画像から発せられる光束は、レンズ1Aを介してハーフミラー1Cに入射する。ハーフミラー1Cは、入射光束の一部を反射し、残りを透過させる。ハーフミラー1Cで反射した光束は、光軸AX1に沿って、ミラー1Dで反射し円形開口40を通過後、ミラー1Eで反射しハーフミラー1Fでさらに反射しレンズ1Bを経て撮像素子4に入射する。また、ハーフミラー1Cを透過した光束は、光軸AX2に沿って、符号化開口20を介してハーフミラー1Fに入射し、ハーフミラー1Fを透過した光束がレンズ1Bを経て撮像素子4に入射する。

【0083】
この結像光学系1では、円形開口40を通過した光束により結像する画像Aと、符号化開口20を通過した光束により結像する画像Bとが撮像素子4上に別々に結像するように構成されている。画像処理部5は、像Aの画像データに対して画像処理を実行して2次元画像を抽出し、像Bの画像データに対して画像処理を実行して電子透かしを抽出する。

【0084】
なお、ハーフミラー1C、1F及びミラー1D、1Eを用いる構成に代えて、マイクロレンズアレイ、レンチキュラレンズなどを光分割手段として用いて、結像光学系1を構成し、円形開口40を介した像と、符号化開口20を介した像とを別々に撮像素子4に結像させるようにしてもよい。

【0085】
また、高周波成分である透かし画像と,低周波成分であるカバー画像とに対してそれぞれぼけ除去を行えるような2つの符号化開口を上述の円形開口40及び符号化開口20と同様に、時間的または空間的に組みあわせることも可能である。

【0086】
上記実施の形態では、情報端末200の画面10に表示された2次元画像13から電子透かし12を抽出する場合について説明したが、本発明はこれには限られない。紙媒体に印刷された2次元画像から電子透かしを抽出する場合にも本発明を適用することができる。

【0087】
なお、上記の実施の形態において、実行されるプログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read-Only Memory)、DVD(Digital Versatile Disc)、MO(Magneto-Optical Disc)等のコンピュータが読み取り可能な記録媒体に格納して配布し、そのプログラムを、コンピュータ等にインストールすることにより、図6、図13、図14に示す処理を実行するコンピュータ300を構成することとしてもよい。

【0088】
また、上述のプログラムをインターネット等の通信ネットワーク上の所定のサーバ装置が有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、ダウンロード等するようにしてもよい。

【0089】
また、上述の図6、図13、図14に示す処理を、各OS(Operating System)が分担して実現する場合、または、OSとアプリケーションとの協働により実現する場合等には、OS以外の部分のみを媒体に格納して配布してもよく、また、ダウンロード等してもよい。

【0090】
この発明は、この発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、この発明の範囲を限定するものではない。すなわち、この発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。
【産業上の利用可能性】
【0091】
この発明は、2次元コードに埋め込まれる電子透かしを抽出するシステムに適用することができる。
【符号の説明】
【0092】
1 結像光学系、1A、1B レンズ、1C ハーフミラー、1D、1E ミラー、1F ハーフミラー、2 開口絞り、3 駆動部、4 撮像素子、5 画像処理部、10 画面、11 2次元コード、12 電子透かし、13 2次元画像、20 符号化開口、21 制御部、22 主記憶部、23 外部記憶部、25 入出力部、28 内部バス、29 プログラム、30 デコンボリューション部、31 抽出部、32 抽出率算出部、33 最適化部、34 符号化開口生成部、35 画像生成部、40 円形開口、41、42 符号化開口(Zhouコード)、100 撮像装置、200 情報端末、201 電動ステージ、300 コンピュータ、500 設計システム
Drawing
(In Japanese)【図1】
0
(In Japanese)【図2】
1
(In Japanese)【図3】
2
(In Japanese)【図4】
3
(In Japanese)【図5】
4
(In Japanese)【図6】
5
(In Japanese)【図7】
6
(In Japanese)【図8】
7
(In Japanese)【図9】
8
(In Japanese)【図10】
9
(In Japanese)【図11】
10
(In Japanese)【図12】
11
(In Japanese)【図13】
12
(In Japanese)【図14】
13
(In Japanese)【図15】
14
(In Japanese)【図16】
15
(In Japanese)【図17】
16