TOP > 国内特許検索 > ホログラム符号化装置およびホログラム復号化装置、ならびに、ホログラム符号化プログラムおよびホログラム復号化プログラム > 明細書

明細書 :ホログラム符号化装置およびホログラム復号化装置、ならびに、ホログラム符号化プログラムおよびホログラム復号化プログラム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5305451号 (P5305451)
公開番号 特開2010-283508 (P2010-283508A)
登録日 平成25年7月5日(2013.7.5)
発行日 平成25年10月2日(2013.10.2)
公開日 平成22年12月16日(2010.12.16)
発明の名称または考案の名称 ホログラム符号化装置およびホログラム復号化装置、ならびに、ホログラム符号化プログラムおよびホログラム復号化プログラム
国際特許分類 H04N  13/02        (2006.01)
G03H   1/04        (2006.01)
H04N   7/26        (2006.01)
G03H   1/08        (2006.01)
FI H04N 13/02
G03H 1/04
H04N 7/13 Z
G03H 1/08
請求項の数または発明の数 6
全頁数 25
出願番号 特願2009-134091 (P2009-134091)
出願日 平成21年6月3日(2009.6.3)
審査請求日 平成24年4月20日(2012.4.20)
特許権者または実用新案権者 【識別番号】301022471
【氏名又は名称】独立行政法人情報通信研究機構
発明者または考案者 【氏名】山本 健詞
【氏名】妹尾 孝憲
【氏名】大井 隆太朗
【氏名】三科 智之
【氏名】奥井 誠人
個別代理人の代理人 【識別番号】100064414、【弁理士】、【氏名又は名称】磯野 道造
【識別番号】100111545、【弁理士】、【氏名又は名称】多田 悦夫
審査官 【審査官】鈴木 明
参考文献・文献 特開平05-014743(JP,A)
国際公開第2009/003885(WO,A1)
特開平11-266465(JP,A)
特開2005-157337(JP,A)
国際公開第2008/044718(WO,A1)
調査した分野 H04N 13/00-13/04
H04N 7/26
G03H 1/04
G03H 1/08
特許請求の範囲 【請求項1】
被写体を縞パターンとして記録したホログラムを所定の符号化規則により符号化するホログラム符号化装置であって、
前記ホログラムに記録された3次元空間において利用者により指定された少なくとも1つの関心領域の空間情報の入力を受け付け、前記各関心領域を設定すると共に、前記各関心領域の周囲に非関心領域を設定する関心領域入力手段と、
前記各関心領域の空間情報に基づいて、前記各関心領域から出射して前記ホログラムに到達する光の角度と、前記ホログラムに入射する参照光の角度およびその波長とにより、前記各関心領域に対応する空間周波数範囲をそれぞれ算出し、前記各関心領域に対応する各空間周波数範囲に対して、量子化ステップ数として予め定められた1以上の関心領域要素値を対応付け、前記非関心領域に対応する空間周波数範囲に対して量子化ステップ数として予め定められた1以上の非関心領域要素値を対応付け、前記関心領域要素値および前記非関心領域要素値を配列した量子化テーブルを生成する量子化テーブル生成手段と、
前記ホログラムの縞パターンを、予め定められた要素数に分割した各要素ホログラムの縞パターンを生成するホログラム分割手段と、
前記要素ホログラム毎に、前記分割された縞パターンを空間周波数に変換する空間周波数変換手段と、
前記要素ホログラム毎に変換された空間周波数を、前記量子化テーブルの対応する要素である前記関心領域要素値または前記非関心領域要素値に基づいて量子化して量子化空間周波数を生成する量子化手段と、
前記要素ホログラム毎に生成された量子化空間周波数を、前記符号化規則により符号化したホログラムデータを生成する符号化手段と、
前記要素ホログラム毎に生成したホログラムデータを出力するホログラムデータ出力手段と、
を備えることを特徴とするホログラム符号化装置。
【請求項2】
前記量子化テーブル生成手段は、
前記量子化ステップ数としての関心領域要素値を、前記量子化ステップ数としての非関心領域要素値よりも小さい値とした量子化テーブルを生成する、
ことを特徴とする請求項1に記載のホログラム符号化装置。
【請求項3】
前記空間周波数変換手段は、
前記要素ホログラムの縞パターンを離散フーリエ変換により空間周波数に変換する、
ことを特徴とする請求項1または請求項2に記載のホログラム符号化装置。
【請求項4】
請求項1ないし請求項3のいずれか一項に記載のホログラム符号化装置で符号化されたホログラムデータを復号化するホログラム復号化装置であって、
前記要素ホログラム毎に生成したホログラムデータと、前記量子化テーブルとの入力を受け付けるホログラムデータ入力手段と、
前記要素ホログラム毎に、前記ホログラムデータを前記符号化規則に対応した復号化規則により復号化して前記量子化空間周波数を生成する復号化手段と、
前記要素ホログラム毎に生成された量子化空間周波数を、前記量子化テーブルの対応する要素である前記関心領域要素値または前記非関心領域要素値に基づいて逆量子化して空間周波数を算出する逆量子化手段と、
前記要素ホログラム毎に算出された空間周波数を逆変換して、前記要素ホログラムの縞パターンを算出する空間周波数逆変換手段と、
前記要素ホログラム毎に算出された縞パターンを接続して前記ホログラムの縞パターンを生成する要素ホログラム接続手段と、
を備えることを特徴とするホログラム復号化装置。
【請求項5】
被写体を縞パターンとして記録したホログラムを所定の符号化規則により符号化するために、コンピュータを、
前記ホログラムに記録された3次元空間において利用者により指定された少なくとも1つの関心領域の空間情報の入力を受け付け、前記各関心領域を設定すると共に、前記各関心領域の周囲に非関心領域を設定する関心領域入力手段、
前記各関心領域の空間情報に基づいて、前記各関心領域から出射して前記ホログラムに到達する光の角度と、前記ホログラムに入射する参照光の角度およびその波長とにより、前記各関心領域に対応する空間周波数範囲をそれぞれ算出し、前記各関心領域に対応する各空間周波数範囲に対して、量子化ステップ数として予め定められた1以上の関心領域要素値を対応付け、前記非関心領域に対応する空間周波数範囲に対して量子化ステップ数として予め定められた1以上の非関心領域要素値を対応付け、前記関心領域要素値および前記非関心領域要素値を配列した量子化テーブルを生成する量子化テーブル生成手段と、
前記ホログラムの縞パターンを、予め定められた要素数に分割した各要素ホログラムの縞パターンを生成するホログラム分割手段、
前記要素ホログラム毎に、前記分割された縞パターンを空間周波数に変換する空間周波数変換手段、
前記要素ホログラム毎に変換された空間周波数を、前記量子化テーブルの対応する要素である前記関心領域要素値または前記非関心領域要素値に基づいて量子化して量子化空間周波数を生成する量子化手段、
前記要素ホログラム毎に生成された量子化空間周波数を、前記符号化規則により符号化したホログラムデータを生成する符号化手段、
前記要素ホログラム毎に生成したホログラムデータを出力するホログラムデータ出力手段、
として機能させるためのホログラム符号化プログラム。
【請求項6】
請求項5に記載のホログラム符号化プログラムで符号化されたホログラムデータを復号化するために、コンピュータを、
前記要素ホログラム毎に生成したホログラムデータと、前記量子化テーブルとの入力を受け付けるホログラムデータ入力手段、
前記要素ホログラム毎に、前記ホログラムデータを前記符号化規則に対応した復号化規則により復号化して前記量子化空間周波数を生成する復号化手段、
前記要素ホログラム毎に生成された量子化空間周波数を、前記量子化テーブルの対応する要素である前記関心領域要素値または前記非関心領域要素値に基づいて逆量子化して空間周波数を算出する逆量子化手段、
前記要素ホログラム毎に算出された空間周波数を逆変換して、前記要素ホログラムの縞パターンを算出する空間周波数逆変換手段、
前記要素ホログラム毎に算出された縞パターンを接続して前記ホログラムの縞パターンを生成する要素ホログラム接続手段、
として機能させるためのホログラム復号化プログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、干渉縞を使用して映像等のデータを符号化あるいは復号化するホログラム符号化技術およびホログラム復号化技術に関する。
【背景技術】
【0002】
3D画像の利用は、放送、通信、あるいは、文化遺産の大量保存用(アーカイブ用)において、調査研究されてきた。ホログラフィは、空間において理想的な3D対象物を再構成するための技術である。そのため、3-Dディスプレイ用のホログラフィ利用は、長い間、多大な関心が払われてきた。液晶ディスプレイ(Liquid Crystal Displays:LCD)のような微小ピッチの電子デバイスを製造する技術が、次第に成熟してきているので、ホログラムをディスプレイするための電子デバイスを用いる電子ホログラフィが、ごく最近研究されるようになってきた。
【0003】
電子ホログラフィにおける問題の1つは、ホログラムデータをどのように取り扱うかという点である。ピクセルピッチは、観測量の視域と視角とを考慮したとき1[μm]よりも小さくなるべきであるので、ホログラムデータの量は、莫大になる。例えば、1[μm]のピクセルピッチを持った、30[cm]×30[cm]の白黒ホログラムの総合計は、90[Gピクセル]である。したがって、ホログラムの符号化においては、2-D画像を符号化するときに必要とされる条件に加えて、効率的な符号化方法が必要とされている。
【0004】
このような問題を取り扱うために、従来、いくつかの手法が提案されている(非特許文献1~4参照)。例えば、非特許文献1に示すように、Yoshikawaは、静止画のホログラムに対して、標準的な動画符号化法であるMPEGを適用する方法を提案している。この手法は、ホログラムを分割して多数の要素ホログラムを作成し、全要素ホログラムに離散コサイン変換(Discrete Cosine Transform:DCT)工程を適用する。DCTが適用された後の要素ホログラムは、まるで可動ビデオカメラにより撮影されたビデオのように見えるので、Yoshikawaは、このビデオにMPEGを利用した。
【0005】
また、非特許文献2に示すように、Seoは、ホログラムビデオに対して、マルチビュービデオ符号化(multi-view video coding:MVC)を適用する方法を提案した。この方法も、事前に全要素ホログラムにDCT工程を適用する。この方法では、DCTが適用された後、要素ホログラムをマルチビュービデオとして扱い、MVCを利用する。
【0006】
また、非特許文献3に示すように、Naughtonは、無損失データ圧縮と、損失データ圧縮とを適用する方法を提案した。さらに、非特許文献4に示すように、Takanoは、JPEGとJPEG2000とを適用した。
【先行技術文献】
【0007】

【非特許文献1】H. Yoshikawa and J. Tamai, “Holographic image compression by motion picture coding,” SPIE Practical Holography, vol.2652, pp. 2-9, 1996
【非特許文献2】Y. Seo, H. Choi, J. Bae, J. Yoo, and D. Kim, “Data compression technique for digital holograms using a temporally scalable coding method for 2-d images,” ISSPIT 2006, pp. 326-331, 2006
【非特許文献3】T. J. Naughton, Y. Frauel, B. Javidi and E. Tajahuerce, “Compression of digital holograms for three-dimensional object reconstruction and recognition,” Appl. Opt., vol. 41, no. 20, pp.4124-4132, July 2002
【非特許文献4】K. Takano, K. Sato, T. Okumura, T. Kanaoka, S. Koizumi, K. Muto, and R. Wakabayashi, “Data compression for transmission of holographic 3d images using digital-sstv,” SPIE Practical Holography, vol. 6136, 2006
【発明の概要】
【発明が解決しようとする課題】
【0008】
一般的な画像符号化技術においては、符号化効率の向上と機能性の向上という両面から符号化方法が議論されている。ここで、符号化効率の向上とは、符号量を減らしたとしても歪みの小さい画像に符号化する技術の向上を意味し、機能性の向上とは、例えば、ビデオの頭出しを容易にするなど符号量は多少増えるもののユーザの利便性を重視する技術の向上を意味する。
【0009】
しかしながら、非特許文献1~4に記載されたホログラムの符号化手法はすべて、符号化効率、すなわち、圧縮率と画像再構成の品質を扱うものである。これに対して、ホログラムの符号化手法において、機能性を扱う研究はこれまで知られていないのが現状である。2-D画像符号化でなされるように、ホログラムにおいても、符号化効率だけではなく、機能性に関する研究もなされるべきである。
【0010】
2-D画像では、機能性の一例として、関心領域(region of interest:ROI)を設定して符号化することができる。このROIの設定は、2-D画像の一部にフォーカスする方法であり、ROIを、ある特別なもののように扱う。機能性によってある領域を他の領域と区別するということは、2-D画像符号化においてよく利用されている。例えば、被写体である人間がROIにセットされ、そのスナップショットの背景がROIにセットされないと、背景はぼやける。
【0011】
この2-D画像におけるROIからの類推により、ホログラムにおいても、ある特別な領域(field of interest:FOI)を想定することができる。そして、FOIからの光を例えば正確に取り扱い、他の領域からの光を例えば粗く取り扱うことができれば、ホログラムの符号化方法において機能性を扱うことができる。ただし、FOIはホログラム中には存在せず、3-D空間に存在する。つまり、ホログラムの中にどのようにFOIを加工すれば、FOIからの光だけを例えば正確に取り扱うことができるのかについては自明ではない。
【0012】
本発明は、以上のような問題点に鑑みてなされたものであり、ホログラムに関心領域を設定できる符号化技術を提供することを目的とする。
【課題を解決するための手段】
【0013】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項1に記載のホログラム符号化装置は、被写体を縞パターンとして記録したホログラムを所定の符号化規則により符号化するホログラム符号化装置であって、関心領域入力手段と、量子化テーブル生成手段と、ホログラム分割手段と、空間周波数変換手段と、量子化手段と、符号化手段と、ホログラムデータ出力手段とを備えることとした。
【0014】
かかる構成によれば、ホログラム符号化装置は、関心領域入力手段によって、前記ホログラムに記録された3次元空間において利用者により指定された少なくとも1つの関心領域の空間情報の入力を受け付け、前記各関心領域を設定すると共に、前記各関心領域の周囲に非関心領域を設定する。そして、ホログラム符号化装置は、量子化テーブル生成手段によって、前記各関心領域の空間情報に基づいて、前記各関心領域から出射して前記ホログラムに到達する光の角度と、前記ホログラムに入射する参照光の角度およびその波長とにより、前記各関心領域に対応する空間周波数範囲をそれぞれ算出し、前記各関心領域に対応する各空間周波数範囲に対して、量子化ステップ数として予め定められた1以上の関心領域要素値を対応付け、前記非関心領域に対応する空間周波数範囲に対して量子化ステップ数として予め定められた1以上の非関心領域要素値を対応付け、前記関心領域要素値および前記非関心領域要素値を配列した量子化テーブルを生成する。そして、ホログラム符号化装置は、ホログラム分割手段によって、前記ホログラムの縞パターンを、予め定められた要素数に分割した各要素ホログラムの縞パターンを生成する。そして、ホログラム符号化装置は、空間周波数変換手段によって、前記要素ホログラム毎に、前記分割された縞パターンを空間周波数に変換する。つまり、ホログラム符号化装置では、ホログラムの空間情報そのものではなく、ホログラムの局所的なエリアの空間周波数領域を用いる。この空間周波数によりホログラムの局所的なエリアの光の方向が定まる。そして、ホログラム符号化装置は、量子化手段によって、前記要素ホログラム毎に変換された空間周波数を、前記量子化テーブルの対応する要素である前記関心領域要素値または前記非関心領域要素値に基づいて量子化して量子化空間周波数を生成する。ここで、量子化テーブルは、各関心領域からホログラムに到達する光の角度や参照光の情報を反映して予め生成されているので、量子化テーブルを利用することで、空間周波数に変換されたホログラム上の光の方向に応じた量子化を行うことができる。そして、ホログラム符号化装置は、符号化手段によって、前記要素ホログラム毎に生成された量子化空間周波数を、前記符号化規則により符号化したホログラムデータを生成する。そして、ホログラム符号化装置は、ホログラムデータ出力手段によって、前記要素ホログラム毎に生成したホログラムデータを出力する。したがって、ホログラム符号化装置は、ホログラムの局所的なエリアの空間周波数領域を、局所的なエリアの光の方向として用いて量子化するので、ホログラムにおいて、各関心領域から到達する光と非関心領域から到達する光とを区別して、それぞれの光の強度を加工することができる。
【0015】
また、請求項2に記載のホログラム符号化装置は、請求項1に記載のホログラム符号化装置おいて、前記量子化テーブル生成手段が、前記量子化ステップ数としての関心領域要素値を、前記量子化ステップ数としての非関心領域要素値よりも小さい値とした量子化テーブルを生成することとした。
【0016】
かかる構成によれば、ホログラム符号化装置は、各関心領域の量子化ステップ数が非関心領域の量子化ステップ数よりも小さい値に設定されているので、非関心領域の画像を粗く符号化し、一方、各関心領域の画像をより正確に符号化することができる。これにより、各関心領域からホログラムに到達する光の強度を、非関心領域からホログラムに到達する光の強度よりも大きくすることができる。例えば、立体画像全体のうち、ある1つの関心領域である人物を明るく表示し、かつ、非関心領域である背景を暗く表示することで当該人物の画像を強調することができる。なお、この場合に、逆に、非関心領域側をあらためて関心領域であると再定義すれば、この再定義された関心領域の光の強度を他方の領域よりも小さくすることもできる。例えば、立体画像のうち、再定義された関心領域である車のナンバープレートを暗く表示し、かつ、非関心領域である車のその他の部分や背景を明るく表示することで車の特定を防止した立体画像を表示することができる。
【0017】
また、請求項3に記載のホログラム符号化装置は、請求項1または請求項2に記載のホログラム符号化装置おいて、前記空間周波数変換手段が、前記要素ホログラムの縞パターンを離散フーリエ変換により空間周波数に変換することとした。
【0018】
かかる構成によれば、ホログラム符号化装置は、要素ホログラムの縞パターンを空間周波数に変換する際に、離散フーリエ変換を用いるので、参照光に平行な光としてホログラムに到達する光を中心にその両側の方向の入射角度を正負の空間周波数で表現でき、変換後の空間周波数の値がそのまま光の方向を表すこととなる。したがって、関心領域を設定するためのホログラムの加工を容易に行うことができるようになる。
【0019】
また、請求項4に記載のホログラム復号化装置は、請求項1ないし請求項3のいずれか一項に記載のホログラム符号化装置で符号化されたホログラムデータを復号化するホログラム復号化装置であって、ホログラムデータ入力手段と、復号化手段と、逆量子化手段と、空間周波数逆変換手段と、要素ホログラム接続手段とを備えることとした。
【0020】
かかる構成によれば、ホログラム復号化装置は、ホログラムデータ入力手段によって、前記要素ホログラム毎に生成したホログラムデータと、前記量子化テーブルとの入力を受け付ける。そして、ホログラム復号化装置は、復号化手段によって、前記要素ホログラム毎に、前記ホログラムデータを前記符号化規則に対応した復号化規則により復号化して前記量子化空間周波数を生成する。そして、ホログラム復号化装置は、逆量子化手段によって、前記要素ホログラム毎に生成された量子化空間周波数を、前記量子化テーブルの対応する要素である前記関心領域要素値または前記非関心領域要素値に基づいて逆量子化して空間周波数を算出する。そして、ホログラム復号化装置は、空間周波数逆変換手段によって、前記要素ホログラム毎に算出された空間周波数を逆変換して、前記要素ホログラムの縞パターンを算出する。そして、ホログラム復号化装置は、要素ホログラム接続手段によって、前記要素ホログラム毎に算出された縞パターンを接続して前記ホログラムの縞パターンを生成する。
【0021】
また、請求項5に記載のホログラム符号化プログラムは、被写体を縞パターンとして記録したホログラムを所定の符号化規則により符号化するために、コンピュータを、関心領域入力手段、量子化テーブル生成手段、ホログラム分割手段、空間周波数変換手段、量子化手段、符号化手段、ホログラムデータ出力手段として機能させるためのプログラムである。
【0022】
かかる構成によれば、コンピュータは、関心領域入力手段としての機能によって、前記ホログラムに記録された3次元空間において利用者により指定された少なくとも1つの関心領域の空間情報の入力を受け付け、前記各関心領域を設定すると共に、前記各関心領域の周囲に非関心領域を設定する。そして、量子化テーブル生成手段としての機能によって、前記各関心領域の空間情報に基づいて、前記各関心領域から出射して前記ホログラムに到達する光の角度と、前記ホログラムに入射する参照光の角度およびその波長とにより、前記各関心領域に対応する空間周波数範囲をそれぞれ算出し、前記各関心領域に対応する各空間周波数範囲に対して、量子化ステップ数として予め定められた1以上の関心領域要素値を対応付け、前記非関心領域に対応する空間周波数範囲に対して量子化ステップ数として予め定められた1以上の非関心領域要素値を対応付け、前記関心領域要素値および前記非関心領域要素値を配列した量子化テーブルを生成する。そして、ホログラム分割手段としての機能によって、前記ホログラムの縞パターンを、予め定められた要素数に分割した各要素ホログラムの縞パターンを生成する。そして、空間周波数変換手段としての機能によって、前記要素ホログラム毎に、前記分割された縞パターンを空間周波数に変換する。そして、量子化手段としての機能によって、前記要素ホログラム毎に変換された空間周波数を、前記量子化テーブルの対応する要素である前記関心領域要素値または前記非関心領域要素値に基づいて量子化して量子化空間周波数を生成する。そして、符号化手段としての機能によって、前記要素ホログラム毎に生成された量子化空間周波数を、前記符号化規則により符号化したホログラムデータを生成する。そして、ホログラムデータ出力手段としての機能によって、前記要素ホログラム毎に生成したホログラムデータを出力する。
【0023】
また、請求項6に記載のホログラム復号化プログラムは、請求項5に記載のホログラム符号化プログラムで符号化されたホログラムデータを復号化するために、コンピュータを、ホログラムデータ入力手段、復号化手段、逆量子化手段、空間周波数逆変換手段、要素ホログラム接続手段として機能させるためのプログラムである。
【0024】
かかる構成によれば、コンピュータは、ホログラムデータ入力手段としての機能によって、前記要素ホログラム毎に生成したホログラムデータと、前記量子化テーブルとの入力を受け付ける。そして、復号化手段としての機能によって、前記要素ホログラム毎に、前記ホログラムデータを前記符号化規則に対応した復号化規則により復号化して前記量子化空間周波数を生成する。そして、逆量子化手段としての機能によって、前記要素ホログラム毎に生成された量子化空間周波数を、前記量子化テーブルの対応する要素である前記関心領域要素値または前記非関心領域要素値に基づいて逆量子化して空間周波数を算出する。そして、空間周波数逆変換手段としての機能によって、前記要素ホログラム毎に算出された空間周波数を逆変換して、前記要素ホログラムの縞パターンを算出する。そして、要素ホログラム接続手段としての機能によって、前記要素ホログラム毎に算出された縞パターンを接続して前記ホログラムの縞パターンを生成する。
【発明の効果】
【0025】
請求項1または請求項5に記載の発明によれば、ホログラムにおいて各関心領域から到達する光と非関心領域から到達する光とを区別して、それぞれの光の強度を加工するので、ホログラムに1以上の関心領域を設定することができる。
請求項2に記載の発明によれば、設定された各関心領域または非関心領域の光を強調することができる。
請求項3に記載の発明によれば、各関心領域を設定するためのホログラムの加工を容易に行うことができるようになる。
請求項4または請求項6に記載の発明によれば、1以上の関心領域が設定されたホログラムを復号化することができる。
【図面の簡単な説明】
【0026】
【図1】本発明の実施形態に係るホログラム符号化装置およびホログラム復号化装置の構成例を模式的に示すブロック図である。
【図2】本発明の実施形態に係るホログラム符号化装置に入力する関心領域とホログラムとの関係を示す説明図である。
【図3】本発明の実施形態に係るホログラム符号化装置による要素ホログラム毎の演算処理の概要を示す説明図であって、(a)は周波数変換前、(b)は周波数変換後、(c)は強度加工後、(d)は周波数逆変換後の処理をそれぞれ示している。
【図4】本発明の実施形態に係るホログラム符号化装置で生成する量子化テーブルの説明図であって、(a)はJPEGのテーブル、(b)はホログラム符号化のテーブルの一例をそれぞれ示している。
【図5】本発明の実施形態に係るホログラム符号化装置で用いるホログラムに入射する参照光のyz座標上の配置例を示す説明図である。
【図6】本発明の実施形態に係るホログラム符号化装置の動作を示すフローチャートであって、(a)は事前処理、(b)は符号化処理をそれぞれ示している。
【図7】本発明の実施形態に係るホログラム復号化装置の動作を示すフローチャートである。
【図8】本発明の実施形態に係るホログラム符号化装置で行った2つの実験で用いたホログラムの前提条件を示す図である。
【図9】周波数領域で加工した後に再構成された光を調べる実験を示す図であって、(a)は要素ホログラムにおいて矢印(b),(c),(d)の光を示し、(b),(c),(d)は、矢印(b),(c),(d)の光の実験結果のグラフをそれぞれ示している。
【図10】量子化前後のデータサイズの変化を調べる実験の結果を示すグラフである。
【発明を実施するための形態】
【0027】
以下、図面を参照して本発明のホログラム符号化装置およびホログラム復号化装置を実施するための形態(以下「実施形態」という)について、ホログラム符号化装置の概要、処理の流れの概要、装置構成、装置動作について順次説明することとする。

【0028】
[ホログラム符号化装置の概要]
図1に示すホログラム符号化装置1は、被写体を縞パターンとして記録したホログラムを所定の符号化規則により符号化するものである。このホログラム符号化装置1は、CPU等の演算装置と、メモリ、ハードディスク等の記憶装置と、入力または出力される各種情報の送受信を行うインタフェース装置と、表示装置14と、入力装置15とを備えたコンピュータと、このコンピュータにインストールされたプログラムとから構成される。

【0029】
ホログラム符号化装置1は、ハードウェア装置とソフトウェアとが協働することによって、前記したハードウェア資源がプログラムによって制御されることにより実現され、図1に示すように、ホログラム記憶手段2と、二次元画像生成手段3と、二次元画像提示手段4と、関心領域入力手段5と、空間情報記憶手段6と、量子化テーブル生成手段7と、量子化テーブル記憶手段8と、ホログラム分割手段9と、空間周波数変換手段10と、量子化手段11と、符号化手段12と、ホログラムデータ出力手段13とを備えている。

【0030】
本実施形態では、ホログラム符号化装置1は、大別して3つの処理を行うための構成を備えている。第1に、事前処理として利用者が所望の1以上の関心領域を指定するための構成であって、ホログラム記憶手段2、二次元画像生成手段3、二次元画像提示手段4、関心領域入力手段5および空間情報記憶手段6がこれに相当する。第2に、符号化処理の事前処理のための構成であって、空間情報記憶手段6、量子化テーブル生成手段7および量子化テーブル記憶手段8がこれに相当する。第3に、メイン処理のための構成であって、ホログラム記憶手段2、量子化テーブル記憶手段8、ホログラム分割手段9、空間周波数変換手段10、量子化手段11、符号化手段12およびホログラムデータ出力手段13がこれに相当する。

【0031】
(関心領域の一例)
ここで、関心領域の一例について図2を参照して説明する。関心領域は1以上設定できるが、ここでは、簡便のため、1つの関心領域を想定する。なお、二次元の関心領域(ROI)と区別するために、ホログラムの関心領域をFOI(field of interest)と呼ぶ。図2に示す例は、yz平面内の人の両手41a,41bに鳥42が止まっている様子の立体画像を示している。ここでは、図2に示すうに、関心領域FOIが、鳥42を含む所定範囲に設定され、一方、両手41a,41bを含むその他の範囲に非関心領域(非FOI)が設定されていることとする。ここで、FOIを正確に扱い、非FOIを粗く扱うものとすると、鳥42を含むFOIの画像は正確に、両手41a,41bを含む非FOIの画像は粗く扱うこととなる。このように取り扱うためには、鳥42を含むFOIからの光(光線)と、その他の光(光線)との間の区別をすることが必要である。この区別は、2-D画像の場合はたやすい。しかしながら、ホログラムの場合、1つのホログラムの中に複数の光(光線)が混合しているので、たやすくはない。

【0032】
この鳥42をz方向から撮影してホログラム30に記録する場合を想定する。なお、図2に示すホログラム30は、複数の要素ホログラム31に分割されているものとした。
3-D対象物である鳥42を含むFOIからの光は伝搬し、ホログラム30に到達する。例えば、光43(43a,43b)や光44(44a,44b)は、ホログラム30の中の同じエリア(要素ホログラム31)に到達する。なお、光43a,43bは平行な光線を示し、光44a,44bは平行な光線を示している。また、光43と光44とは入射角が異なっている。

【0033】
図2に示すように、ホログラム30の中の1つのエリアである要素ホログラム31には、FOIからの光43a,43bや光44a,44bを含むだけではなく、非FOIからの光45a,45bや光46a,46bも含んでいる。また、FOIからの光であったとしても、ホログラム30の中において異なるエリアでは、FOIからの光の方向がそれぞれ異なる。つまり、図2において上方の要素ホログラム31で受けるFOIからの光の方向と、図2において下方の要素ホログラム31で受けるFOIからの光の方向とは異なる。そこで、図1に示すホログラム符号化装置1は、ホログラム30におけるそれぞれの光の方向に基づいて、ホログラム30に入射する複数の光(光線)を分解する処理を行う。

【0034】
[処理の流れの概要]
(メイン処理の流れ)
次に、図1に示すホログラム符号化装置1およびホログラム復号化装置20の処理の流れについて数式を用いて説明する(適宜図1参照)。まず、ホログラム符号化装置1は、ホログラムを分割する。ここでは、ホログラムHを、総分割数M個に分割したときのm(0≦m≦M-1)番目の要素ホログラムをHmと表記する。この場合、ホログラムHは、次の式(1)で表される。なお、ホログラムHには、縞パターンhが記録されているものとする。

【0035】
【数1】
JP0005305451B2_000002t.gif

【0036】
次いで、ホログラム符号化装置1は、m番目の要素ホログラムHmの縞パターンhmを、例えば、離散フーリエ変換(Discrete Fourier Transform:DFT)により、空間周波数smに変換する。この処理は、次の式(2)で表される。ここで、F{}は、離散フーリエ変換(DFT)を示している。

【0037】
【数2】
JP0005305451B2_000003t.gif

【0038】
次に、ホログラム符号化装置1は、m番目の要素ホログラムHmに対応する空間周波数smを、後記する量子化テーブルの対応する値tmにより量子化して量子化空間周波数qmを生成する。事前に、ホログラム符号化装置1は、FOIと参照光の光源の位置から量子化テーブルを生成しておく。このテーブル生成前に、FOIは、ユーザの意向に基づいて設定されている。

【0039】
量子化に続けて、ホログラム符号化装置1は、m番目の要素ホログラムHmに対応する量子化空間周波数qmに、符号化効率のための所定の符号化プロセスを実行した後、この符号化された量子化空間周波数と量子化テーブルとをホログラム復号化装置20に送る。

【0040】
ホログラム復号化装置20は、ホログラム符号化装置1により実行された各処理を逆次に実行する。まず、ホログラム復号化装置20は、m番目の要素ホログラムHmに対応して符号化された量子化空間周波数に対して、前記した符号化プロセスに対応した復号化プロセスを実行して量子化空間周波数qmを生成し、この生成した量子化空間周波数qmを、取得した量子化テーブルを用いて逆量子化することで、要素ホログラムHm毎に空間周波数s′mを生成する。なお、記号「′」は、デコード時の値とは異なることを意味する。次いで、ホログラム復号化装置20は、例えば、DCTの逆向きの処理として、次の式(3)に示すように、逆離散フーリエ変換(inverse Discrete Fourier Transform:IDFT)により、要素ホログラムHm毎に、空間周波数s′mを、空間座標で示される要素ホログラムの縞パターンh′mに変換する。ここで、F-1{ }は、逆離散フーリエ変換(IDFT)を示す。

【0041】
【数3】
JP0005305451B2_000004t.gif

【0042】
最後に、ホログラム復号化装置20は、次の式(4)に示すように、生成された要素ホログラムH′mを接続して、ホログラムH′を生成する。言い換えると、要素ホログラムの縞パターンh′mを接続して縞パターンh′を生成する。デコードにより得られた最終的なホログラムH′は、エンコード時の量子化により、エンコード前の最初のホログラムHとは異なったものとなる。

【0043】
【数4】
JP0005305451B2_000005t.gif

【0044】
(個々の要素ホログラム毎の処理の流れ)
個々の要素ホログラム毎の処理の流れについて図3を参照(適宜図1および図2参照)して説明する。図3(a)~図3(d)は、要素ホログラム31を単位としてホログラム30(図2参照)上の複数の光を分解する処理を4段階で示したものである。なお、図3では、図2に示した要素ホログラム31を右90度回転させた配置で表示した。
まず、図3(a)に示すように、周波数変換前の段階では、FOI(図2参照)から、符号43により実線の矢印で示す左向き低傾斜角の3つの光線と、符号44により実線の矢印で示す左向き高傾斜角の3つの光線とが要素ホログラム31に入射したとする。
また、非FOI(図2参照)から、符号45により破線の矢印で示す左向き傾斜角の3つの光線と、符号46により破線の矢印で示す右向き傾斜角の3つの光線とが要素ホログラム31に入射したとする。
また、ホログラムの再生時に照射される参照光である再生照明光47は、すべての左向き傾斜角の光線の中で最も左向きに傾斜しているものとする。

【0045】
次に、ホログラム符号化装置1は、要素ホログラム31の縞パターンを周波数変換する。図3(b)は、実空間から周波数空間に変換した後に、y方向の位置に対応した周波数領域を示している。なお、空間周波数に変換する処理を、要素ホログラム31を単位として行うことを示すために、要素ホログラム31の表面に、空間周波数を示す軸(空間周波数軸fy)を重ねて表示した。

【0046】
図3(b)に符号53で示す空間周波数の振幅強度は、図3(a)に符号43で示す左向き低傾斜角の3つの光線に対応している。図3(b)に符号54で示す空間周波数の振幅強度は、図3(a)に符号44で示す左向き高傾斜角の3つの光線に対応している。つまり、振幅強度53,54は、FOIから要素ホログラム31に到達する光に対応している。

【0047】
図3(b)に符号55で示す空間周波数の振幅強度は、図3(a)に符号45で示す右向き傾斜角の3つの光線に対応している。図3(b)に符号56で示す空間周波数の振幅強度は、図3(a)に符号46で示す右向き傾斜角の3つの光線に対応している。つまり、振幅強度55,56は、非FOIから要素ホログラム31に到達する光に対応している。

【0048】
図3(b)では、図示は省略するが、空間周波数軸fyの中央に、要素ホログラム31に垂直に入射する光線に対応して変換された周波数が配置されることとなる。したがって、空間周波数軸fyの左側に、左向き傾斜角の光線に対応して変換された周波数を配置し、空間周波数軸fyの右側に、右向き傾斜角の光線に対応して変換された周波数を配置した。これは、周波数変換を離散フーリエ変換(DFT)により実行した場合に対応している。つまり、DFT実行後のDC成分は、空間周波数軸fyの左端に対応している。

【0049】
次に、ホログラム符号化装置1は、空間周波数領域において、量子化テーブルを利用して、例えば、非FOIに対応した空間周波数の振幅強度を加工して小さくする。
図3(c)に符号57で示す空間周波数の振幅強度は、図3(b)に符号55で示す空間周波数の振幅強度を低減した結果を示している。また、図3(c)に符号58で示す空間周波数の振幅強度は、図3(b)に符号56で示す空間周波数の振幅強度を低減した結果を示している。これらの強度加工後において、FOIに対応した空間周波数の振幅強度については変更していない。

【0050】
デコード時には、ホログラム復号化装置20は、処理過程において、図3(c)に示すような空間周波数の振幅強度を得る。そして、ホログラム復号化装置20は、例えば、離散フーリエ逆変換(IDFT)により周波数逆変換を行うことで、図3(d)に示すように、要素ホログラム31に入射する複数の光線を得ることができる。図3(d)に示すように、周波数逆変換後の段階では、符号43,44でそれぞれ示す3つの光線は、周波数換前の段階と同じ強度である。また、図3(d)に符号48で示す光線は、図3(a)に符号45で示す光線の強度を低減した結果を示している。また、図3(d)に符号49で示す光線は、図3(a)に符号46で示す光線の強度を低減した結果を示している。つまり、非FOIに対応した光線が弱められたことにより、FOIに対応した光線が強調されることとなる。

【0051】
(量子化テーブル)
一般に、2-D画像圧縮技術においては、量子化テーブル中の値を変化させることによって、低い空間周波数は高い空間周波数よりも正確に符号化されるように制御している。図4(a)は、JPEGで利用される一般的な量子化テーブルの一例を示す図である。図4(a)において、左上エリアはDC成分を示し、右下エリアは最高空間周波数成分を示す。符号61は、低周波成分から高周波成分へ向かう矢印を示している。このテーブルの各値は、量子化ステップである。例えば、左上の「16」は、左上のデータ(DC成分)を16で割った商を量子化後のデータにすることを表し、右下の「99」は、右下のデータ(高周波成分)を99で割った商を量子化後のデータにすることを表す。ここで、左上の「16」のように値が小さいほど、量子化後のデータの種類(ラベル)が多くなる。そして、ラベルが多いほど違いを表現できるので、「16」のように値が小さいほど、量子化後に正確にデータを保存することになる。極端な例として、テーブルの値が「1」であれば、量子化後に元のデータをそのまま保存することになる。一方、「99」のように値が大きいほど、量子化後のデータの種類(ラベル)が少なくなるため、違いを表現できなくなり、データの質が落ちる。ただし、テーブルの値が大きい場合、種類(ラベル)が少ないため、符号量は少なくなる。

【0052】
しかし、図4(a)に示すような量子化テーブルは、3-Dディスプレイ用のホログラム符号化においては、一般的ではない。その理由は、ホログラムの空間周波数が光(光線)の方向を呈するからである。
そのため、ホログラム符号化装置1は、例えば参照光の位置に応じて、種々のテーブルを準備している。また、ホログラム符号化装置1は、ホログラムのエリアロケーション(要素ホログラムの位置)に応じて、数あるテーブルの中から1つを選択する機能を有している。

【0053】
図4(a)に示すJPEGの量子化テーブルと比較するためのテーブルとして、ホログラム符号化用の量子化テーブルの一例を図4(b)に示す。図4(b)において、符号62は、FOIを示している。また、量子化テーブルの各値は、量子化ステップである。例えば、「100」は、非FOIの量子化ステップを表し、「16」は、FOIの量子化ステップを表す。これは、FOIエリアよりも非FOIエリアを粗く取り扱っていることを意味する。つまり、非FOIよりもFOIの方が正確に符号化されていることがわかる。

【0054】
(ホログラムの空間周波数領域)
次に、ホログラムの空間周波数領域について図5を参照して説明する。一般に、同じ波長λを有する2つのオーバーラップする波が、異なる方向に伝搬して互いに干渉するとホログラムを作る。ここで、以下の仮定をする。図5に示すように、yz座標空間において、3-D対象物から、物体光の平面波woが角度θo[ラジアン]で伝搬し、参照ビームの光源から、参照光の平面波wrが角度θr[ラジアン]で伝搬するものとする。なお、ホログラムはz軸に垂直、かつ、y軸に沿って配置されているものとする(図2参照)。

【0055】
このように仮定したとき、物体光の平面波woの位相はy軸に沿った方向ではkysinθoにより減衰し、同様に、参照光の平面波wrの位相はy軸に沿った方向ではkysinθrにより減衰する。ここで、波数kは2π/λである。結果として、各平面波wo、wrはそれぞれ次の式(5)および式(6)で表される。また、各平面波wo、wrの干渉により、y軸上におけるホログラムHの縞パターンhは、次の式(7)で表される。ここで、aoと、arは、定数であり、jは虚数単位である。

【0056】
【数5】
JP0005305451B2_000006t.gif

【0057】
波の進行方向がy軸に対して近似的に垂直であるとき(paraxial condition:近軸条件)、縞パターンhのそれぞれの距離dyは、次の式(8)で得られ、その空間周波数fyは、次の式(9)で得られることが知られている。なお、式(8)および式(9)の導出の詳細は、「E. Hecht著、“Optics”、Addison Wesley, 4th ed., 2002」に記載されている。

【0058】
【数6】
JP0005305451B2_000007t.gif

【0059】
また、式(9)は、ホログラムの空間周波数が、2つの平面波の方向の差を与えることを示している。特に、平面波wrの進行方向がy軸に対して垂直であるとき(θr=0であるとき)、空間周波数の振幅と位相は、平面波woを直接指し示すことになる。ただし、たとえ、平面波wrの進行方向がy軸に対して非垂直であっても、空間周波数から平面波woを計算することは容易である。なぜなら、ホログラフィにおいて、実際に再構成に用いられるビーム源を設定するために、事前に、参照光の入射角度θrが知られていなければならないからである。

【0060】
なお、式(8)に示す距離dyは、実空間に対応して幾何的に縞パターンhから定義されており、式(9)に示す空間周波数は、距離dyを用いるため正の値をとっている。
これは、平面波の入射角について、本来は、(θo-θr)と(θr-θo)のように正負の値で2つに区別したいところ、ホログラムにおいては本質的な物理現象のために、区別ができないことを示している。一般的には、2つの入射角のうち1つのみを使い、もう1つは使わないことで、この物理現象に対処している。つまり、2つの入射角のうち1つのみに被写体情報を乗せ、もう1つには被写体情報を乗せないことで対処している。これにならって、ここでは、同様に対処することにして、θo-θrは、常時正または常時負である場合のみを取り扱う。そのため、式(9)において、空間周波数と平面波の入射角は1対1に対応する。

【0061】
[ホログラム符号化装置の構成]
次に、図1に示すホログラム符号化装置1の構成の詳細を説明する。
ホログラム記憶手段2は、予め撮影(記録)されたホログラムを記憶するものであり、例えば、一般的なハードディスク等から構成される。このホログラム記憶手段2は、ホログラムの記録時の条件として、参照光の情報や、被写体からホログラムまでの距離の情報等も記憶することとした。参照光の情報は、参照光の光源位置やホログラムへの入射角度と、波長とを含む。

【0062】
二次元画像生成手段3は、ホログラムとして記録された3次元の被写体情報において予め指定されたピッチで各奥行きにおけるそれぞれの二次元画像を生成するものである。
二次元画像提示手段4は、生成された各二次元画像を表示装置14に順次提示するものである。表示装置14は例えばLCD等から構成される。
なお、ホログラムから所定ピッチで各奥行きにおけるそれぞれの二次元画像を生成して表示する技術は、ホログラムを用いた顕微鏡等においてよく知られた公知技術である。

【0063】
関心領域入力手段5は、ホログラムに記録された3次元空間において利用者により入力装置15を介して指定された1以上の関心領域の空間情報の入力を受け付け、各関心領域を設定すると共に、各関心領域の周囲に非関心領域を設定して、空間情報記憶手段6に格納する。入力装置15は、例えば、マウスやキーボード等の外部から情報を入力する装置である。空間情報記憶手段6は、各関心領域の空間情報および非関心領域の空間情報を記憶するものであり、例えば、一般的なメモリやハードディスク等から構成される。一般的な2-D画像においては、簡易な操作法として、利用者は、矩形範囲の対角線の2つの頂点を始点および終点としてマウスでクリックすることでROIを指定することができる。本実施形態では、これと同様にして、奥行き毎に表示された二次元画像において矩形範囲を順次選択することで、ホログラムのFOIを指定する。

【0064】
量子化テーブル生成手段7は、量子化ステップ数として予め定められた1以上の関心領域要素値と、量子化ステップ数として予め定められた1以上の非関心領域要素値とを配列した量子化テーブルを生成するものである。生成された量子化テーブルは、量子化テーブル記憶手段8に格納され、量子化手段11により参照される。量子化テーブル記憶手段8は、量子化テーブルを記憶するものであり、例えば、一般的なメモリやハードディスク等から構成される。なお、量子化テーブル生成手段7は、参照光の位置に応じて、種々の量子化テーブルを生成する。

【0065】
また、量子化テーブル生成手段7は、空間情報記憶手段6を参照して各関心領域の空間情報に基づいて、各関心領域から出射してホログラムに到達する光の角度θoと、ホログラムに入射する参照光の角度θrおよびその波長λとにより、各関心領域に対応する空間周波数範囲をそれぞれ算出する。同様に、量子化テーブル生成手段7は、空間情報記憶手段6を参照して、非関心領域に対応する空間周波数範囲も算出する。なお、参照光の情報は、空間情報記憶手段6に予め格納しておいて、関心領域の空間情報と共に取得するようにしてもよいし、ホログラム記憶手段2から取得するようにしてもよい。

【0066】
この量子化テーブル生成手段7は、算出した各関心領域に対応する空間周波数範囲に対して、関心領域要素値をそれぞれ対応付け、非関心領域に対応する空間周波数範囲に対して非関心領域要素値を対応付ける。本実施形態では、量子化テーブル生成手段7は、各関心領域からホログラムに到達する光の強度を、非関心領域からホログラムに到達する光の強度よりも大きくなるように設定された、関心領域要素値および非関心領域要素値を配列した量子化テーブルを生成することとした。例えば、量子化ステップ数としての関心領域要素値を「16」、非関心領域要素値を「100」のように予め定めておくことができる。これにより、非関心領域よりも関心領域を強調することができる。また、非関心領域からホログラムに到達した光をホログラムから実質的に削除する加工をするために、非関心領域要素値をすべて、関心領域要素値の10~100倍程度の値としてもよい。

【0067】
同様に、各関心領域からホログラムに到達する光の強度を、非関心領域からホログラムに到達する光の強度よりも小さくなるように設定された、関心領域要素値および非関心領域要素値を配列した量子化テーブルを生成するようにしてもよいことは勿論である。この場合には、関心領域よりも非関心領域を強調することができる。

【0068】
ホログラム分割手段9は、ホログラムの縞パターンhを、予め定められた要素数Mに分割し、分割された要素ホログラムの縞パターンhmを生成するものである。

【0069】
空間周波数変換手段10は、要素ホログラムの縞パターンhmを空間周波数smに変換するものである。本実施形態では、空間周波数変換手段10は、要素ホログラム毎に(要素毎に)、要素ホログラムの縞パターンhmを離散フーリエ変換により空間周波数に変換することとした。これにより、参照光に平行な光を直流(DC)成分として、この参照光に平行な光と所定角度をなしてホログラムに入射する光の角度を周波数で表現できる。

【0070】
量子化手段11は、要素毎に、空間周波数変換手段10によって変換された空間周波数smを、量子化テーブルの対応する要素である関心領域要素値または非関心領域要素値に基づいて量子化して量子化空間周波数qmを生成するものである。なお、量子化手段11は、ホログラムのエリアロケーション(要素ホログラムの位置)に応じて、複数の量子化テーブルの中から1つを選択する機能を有している。

【0071】
符号化手段12は、要素毎に、量子化空間周波数qmを、符号化規則により符号化したホログラムデータを生成するものである。ここで、符号化規則は、ホログラムの一般的な符号化規則であれば、特に限定されるものではない。例えば、損失符号化用に使用されるMPEGやMVC等の画像符号化方法や、無損失符号化用に使用されるZIP等の圧縮方法を挙げることができる。つまり、符号化規則は、符号化効率を向上させるためのプロセスである。

【0072】
ホログラムデータ出力手段13は、要素毎に生成したホログラムデータを出力するものである。本実施形態では、ホログラムデータ出力手段13は、要素毎に生成したホログラムデータと共に、対応する量子化テーブルを出力することとした。

【0073】
[ホログラム復号化装置の構成]
ホログラム復号化装置20は、ホログラム符号化装置1で要素毎に符号化されたホログラムデータを復号化するものである。このホログラム復号化装置20は、ホログラム符号化装置1と同様に、コンピュータと、このコンピュータにインストールされたプログラムとから構成される。

【0074】
ホログラム復号化装置20は、ハードウェア装置とソフトウェアとが協働することによって、前記したハードウェア資源がプログラムによって制御されることにより実現され、図1に示すように、ホログラムデータ入力手段21と、量子化テーブル記憶手段22と、復号化手段23と、逆量子化手段24と、空間周波数逆変換手段25と、要素ホログラム接続手段26と、ホログラム記憶手段27と、ホログラム再生手段28とを備えている。

【0075】
ホログラムデータ入力手段21は、要素ホログラム毎に生成したホログラムデータと、量子化テーブルとの入力を受け付けるものである。このうち、量子化テーブルは、量子化テーブル記憶手段22に格納される。また、要素ホログラム毎のホログラムデータは復号化手段23に出力される。ここで、ホログラム符号化装置1からホログラム復号化装置20へのデータ伝送方法は、特に限定されるものではなく、例えば、LAN(Local Area Network)やインターネット等の有線または無線の通信ネットワークを介して伝送してもよい。なお、量子化テーブルとホログラムデータとを記録した記録媒体を用いてもよい。

【0076】
量子化テーブル記憶手段22は、量子化テーブルを記憶するものであり、例えば、一般的なメモリやハードディスク等から構成される。量子化テーブルは、逆量子化手段24により参照される。
復号化手段23は、要素毎のホログラムデータを、符号化規則に対応した復号化規則により復号化して量子化空間周波数qmを生成するものである。
逆量子化手段24は、要素ホログラム毎に(要素毎に)、復号化手段23によって生成された量子化空間周波数qmを、量子化テーブルの対応する要素である関心領域要素値または非関心領域要素値に基づいて逆量子化して空間周波数s′mを算出するものである。

【0077】
空間周波数逆変換手段25は、要素毎に、空間周波数s′mを逆変換して、要素ホログラムの縞パターンh′mを算出するものである。
要素ホログラム接続手段26は、要素毎に算出された縞パターンh′mを接続してホログラムの縞パターンh′を生成するものである。

【0078】
ホログラム記憶手段27は、要素ホログラム接続手段26により接続された縞パターンh′を有するホログラムを記憶するものであり、例えば、一般的なハードディスク等から構成される。
ホログラム再生手段28は、縞パターンh′を有するホログラム(加工されたホログラム)から3次元の被写体情報を再生し、3Dディスプレイ(ホログラムディスプレイ)29に提示するものである。

【0079】
前記したホログラム符号化装置1は、一般的なコンピュータを、前記した関心領域入力手段5、量子化テーブル生成手段7、ホログラム分割手段9、空間周波数変換手段10、量子化手段11、符号化手段12およびホログラムデータ出力手段13として機能させるプログラム(ホログラム符号化プログラム)により動作させることで実現することができる。同様に、ホログラム復号化装置20は、一般的なコンピュータを、前記したホログラムデータ入力手段21、復号化手段23、逆量子化手段24、空間周波数逆変換手段25および要素ホログラム接続手段26として機能させるプログラム(ホログラム復号化プログラム)により動作させることで実現することができる。これらのプログラムは、通信回線を介して提供することも可能であるし、CD-ROM等の記録媒体に書き込んで配布することも可能である。

【0080】
[ホログラム符号化装置の動作]
次に、ホログラム符号化装置1の動作について図6を参照(適宜図1参照)して説明する。事前処理では、図6(a)に示すように、ホログラム符号化装置1は、関心領域入力手段5によって、各FOI(関心領域)の空間情報を取得する(ステップS1)。取得したFOIの空間情報は、非FOIの空間情報と共に、空間情報記憶手段6に格納される。なお、本実施形態では、利用者は、ホログラムに記録された被写体情報の所定奥行きの二次元情報として表示装置14に表示された二次元画像を確認しながら各FOIを指定する。

【0081】
そして、ホログラム符号化装置1は、量子化テーブル生成手段7によって、各FOIおよび参照光の情報に基づいて量子化テーブルを生成する(ステップS2)。生成された量子化テーブルは、量子化テーブル記憶手段8に格納される。

【0082】
メイン処理では、図6(b)に示すように、ホログラム符号化装置1は、ホログラム分割手段9によって、ホログラムの縞パターンhをM個に分割する(ステップS11)。そして、ホログラム符号化装置1は、M個に分割された要素ホログラムのm番目として1番目(m=1)を選択する(ステップS12)。そして、ホログラム符号化装置1は、空間周波数変換手段10によって、分割されたm番目の縞パターンhmを空間周波数smに変換する(ステップS13)。ここで、m番目の縞パターンhmの中に例えば10個の縞間隔があれば、空間周波数smは10通り計算される。したがって、単に空間周波数smと表記しても、ある幅を有した空間周波数領域を示している。そして、ホログラム符号化装置1は、量子化手段11によって、m番目の要素ホログラムの空間周波数smを量子化テーブルにより量子化する(ステップS14)。そして、ホログラム符号化装置1は、符号化手段12によって、量子化空間周波数qmを符号化規則により符号化する(ステップS15)。そして、ホログラム符号化装置1は、mがMと等しくなった(m=M)か否かを判別する(ステップS16)。すなわち、ホログラム符号化装置1は、すべての要素ホログラムを選択したか否かを判別する。

【0083】
まだ選択していない要素ホログラムがある場合(ステップS16:No)、ホログラム符号化装置1は、現在のmの値に「1」を加算した結果を、mの新たな値(m=m+1)とする(ステップS17)。そして、ステップS13に戻る。一方、すべての要素ホログラムを選択した場合(ステップS16:Yes)、ホログラム符号化装置1は、ホログラムデータ出力手段13によって、要素ホログラム毎に符号化したホログラムデータを、対応する量子化テーブルと共に出力し(ステップS18)、処理を終了する。

【0084】
[ホログラム復号化装置の動作]
次に、ホログラム復号化装置20の動作について図7を参照(適宜図1参照)して説明する。図7に示すように、ホログラム復号化装置20は、ホログラムデータ入力手段21によって、量子化テーブルと、要素ホログラム毎に生成したホログラムデータとを取得する(ステップS21)。そして、ホログラム復号化装置20は、要素ホログラム毎に符号化されたホログラムデータのm番目として1番目(m=1)を選択する(ステップS22)。そして、ホログラム復号化装置20は、復号化手段23によって、ホログラムデータを復号化規則により復号化する(ステップS23)。そして、ホログラム復号化装置20は、逆量子化手段24によって、量子化空間周波数qmを量子化テーブルにより逆量子化して空間周波数s′mを生成する(ステップS24)。そして、ホログラム復号化装置20は、空間周波数逆変換手段25によって、空間周波数s′mを逆変換して要素ホログラムの縞パターンh′mを生成する(ステップS25)。

【0085】
そして、ホログラム復号化装置20は、mがMと等しくなった(m=M)か否かを判別する(ステップS26)。すなわち、ホログラム復号化装置20は、すべてのホログラムデータを選択したか否かを判別する。まだ選択していないホログラムデータがある場合(ステップS26:No)、ホログラム復号化装置20は、現在のmの値に「1」を加算した結果を、mの新たな値(m=m+1)とする(ステップS27)。そして、ホログラム復号化装置20は、ステップS23に戻る。一方、すべてのホログラムデータを選択した場合(ステップS26:Yes)、ホログラム復号化装置20は、要素ホログラム接続手段26によって、各縞パターンh′mを接続してホログラムの縞パターンh′を生成し(ステップS28)、処理を終了する。

【0086】
本実施形態によれば、ホログラム符号化装置1は、入力された各関心領域(FOI)の空間情報と、参照光の情報とに基づいて量子化テーブルを生成し、これにより、ホログラムにおいて各FOIから到達する光と非FOIから到達する光とを区別して、それぞれの光の強度を加工することができる。したがって、ホログラムに各FOIを設定することができる。また、ホログラム符号化装置1は、各FOIエリアよりも非FOIエリアを粗く取り扱うので、各FOIの設定により機能性を向上させると同時に、符号化効率も向上させることができる。また、本実施形態のホログラム復号化装置20は、ホログラム符号化装置1で各FOIが設定されたホログラムを復号化することができる。

【0087】
以上、本発明の実施形態について説明したが、本発明はこれに限定されるものではなく、その趣旨を変えない範囲で様々に実施することができる。例えば、本実施形態では、主に1つのFOI(関心領域)を想定し、FOIが複数であっても同等に説明したが、2種類以上のFOIを指定したときに、量子化テーブルにおいて、各FOIに応じて、関心領域要素値として2種類以上の量子化ステップ数を設定することもできる。つまり、1つのホログラムに記録された被写体空間において、例えば、第1のFOIの関心領域要素値としての量子化ステップ数は「16」、第2のFOIの関心領域要素値としての量子化ステップ数は「26」、非FOIの非関心領域要素値としての量子化ステップ数は「100」のように設定してもよい。このように各FOIの量子化ステップ数を使い分けることにより、利用者の関心の程度に応じて、被写体空間の各部における強調の度合いを変更できる。

【0088】
また、量子化テーブルにおいて、FOIと非FOIとの境界部分に、それらの中間の1以上の量子化ステップ数を設定することもできる。例えば、図4(b)において、量子化テーブルの値として、FOIに対して「16」、非FOIに対して「100」をそれぞれ例示したが、例えば「40」と「70」とを追加することで、FOIから非FOIに向けてテーブルの値を「16,40,70,100」と順に変えることができる。ここで、例えば、中間の値「40」をFOI側に設定し、中間の値「70」を非FOI側に設定してもよい。この場合には、2種類の関心領域要素値と2種類の非関心領域要素値がそれぞれ対応付けられる。ここで、FOIが矩形で指定されたときに、例えば、その中心から面積が50%の範囲の値を「16」、その外側の値を「40」のように設定することができる。なお、領域の分割の設計方法は適宜設計変更できる。例えば、中間の値「40,70」をいずれもFOI側に設定してもよい。この場合には、3種類の関心領域要素値が対応付けられる。また、中間の値「40,70」を、いずれも非FOI側に設定してもよい。この場合には、3種類の非関心領域要素値が対応付けられる。このように量子化ステップ数を連続的に変えることによって、FOIと非FOIとの境界を滑らかに繋げれば、FOIと非FOIとの境界が不連続になって違和感が発生するような事態を防止する効果がある。

【0089】
ホログラム符号化装置1の空間周波数変換手段10は、離散フーリエ変換(DFT)を行うものとしたが、本発明はこれに限定されるものではない。例えば、離散コサイン変換(DCT)を用いることもできる。DCTの場合、要素ホログラム上から周波数領域への変換ではあるものの、DFTとは基底が異なるため、変換後の値が意味する平面波の方向はDCT特有の方向になる。そのため、DCTを用いる場合に用意する量子化テーブルは、DFTの場合に用意した量子化テーブルとは異なるものにして、このときの平面波の方向を反映すればよい。その他の処理については、DFTを用いる場合との違いはない。

【0090】
また、本実施形態では、各FOIの指定方法において、利用者が矩形範囲を指定するものとしたが指定範囲は例えば円形等の他の形状でも構わない。また、奥行き毎に表示される二次元画像毎に利用者が指定範囲を選択するものとしたが、1度の選択で、所定奥行き範囲のボックス状にFOIを選択するようにしてもよい。

【0091】
また、FOIをより細かく指定できるように、ホログラム符号化装置に以下の構成を追加してもよい。この場合、ホログラム符号化装置は、表示装置14に表示される二次元画像の輝度を検出する輝度検出手段と、検出した輝度により二次元画像を二値化する二値化手段と、二次元画像から対象物の輪郭を検出する対象物判定手段とをさらに備える。このように構成することで、例えば、表示された二次元画像において、利用者が被写体の一部を、マウスのクリックにより指定することで、当該被写体のその奥行きにおける輪郭をFOIとして選択することができる。そして、利用者が、奥行き毎に表示装置14に表示される二次元画像に対してこの操作を繰り返すことで、3-DのFOIを指定することができる。

【0092】
また、被写体を撮影してホログラムを記録する際に、距離センサ機能を備えたカメラであるアクシビジョンを併用するようにしてもよい。この場合、撮影時に被写体までの距離情報を画像情報と共に取得しておくことができる。これにより、利用者がFOIを指定する方法において、撮影時に取得した被写体までの距離情報を、奥行き毎にFOIを指定するために用いることができる。
【実施例】
【0093】
本発明による効果を確認するために、本発明の実施形態に係るホログラム符号化装置1およびホログラム復号化装置20のコンピュータシミュレーションによる2つの実験(実験1、実験2)を行った。
(各実験の共通の前提条件)
各実験では、図8に示すように、y軸に平行に、1.024[mm]の長さの棒B(波動場b(yb)として扱う)と、81.92[mm]の長さのホログラムH(波動場h(yh)として扱う)とを、z方向に100[mm]の距離だけ離して設置するものとした。以下の計算では、棒BとホログラムHとを両方とも1[μm]ピッチでサンプルした。すべての光波の波長は、632.8[nm]とした。また、参照光RはホログラムHに水平に当てることとした。
【実施例】
【0094】
棒Bとしての波動場b(yb)を、式(10)に示すように、ランダム位相rfを持った多くの周波数の波を重畳して生成した。また、ホログラムHとしての波動場h(yh)を、式(11)に示すように、フレネル変換(Fresnel diffraction)G{ }を用いることにより生成した。これらの計算は、棒Bが全方位に放射したすべての光(光線)がホログラムHに到達したということを示している。
【実施例】
【0095】
【数7】
JP0005305451B2_000008t.gif
【実施例】
【0096】
式(10)において、ybは、棒B上のy座標を示し、fnは、ナイキスト周波数を示す。また、式(11)において、yhは、ホログラムH上のy座標を示す。
【実施例】
【0097】
(実験1)周波数領域で加工した後に再構成された光を調べる実験
<実験1の実験方法>
このシミュレーションの目的は、ホログラムHが空間周波数領域で加工された後に再構成された光を立証することである。図9(a)は、このシミュレーションの設定を示している。シミュレーション方法は次の通りである。なお、簡便のため、符号化規則による符号化と、復号化規則による復号化を省略した。まず、ホログラム符号化装置1は、ホログラムHを要素ホログラムHmに分割した。図9(a)には、q番目の要素ホログラムHqと、r番目の要素ホログラムHrとを示す。続いて、ホログラム符号化装置1は、m番目の要素ホログラムHmに離散フーリエ変換(DFT)を適用して空間周波数smを生成した。ここで、q番目の要素ホログラムHqの空間周波数はsqであり、r番目の要素ホログラムHrの空間周波数はsrである。
【実施例】
【0098】
続いて、ホログラム符号化装置1が、空間周波数smを量子化するときに、q,r番目の要素ホログラムを他の要素ホログラムと区別するために、以下の操作を行った。ここでは、ホログラム復号化装置20によるデコードの結果として逆量子化したq,r番目の要素ホログラムの空間周波数s′mについては、他の要素ホログラムの振幅強度の半分になるように逆算した値を、予めエンコード段階で、q,r番目の要素ホログラムの空間周波数smから差し引くこととした。つまり、ホログラム符号化装置1が、空間周波数smを量子化するときに、空間周波数sq,srに対応する値として、所定値から、ある逆算値を減らした。この低減は、ある特別な方向に対して光の強度が半分に減ったということを意味している。実際、図9(a)において、符号(b),(c),(d)でそれぞれ示す方向に対して値を減らした。この図9(a)において、符号(c)は、棒Bに対して面直な方向としたが、他の方向は面直以外の方向とした。
【実施例】
【0099】
一方、q,r番目以外のその他の要素ホログラムについては、ホログラム符号化装置1は、ホログラム復号化装置20によるデコードの結果として逆量子化したm番目の空間周波数領域s′mが、予めエンコード段階で離散フーリエ変換(DFT)により変換したm番目の空間周波数領域smと等しいものとして取り扱った。なお、所定値からある逆算値を減らした値が、量子化テーブルの関心領域要素値に相当し、所定値が、量子化テーブルの非関心領域要素値に相当することになる。
【実施例】
【0100】
以上のエンコード段階に続いて、ホログラム復号化装置20は、離散逆フーリエ変換(IDFT)を適用して、m番目の空間周波数s′mから要素ホログラムの縞パターンh′mを生成し、要素ホログラムの縞パターンh′mを接続して、ホログラムの縞パターンh′を生成した。このホログラムの縞パターンh′に対して、逆フレネル変換を適用して、ホログラムの加工後の棒Bに対応する波動場b′(yb)を生成した。さらに、この波動場b′(yb)に対して、離散逆フーリエ変換(IDFT)を適用して、棒Bにおいて発するそれぞれの光の強度を呈した値b″(yb)を生成した。
【実施例】
【0101】
これにより、前記したように、デコードの結果として逆量子化したq,r番目の要素ホログラムの空間周波数s′mについては、他の要素ホログラムの振幅強度の半分になるように逆算した値を、予めエンコード段階で差し引いたので、図9(a)において、符号(c)で示す方向において光の強度を呈した値b″(yb)に対応するグラフ形状は平らにはならず、へこみを含むはずである。
【実施例】
【0102】
<実験1の実験結果>
図9(b)は、図9(a)において、符号(b)で示す方向において光の強度を呈した値b″(yb)の結果を示す。また、図9(c)は、図9(a)において、符号(c)で示す方向において光の強度を呈した値b″(yb)の結果を示す。さらに、図9(d)は、図9(a)において、符号(d)で示す方向において光の強度を呈した値b″(yb)の結果を示す。
【実施例】
【0103】
図9(b)、図9(c)、図9(d)において、水平軸は、棒Bのy方向の位置のインデックスを示している。1.024[mm]の長さに対して1[μm]ピッチなので、インデックス数は「1024」である。この水平軸は、棒Bにおけるそれぞれの光の方向を呈する空間周波数に相当する。この場合、最左のインデックスはDC成分であり、中央インデックスは、最高空間周波数成分を意味する。また、図9(b)、図9(c)、図9(d)において、垂直軸は、棒Bにおけるそれぞれの光の強度を呈する振幅を示す。つまり、b″(yb)に相当する。
【実施例】
【0104】
図9(b)、図9(c)、図9(d)にそれぞれ示すグラフに共通して、エッジ近く(0や1023の近く)の形状は乱雑であり、センター近く(512近辺)の形状は落ち込んでいる。これらは、DFTとフレネル変換とにおいて、窓関数を使用しなかったために付随的に生じたものであると考えられる。
【実施例】
【0105】
これらの付随的な事象を無視した上で、図9(c)と、図9(b)および図9(d)とを比較すると、両者には大きな相違点がある。図9(c)に示すグラフの形状では、2つのへこみを含み、そのへこみの深さは、典型的な振幅値の半分のレベルにまで達していることがわかる。このことは、q番目の要素ホログラムHqからの光の強度と、r番目の要素ホログラムHrからの光の強度は、q,r番目以外のその他の要素ホログラムからの光の強度の半分であることを示している。これは、予想通りの満足のいく結果である。
【実施例】
【0106】
一方、図9(b)および図9(d)に示すそれぞれのグラフの形状では、該当する箇所の形状が平らである。つまり、空間周波数領域で加工した後に再構成された光を調べるこれらの実験結果の比較から、空間周波数領域における制御は予想通りに働いており、ホログラム符号化装置1がFOIの設定を好適に実現できると結論できる。
【実施例】
【0107】
(実験2)量子化前後のデータサイズの変化を調べる実験
<実験2の実験方法>
このシミュレーションの目的は、ホログラムHにおいて空間周波数smが量子化されたときに、データサイズの低減を立証することである。シミュレーション方法は次の通りである。ホログラム符号化装置1により、元のホログラムHの縞パターンhを量子化し、最終的に、ホログラム復号化装置20により、加工後のホログラムHの縞パターンh′を生成した。ここで、元のホログラムHの縞パターンhのデータと、加工後のホログラムHの縞パターンh′のデータとを個別にZIP圧縮により符号化して、両者のZIPファイルサイズを比較した。このうち後者の加工後のホログラムHの縞パターンh′は、量子化実行後に得られたものである。そもそも量子化処理は、量子化後のデータの種類(ラベル)を低減するための処理である。したがって、加工後のホログラムHの縞パターンh′のデータサイズは、元のホログラムHの縞パターンhのデータサイズより小さくなるはずである。
【実施例】
【0108】
<実験2の実験結果>
実験2のシミュレーション結果を図10に示す。
図10において、水平軸は、ラベル数nであり、ラベル数nは、1サンプルに対してlog2(n)ビットを要する。また、垂直軸は、ZIPファイルサイズを示す。図10に示す「量子化なし」は、元のホログラムHの縞パターンhのZIPファイルサイズを示す。また、図10に示す「量子化後」は、加工後のホログラムHの縞パターンh′のZIPファイルサイズを示す。縞パターンh′のデータサイズは、縞パターンhのデータサイズよりも小さいことがわかる。さらに、符号量は少なくするためにラベル数を減少すると、すなわち、図10のグラフにおいて右から左にラベル数を変化させると、縞パターンh′のデータサイズは、徐々に減少する。これらの結果から、予想通り、量子化は、データサイズの低減に役立っていると結論できる。
【符号の説明】
【0109】
1 ホログラム符号化装置
2 ホログラム記憶手段
3 二次元画像生成手段
4 二次元画像提示手段
5 関心領域入力手段
6 空間情報記憶手段
7 量子化テーブル生成手段
8 量子化テーブル記憶手段
9 ホログラム分割手段
10 空間周波数変換手段
11 量子化手段
12 符号化手段
13 ホログラムデータ出力手段
14 表示装置
15 入力装置
20 ホログラム復号化装置
21 ホログラムデータ入力手段
22 量子化テーブル記憶手段
23 復号化手段
24 逆量子化手段
25 空間周波数逆変換手段
26 要素ホログラム接続手段
27 ホログラム記憶手段
28 ホログラム再生手段
29 3Dディスプレイ
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9