TOP > 国内特許検索 > 静止画像形成方法及びその記録装置 > 明細書

明細書 :静止画像形成方法及びその記録装置

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4452825号 (P4452825)
公開番号 特開2006-050343 (P2006-050343A)
登録日 平成22年2月12日(2010.2.12)
発行日 平成22年4月21日(2010.4.21)
公開日 平成18年2月16日(2006.2.16)
発明の名称または考案の名称 静止画像形成方法及びその記録装置
国際特許分類 H04N   5/232       (2006.01)
FI H04N 5/232 Z
請求項の数または発明の数 6
全頁数 18
出願番号 特願2004-229806 (P2004-229806)
出願日 平成16年8月5日(2004.8.5)
新規性喪失の例外の表示 特許法第30条第1項適用 平成16年2月10日 電気通信大学主催の「2003年度 卒業研究発表会 電気通信大学情報通信工学科」において文書をもって発表
審査請求日 平成19年7月10日(2007.7.10)
特許権者または実用新案権者 【識別番号】504133110
【氏名又は名称】国立大学法人電気通信大学
発明者または考案者 【氏名】西 一樹
【氏名】牟田 桂介
個別代理人の代理人 【識別番号】100082740、【弁理士】、【氏名又は名称】田辺 恵基
審査官 【審査官】高野 美帆子
参考文献・文献 特開平04-336776(JP,A)
特開2001-197355(JP,A)
調査した分野 H04N 5/232
特許請求の範囲 【請求項1】
移動する被写体の露光画像を変調用拡散信号によって変調してなる撮像画像データを撮像画像メモリに記憶することにより、移動時の上記被写体の画像成分を上記被写体の移動軌跡に沿って分散させた撮像画像データを得、
上記撮像画像メモリから読み出した上記撮像画像データを上記移動軌跡に沿って上記被写体の移動方向又はその逆方向に移動させながら、復調用拡散信号を用いて再変調することにより、上記分散された画像成分を露光開始点位置又は露光終了点位置に凝縮させてなる静止画像を得る
ことを特徴とする静止画像形成方法。
【請求項2】
移動する被写体の露光画像を変調用拡散信号によって変調してなる撮像画像データを撮像画像メモリに記憶することにより、移動時の上記被写体の画像成分を上記被写体の移動軌跡に沿って分散させた撮像画像データを得る撮像データ変調部と、
上記撮像画像メモリから読み出した上記撮像画像データを上記移動軌跡に沿って上記被写体の移動方向又はその逆方向に移動させながら、復調用拡散信号を用いて再変調することにより、上記分散された画像成分を露光開始点位置又は露光終了点位置に凝縮させてなる静止画像を得る静止画データ復調部と
を具えることを特徴とする静止画記録装置。
【請求項3】
上記変調用拡散信号及び上記復調用拡散信号はチャープ信号又はM系列符号である
ことを特徴とする請求項2に記載の静止画記録装置。
【請求項4】
上記撮像データ変調部は、撮像素子の利得を上記変調用拡散信号によって制御することにより当該変調用拡散信号によって変調された上記撮像画像データを得る
ことを特徴とする請求項2に記載の静止画記録装置。
【請求項5】
上記撮像データ変調部は、撮像素子に上記被写体からの撮像光を通すシャッタ手段の透過率を上記変調用拡散信号によって制御することにより当該変調用拡散信号によって変調された上記撮像画像データを得る
ことを特徴とする請求項2に記載の静止画記録装置。
【請求項6】
上記撮像データ変調部は、上記被写体に対する照明具の照度を上記変調用拡散信号によって制御することにより当該変調用拡散信号によって変調された上記撮像画像データを得る
ことを特徴とする請求項2に記載の静止画記録装置。
発明の詳細な説明 【技術分野】
【0001】
本発明は静止画像形成方法及びその記録装置に関し、特にCMOS素子のような電子的撮像素子を用いた電子カメラによって移動する被写体の静止画を撮像する場合に適用して好適なものである。
【背景技術】
【0002】
電子的撮像素子を有する電子カメラによって移動する被写体を静止画像として撮像する際には、シャッタ速度を十分速く設定しなければ、記録された静止画像に流れやブレ(motion-blur)が生じることを避け得ない。
【0003】
この画像の流れやブレは、原理上、図13に示すように、速度vで例えば左から右へ移動する自動車の被写体像1の露光信号を、露光時間Tの間、CMOS素子に蓄積して行くが、当該露光時間Tの間に被写体像1が撮像画面上を移動するために、撮像画像2として、露光時間Tの各瞬時における多数の被写体像画像成分1A、1B……1Nが積分手段3によって積分されることにより、互いに少しずつずれながら重ね合わされるように露光される(これを多重露光と呼ぶ)。
【0004】
このような画像のブレを高速シャッタ速度で多重露光する手法を用いて低減する静止画像形成技術が提案されている(特許文献1参照)。

【特許文献1】特開平7-7669号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、図13の従来の多重露光の結果得られる撮像画像2は、同一の被写体画像成分1A、1B……1Nが多重に重なり合っているために、被写体像本来の画像情報のうち高周波情報が失われる不可逆処理が行われており、その結果本質的に当該失われた情報を取り戻して修復することは困難である。
【0006】
本発明は以上の点を考慮してなされたもので、多重露光することにより得られる撮像画像から被写体が本来もっている高周波情報を失わない静止画像を得ることができるようにしようとするものである。
【課題を解決するための手段】
【0007】
かかる課題を解決するため本発明においては、移動する被写体12の露光画像を変調用拡散信号S13によって変調してなる撮像画像データS4を撮像画像メモリ18に記憶することにより、移動時の被写体12の画像成分1XA、1XB……1XNを被写体12の移動軌跡LSに沿って分散させた撮像画像を得る撮像データ変調部11Aと、撮像画像メモリ18から読み出した撮像画像データS29を移動軌跡LSに沿って被写体12の移動方向又はその逆方向に移動させながら、復調用拡散信号S23を用いて再変調することにより、分散された画像成分1XA、1XB……1XNを露光開始点位置P又は露光終了点位置Pに凝縮させてなる静止画像を得る静止画データ復調部11Bと設ける。
【発明の効果】
【0008】
露光開始時点t0から露光終了時点t1までの間の撮像画像データとして、変調用拡散信号S13によって変調された画像成分1XA、1XB……1XNを撮像画像メモリ18に記憶し、当該撮像画像メモリ18から読み出した撮像画像データ信号S29を移動方向又は移動方向と逆方向に移動させながら復調用拡散信号S23によって再変調することにより、分散された画像成分1XA、1XB……1XNを相互相関演算によって凝縮することによって高周波成分を失わずに含む被写体12の鮮明な静止画を得ることができる。
【発明を実施するための最良の形態】
【0009】
以下図面について、本発明の一実施の形態を詳述する。
【0010】
(1)全体構成
図1において、11は全体として静止画記録装置を示し、移動する被写体12の画像成分を変調用拡散信号S13を用いて変調することにより撮像画像データを得る撮像データ変調部11Aと、撮像データ変調部11Aから得られる撮像画像データを復調用拡散信号S23を用いて再変調することで相互相関をとることにより被写体12の静止画データを復調する静止画データ復調部11Bと、復調された静止画データを出力する静止画データ出力部11Cとを有する。
【0011】
撮像データ変調部11Aは例えば自動車でなる移動する被写体12から到来する撮像光LAが受光レンズ系13及び液晶シャッタ14でなるシャッタ手段を通って撮像素子15に入射する。
【0012】
液晶シャッタ14は中央処理ユニット16から与えられるシャッタ信号S1によって所定の露光時間T(例えば1/60秒)の間だけ撮像光LAを透過する。
【0013】
かくして撮像素子15の各画素を構成するCMOS素子15Aには露光時間Tの間撮像光LAが露光され、その結果各画素ごとに得られる撮像信号S2が可変利得増幅器15Bを介して撮像出力信号S3としてA/D変換回路17に出力される。
【0014】
A/D変換回路17は、各画素ごとに得られる撮像出力信号S3を撮像データS4に変換して、中央処理ユニット16の書込み・読出し制御信号S5によって制御される撮像画像メモリ18に1枚の静止画を構成する各画素データとして取り込ませる。
【0015】
中央処理ユニット16は発生制御信号S12を拡散信号発生回路22に与えることにより、シャッタ信号S1によって液晶シャッタ14が露光時間Tの間露光動作するタイミングで変調用拡散信号S13を発生させ、この変調用拡散信号S13に基づいて利得制御回路21から可変利得増幅器15Bに対する利得制御信号S11を送出させる。
【0016】
変調用拡散信号(後述する復調用拡散信号も同様に)は、自分自身をずらしながら重ね合せたとき、ずらし幅が0のときのみ波形が一致し、それ以外のずらし幅ではほとんど波形の類似性が見られない信号(例えばチャープ信号、M系列がこれに該当する)でなる。かくして変調用拡散信号(及び復調用拡散信号)は、自己相関をとるとほぼインパルスになるような特性をもつと共に、スペクトルが広く一様に分布するような特性をもつ。
【0017】
この実施の形態の場合、変調用拡散信号S13は、図2に示すように、時間の経過に従って周波数が低い方から高い方へ正弦波形をもって連続的に変化するチャープ信号でなる。
【0018】
この変調用拡散信号S13は、シャッタ信号S1の露光開始時点t0において信号レベルが「0」から「1」に立ち上がると共に、以後シャッタ信号S1が露光終了時点t1になるまでの間周波数を低い方から高い方へ連続的に変化させながら信号レベルが「1」及び「-1」間を正弦波形をもちながら変化し、かつ時点t0以前及び時点t1以降においては信号レベルが「0」になる。
【0019】
利得制御回路21は、変調用拡散信号S13に基づいて変化する利得制御信号S11によって可変利得増幅器15Bを制御することにより、撮像素子15から送出される撮像出力信号S3の各画素の信号レベルを、露光開始時点t0から露光終了時点t1に至るまで変調用拡散信号S13に応じて変化させ、その結果CMOS素子15Aから得られる撮像信号S2を変調用拡散信号S13によって変調してなる撮像出力信号S3(従って撮像データS4)が撮像画像メモリ18に撮像画像として取り込まれる。
【0020】
かくして撮像画像メモリ18に取り込まれた撮像画像PICは、図3に示すように、xy座標上の各画素(x,y)において、被写体が静止しているときの輝度分布f(x,y)が移動しながらかつ輝度変化を受け、それらの積算されたものが記録される。
【0021】
例えば、静止時の被写体のある1点の画素(x´,y)に着目し、その輝度をf(x´,y)とする。被写体の移動によって、この画素点が液晶シャッタ14の露光時間Tの間に水平方向に速度vで移動したとすると、露光開始時点t0の位置P(x´,y)から移動軌跡LSを通って露光終了時点t1の位置P(x´+vT,y)へと移動する。
【0022】
このとき移動軌跡LS上の各点P(x´+vτ,y)(ただし、0≦τ≦T)における撮像画像Δg(x´+vτ,y)は、次式
【0023】
【数1】
JP0004452825B2_000002t.gif

【0024】
のように、移動軌跡LS上の点P(x´,y)から点P(x´+vT,y)までの間の各点において、撮像画像の輝度f(x´,y)が、変調用拡散信号S13(=h(τ))の変化に応じて変化する画像成分データとして、空間的輝度変化を表す画素データに分散されて撮像画像メモリ18に取り込まれる。
【0025】
ここでx=x´+vτと変数置換し、画素点(x,y)における輝度Δg(x,y)として(1)式を書き直すと、次式
【0026】
【数2】
JP0004452825B2_000003t.gif

【0027】
となり、これは撮像画像上の画素点(x,y)での輝度Δg(x,y)が、vτだけ戻った点(x-vτ,y)での被写体の輝度f(x-vτ,y)をh(τ)だけ輝度変化させたものとして記録されることを意味する。
【0028】
(1)式及び(2)式は時刻τにおける輝度であり、移動によってτは0からTまで進むから、最終的に撮像画像メモリ18に取り込まれる被写体の撮像画像情報は、その積算として次式
【0029】
【数3】
JP0004452825B2_000004t.gif

【0030】
のように、各時点τにおける輝度情報f(x-vτ,y)に変調用拡散信号h(τ)を乗算して得られる分散された画像成分を積分する(この処理は畳み込み積分をとることに相当する)ことにより得られる画像情報g(x,y)として表し得る。
【0031】
このようにして撮像データ変調部11Aの撮像画像メモリ18に取り込まれた撮像データS4(=g(x,y))に含まれる被写体の画像成分f(x-vτ,y)は、中央処理ユニット16の制御の下に、静止画データ復調部11Bにおいて、復調用拡散信号S23との相互相関演算を行うことにより復調される。
【0032】
静止画データ復調部11Bは、中央処理ユニット16の書込み・読取り制御信号S5によって撮像画像メモリ18から読み出された撮像画像読取信号S21(=g(x,y))を、中央処理ユニット16からの相関演算制御信号S22によって相関演算回路31に受けて、当該相関演算回路31において、拡散信号発生回路22から得られる復調用拡散信号S23と、動き検出回路32において検出された撮像画像の移動方向信号S24及び移動速度信号S25とに基づいて相互相関演算をする。
【0033】
この実施の形態の場合、動き検出回路32は、撮像画像メモリ18が露光開始時点t0から露光終了時点t1までの露光時間Tの画像情報を取り込むのに対して、その一部、例えば撮像データS4の前半部を動き検出用画像メモリ33に取り込むことにより、当該前半部の画像情報S26を得てこれを動き検出回路32に与える。
【0034】
動き検出回路32は、当該動き検出用画像メモリ33の画像データと、撮像画像メモリ18の撮像画像データのうち後半部の画像データS27とを比較して、両者の差異に基づいて被写体の移動方向及び移動速度を検出する。
【0035】
中央処理ユニット16は、当該移動方向信号S24及び移動速度信号S25に基づいて被写体の移動軌跡LS(図3)を知ると共に、この移動軌跡LSとは逆方向の移動軌跡LSX(図4)に沿って撮像画像PICを移動させながら復調用拡散信号S23(=h(τ))によって撮像画像読取信号S21(=g(x,y))を再変調し、これにより復調用拡散信号S23(=h(τ))と、撮像画像読取信号S21(=g(x,y))に含まれている変調用拡散信号S13(=h(τ))の信号成分との相互相関演算を、相関演算回路31において実行させる。
【0036】
この実施の形態の場合、復調用拡散信号S23(=h(τ))は、拡散信号発生回路22において、図2の変調用拡散信号S13(=h(τ))と同じ拡散信号の時間軸を被写体の移動速度vに合わせて伸縮させることにより相互相関演算ができるように信号処理されて発生される。
【0037】
相関演算回路31は、次式
【0038】
【数4】
JP0004452825B2_000005t.gif

【0039】
のような演算結果を得、当該演算結果を静止画信号S29として、中央処理ユニット16の書込み・読取り制御信号S28によって制御される静止画像メモリ34に格納する。
【0040】
静止画像メモリ34に静止画信号S29として格納された静止画像は、露光により得た各画素信号を変調用拡散信号S13(=h(τ))によって被写体の移動に応じて移動軌跡LS上に分散した画像成分情報(図3)を、図4に示すように、逆方向移動軌跡LSXに沿って撮像画像PICを移動させながら再変調処理をしたことにより、図5に示すように、移動軌跡LS上に分散されている被写体画像成分1XA、1XB……1XNが、被写体の露光開始時点t0に対応する画像上の点P(x,y)に凝縮され、これにより、露光時間T(=1/60秒)の間の被写体の移動によって移動方向に拡がった画像の流れ又はブレが圧縮されて元の被写体に復元される。
【0041】
静止画像メモリ34に格納された静止画データは、中央処理ユニット16によって静止画読出信号S30として静止画データ出力部11Cの圧縮符号化回路41に読み出され、伝送可能な画像信号に変換された後、出力画像メモリ42に取り出されることにより、必要に応じて静止画出力信号S31として外部に伝送される。
【0042】
(2)静止画記録装置の作用効果
中央処理ユニット16のシャッタ信号S1によって移動する被写体12(例えば図13の場合と同様の自動車)を撮像したとき、撮像データ変調部11Aにおいて、移動する被写体12の撮像光LAが受光レンズ系13及び液晶シャッタ14を介して撮像素子15のCMOS素子15Aに露光することにより、CMOS素子15Aには、図5に示すように、露光開始時点t0から露光終了時点t1までの露光時間Tの間に被写体像1Xがx軸方向に速度vで移動する被写体画像成分1XA、1XB……1XNとして多重露光される。
【0043】
この被写体画像成分1XA、1XB……1XNに対応する撮像信号S2は、可変利得増幅器15Bにおいて利得制御信号S11によって利得変調されることにより、それぞれ変調用拡散信号S13(=h(τ))の各タイミングに相当する輝度に変調されて図3に示す移動軌跡LS上を露光開始点P(x,y)から露光終了点Pまでの間に、(1)式の変調信号f(x´,y)h(τ)のように輝度が変化しながら空間的輝度変化として分散して取り込まれる。
【0044】
かくして空間的輝度変化として分散された画像成分1XA、1XB……1XNを積分手段3Xにおいて積分した撮像画像2Xとして含む撮像データS4がA/D変換回路17から撮像画像メモリ18に取り込まれる。
【0045】
撮像画像メモリ18に取り込まれた撮像画像は、静止画データ復調部11Bの相関演算回路31に撮像画像読取信号S21として読み取られると共に、中央処理ユニット16において、動き検出回路32から検出される移動方向信号S24及び移動速度信号S25によって指定される移動方向とは逆方向に移動速度vに対応する条件で、(4)式に基づいて復調用拡散信号S23によって再変調され、これにより得られる相関演算結果信号S29が静止画像メモリ34に格納される。
【0046】
撮像画像メモリ18に取り込まれた画像は、図3に示すように、移動軌跡LSの方向(この実施の形態の場合水平方向)に露光開始点Pから露光終了点Pまでの間の各画素において、被写体の輝度f(x,y)に対して変調用拡散信号S13(=h(τ))を乗算した画像成分情報を順次分散させた構成を有する。
【0047】
この撮像画像メモリ18に取り込まれた画像成分情報について、中央処理ユニット16は、静止画データ復調部11Bの相関演算回路31において図4のように逆方向の移動軌跡LSXの方向に撮像画像PICを移動させながら復調用拡散信号S23によって変調し、当該変調信号を(4)式によって積分するような相関演算処理を実行する。
【0048】
このとき露光開始点Pにおける積分結果は、図3において移動軌跡LS上に分散した画像成分に復調用拡散信号S23の対応するタイミングの値を乗算した後露光開始点Pに集めて累算して行くような演算を実行する。
【0049】
このとき露光開始点Pに凝縮される静止画像データは、静止画像PICの画像データに対して復調用拡散信号S23を乗算したものを累積して行く結果になるから、変調時に用いた変調用拡散信号S13(=h(τ))と、復調時に用いた復調用拡散信号S23(この実施の形態の場合同じ拡散信号h(τ))との自己相関をとる演算をしたことになる。従って、変調用拡散信号h(τ)によって拡散処理された撮像画像PICと、復調用画像信号h(τ)との相互相関処理では、唯一露光開始点Pのみにおいて強い相関が現れるため、露光終了点P方向へと分散された全ての画像成分が露光開始点P上に凝縮される。これが全ての画素において同時に処理されることで元の被写体像が得られる。
【0050】
この結果露光開始点Pに凝縮された相関演算結果データは、被写体12が本来もっている画像成分の全てを含む相関演算結果信号S29として静止画像メモリ34に格納される。
【0051】
このように、静止画像メモリ34に格納された静止画像データは、全ての画像成分が、凝縮された結果として高周波信号成分を失うことなく含んだ被写体の画像情報として取り出されることになり、その結果液晶シャッタ14の露光時間内に被写体が移動することにより多重露光された画像から、露光開始時点t0において撮像された被写体像がそのまま復元されたことになる。
【0052】
以上の構成によれば、撮像画像メモリ18の撮像画像として、被写体の移動方向に変調用拡散信号S13(=h(τ))によって輝度変調されて得られる画像要素1XA、1XB……1XNを分散して記憶すると共に、当該撮像画像を被写体12の移動軌跡LSに沿って逆方向に移動させながら復調用拡散信号S23(=h(τ))によって再変調して累算することにより、分散された画素要素1XA、1XB……1XN画素要素を凝縮できる。
【0053】
かくして凝縮された画素情報には被写体の高周波信号成分が失われずに含まれており、これは撮像画像メモリ18の画像データに含まれる変調用拡散信号S13(=h(τ))と復調用拡散信号S23(=h(τ))との相互相関演算がとられることにより抽出できる。
【0054】
その結果、移動する被写体12を例え多重露光したとしても、被写体の画像を流れやブレをもたない鮮明な静止画像に修復することができる。
【0055】
図6(A)ないし(C)は本発明の作用効果を確認するためのシミュレーション結果を示すもので、被写体を撮像した原画像PC1(図6(A))について水平方向にブレを生じさせたブレ画像PC2(図6(B))を撮像画像メモリ18に取り込み、このブレ画像PC2について相関演算回路31による相互相関演算をしたところ、図6(C)に示すような修復画像PC3を得ることができた。
【0056】
この修復画像PC3によれば、ブレ画像PC2においてブレ方向に分散された画像要素が凝縮されることにより高周波成分を失わずに修復した画像が得られることを確認できた。
【0057】
(3)被写体画像の修正原理
図3に示すように、画像上の被写体の移動方向をx軸にとりかつその直角方向をy軸にとり、また被写体の静止時の輝度分布をf(x,y)、拡散信号をh(τ)、画像上の移動速度をvとすると、撮像データ変調部11Aの処理は次式
【0058】
【数5】
JP0004452825B2_000006t.gif

【0059】
のように定式化できる。
【0060】
(5)式において被写体はf(x-vτ,y)へ平行移動すると共に、同時に微小時間Δτの間に輝度がh(τ)Δτ倍されるためこのときの撮像面上への瞬時移動画像はf(x-vτ,y)h(τ)Δτとなる。
【0061】
これが全露光時間の各時点にわたって多重露光されるので、変調後の撮像画像は全時点を積分した値になる。
【0062】
ただし、移動する被写体が画像フレームからはみ出さない程度の時間幅0≦t≦Tにおいてのみh(τ)は値を持ち、それ以外では0をとるものとする。
【0063】
(5)式の演算結果は、時間的輝度変化として与えた変調が撮像後の画像上においては移動方向への空間的輝度変化として分散されて記録される。
【0064】
特に拡散信号h(τ)として以下の(11)式を満たす関数を選ぶことにより、撮像画像に流れやブレが生じても、撮像画像メモリ18には、高周波情報を残したまま被写体画像情報が記録される。
【0065】
一方静止画データ復調部11Bにおいては、変調用拡散信号S13(=h(τ))を移動速度に合わせて伸縮させると共に、その波形と撮像画像メモリ18に記憶された変調画像データとの相互相関演算を相関演算回路31で実行し、その演算結果を静止画像メモリ34に記録する。
【0066】
この処理は、次の(6)式
【0067】
【数6】
JP0004452825B2_000007t.gif

【0068】
によって表すもので、図4に示すように、被写体の移動方向とは逆向きに撮像画像を移動させながら、同じ拡散信号で再度変調を行うことに対応する。
【0069】
かくして逆向きに撮像画像を移動させながら同じ拡散信号で再変調することにより、図3に示すように、ブレによって移動方向に拡散した画像要素が露光開始点Pに凝縮されることにより、もとの被写体が復元される。
【0070】
この被写体の復元は以下のように証明できる。
【0071】
(6)式に(5)式を代入すると、次式
【0072】
【数7】
JP0004452825B2_000008t.gif

【0073】
が得られる。
【0074】
ここで、次式
【0075】
【数8】
JP0004452825B2_000009t.gif

【0076】
と置いてsをuで置換すると、(7)式は次式
【0077】
【数9】
JP0004452825B2_000010t.gif

【0078】
となる。
【0079】
ここで(8)式から次式
【0080】
【数10】
JP0004452825B2_000011t.gif

【0081】
が得られるから、これを(9)式に代入すると、(9)式は次式
【0082】
【数11】
JP0004452825B2_000012t.gif

【0083】
となる。
【0084】
(11)式において、特に拡散信号h(τ)として、自己相関をとればインパルスになるδ関数δ(x)になるように、次式
【0085】
【数12】
JP0004452825B2_000013t.gif

【0086】
を満たすような関数を選定すれば、(11)式は、
【0087】
【数13】
JP0004452825B2_000014t.gif

【0088】
となる。
【0089】
かくして(6)式の変調演算結果として、流れやブレが修正された被写体の推定画像が得られる。
【0090】
この実施の形態の一例として用いるチャープ信号(周波数が時間と共に低いほうから高いほうへ(あるいはその逆方向へ)連続的に変化する信号)は(11)式を満足する拡散信号のひとつである。
【0091】
ここでδ関数δ(x)は、次式
【0092】
【数14】
JP0004452825B2_000015t.gif

【0093】
を満たすものである。
【0094】
(4)他の実施の形態
(4-1)上述の図1~図6の実施の形態においては、変調用拡散信号S13(=h(τ))として図2に示すチャープ信号を用いたが、拡散信号としては、(12)式について上述したように自己相関演算をしたときほぼδ関数になるような関数信号であれば良く、図7に示すようなM系列を用いても、上述の場合と同様の効果を得ることができる。
【0095】
シミュレーション結果として、図6(A)及び(B)のような原画像PC1及びブレ画像PC2の画像データに基づいてM系列でなる拡散信号を用いて復調したところ、図8に示すように、原画像PC1(図6(A))の画像情報に含まれている、高周波成分を失わないような修復画像PC4を得ることができた。
【0096】
(4-2)上述の図1~図6の実施の形態においては、被写体の移動方向が、x軸方向の場合について述べたが、移動方向はこれに限らずx軸と直行するy軸方向や、x軸と斜行する斜め方向に移動する場合にも、上述の実施の形態の場合と同様にして、流れ又はブレを有する撮像画像から画像の修復をすることができる。
【0097】
(4-3)図1~図6の実施の形態においては、撮像データ変調部11Aにおける変調用拡散信号S13に基づく変調処理を、利得制御回路21の利得制御信号S11を用いて可変利得増幅器15Bの利得を制御することにより行う場合について述べたが、当該利得制御回路21に代え、図9に示すように、透過率制御回路21Xを設け、その透過率制御信号S11Xを用いて液晶シャッタ14でなるシャッタ手段の透過率を制御するようにしても良い。
【0098】
この場合、移動する被写体からの撮像光LAは、液晶シャッタ14を透過する際に拡散信号S13(=h(τ))によって変調される。
【0099】
従って撮像素子15のCMOS素子15Aに対する露光光の明るさが変調用拡散信号S13(=h(τ))によって変調されることにより、図1の場合と同様の撮像出力信号S3が得られ、これにより図1~図6について上述したと同様の画像の修復処理をすることができる。
【0100】
(4-4)図1~図6の静止画記録装置11においては、変調用拡散信号S13(=h(τ))に基づいて利得制御回路21の利得制御信号S11によって可変利得増幅器15Bの利得を制御することにより、変調用拡散信号S13によって変調した撮像出力信号S3を得るようにした場合について述べたが、これに代え、図10に示すように、光量制御回路21Yから得られる光量制御信号S11Yによって、移動する被写体12を照明する照明具21Zの照度を制御するようにしても良い。
【0101】
この場合、被写体12から受光レンズ系13及び液晶シャッタ14を介して撮像素子15に入射する撮像光LAの明るさが変調用拡散信号S13(=h(τ))によって変調されることにより、図1~図6について上述したと同様の撮像出力信号S3を得ることができる。
【0102】
よって、図10の静止画記録装置11Yによっても、図1~図6の場合と同様にして撮像信号の修復をすることができる。
【0103】
(4-5)図1~図6について上述した実施の形態においては、移動軌跡LS(図3)上に分散した撮像画像成分を凝縮する際に、被写体の移動方向とは逆方向の逆方向移動軌跡LSX(図4)に沿う方向に撮像画像を移動させながら変調時に用いた変調用拡散信号S13(=h(τ))と同一の拡散信号でなる復調用拡散信号S23(=h(τ))を用いて相互相関演算を行うようにした場合について述べたが、相関演算はこれに限らず、被写体の移動方向に撮像画像を移動させながら、変調時に用いた変調用拡散信号S13(=h(τ))の時間経過とは逆の時間経過をもつ拡散信号によって再変調することにより相関演算を行うようにしても、上述の場合と同様の作用効果を得ることができる。
【0104】
この実施の形態の場合には、図4に対応させて図11に示すように、撮像画像PICを露光開始点Pから露光終了点Pの方向に移動させながら、図12に示すように、復調用拡散信号として、図1の場合の復調用拡散信号S23とは時間的に逆方向に変化する(周波数が時間と共に高いほうから低いほうへ連続的に変化する)拡散信号S13Xを用いる。
【0105】
このようにすれば、復調時には撮像画像の移動軌跡LS(図3)上に分散された画像成分が露光終了点Pの位置に凝縮される。
【0106】
すなわち、図11のように移動軌跡LSY上へと分散された露光開始点Pの画素情報は、図12に示すような時間軸が逆向きの復調用拡散信号と当該分散画像(すなわち撮像画像)との相関をとることにより、露光終了点Pへと凝縮させることになる。
【0107】
図7及び図8のM系列を用いた場合も、上述と同様の変更をしても良い。
【0108】
(4-6)上述の実施の形態においては、変調用拡散信号S13として用いたチャープ信号として、図2のように、「周波数が時間と共に低いほうから高いほうへ連続的に変化する」ような信号を適用したが、これに代え、「その逆に、高いほうから低いほうへ連続的に変化する」ような信号を適用するようにしても良く、このようにしても上述の場合と同様の作用効果を得ることができる。
【産業上の利用可能性】
【0109】
本発明は、移動する被写体を所定の露光時間で多重露光して静止画を得る場合に利用できる。
【図面の簡単な説明】
【0110】
【図1】本発明による静止画記録装置のうち、撮像素子15の利得を制御することにより被写体の輝度を拡散信号によって変調する、第1の実施の形態を示すブロック図である。
【図2】図1において使用する変調用拡散信号の一列を示す信号波形図である。
【図3】撮像画像上の被写体像の移動の説明に供する略線図である。
【図4】撮像画像から被写体を復調する処理の説明に供する略線図である。
【図5】被写体が輝度変調を受けながら移動することによって多重露光される様子を説明した略線図である。
【図6(A)】シミュレーションにおいて用いられた原画像を示す略線図である。
【図6(B)】シミュレーションにおいて用いられたブレ画像を示す略線図である。
【図6(C)】シミュレーションによって得られた修復画像を示す略線図である。
【図7】変調用拡散信号S13(=h(τ))としてM系列を用いた他の実施の形態の説明に供する信号波形図である。
【図8】図7のM系列の拡散信号を用いた場合に、シミュレーション結果として得られる修復画像を示す略線図である。
【図9】本発明による静止画記録装置のうち、液晶シャッタの透過率を拡散信号によって変調する、他の実施の形態を示すブロック図である。
【図10】本発明による静止画記録装置のうち、光量制御回路の光量制御信号によって照明具を制御するこにより、被写体の照度を拡散信号によって変調する、さらに他の実施の形態を示すブロック図である。
【図11】さらに他の実施の形態において、復調時における撮像画像の移動方向の説明に供する略線図である。
【図12】図11の復調時に用いる復調用拡散信号を示す信号波形図である。
【図13】輝度変調を伴わない従来方式による多重露光の様子を説明した略線図である。
【符号の説明】
【0111】
1、1X……被写体像、(1A、1B……1N)、(1XA、1XB……1XN)……被写体画像成分、2、2X……撮像画像、3、3X……積分手段、11、11X、11Y……静止画記録装置、11A……撮像データ変調部、11B……静止画データ復調部、11C……静止画データ出力部、12……被写体、13……受光レンズ系、14……液晶シャッタ、15……撮像素子、15A……CMOS素子、15B……可変利得増幅器、16……中央処理ユニット、17……A/D変換回路、18……撮像画像メモリ、21……利得制御回路、21X……透過率制御回路、21Y……光量制御回路、22……拡散信号発生回路、31……相関演算回路、32……動き検出回路、33……動き検出用画像メモリ、41……圧縮符号化回路、42……出力画像メモリ。
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図7】
5
【図9】
6
【図10】
7
【図11】
8
【図12】
9
【図13】
10
【図6(A)】
11
【図6(B)】
12
【図6(C)】
13
【図8】
14