TOP > 国内特許検索 > カラー画像の露出補正方法 > 明細書

明細書 :カラー画像の露出補正方法

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4359662号 (P4359662)
公開番号 特開2006-186983 (P2006-186983A)
登録日 平成21年8月21日(2009.8.21)
発行日 平成21年11月4日(2009.11.4)
公開日 平成18年7月13日(2006.7.13)
発明の名称または考案の名称 カラー画像の露出補正方法
国際特許分類 H04N   9/04        (2006.01)
H04N   1/46        (2006.01)
H04N   1/60        (2006.01)
H04N   1/409       (2006.01)
G06T   1/00        (2006.01)
G06T   3/00        (2006.01)
H04N   5/243       (2006.01)
H04N 101/00        (2006.01)
FI H04N 9/04 B
H04N 1/46 Z
H04N 1/40 D
H04N 1/40 101D
G06T 1/00 510
G06T 3/00 300
H04N 5/243
H04N 101:00
請求項の数または発明の数 10
全頁数 23
出願番号 特願2005-342982 (P2005-342982)
出願日 平成17年11月29日(2005.11.29)
優先権出願番号 2004347925
優先日 平成16年12月1日(2004.12.1)
優先権主張国 日本国(JP)
審査請求日 平成18年3月27日(2006.3.27)
特許権者または実用新案権者 【識別番号】304020292
【氏名又は名称】国立大学法人徳島大学
【識別番号】592197108
【氏名又は名称】徳島県
発明者または考案者 【氏名】大恵 俊一郎
【氏名】柏木 利幸
【氏名】高木 圭
個別代理人の代理人 【識別番号】100068087、【弁理士】、【氏名又は名称】森本 義弘
【識別番号】100096437、【弁理士】、【氏名又は名称】笹原 敏司
【識別番号】100100000、【弁理士】、【氏名又は名称】原田 洋平
審査官 【審査官】松田 岳士
参考文献・文献 特許第3464182(JP,B2)
特開2004-229259(JP,A)
特開2002-010073(JP,A)
特開2002-290707(JP,A)
特開平11-195115(JP,A)
特開2005-295567(JP,A)
特開2001-008216(JP,A)
特開2004-297269(JP,A)
調査した分野 G06T 1/00 - 1/40
G06T 3/00 - 5/50
G06T 9/00 - 9/40
H04N 1/40 - 1/409
H04N 1/46 - 1/60
H04N 5/222- 5/257
H04N 9/04 - 9/11
H04N 9/44 - 9/78
特許請求の範囲 【請求項1】
同一シーンについて露出を変えて複数枚のカラー画像系列を取得し、これら複数枚のカラー画像系列における2枚のカラー画像について画像の各部分ごとに色の出現頻度の比を求め、前記各部分において、前記色の出現頻度の比にしたがって頻度の小さい方が頻度の大きい方よりも多くブレンドされるようなブレンド比を求め、画像全体についてブレンド比マップを作成し、このブレンド比マップにしたがって前記2枚のカラー画像を前記各部分ごとにブレンドして1枚の露出補正画像を作成することを特徴とするカラー画像の露出補正方法。
【請求項2】
元のカラー画像のカラー値をその色の出現頻度に置き換えた第1の頻度画像と、この第1の頻度画像の頻度値に人間が差を感じない色の重みを大きくした係数を乗じて得られる第2の頻度画像とのいずれかを用いて、ブレンド比マップを作成することを特徴とする請求項1記載のカラー画像の露出補正方法。
【請求項3】
原画像の暗い部分を明るくするように露出を補正した露出オーバー画像と、原画像を前記露出オーバー画像の色数に近くなるように補正した露出アンダー画像との2枚の補正画像を作成して用いることを特徴とする請求項1または2記載のカラー画像の露出補正方法。
【請求項4】
原画像を前景部分と背景部分とに分け、前記原画像の前景部分を明るくするように露出を補正して露出オーバー画像を作成するとともに、原画像または原画像を露出補正した画像を露出アンダー画像とすることを特徴とする請求項3記載のカラー画像の露出補正方法。
【請求項5】
露出アンダー画像と露出オーバー画像の中間の明るさの画像を1枚または複数枚作成し、これら中間の明るさの画像および露出アンダー画像からなる複数枚の画像のそれぞれにおける色の出現頻度と、露出オーバー画像における色の出現頻度との比を用いて複数枚のブレンド比マップを作成し、これら複数枚のブレンド比マップから新たなブレンド比マップを作成することを特徴とする請求項3または4記載のカラー画像の露出補正方法。
【請求項6】
画像のRAWデータを用いて、明るさの異なる2枚の画像を現像し、この2枚の画像を用いることを特徴とする請求項1または2記載のカラー画像の露出補正方法。
【請求項7】
明るさの異なる明るい画像と暗い画像のほかに、中間の明るさの画像を1枚または複数枚現像し、前記中間の明るさの画像および前記暗い画像からなる複数枚の画像のそれぞれにおける色の出現頻度と、前記明るい画像における色の出現頻度との比を用いて複数枚のブレンド比マップを作成し、これら複数枚のブレンド比マップから新たなブレンド比マップを作成することを特徴とする請求項6記載のカラー画像の露出補正方法。
【請求項8】
ブレンド比マップをエッジの画像におけるそのエッジの強度に応じたガウシアンフィルタによりスムージングすることにより、エッジ付近の平滑度を小さくし、エッジ以外の平滑度を大きくした新たなブレンド比マップを作成することを特徴とする請求項1から7までのいずれか1項記載のカラー画像の露出補正方法。
【請求項9】
RGB表色系にて作成された2枚のカラー画像のそれぞれから、Ycc表色系などの人間の知覚にもとづく表色系に変換した画像を作成し、これらの変換された2つの画像をブレンド比マップにしたがってブレンドして1枚の画像を作成し、この画像を元のRGB表色系に変換してカラー画像を作成することを特徴とする請求項1から8までのいずれか1項記載のカラー画像の露出補正方法。
【請求項10】
原画像からそのサイズを小さくした縮小画像を作成し、作成した縮小画像から縮小サイズのブレンド比マップを作成し、この縮小サイズのブレンド比マップより元のサイズに拡大したブレンド比マップを作成して用いることを特徴とする請求項1から9までのいずれか1項記載のカラー画像の露出補正方法。
発明の詳細な説明 【技術分野】
【0001】
本発明はカラー画像の露出補正方法に関し、特に、ディジタルカメラで逆光シーン等の悪条件下の撮影環境において取得されたカラー画像に見られる「白とび」や「つぶれ」と言われる露出の不適正な領域を、視覚的に自然な画像に補正するための、カラー画像の露出補正方法に関する。
【背景技術】
【0002】
今日、家庭でのパーソナルコンピュータの普及と共に、ディジタルカメラの需要が増えている。しかし、ディジタルカメラは、手軽に取り扱える反面、逆光などの撮影環境により、色の白飛びや潰れという露出が適正でない画像が取得されることがある。人間はこのようなシーンでも無意識に瞳孔を調整して認識できるが、ディジタルカメラでは、再現できる明るさの範囲が狭いために、人間の感覚とは異なった画像となる。
【0003】
このような「とび」や「つぶれ」の部分を補正し、視認性を改善するために、輝度分布ヒストグラムの特徴を利用するなどの手法である線形濃度変換やヒストグラム平坦化などの方法により、コントラストを強調した画像に変換する手法が提案されている(非特許文献1、2、3)。しかし、これらの手法は、その画像中のみの情報をもとに強調を行うため、極度に露出の不適正な領域においては強調に限界がある。また1枚の画像中に露出の適正な領域と不適正な領域が混在するような画像においては、露出の不適正な領域を強調するあまり、露出の適正な領域まで過度に強調してしまい、視覚的に不自然な画像に変換されるという欠点がある。
【0004】
また別の技術として、特許文献1は、「逆光」、「白つぶれ」、「黒つぶれ」を補正する手法として、輝度ヒストグラムを利用する信号処理方法を開示する。さらに特許文献2および特許文献3は、RAWモードを利用した画像処理プログラム及び方法を開示する。しかし、それぞれ、カラーヒストグラムより求められた頻度画像及びLabカラーヒストグラムの情報を利用しておらず、人の目で見たような自然な画像に処理する技術を開示していない。したがって、これらの技術では前記した白飛びや潰れの問題を解決して視覚的に自然な画像に補正する画像処理技術までには至っていない。

【非特許文献1】「コンピュータ画像処理入門」(田村秀行著)総研出版、1985
【非特許文献2】「C言語による画像処理」(安居院猛、中嶋正之、木見尻秀子著) 昭晃堂、1990
【非特許文献3】酒井幸市:Visual Basic & Visual C++によるデジタル画像処理入門、 CQ出版社、2002
【特許文献1】特開2003-179809号公報
【特許文献2】特開2004-220438号公報
【特許文献3】特開2004—222076号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
本発明の目的は、ディジタルカメラの画像情報から取得したデータを基にカラー画像を処理する方法において、逆光等による白とびやつぶれの補正に関し、従来技術では視覚的に自然な画像に処理できないという問題点を解決することが可能なカラー画像の露出補正方法を提供することにある。
【課題を解決するための手段】
【0006】
上記目的を達成するための本発明のカラー画像の露出補正方法は、同一シーンについて露出を変えて複数枚のカラー画像系列を取得し、これら複数枚のカラー画像系列における2枚のカラー画像について画像の各部分ごとに色の出現頻度の比を求め、前記各部分において、前記色の出現頻度の比にしたがって頻度の小さい方が頻度の大きい方よりも多くブレンドされるようなブレンド比を求め、画像全体についてブレンド比マップを作成し、このブレンド比マップにしたがって前記2枚のカラー画像を前記各部分ごとにブレンドして1枚の露出補正画像を作成するものである。
【0007】
そして本発明は、上記において、2枚のカラー画像について画像の各部分ごとに色の出現頻度の比を求め、前記各部分において、前記色の出現頻度の比にしたがって頻度の小さい方が頻度の大きい方よりも多くブレンドされるようなブレンド比を求め、画像全体についてブレンド比マップを作成し、このブレンド比マップにしたがって前記2枚のカラー画像を前記各部分ごとにブレンドして1枚の露出補正画像を作成するものである。
【0008】
本発明は、上記において、元のカラー画像のカラー値をその色の出現頻度に置き換えた第1の頻度画像と、この第1の頻度画像の頻度値に人間が差を感じない色の重みを大きくした係数を乗じて得られる第2の頻度画像とのいずれかを用いて、ブレンド比マップを作成するものである。
【0009】
本発明は、上記において、原画像の暗い部分を明るくするように露出を補正した露出オーバー画像と、原画像を前記露出オーバー画像の色数に近くなるように補正した露出アンダー画像との2枚の補正画像を作成して用いるものである。
【0010】
本発明の手法の一つは、上記において、原画像を前景部分と背景部分とに分け、前記原画像の前景部分を明るくするように露出を補正して露出オーバー画像を作成するとともに、原画像または原画像を露出補正した画像を露出アンダー画像とするものである。
【0011】
本発明は、上記において、露出アンダー画像と露出オーバー画像の中間の明るさの画像を1枚または複数枚作成し、これら中間の明るさの画像および露出アンダー画像からなる複数枚の画像のそれぞれにおける色の出現頻度と、露出オーバー画像における色の出現頻度との比を用いて複数枚のブレンド比マップを作成し、これら複数枚のブレンド比マップから新たなブレンド比マップを作成するものである。
【0012】
本発明の手法の他の一つは、上記において、画像のRAWデータを用いて、明るさの異なる2枚の画像を現像し、この2枚の画像を用いるものである。
本発明は、上記において、明るさの異なる明るい画像と暗い画像のほかに、中間の明るさの画像を1枚または複数枚現像し、前記中間の明るさの画像および前記暗い画像からなる複数枚の画像のそれぞれにおける色の出現頻度と、前記明るい画像における色の出現頻度との比を用いて複数枚のブレンド比マップを作成し、これら複数枚のブレンド比マップから新たなブレンド比マップを作成するものである。
【0013】
本発明によれば、ブレンド比マップをエッジの画像におけるそのエッジの強度に応じたガウシアンフィルタによりスムージングすることにより、エッジ付近の平滑度を小さくし、エッジ以外の平滑度を大きくした新たなブレンド比マップを作成することが好適である。
【0014】
また本発明によれば、RGB表色系にて作成された2枚のカラー画像のそれぞれから、Ycc表色系などの人間の知覚にもとづく表色系に変換した画像を作成し、これらの変換された2つの画像をブレンド比マップにしたがってブレンドして1枚の画像を作成し、この画像を元のRGB表色系に変換してカラー画像を作成することが好適である。
【0015】
また本発明によれば、原画像からそのサイズを小さくした縮小画像を作成し、作成した縮小画像から縮小サイズのブレンド比マップを作成し、この縮小サイズのブレンド比マップより元のサイズに拡大したブレンド比マップを作成して用いることが好適である。
【発明の効果】
【0016】
本発明は、前記特徴を持つことにより、逆光や明暗の領域が混在するシーンを撮影して「白とび」や「つぶれ」といった露出の悪い領域のある画像を取得した場合であっても、特別な装置を必要とすることなく、ユーザーのニーズに応じて容易に、露出の不適正な領域のない視覚的に自然な画像を得ることが出来る。
【0017】
すなわち、露出の不適正な領域は、一般に各画素の色の差が小さく、露出の適正な領域に比べて画像中で同じ色の頻度が大きいという特徴を持っている。このことを利用して、本発明は、色の出現頻度が低い画像を、その画像位置における露出が適正な画像であると判断するものである。
【0018】
また本発明は、上記の特徴を、人間の知覚に基づいて設計した新たなカラーヒストグラムを用いて抽出し、視覚的に自然な補正を行うものである。このとき、露出の適正さを評価するために、本発明者らが先に開発した、カラーヒストグラム空間上に頻度情報と位置情報を持たせたカラー画像処理技術(特開2001-155173号公報)より求められる頻度の違いを視覚的に表す頻度画像技術を用いる。そのため本発明は、露出の不適正な領域を空間的に検出するような領域分割処理を必要とせずに、局所領域の露出を補正できるといった特徴を持っている。
【0019】
また本発明は、原画像または撮影した1枚の画像データから、明るさの異なる複数枚の画像を生成するので、特別の撮影手段を必要としない所に大きな特徴がある。また本発明は、領域分割を行う必要が無く、画素単位でブレンド比を決定でき、取り扱うことができるところに、大きな特徴がある。
【0020】
さらにまた本発明は、ブレンド比を決める際に、人間の知覚特性に応じたカラーヒストグラムを作成し、そのヒストグラムから得られるカラーの頻度情報を基に決定するので、あらかじめ小領域の分割を行う必要が無く、画素単位にブレンド比を決定することができる。
【0021】
すなわち本発明によれば、露出の不適正な領域を視覚的に自然に補正することができ、その補正結果によって、「白とび」や「つぶれ」のあるシーンでも、明部および暗部両方ともほぼ適正な露出で見える画像が得られる。これにより、視覚的に自然に影の領域の露出を補正することができ、得られた画像には露出の不適正な領域が無いようにすることができる。
【0022】
また本発明によると、露出の不適正な領域を検出するための領域分割処理を必要とせずに、局所領域の露出を補正することができる。また、特別な装置を必要とせずに、あらゆる種類のディジタルカメラに適用可能であり、汎用性にも優れるという効果がある。
【発明を実施するための最良の形態】
【0023】
[露出と色の出現頻度]
写真撮影の際に、同じシーンを露出を変えて複数撮影したときに、注目している物体の見やすさと色の出現頻度との関係について説明する。図1は、図2の同一シーンを、露出を変えて9通りに撮影した画像群であり、それぞれの画像に1~9の番号を付している。図2に示すように、机の上にはプラスチック製の鉢が置いてあり、机の下にはプラスチック製の鳥の人形が置いてある。鉢に対して適正な露出を合わせると、鳥の人形が暗くつぶれてしまう。逆に鳥の人形に露出を合わせると、鉢は白くとんでしまう。
【0024】
図1のNo.5の画像とNo.9の画像とにおける鳥の人形部分の拡大図を図3(a)(b)に示す。No.5の画像では鳥の人形部分はつぶれ気味であり、No.9の画像では鳥の人形は露出が適正である。また、No.5の画像とNo.9の画像とにおける鳥の人形部分だけの領域をRGBカラーヒストグラム空間にプロットすると、図4(a)(b)のようになる。これより、RGB空間では適正な露出の部分は、広がってプロットされ、つぶれ気味の部分は、レベルの低い領域に集中してプロットされることが分かる。
【0025】
いま、このRGB空間の各位置に色の出現頻度を持たせると、露出の適正な部分の色は、分散しているためその出現頻度は低くなる。反対に、つぶれたり、とび気味の部分は、同じような色が集まっているため、色の出現頻度は高くなる。
【0026】
したがって、露出を変えて撮影した複数枚の画像において、同一領域についての色の出現頻度を比べると、色の出現頻度の低い画像ほど適正な露出であると言える。
【0027】
[頻度画像]
色の頻度情報を有するカラーヒストグラム空間において、その頻度を調べることで、露出を変えて撮影した画像の適正な露出を判断することができる。以下、これを具体的に説明する。
【0028】
まず、カラー画像を、その座標を表す2つの独立変数x、yの関数f(x,y)によって表現すると、図5に示すように、カラー画像f(x,y)のRGB値(たとえば「赤」)を、カラーヒストグラム空間より得られる頻度値(たとえば「2」)に置き換えることにより、頻度画像g(x,y)が得られる。この頻度画像g(x,y)は、カラーヒストグラムより求められた頻度の違いを視覚的に表すものである。
【0029】
頻度画像を有限の諧調で表示する場合は、頻度の閾値をdとして、dより小さい頻度の画像を、その頻度値に応じて濃淡表示する。この頻度値に応じて濃淡表示された画像を頻度特徴検出画像と呼ぶ。その詳細は、特開2001-155173号公報に記載されている通りである。
【0030】
図6(a)(b)に、閾値dを同じにしたときの図3(a)(b)についての頻度特徴検出画像を示す。ここでは、頻度が低い部分ほど暗く表示され、反対に頻度が高い部分ほど明るく表示されている。
【0031】
頻度画像を用いて求めた図1における鉢と鳥の人形部分の領域の平均頻度の変化を図7(a)(b)に示す。これらより、平均頻度の最も小さくなる露出が、最も見やすくなっていることが分かる。
【0032】
[頻度画像の作成]
実シーンでは、画素のRGB値は種々のノイズの影響を受けることが多いため、複数枚の同じシーンを連続して取得したカラー画像を用いて頻度画像を作成する。具体的な手順を以下に示す。
(1)時刻tに取得したカラー画像をf(t)とし、f(t)をカラーヒストグラム空間上にプロットしたものをh(t)とする。h(t)はf(t)の各画素の座標値とその座標における頻度とを持っている。
(2)取得画像f(t)の濃度値をh(t)より得られる頻度値に置き換えると、f(t)は、濃度値の出現頻度を表す濃淡画像となる。この画像を頻度画像g(t)と呼ぶ。
(3){f(t);t=1,2,…,n}から得られるn枚の頻度画像g(t)の合計Sを次式により求める。
【0033】
【数1】
JP0004359662B2_000002t.gif
さらに、頻度画像の平均をgmとすると、gmは次のように表される。
【0034】
【数2】
JP0004359662B2_000003t.gif
gmを平均頻度画像と呼び、gmの各画素の値は実数値を取るものとする。
(4)画像として表現する頻度の閾値をdとし、これを検出平均頻度と呼ぶ。iビットの画像メモリを用いて、検出平均頻度dまでを表した頻度画像は次式のようになる。
【0035】
【数3】
JP0004359662B2_000004t.gif
検出した濃淡画像gを頻度特徴検出画像と呼ぶ。なお、式(3)でdから1を減じているのは、最低の頻度値を0にするためである。gにおいて暗い領域が低頻度領域を表し、明るい領域が高頻度領域を表す。以後、頻度画像g(t)、頻度特徴検出画像gをまとめて頻度画像と呼ぶ。
【0036】
以上の作成手順を図8に示す。図8ではカラー画像f(t)を基に頻度画像を作成する方法を示している。カラー画像f(t)をカラーヒストグラムにプロットし、同時に濃度値の出現頻度をカウントする。このときのカラーヒストグラムをhとする。もとの画像f(t)の濃度値をhより得られる頻度値を加算枚数で割った値に置き換えた画像が頻度画像gである。頻度画像gでは、頻度をグレースケールで表している。
【0037】
以下においては、実際の使用時のことを考慮し、平均頻度画像は作成せず、1枚の取得画像から頻度画像を作成する方法を用いる。
【0038】
[均等色空間の性質を持つRGB表色系のカラーヒストグラム]
RGBカラーヒストグラム空間では、同じ色の距離であっても、その位置により人間には異なった距離に感じることが知られている。たとえば、緑付近の色の差と青付近の色の差がRGB空間で同じであっても人間には青付近の方がより差を感じる。
【0039】
このため、RGBカラーヒストグラム空間より得られる頻度情報をそのまま用いると、人間の感覚と合わない不自然な結果となる場合がある。そこで、人間が同じ色差に見える色どうしの距離を均等にしたL表色系の色空間を参考にして、RGB空間にこの均等色空間の性質を持たせる。
【0040】
そのための手法は、頻度情報を持つRGB空間の各位置の頻度に、その位置により異なる重みを乗じたものを、その位置の頻度とするものである。この重みは、人間が差を感じない色はカラーヒストグラム空間上で高い頻度となるように設定したものであり、L表色系と同じ性質を、このカラーヒストグラムに持たせることができる。
【0041】
なお、L表色系は人間の知覚に合った色空間と言われており、色再現といった応用では微妙な色の差はあまり問題にならないため性能が良く、あらゆる分野で用いられている。
【0042】
表色系は
:明度
:値が大きいほど赤、小さいほど緑
:値が大きいほど黄、小さいほど青
の3つの値で色を表す。
【0043】
以下、詳しく説明する。L表色系の変換式は以下の式(4)のようになる。
【0044】
【数4】
JP0004359662B2_000005t.gif
なお、式(4)のX、Y、Zは以下の式(5)で表され、Xn、Yn、Znは白色の三刺激値であり環境によって設定する。本発明では6500Kの色温度照明における白基準値としてXn=94.045、Yn=100.0、Zn=108.892を用いることができる。
【0045】
【数5】
JP0004359662B2_000006t.gif
しかし、このL表色系をカラーヒストグラムとすると、以下のような問題点が生じる。(i)負の値が存在し、プログラム上、空間の設定が難しい。(ii)画像の全ての画素を毎回RGBからLに変換する必要があり、処理時間がかかる。(iii)RGBからLへの変換が1対1対応ではないため非可逆である。
【0046】
そこで、RGB表色系を用いたカラーヒストグラムにL表色系の性質を持たせる。具体的な手順を次に説明する。
(1)Lカラーヒストグラムを用意し、全点の頻度を0に設定する。
(2)RGB表色系で表される全ての色をLカラーヒストグラムにプロットする。
(3)RGB表色系カラーヒストグラムを用意し、全点の頻度を0に設定する。
(4)RGB表色系カラーヒストグラムの1点1点をLに変換し、Lカラーヒストグラムの頻度値を調べ、その頻度値をRGBカラーヒストグラムに格納する。その結果、頻度値が均等でないRGBカラーヒストグラムができる。このとき、頻度の高い色は人間が差を感じない色であり、頻度の低い色は人間が差を感じる色であると言える。
(5)作成されたRGB表色系カラーヒストグラムの頻度分布に対応した重みテーブルを作る。RGB表色系カラーヒストグラム内で最低の頻度は1、最高の頻度は77であることから、重みは線形に0.1~7.7とすることができる。RGBカラーヒストグラムを作成する際、プロットされた点の重みを頻度にかけて、頻度を足していく。この手順を図9に示す。
【0047】
このように重みテーブルを一度作成すれば、人間が差を感じない色はカラーヒストグラム上で高い頻度となる、L表色系と同じ性質を持つRGBカラーヒストグラムを作成することができる。本発明ではこのL表色系の性質を持ったカラーヒストグラムにより作成される頻度画像を用いて露出を評価し、補正する。
【0048】
この重み付けを行う重みテーブルは、一度作成しておけば毎回作り直す必要はない。カラー画像をこのカラーヒストグラム空間にプロットした後の頻度に、重みテーブルより得られる係数を乗じて、その値を基に頻度画像を作成し、この画像を露出の評価に使用する。この頻度画像の作成過程は、元のカラー画像のカラー値をその色の出現頻度に置き換えて作成した頻度画像の各頻度値に、後から、元のカラー画像の色についての前記重みテーブルの係数を乗じて、新たに頻度画像を作成することと同じである。
【0049】
[露出の補正方法-1]
(基本的な考え方)
ディジタルカメラなどから得られる24ビットフルカラー画像を用いた場合の露出補正の基本的な考え方は次の二つである。
【0050】
(A)露出補正の必要な原画像は、露出オーバー気味な部分と露出アンダー気味な部分との、大きく2つの領域に分けて考えることができる。このとき、露出アンダー気味な部分は、逆光での人物の撮影のようにシーンの前部にくることが多いので、これを「前景」とし、それ以外の露出オーバー気味な部分を「背景」とする。
【0051】
(B)原画像より、前景の露出が最適な画像f(x,y)を作成するとともに、背景の露出が最適な別の画像f(x,y)を作成する。そして、それぞれの画像より得られる頻度画像についての画素ごとの頻度の比によって、2枚の画像をブレンドする。
【0052】
以下、上記の二つの考え方に基づいた具体的な露出補正方法を説明する。
【0053】
(前景と背景の決定)
原画像をL表色系のLの値で2値化する。この時の閾値は判別分析法により自動で決定し、閾値より明度の低い部分を前景とし、明度の高い部分を背景とする。
【0054】
(f(x,y)とf(x,y)の作成)
前景部分の最適露出画像f(x,y)は、上記のフルカラー画像の暗部の明るさを線形濃度変換により強調して作成したものとする。このとき、濃度変換直線の傾きを少しずつ変化させて、前景部分の明度のエントロピーが最大になるものを求める。
【0055】
明度のレベルIの画素の出現確立をP(I)とすると、エントロピーEは次の式により求められる。
【0056】
【数6】
JP0004359662B2_000007t.gif
背景部分の最適露出画像f(x,y)は、原画像を利用することができる。ただし、他の画像でもよい。なお、後述の理由により、後述のようにして、背景部分の最適露出画像f(x,y)の色数を、前景部分の最適露出画像f(x,y)の色数に合わせておく。
【0057】
(頻度画像の作成)
求めた最適露出画像f(x,y)、f(x,y)を、上述の均等色空間の性質を持つRGBカラーヒストグラム空間にそれぞれプロットして、それぞれの頻度画像g(x,y)、g(x,y)を作成する。
【0058】
(ブレンド比の作成)
頻度の低い領域ほど露出が適正なので、2枚の頻度画像で同じ位置の頻度を比べ、頻度の低い方が多くブレンドされるように、下記の式によって画素ごとにブレンド比r(x,y)、r(x,y)を決める。
【0059】
【数7】
JP0004359662B2_000008t.gif

【0060】
(ブレンド比マップの作成)
次に、上記で求めた最適露出画像f(x,y)、f(x,y)のブレンド比r(x,y)、r(x,y)を濃淡画像で表したブレンド比マップの画像を作成する。この画像は、前景部分の露出が適正である画像f(x,y)のブレンド割合が高いほど明るい画像となる。
【0061】
(ブレンド比マップのスムージング)
ノイズの影響を避けるためブレンド比マップをスムージングする。単にスムージングすると画像中におけるエッジの付近がぼけてしまうため、画像中の場所によって動的に重みが変わるスムージングフィルタを利用する。このフィルタは図10に示すようなガウシアンフィルタであるが、図10(a)に示すようにエッジ付近では分散値を小さく、図10(b)に示すようにエッジから離れるに従って分散値σを大きく設定する。
【0062】
ガウシアンフィルタとは、重みが式(8)より得られる正規分布に従って割り当てられるフィルタであり、与えるσによってぼけ具合が変わる(FEST Project編集委員会:新実践画像処理、Linx、 2002)。図10はσによる重みをグラフ化したものであり、図10(a)はσが5である場合を示し、同図(b)はσが21である場合を示す。
【0063】
【数8】
JP0004359662B2_000009t.gif
式(8)のwは重みでありx,yは座標、σはフィルタの広がりを示す値である。図10(a)(b)から分かるように、σが小さいほど画像はぼけず、大きいほどぼける。この特性を利用して、エッジ付近ではσを小さく、エッジから離れるに従ってσが大きくなるようにスムージングを行う。この処理をたとえば2枚の画像の平均画像より検出したエッジを参考に行う。平均画像とは、単にブレンドする2枚の画像の同じ位置の画素のRGBの値を加算し、2で除して得られるRGBの値によって画像を構成したものである。また、エッジは公知の画像処理手法であるPrewittオペレータを用いて検出する。Prewittオペレータとは、画像中のエッジを検出するための手法である。
【0064】
(ブレンド)
前景最適露出画像f(x,y)と背景最適露出画像f(x,y)の各画素のRGB値を用いてブレンド比r(x,y)、r(x,y)によって実際にブレンドを行う際、画素のRGBの値は、下記の式(9)を用いていったん公知のY/C分離信号に変換し、Y成分とC成分を別々にブレンドした後、式(9)をRGBに関して解いた式(10)を用いてRGBの値に逆変換し、画像とする。
【0065】
【数9】
JP0004359662B2_000010t.gif

【0066】
【数10】
JP0004359662B2_000011t.gif
Y成分は輝度であり、C成分は色である。このようにするのは、RGBのバランスが崩れないようにするためである。この処理を全ての画素に対して行い、露出補正画像を作成する。
【0067】
(具体例)
デジタルカメラで撮影したJPEG画像から24ビットのフルカラー画像を得て、これを原画像として実験を行った。
【0068】
図11は原画像である。まず、この原画像から、二値化により前景と背景を決めた。ここでは、二人の人物を前景とするとともに、それ以外は背景とした。次に前景のエントロピーを算出して、前景部分の最適露出画像f(x,y)を求めた。これを図12に示す。背景部分の最適露出画像f(x,y)は、原画像をf(x,y)と同じ色数まで減色して作成した。
【0069】
次に最適露出画像f(x,y)、f(x,y)の頻度画像g(x,y)、g(x,y)を作成した。図13は図11を減色した後の頻度画像g(x,y)を示し、図14は図12の頻度画像g(x,y)を示す。露出の適正な部分は頻度が低く、頻度画像において濃度が高く、図13、14において暗い部分となった。反対に露出が適正でない部分は頻度が高く、頻度画像において濃度が低く、図13、14において明るい部分となった。
【0070】
ブレンド比r(x,y)、r(x,y)を決め、図15のブレンド比マップの画像を作成した。この画像は、上述のように、前景部分の露出が適正である画像f(x,y)のブレンド割合が高いほど明るい画像となった。
【0071】
そして上述のブレンド比マップのスムージングを行い、ブレンドを行った。その結果を図16に示す。この図16の画像は、前景、背景とも適正露出であり、背景が適正露出であるが前景が露出アンダーである図11の画像や、反対に前景は適正露出であるが背景が露出オーバーである図12の画像に比べ、違和感なく露出の補正を行うことができた。
【0072】
(まとめ)
以上のようにして、24ビットフルカラー画像を用いて、局所的に露出の不適正な部分を補正することができる。これは、同一シーンにおいて露出を変えて撮影した画像において、露出の適正な部分は、色の出現頻度が低くなるという知見に基づくものである。本手法は、カラー画像の明度情報を基にブレンドや補正を行う手法と異なり、人間の知覚に基づいたカラー空間より得られる情報を用いるため、視覚的に違和感のない自然な補正画像を作成することができる。
【0073】
(中間画像の利用)
次に、本発明にもとづき中間画像を利用する場合について説明する。この処理では、たとえば原画像を減色した背景画像と原画像を明るくした前景画像の2枚を用いるとともに、その2枚以外に、背景画像と前景画像の中間の明るさの、単数または複数の中間画像を作成する。
【0074】
このとき、原画像を明るくした前景画像を作成すると、オリジナルのJPEG画像はRGB8ビットであるため、前景画像は原画像に比べて色数が減る。
フルカラーの画像ではRGBがそれぞれ256階調あり、色数は256×256×256存在する。
【0075】
前景画像は、原画像をある明るさまで拡大して作成する。この明るさをRGBそれぞれ64とすると、0~64の部分を0~255に割り当てて明るい画像を作成する。ただし、元々の暗い部分は64×64×64の色数しかなかったため、0~255に割り当てても色数は少ないままである。ここで、中間画像の作成の際には、色数を前景画像に合わせる。
【0076】
このように色数を合わせる理由は、同じ階調のカラー画像より頻度画像を作成しないと頻度のバランスがくずれるからである。たとえば、同じシーンをRGB各256階調で撮る場合と、RGB各64階調で撮る場合とでは、頻度画像にしたときに、同じ場所で露出の程度が同じであっても、前者は頻度が低めになり、後者は頻度が高めになる。
【0077】
ブレンド比マップは、たとえば中間画像を3枚作成する場合は、
背景画像より作成した頻度画像:中間画像1より作成した頻度画像
背景画像より作成した頻度画像:中間画像2より作成した頻度画像
背景画像より作成した頻度画像:中間画像3より作成した頻度画像
背景画像より作成した頻度画像:前景画像より作成した頻度画像
のように、背景画像と、単数または複数の中間画像および前景画像とで、それぞれブレンド比マップを作成し、これらを用いて新たなブレンド比マップを得る。具体的には、各ブレンド比マップの平均や、各ブレンド比マップにそれぞれ係数を乗じて加え合わせたものなどを、新たなブレンド比マップとすることができる。各ブレンド比マップにそれぞれ係数を乗じる場合には、たとえば、背景画像と前景画像によるブレンド比マップに乗じる係数の値を、中間画像を用いた場合のブレンド比マップに乗じる係数の値よりも大きな値とすることができる。
【0078】
このようにすることで、より良い結果を得ることができる。
上述の露出補正方法に、さらに中間画像をも利用した処理のアルゴリズムの例を、図17に示す。
【0079】
(高速化アルゴリズム)
図18に示すように、高速化アルゴリズムのために、原画像より縮小した縮小画像を作成する。縮小は、最近傍法、線形補間法、三次補間法などの一般的なアルゴリズムを使用する。この縮小画像を原画像として、上述と同様の処理により、ブレンド比マップを作成する。
【0080】
次に上記のようにして得られたブレンド比マップを、最近傍法、線形補間法、三次補間法により原画像のサイズに拡大する。拡大したブレンド比マップを用いて、原画像と、原画像を明るくして作成した前景画像とにより、露出補正画像を作成する。
【0081】
このように縮小画像を原画像としてブレンド比マップを作成することで、処理の高速化を図ることができる。
【0082】
[露出の補正方法-2]
ここでは、画像のRAWデータを用いて処理を行う。
(RAWデータと現像)
RAWデータとは、ディジタルカメラにおいて撮影時に撮像素子が生成したRAWモードのデータであり、画像ではない。一般にディジタルカメラで出力される画像は、ガンマ値、明るさ、色、ホワイトバランスなどのパラメータを設定して、RAWデータから生成されたものである。この処理を一般に「現像」という。現在までに公開されている現像ソフトでは上に挙げたパラメータを任意に設定できない。そのため、例えば図19のように影の領域や空の領域に色の変化が見られない。そこで、ここではRAWデータを直接処理することのできる「dcraw」というフリーライセンスの現像ソフト(“RAW Digital Photo Decoding in Linux”、http://www.cybercom.net/dcoffin/dcraw/)を用いる。dcrawを用いると、図20、21に示すように明るさの異なる2枚の画像を現像できる。
【0083】
それに続く頻度画像の作成、ブレンド比の作成、ブレンド比マップの作成、ブレンド比マップのスムージングは、上述の「露出の補正方法-1」の場合と同様である。以下、ブレンド比マップのスムージングの具体例について説明する。ここでは、上述のように、スムージングを、2枚の画像の平均画像より検出したエッジを参考に行う。上述のように、平均画像は、単にブレンドする2枚の画像の同じ位置の画素のRGBの値を加算し、2で除して得られるRGBの値によって画像を構成したものである。図20、21の画像の平均画像を図22に示す。図22に対してPrewittオペレータを適用してエッジを検出した結果を図23に示す。図23はグレースケール画像であり、黒いところほど勾配の急なエッジである。よって、このエッジの急峻さに対応したガウシアンフィルタのσを決めればよい。
【0084】
以上の処理により図20、21に示す画像をブレンドした結果とそのときのブレンド比マップとを、それぞれ図24、25に示す。また、スムージングしない場合のブレンド比マップを図26に、σの変化の様子を色により確認できる分布図を図27に示す。ブレンド結果ではノイズや不自然な境界はなく、σの分布図ではエッジ付近でσが小さくなっていることが確認できる。
【0085】
(複数枚の明るさの異なる画像を用いたブレンド比マップの作成)
2枚の画像をブレンドすることによって露出の補正を行った図24のブレンド結果は初見では不自然だと感じることはないが、原画像と共に見ると人物の左肩にある影が不自然である。これはブレンドする2枚の画像の明るさに差があるため、オーバー気味な画像において飛んでいる領域の面積が増え、頻度が極度に大きくなりブレンドに無理が生じたためである。そこで、最適なブレンド比マップを作成する方法について説明する。
【0086】
これには、上述の「中間画像の利用」の場合と同様に、実際にブレンドする2枚の画像だけではなく、その中間の明るさの画像を用いる。具体的には、アンダー気味な画像と中間の明るさの画像とをブレンドしたときに得られるブレンド比マップ数枚と、図25に示したブレンド比マップとの平均画像を作成し、これをブレンド比マップとする。この処理を図28に示す。このとき、前記したブレンド比マップのスムージングは、作成される最適なブレンド比マップに対してのみ適用する。これは処理時間を短縮するためである。なお、ブレンドに用いるRGB値は、最も明るさの離れた2枚の画像のデータを用いる。図28の場合は図中の左側および右下の明るさ1の画像と明るさ2.5の画像である。図20、21に示す画像において、3枚のブレンド比マップからブレンド比マップを作成してブレンドした結果と、そのときのブレンド比マップを、それぞれ図29、30に示す。人物の左肩の影もなくなりより良い結果が得られている。
【0087】
なお、上述のように複数のブレンド比マップの平均画像を作成することに代えて、たとえばこれら複数の各ブレンド比マップにそれぞれ適宜の係数を乗じたものを加算して新たなブレンド比マップとするなどの、適宜の手法を用いることもできる。
【0088】
(高速化アルゴリズム)
このRAWデータを用いて処理を行う場合も、同様に、原画像より縮小した縮小画像を作成する。この縮小画像を原画像としてブレンド比マップを作成し、得られたブレンド比マップを原画像のサイズに拡大し、この拡大したブレンド比マップを用いて露出補正画像を作成することができ、これによって処理の高速化を図ることができる。
【0089】
(処理のフローチャート)
以上の処理をフローチャートで表したものを図31に示す。この処理は、以下の各工程を含む。
【0090】
(a)画像情報を取得する工程、
(b)露出アンダー(I)及び露出オーバー(I)の各1枚の画像と、中間の露出のN枚(但し、Nは0又は1以上の自然数)の画像とをRGB表色系で作成する工程、
(c)重みテーブルを用いて、L表色系の性質を持つRGB表色系のカラーヒストグラムを作成する工程、
(d)IとIの頻度画像を作成する工程、
(e)IとIの平均画像Iを作成し、Iの急峻さを検出して位置可変のガウシアンフィルタのパラメータを決定する工程、
(f)各画素毎にブレンド比を決定し、ガウシアンフィルタを用いて補正されたブレンド比マップを作成する工程、
(g)各画像におけるRGB値のY/C分離を行う工程、
(h)Y成分及びC成分毎にブレンド比を用いて合成画像を作成する工程、
(i)Y成分及びC成分からRGB表色系へ変換する工程、
(j)画像表示(最終画像)を得る工程、
【0091】
(具体例)
本発明の有効性を検証するために、露出の不適正な領域と適正な領域が混在する画像を取得し、実験を行った。実験に用いた画像は、ディジタルカメラCanon EOS D30のRAWモードにて撮影し、サイズを半分にして現像した1088×724[pixel]のRGB各8bitのフルカラー画像である。処理はAthlon XP 2500+のCPU、512MB RAMのメモリを搭載したパーソナルコンピュータを用いて行った。処理時間は、画像によって差はあるが、約2.5(min)であった。
【0092】
実験の処理対象となる各2枚の原画像を、図32と33、および図36と37にそれぞれ示す。市販現像ソフトにより現像した結果を図34および38に示し、一方、本発明の方法によって露出の不適正な領域を補正した画像を図35および39に示す。
【0093】
実験の結果、図32に示す露出アンダー気味の画像では室内が逆光によりつぶれており、図33に示す露出オーバー気味の画像では窓の外の風景が飛んでおり、それぞれ確認できなくなっている。図34の画像は市販ソフトによる現像結果であるが、室内はつぶれており、空の領域にも色の変化が見られない。
【0094】
また別な実験結果である図36に示す画像では、左側半分に影があり暗くなっている。また図37では影の領域は見やすい明るさになっているが、それ以外の領域が飛んでいる。これらを市販ソフトによって補正した図38に示す現像結果は、全体的に暗く見にくい画像となっている。
【0095】
これらに対し、本発明のカラー画像の露出補正方法を適用した実験結果を示す図35の画像は、室内外とも様子が良く確認できる画像となっている。また本発明にもとづく別の実験結果を示す図39の画像は、露出の不適正な領域はなく、視覚的に自然に影の領域の露出が補正できていることが分かる。
【0096】
以上詳述したように、本発明のカラー画像の露出補正方法によると、逆光や影などの明るい領域と暗い領域が混在するシーンのある画像から、実際に人の肉眼で自然に見えるように、露出の不適正な領域のない視覚的に自然な画像を得ることができる。
【0097】
なお、上述の「露出の補正方法-1」において説明した手法と、「露出の補正方法-2」において説明した手法とは、それぞれの補正方法において可能な範囲で相互に利用することができる。
【図面の簡単な説明】
【0098】
【図1】本発明の原理を説明するための、段階的に露出の異なる画像群の例を示す図である。
【図2】図1の画像群のためのシーンの拡大図である。
【図3】図1における要部の拡大図である。
【図4】図3の領域をRGBカラーヒストグラム空間にプロットした図である。
【図5】本発明にもとづく頻度画像を説明する図である。
【図6】図3の頻度画像を示す図である。
【図7】図1の要部の平均頻度の変化を示す図である。
【図8】本発明にもとづく頻度画像の作成手順を説明する図である。
【図9】本発明にもとづく、RGB表色系を用いたカラーヒストグラムにL表色系の性質を持たせるための具体的な手順を説明する図である。
【図10】本発明にもとづく、ガウシアンフィルタのσ値による重みの形を示す図である。
【図11】本発明の露出補正方法を実施するための原画像の一例を示す図である。
【図12】図11における前景部分の最適露出画像を示す図である。
【図13】図11の画像についての頻度画像を示す図である。
【図14】図12の画像についての頻度画像を示す図である。
【図15】前景部分と背景部分とのブレンド比マップの画像である。
【図16】ブレンド結果を示す図である。
【図17】中間画像を利用する例を説明する図である。
【図18】縮小画像を作成することによる高速化アルゴリズムを説明する図である。
【図19】本発明の露出補正方法を実施するための、ある実写画像についての、市販品の現像ソフトでの現像結果を示す図である。
【図20】同実写画像についての現像ソフトによる明るさ1の画像を示す図である。
【図21】同実写画像についての現像ソフトによる明るさ2.5の画像を示す図である。
【図22】図20の画像と図21の画像の平均画像を示す図である。
【図23】Prewittオペレータによる図22のエッジ検出画像を示す図である。
【図24】図20と図21の画像のブレンドとスムージングとの結果を表す画像を示す図である。
【図25】図24の画像を得るために用いたブレンド比マップを示す図である。
【図26】図20と図21の画像の、スムージングしないブレンド比マップを示す図である。
【図27】ガウシアンフィルタにおけるσの変化を画像上に表した、σの分布図である。
【図28】本発明にもとづく最適なブレンド比マップの作成方法を説明する概念図である。
【図29】本発明にもとづき明るさの異なる複数枚の画像を用いたブレンド結果を表す画像を示す図である。
【図30】図29の画像を得るために用いたブレンド比マップを示す図である。
【図31】本発明の露出補正方法の一例のフローチャートである。
【図32】他の実写画像であって、露出アンダー気味の原画像を示す図である。
【図33】図32と同じ対象についての実写画像であって、露出オーバー気味の原画像を示す図である。
【図34】図32および図33の対象についての市販ソフトによる現像結果を表す画像を示す図である。
【図35】図32および図33の対象についての本発明の方法による現像結果を表す画像を示す図である。
【図36】さらに他の実写画像であって、露出アンダー気味の原画像を示す図である。
【図37】図36と同じ対象についての実写画像であって、露出オーバー気味の原画像を示す図である。
【図38】図36および図37の対象についての市販ソフトによる現像結果を表す画像を示す図である。
【図39】図36および図37の対象についての本発明の方法による現像結果を表す画像を示す図である。
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14
【図16】
15
【図17】
16
【図18】
17
【図19】
18
【図20】
19
【図21】
20
【図22】
21
【図23】
22
【図24】
23
【図25】
24
【図26】
25
【図27】
26
【図28】
27
【図29】
28
【図30】
29
【図31】
30
【図32】
31
【図33】
32
【図34】
33
【図35】
34
【図36】
35
【図37】
36
【図38】
37
【図39】
38