TOP > 国内特許検索 > モノクロ写真のカラー化 > 明細書

明細書 :モノクロ写真のカラー化

発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2016-146529 (P2016-146529A)
公開日 平成28年8月12日(2016.8.12)
発明の名称または考案の名称 モノクロ写真のカラー化
国際特許分類 H04N   1/46        (2006.01)
H04N   1/60        (2006.01)
G06T   1/00        (2006.01)
B41J   2/525       (2006.01)
FI H04N 1/46 Z
H04N 1/40 D
G06T 1/00 510
B41J 2/525
請求項の数または発明の数 9
出願形態 OL
全頁数 30
出願番号 特願2015-022116 (P2015-022116)
出願日 平成27年2月6日(2015.2.6)
新規性喪失の例外の表示 特許法第30条第2項適用申請有り 平成26年度スーパーサイエンスハイスクール生徒研究発表会、パシフィコ横浜 展示ホールB、平成26年8月6日 (刊行物等) 高校生科学技術チャレンジ(JSEC 2014)、日本科学未来館(東京お台場)、平成26年12月13日
発明者または考案者 【氏名】上田 樹
出願人 【識別番号】505195384
【氏名又は名称】国立大学法人奈良女子大学
個別代理人の代理人 【識別番号】100101362、【弁理士】、【氏名又は名称】後藤 幸久
審査請求 未請求
テーマコード 2C262
5B057
5C077
5C079
Fターム 2C262BA01
2C262BA16
2C262CA08
5B057CA02
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CE14
5B057CE17
5B057DC22
5C077LL19
5C077MP08
5C077PP31
5C077PP32
5C077PP33
5C077PP37
5C077PQ12
5C079HA11
5C079HA13
5C079HB01
5C079HB03
5C079HB05
5C079HB06
5C079LA02
5C079LB11
5C079MA11
5C079NA03
要約 【課題】モノクロデータをカラーデータに変換する方法、より具体的には、モノクロ写真から得られる情報に基づいてモノクロ写真をカラー化する方法を提供する。
【解決手段】本発明に係るモノクロ写真のカラー化方法は、新規なカラーモデル(URSモデル)を用いて、基準色Pおよび屈折点Sを決定することにより、その写真の中の色分布を近似する工程を備える。
【選択図】図4
特許請求の範囲 【請求項1】
モノクロデータをカラーデータに変換する方法であって、前記方法は、
URSモデルを構築する工程、および
前記URSモデルを用いて、モノクロデータを、輝度、彩度、および色相からなるカラーデータに変換する工程を包含し、
ここで、前記URSモデルは、
xyz座標で表される三次元空間中に、黒(Bk)、白(Wh)、赤(R)、青(B)、G(緑)、シアン(C)、マゼンタ(M)、黄色(Y)に関する座標を有するカラーモデルであって、
前記黒(Bk)、白(Wh)、赤(R)、青(B)、G(緑)、シアン(C)、マゼンタ(M)、黄色(Y)に関する座標の各々は、これらを各頂点とする平行六面体を構成し、かつこれらの各頂点は、黒(Bk)と白(Wh)のちょうど中間である灰色(中心の灰色)を中心とする半径0.5の球の表面上に存在し、
黒(Bk)および白(Wh)の座標はz軸上に存在し、黒(Bk)の座標は(0,0,0)であり、白(Wh)の座標は(0,0,1)であり、中心の灰色の座標は(0,0,0.5)であり、
前記平行六面体において、黒(Bk)に隣接する頂点は、赤(R)、青(B)、G(緑)であり、輝度はG(緑)>赤(R)>青(B)となるように配置されており、彩度はG(緑)>赤(R)>青(B)となるように配置されており、
前記平行六面体において、白(Wh)に隣接する頂点は、シアン(C)、マゼンタ(M)、黄色(Y)であり、輝度は黄色(Y)>シアン(C)>マゼンタ(M)となるように配置されており、彩度はマゼンタ(M)>シアン(C)>黄色(Y)となるように配置されており、
輝度は前記URSモデル内の高さzで表され、
彩度はz軸からの距離
【数1】
JP2016146529A_000062t.gif
で表され、
色相はx軸から計ったz軸のまわりの回転角θで表し、ただし、Rの色相はθ=0とし、この向きをx軸とし、またGの方がBよりθが小さいとし、
前記URSモデル内のBkからR、G、Bに引いたベクトル
【数2】
JP2016146529A_000063t.gif
を基準ベクトルとし、色Pの成分を{r,g,b}とするとき、色PのURSモデル内の座標は基準ベクトルを用いて次式
【数3】
JP2016146529A_000064t.gif
で定義される、
、方法。
【請求項2】
請求項1に記載のモノクロデータをカラーデータに変換する方法であって、
さらに、URSモデルを用いて、モノクロデータにおける輝度の基準色Pおよび屈折点Sを決定することにより、そのモノクロデータの中の色分布を近似する工程を備える、
方法。
【請求項3】
請求項1または2に記載のモノクロデータをカラーデータに変換する方法であって、
モノクロデータから得られる輝度の変化量のヒストグラムのピークおよび輝度のヒストグラムの中央値から、基準色Pおよび屈折点Sを誘導する工程を備える、
方法。
【請求項4】
請求項1~3のいずれか一項に記載のモノクロデータをカラーデータに変換する方法であって、
カラーデータから作成される写真内の色が2色以上使われている場合に、輝度および各画素での輝度の変化量で二次元座標にプロットし、クラスタリングを行うことにより基準の色を求める工程を備える、
方法。
【請求項5】
コンピュータによって処理される、請求項1~4のいずれか一項に記載のモノクロデータをカラーデータに変換する方法。
【請求項6】
モノクロデータがモノクロ写真の輝度データである、請求項1~5のいずれか1項に記載のモノクロデータをカラーデータに変換する方法。
【請求項7】
請求項1~6のいずれか1項に記載のモノクロデータをカラーデータに変換する方法によって得られたカラーデータを用いて、カラー写真を作成する方法。
【請求項8】
モノクロ写真をスキャンしてモノクロデータを収集する工程、およびカラー写真を印刷する工程をさらに備える、請求項7に記載の方法。
【請求項9】
請求項1~8のいずれか1項に記載のモノクロデータをカラーデータに変換するための装置。
発明の詳細な説明 【技術分野】
【0001】
本発明は、モノクロデータをカラーデータに変換する方法、より具体的には、モノクロ写真から得られる情報に基づいてモノクロ写真をカラー化する方法に関する。
【背景技術】
【0002】
映像技術の進歩は著しく、20世紀後半から、写真、映画、ビデオ等の多くの画像作品はカラーが当たり前になってきた。新たに生み出される画像や映像の多くはほとんどがカラーであり、現代人にとってはカラーの画像がごく当然のものとして受け入れられている。
【0003】
しかし、写真の歴史はカラー以前のモノクロの時代からあり、1800年代から、日本においては江戸時代から歴史的な価値のある写真が多く残されている。また、一般家庭においても、1970年代あたりまではモノクロ写真が多く使用されていた。これらのモノクロ写真は、当時の記録としては非常に貴重なものであるが、色がついていないと言う点で、現実の姿をありのままに記録したものとは言えない側面もある。
【0004】
そのため、貴重なモノクロ写真や映像に着色して、当時の画像をより鮮明に蘇らせるという試みが行われてきた。例えば、モノクロで撮影された映画のフィルムに着色してカラー化させたり、モノクロ写真をカラー化するというサービスが実際に行われている(例えば、http://sun-media.info/change_1.html、http://www.kitamura-print.com/restoration_photo/
を参照のこと)。
【0005】
このように、モノクロ写真のカラー化は試みられてはいるものの、カラー化の実際の手順は、カラー印刷のもとになっているカラーチャートをモノクロにして、そこから色を再現するなど、カラーとモノクロの比較検討から経験的に行うものであった。このような方法は、(1)基本的に手作業によるので操作が煩雑でかつ高価であること、(2)色の決定は経験則によるものなので現実を反映していない可能性もあること、(3)着色が不自然なものとなる場合がある等の問題があった。このうち、(1)については、近年、高性能のパーソナルコンピュータとAdobe Photoshopなどの画像処理ソフトウェアの使用により、作業の効率化が行われ改善されてきた。しかし、(2)および(3)に関しては、依然として問題点が存在し、その解決は不可能な問題と捉えられていた。なぜなら、そもそも、モノクロ写真に含まれる情報は輝度情報のみであり、一方のカラー画像は各画素にR、G、Bの3つの情報を含むので、モノクロ写真のみの情報から、カラーに関わる情報を引き出すことは不可能であると考えられていたからである。
【0006】
例えば、特許文献1は、モノクロ写真のカラー化装置を開示しており、この装置は、画像情報を読み取る記憶装置、グレースケールをカラースケールに置き換える画像処理装置、および色を調節するための発色処理装置を備えているものの、具体的にどのようなプロセスでモノクロデータをカラーデータに置き換えるかは何ら記載されておらず、モノクロデータのみからカラーデータを引き出すものではない。
【先行技術文献】
【0007】

【特許文献1】実用新案登録第3156805号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明の目的は、モノクロデータのみから、そのモノクロデータをカラーデータに変換するための方法を提供することである。
【0009】
より詳細には、本発明の目的は、モノクロ写真から得られる情報のみから、そのモノクロ写真をカラー化するための方法を提供することである。
【0010】
本発明の別の目的は、モノクロデータのみから、そのモノクロデータをカラーデータに変換するための装置を提供することである。
【0011】
本発明の別の目的は、モノクロデータのみから、そのモノクロデータをカラーデータに変換し、そのデータをもとにカラー写真やカラー動画を作成するための方法を提供することである。
【課題を解決するための手段】
【0012】
本発明者は上記課題を解決するために鋭意検討した結果、新規なカラーモデル(URSモデル)を用いて、基準色Pおよび屈折点Sを決定することにより、その写真の中の色分布を近似することができることを見出し、本発明を完成した。
【0013】
すなわち本発明は、モノクロデータをカラーデータに変換する方法を提供し、前記方法は、URSモデルを構築する工程、および前記URSモデルを用いて、モノクロデータを、輝度、彩度、および色相からなるカラーデータに変換する工程を包含し、ここで、前記URSモデルは、xyz座標で表される三次元空間中に、黒(Bk)、白(Wh)、赤(R)、青(B)、G(緑)、シアン(C)、マゼンタ(M)、黄色(Y)に関する座標を有するカラーモデルであって、前記黒(Bk)、白(Wh)、赤(R)、青(B)、G(緑)、シアン(C)、マゼンタ(M)、黄色(Y)に関する座標の各々は、これらを各頂点とする平行六面体を構成し、かつこれらの各頂点は、黒(Bk)と白(Wh)のちょうど中間である灰色(中心の灰色)を中心とする半径0.5の球の表面上に存在し、黒(Bk)および白(Wh)の座標はz軸上に存在し、黒(Bk)の座標は(0,0,0)であり、白(Wh)の座標は(0,0,1)であり、中心の灰色の座標は(0,0,0.5)であり、前記平行六面体において、黒(Bk)に隣接する頂点は、赤(R)、青(B)、G(緑)であり、輝度はG(緑)>赤(R)>青(B)となるように配置されており、彩度はG(緑)>赤(R)>青(B)となるように配置されており、前記平行六面体において、白(Wh)に隣接する頂点は、シアン(C)、マゼンタ(M)、黄色(Y)であり、輝度は黄色(Y)>シアン(C)>マゼンタ(M)となるように配置されており、彩度はマゼンタ(M)>シアン(C)>黄色(Y)となるように配置されており、輝度は前記URSモデル内の高さzで表され、彩度はz軸からの距離
【数1】
JP2016146529A_000003t.gif
で表され、
色相はx軸から計ったz軸のまわりの回転角θで表し、ただし、Rの色相はθ=0とし、この向きをx軸とし、またGの方がBよりθが小さいとし、
前記URSモデル内のBkからR、G、Bに引いたベクトル
【数2】
JP2016146529A_000004t.gif
を基準ベクトルとし、色Pの成分を{r,g,b}とするとき、色PのURSモデル内の座標は基準ベクトルを用いて次式
【数3】
JP2016146529A_000005t.gif
で定義される。
【0014】
好ましくは、前記モノクロデータをカラーデータに変換する方法は、URSモデルを用いて、モノクロデータにおける輝度の基準色Pおよび屈折点Sを決定することにより、そのモノクロデータの中の色分布を近似する工程をさらに備える。
【0015】
好ましくは、前記モノクロデータをカラーデータに変換する方法は、モノクロデータから得られる輝度の変化量のヒストグラムのピークおよび輝度のヒストグラムの中央値から、基準色Pおよび屈折点Sを誘導する工程を備える。
【0016】
好ましくは、前記モノクロデータをカラーデータに変換する方法は、写真内の色が2色以上使われている場合、輝度および各画素での輝度の変化量で二次元座標にプロットし、クラスタリングを行うことにより基準の色を求める工程を備える。
【0017】
好ましくは、前記モノクロデータをカラーデータに変換する方法は、コンピュータによって処理される。
【0018】
好ましくは、前記モノクロデータはモノクロ写真の輝度データである。
【0019】
さらに本発明は、上記モノクロデータをカラーデータに変換する方法によって得られたカラーデータを用いて、カラー写真を作成する方法に関する。
【0020】
好ましくは、前記カラー写真を作成する方法は、モノクロ写真をスキャンしてモノクロデータを収集する工程、およびカラー写真を印刷する工程をさらに備える。
【0021】
さらに本発明は、上記モノクロデータをカラーデータに変換するための装置に関する。
【発明の効果】
【0022】
本発明のモノクロデータをカラーデータに変換する方法は、モノクロ写真などのモノクロデータのみから、例えば、木の写真だから緑にするといった、もとのモノクロ写真以外の情報を用いないで、機械的なカラー化を実現する。また、機械化が容易であるため、カラーデータを再現性よく、高速かつ大量に生成することが可能である。
【図面の簡単な説明】
【0023】
【図1】図1は、HLSモデルの概略図である。
【図2】図2は、CIExyzカラースペースの概略図である。
【図3】図3は、URSモデルの概略図である。
【図4】図4は、URSモデルにおける輝度と彩度の関係を示す概略図である。
【図5】図5は、URSモデルにおける彩度と色素の関係をz軸方向から見た図である。
【図6】図6は、URSモデルにおけるRGBの色相関係を示す図である。
【図7】図7は、反射に関係するベクトルを示す図である。
【図8】図8は、微小面による幾何学減衰を示す図である。(a)反射光遮断、(b)入射光遮断。
【図9】図9は、球体のCG画像の各画素の色をURSモデルにプロットしたときのURSモデル内の色の分布を示す図である。(左)球体のCG画像、(右)URSモデル内の色の分布。
【図10】図10は、物体の色を(R,G,B)=(1,0,0)、反射率を2.0、物体の表面の粗さを0.1、光源の強さを15、光源を白色光とし、光源方向を0°回転させた場合のURSモデル内の色の分布を示す図である。(左)球体のCG画像、(右)URSモデル内の色の分布。
【図11】図11は、物体の色を(R,G,B)=(1,0,0)、反射率を2.0、物体の表面の粗さを0.1、光源の強さを15、光源を白色光とし、光源方向を30°回転させた場合のURSモデル内の色の分布を示す図である。(左)球体のCG画像、(右)URSモデル内の色の分布。
【図12】図12は、物体の色を(R,G,B)=(1,0,0)、反射率を2.0、物体の表面の粗さを0.1、光源の強さを15、光源を白色光とし、光源方向を60°回転させた場合のURSモデル内の色の分布を示す図である。(左)球体のCG画像、(右)URSモデル内の色の分布。
【図13】図13は、物体の色を(R,G,B)=(1,0,0)、反射率を2.0、物体の表面の粗さを0.1、光源の強さを15、光源を白色光とし、光源方向を90°回転させた場合のURSモデル内の色の分布を示す図である。(左)球体のCG画像、(右)URSモデル内の色の分布。
【図14】図14は、物体の色を(R,G,B)=(1,0,0)、反射率を2.0、光源の強さを15、光源を白色光、光源方向と視線方向のなす角を0°として、物体の表面の粗さが0.0であるときのURSモデル内の色の分布を示す図である。(左)球体のCG画像、(右)URSモデル内の色の分布。
【図15】図15は、物体の色を(R,G,B)=(1,0,0)、反射率を2.0、光源の強さを15、光源を白色光、光源方向と視線方向のなす角を0°として、物体の表面の粗さが0.1であるときのURSモデル内の色の分布を示す図である。(左)球体のCG画像、(右)URSモデル内の色の分布。
【図16】図16は、物体の色を(R,G,B)=(1,0,0)、反射率を2.0、光源の強さを15、光源を白色光、光源方向と視線方向のなす角を0°として、物体の表面の粗さが0.5であるときのURSモデル内の色の分布を示す図である。(左)球体のCG画像、(右)URSモデル内の色の分布。
【図17】図17は、反射率を2.0、物体の表面の粗さを0.1、光源の強さを15、光源を白色光、光源方向と視線方向のなす角を0°として、物体の色を(R,G,B)=(1.0,0,0)としたときのURSモデル内の色の分布を示す図である。(左)球体のCG画像、(右)URSモデル内の色の分布。
【図18】図18は、反射率を2.0、物体の表面の粗さを0.1、光源の強さを15、光源を白色光、光源方向と視線方向のなす角を0°として、物体の色を(R,G,B)=(0.7,0,0)としたときのURSモデル内の色の分布を示す図である。(左)球体のCG画像、(右)URSモデル内の色の分布。
【図19】図19は、反射率を2.0、物体の表面の粗さを0.1、光源の強さを15、光源を白色光、光源方向と視線方向のなす角を0°として、物体の色を(R,G,B)=(0.4,0,0)としたときのURSモデル内の色の分布を示す図である。(左)球体のCG画像、(右)URSモデル内の色の分布。
【図20】図20は、反射率を2.0、物体の表面の粗さを0.1、光源の強さを15、光源を白色光、光源方向と視線方向のなす角を0°として、物体の色を(R,G,B)=(0.1,0,0)としたときのURSモデル内の色の分布を示す図である。(左)球体のCG画像、(右)URSモデル内の色の分布。
【図21】図21は、反射率を2.0、物体の表面の粗さを0.1、光源を白色光、光源方向と視線方向のなす角を0°、物体の色を(R,G,B)=(1.0,0,0)として、光源の強さを10としたときのURSモデル内の色の分布を示す図である。(左)球体のCG画像、(右)URSモデル内の色の分布。
【図22】図22は、反射率を2.0、物体の表面の粗さを0.1、光源を白色光、光源方向と視線方向のなす角を0°、物体の色を(R,G,B)=(1.0,0,0)として、光源の強さを20としたときのURSモデル内の色の分布を示す図である。(左)球体のCG画像、(右)URSモデル内の色の分布。
【図23】図23は、反射率を2.0、物体の表面の粗さを0.1、光源を白色光、光源方向と視線方向のなす角を0°、物体の色を(R,G,B)=(1.0,0,0)として、光源の強さを30としたときのURSモデル内の色の分布を示す図である。(左)球体のCG画像、(右)URSモデル内の色の分布。
【図24】図24は、反射率を2.0、物体の表面の粗さを0.1、光源を白色光、光源方向と視線方向のなす角を0°、光源の強さを15として、物体の色を(R,G,B)=(0,1.0,0)としたときのURSモデル内の色の分布を示す図である。(左)球体のCG画像、(右)URSモデル内の色の分布。
【図25】図25は、反射率を2.0、物体の表面の粗さを0.1、光源を白色光、光源方向と視線方向のなす角を0°、光源の強さを15として、物体の色を(R,G,B)=(0,1.0,1.0)としたときのURSモデル内の色の分布を示す図である。(左)球体のCG画像、(右)URSモデル内の色の分布。
【図26】図26は、反射率を2.0、物体の表面の粗さを0.1、光源を白色光、光源方向と視線方向のなす角を0°、光源の強さを15として、物体の色を(R,G,B)=(1.0,0.5,0)としたときのURSモデル内の色の分布を示す図である。(左)球体のCG画像、(右)URSモデル内の色の分布。
【図27】図27は、反射率を2.0、物体の表面の粗さを0.1、光源を白色光、光源方向と視線方向のなす角を0°、光源の強さを15として、物体の色を(R,G,B)=(0,0.5,1.0)としたときのURSモデル内の色の分布を示す図である。(左)球体のCG画像、(右)URSモデル内の色の分布。
【図28】図28は、光源が十分に強く、光源方向と視線方向が一致しているときの、URSモデルにプロットされた点の並びから導き出される、色の分布の近似である折れ線を示す。この場合、基本色とWhで構成される面上の点Pと、C、M、YのいずれかとWhを結んだ辺上の点Qを用いて、外側の線をBk-P-Q-Whと表すことができる。
【図29】図29は、光が十分でなかったために拡散反射成分がPの輝度に達することができずに鏡面反射に切り替わったと想定される場合の、URSモデルにプロットされた点の並びから導き出される、色の分布の近似である折れ線を示す。この場合、光源色が白色のとき、Bk-P上の点Sから線は真上に延び、モデルの上部の面との交点Tからは同様にQ、Whとつながる。このとき、T-Qを結ぶ線は、最大値に達したR、G、BのどれかとWhを結ぶ直線(図ではB-Wh)と平行になる。
【図30】図30は、基準色Pおよび屈折点Qを用いて、白黒画像からカラー画像を作成する際に使用した、元のカラー画像である。
【図31】図31は、基準色Pおよび屈折点Qを用いて、白黒画像からカラー画像を作成したときの、近似式からの復元画像である。
【図32】図32は、図31の復元画像を作成する際に使用した、URSモデル上の点分布とそれを近似する折れ線である。
【図33】図33は、基準色Pおよび屈折点Qを用いて、白黒画像からカラー画像を作成する際に使用した、元のカラー画像である。
【図34】図34は、基準色Pおよび屈折点Qを用いて、白黒画像からカラー画像を作成したときの、近似式からの復元画像である。
【図35】図35は、図34の復元画像を作成する際に使用した、URSモデル上の点分布とそれを近似する折れ線である。
【図36】図36は、図34の復元画像の作成する際に使用した、URSモデル上の点分布と、各輝度の変化量を示す図である。(a)元のカラー画像、(b)色分布とそれを近似する折れ線、および(c)各輝度における輝度の変化量。
【図37】図37は、緑色の球体のCG画像における輝度の変化量を示す図である。
【図38】図38は、暖色系の球体のCG画像における輝度の変化量を示す図である。
【図39】図39は、青色の球体のCG画像における輝度の変化量を示す図である。
【図40】図40は、輝度分布が一致する理想的なモデルを示す図である。(上左)元の画像、(上右)球体のCG画像、(下)輝度の分布。
【図41】図41は、輪郭以外の変化量の割合を示す図である。(上)元の写真、(下)輪郭部分の線図。
【図42】図42は、クラスタリング手順を示す図である。
【図43】図43は、クラスタ1(青色の部分)およびクラスタ2(緑色の部分)を得るクラスタリング手順を行うためのモノクロサンプル写真を示す図である。
【図44】図44は、クラスタ1(青色の部分)およびクラスタ2(緑色の部分)を得るクラスタリング手順において、図43のモノクロサンプル写真からのクラスタリング手順後のクラスタリング結果を示す図である。
【図45】図45は、図44のクラスタリング結果に基づいて作製したカラー写真である。
【図46】図46は、図43~図45のカラー化の元画像である。
【発明を実施するための形態】
【0024】
(定義)
本発明は、本明細書に記載される特定の方法、プロトコール、および材料などに限定されず、バリエーションを含んでもよいことが理解されるべきである。本明細書において使用される技術用語は、特定の実施形態を説明する目的のためであって、本発明の範囲を限定することは意図されず、この範囲は特許請求の範囲によってのみ規定される。

【0025】
他に規定されない限り、本明細書において、本発明を説明するために使用される科学用語および技術用語は、当業者によって共通して理解される意味を有するべきである。一般的に、本明細書に記載される数学的、物理学的、光学的、レンダリング、コンピュータ科学、または画像処理に関する用語は、周知であり、当該分野において共通して使用されるものである。

【0026】
本発明を詳細に記載する前に、本発明の文脈において使用されるいくつかの用語が定義される。これらの用語に加えて、他の用語は必要に応じて明細書中の他の箇所で定義される。本明細書中で他に明確に定義されない限り、本明細書中で使用される当該分野の用語は、それらの当該分野で認識されている意味を有する。

【0027】
本明細書において、「モノクロ」とは、写真等の画像が、複数の色からではなく、単色からなることを意味する。「モノクロ」は、典型的には、白黒のことであり、この場合には単色とは黒色を意味するが、いわゆるセピア色および青色も単色に含まれる。

【0028】
本明細書において、「モノクロデータ」とは、単色からなる画像等のデジタルデータをいい、その単色の輝度を含むデータである。

【0029】
本明細書において、「カラーデータ」とは、カラー写真における色のデジタルデータをいう。「カラーデータ」において、色の三要素は、輝度(明度)、彩度、色相(色合)で表現できる。色相とは、一般的に色と表現される性質であり、光の三原色またはその混合により表現できる。光の三原色とは、赤(R)、青(B)、および緑(G)をいい、赤(R)と青(B)を混合するとマゼンタ(M)となり、青(B)と緑(G)を混合するとシアン(C)となり、緑(G)と赤(R)を混合すると黄色(Y)となる。赤(R)、青(B)、および緑(G)の三色を混合すると白色(Wh)になり、赤(R)、青(B)、および緑(G)のいずれも存在しない場合は黒色(Bk)となる。

【0030】
本明細書において、「コンピュータによって処理される」とは、本発明における画像データ処理において、当該分野において一般に使用されるソフトウェアおよぶハードウェアを含む、コンピュータ技術を使って、本発明における画像データ処理が行われることを意味する。このようなコンピュータ技術には、Microsoft ExcelやAdobe Photoshop等のソフトウェアを使用すること、ならびに、コンピュータに連結された入出力装置を使用することが含まれる。ソフトウェアの使用には、既存のアプリケーションプログラムにデータを入力し演算結果を得る方法や、Microsoft Visual Basicなどの開発ツールを使って作成したプログラムを使って演算結果を得る方法のいずれもが含まれる。入出力装置には、デジタルデータを入力するためのスキャナーや、画像データを印刷するためのカラープリンターなどが含まれるがこれらに限定されない。

【0031】
本明細書において、コンピュータグラフィック処理は、当業者に公知の方法を参照して行うことができる。例えば、レンダラ関係としては、memoRANDOM(http://www35.atpages.jp/shocker/memoRANDOM/CG/contents/LTE1.html)(参考文献1)、BRDFレンダリングの方程式(http://www.slideshare.net/todoroki/brdf-28983746)(参考文献2)を参照のこと。また、画像処理関係としては、イメージングソリューション(http://imagingsolution.net/)(参考文献3)を参照されたい。

【0032】
本明細書において、URSモデルを構築するとは、本発明において使用されるカラーモデルであるURSモデルを使用可能な状態に準備することをいう。より具体的には、URSモデルを構築するとは、コンピュータプログラム上でURSモデルを作動させるために、適切なパラメーターを入力し、URSモデルを演算可能な初期状態に設定することをいう。

【0033】
(詳細な説明)
(URSモデルの構築)
(従来のカラーモデル)
カラーモデルとは、色を規則に沿って2次元あるいは3次元空間上に配列する形式であり、色を座標で指示できるようにしたものである。カラーモデルを用いれば、色同士の違いという人間的な感覚を、それぞれの色を座標として扱うことで数値的に違いを調べることができる。

【0034】
白黒写真から元の色を推測するためには、色ごとの輝度や彩度、色相の違いを明確にする必要がある。しかし、従来のカラーモデルの多くは、HLSモデル(図1)のように3原色で輝度がそれぞれ等しいとしてしまっており、色ごとの違いを考慮できていない。また、人の目での色の感度を正確に計測したCIEカラースペース(図2)等では、形状が複雑で、三原色RGBへの分解に不規則なデータを必要としてしまうため、カラー化を考えづらくなってしまう。

【0035】
(新しいカラーモデル(URSモデル))
従来モデルの問題点を解消し、白黒写真から得られる輝度情報から元の色を復元するために、輝度と色との関係を明確に示せる新しいカラーモデルUeda Rectangular Solid model(URSモデル)を定義する。完成したものが図3である。

【0036】
(URSモデルの定義)
一般に、色を数値で表すにはいくつかの方法がある。三原色R、G、Bの各強度をr,g,bとするとき、これを{r,g,b}と記すことにする。ただし、
【数4】
JP2016146529A_000006t.gif
である。
また、色は「輝度」、「彩度」、「色相」によって表される。この3つの自由度を表すためにURSモデルは3次元直交座標の位置(x,y,z)で色を表すことにする。
{r,g,b}、輝度、彩度、色相とURSモデルの座標(x,y,z)を次のようにして決定する。

【0037】
[定義]
[輝度]輝度はモデル内の高さzで表し、Bkの座標を(0,0,0)、Whを(0,0,1)とする。三原色の強度が{r,g,b}の色の輝度は、一般にカラー画像を白黒化する際に用いられる式をそのまま使い、次式で定義する。
【数5】
JP2016146529A_000007t.gif
(1)
[彩度]彩度はz軸からの距離で表す。
【数6】
JP2016146529A_000008t.gif
(2)
[色相]色相はx軸から計ったz軸のまわりの回転角θで表す。ただし、Rの色相はθ=0とし、この向きをx軸とする。また、Gの方がBよりθが小さいとする。
[色と基準ベクトル]モデル内のBkからR、G、Bに引いたベクトル
【数7】
JP2016146529A_000009t.gif
を基準ベクトルという。
色Pの成分を{r,g,b}とするとき、色PのURSモデル内の座標は基準ベクトルを用いて次式で定義する。
【数8】
JP2016146529A_000010t.gif

【0038】
式(1)の輝度は、明るい色ほどURSモデルでは高い位置に座標をとり、また完全な赤、緑、青では、緑が最も高く青が最も低い位置に座標をとることを意味する。
式(2)の彩度は、Bk-Wh軸(z軸)上の色、つまり全てのグレーで0となり、色鮮やかなほどz軸から離れた位置に座標をとることを意味する。

【0039】
(URSモデルの条件)
以上の定義だけでは、3原色R、G、Bおよびそれらの補色C、M、YのURSモデル内の座標を計算することはできない。そこで、さらに条件を追加する。
[条件1]
URSモデルの形状は、色を簡単に3原色に分解できるようにするため、全ての色が
【数9】
JP2016146529A_000011t.gif
の形で表せなければならない。つまり
【数10】
JP2016146529A_000012t.gif
の3つのベクトルは一次独立であり、URSモデルはこれらのベクトルで各辺が表せる平行六面体でなければならない。以上は基準ベクトルの定義で保証されている。
[条件2]
基本の6色で補色関係にある色RとC,GとM、BとYの相対的な位置関係は等しく、それぞれの距離はBk-Whの距離1に等しいとする。まとめると、
【数11】
JP2016146529A_000013t.gif
とおくとき、
【数12】
JP2016146529A_000014t.gif
(4)
[条件3]
URSモデルでの基本の6色は平行六面体の各頂点に位置し、それぞれ輝度0.5のグレー(0,0,0.5)から等距離にあり、距離は0.5とする。したがって、この平行六面体は、(0,0,0.5)を中心とする半径0.5の球面に内接する。

【0040】
(URSモデルの確定)
以上の条件から、URSモデル内の基本の6色、つまり、平行六面体の各頂点の座標を決定していこう。
3原色R、G、Bの座標を
【数13】
JP2016146529A_000015t.gif
とおく。赤Rは{1,0,0}であるから、輝度の定義式(1)に代入すると、
【数14】
JP2016146529A_000016t.gif
が求まる。同様にして、以下のようになる。
【数15】
JP2016146529A_000017t.gif

【0041】
3原色R、G、Bの彩度をそれぞれ
【数16】
JP2016146529A_000018t.gif
とすると、条件3および式(5)より、
【数17】
JP2016146529A_000019t.gif
Gの色相を
【数18】
JP2016146529A_000020t.gif
Bの色相を
【数19】
JP2016146529A_000021t.gif
とおくと、
【数20】
JP2016146529A_000022t.gif
より、
【数21】
JP2016146529A_000023t.gif
これを解くと、
【数22】
JP2016146529A_000024t.gif
よって、
【数23】
JP2016146529A_000025t.gif
となり、他の頂点も式(4)から次のように求まる。
【数24】
JP2016146529A_000026t.gif
以上で新しいカラーモデルURSモデルが決定できた。

【0042】
(URS座標への変換)
RGB色空間からURSモデルへの座標の変換は次式で定義する。
【数25】
JP2016146529A_000027t.gif
逆にRGB色空間への座標の変換は、
【数26】
JP2016146529A_000028t.gif
で計算できる。

【0043】
RGB各成分と輝度との関係が、URSモデルで用いた式(1)と異なる写真フィルムの場合でも、式(1)の定数を写真フィルムのものに変更し、それ以外の定数を計算し直せば、URSモデルはそのまま使うことができる。

【0044】
(光の挙動の計算)
写真内の色の特徴を考える際、CGのレンダラの計算が参考になると考えた。そこで、実験用レンダラの製作と、写真内で色の決定に必要な条件の特定を行った。計算式には、物理ベースのレンダリング方程式に用いられる光の反射モデルの1つであるBRDFの式を用いた。

【0045】
BRDFでは、反射する光の挙動を、物体が色に応じて吸収する拡散反射の成分と、視線の向きへそのまま反射する鏡面反射の成分に分けて考える。木の表面などざらざらした表面では拡散反射の性質が強くみられ、また鉄球や鏡では鏡面反射の性質が強くみられる。

【0046】
図7の各ベクトルはすべて長さ1の単位ベクトルであり、
【数27】
JP2016146529A_000029t.gif
は物体の反射点Oから見た光源方向、
【数28】
JP2016146529A_000030t.gif
は視線方向、
【数29】
JP2016146529A_000031t.gif
は物体表面の法線方向である。また、∠LOVを二等分する方向を
【数30】
JP2016146529A_000032t.gif
とし、
【数31】
JP2016146529A_000033t.gif
に垂直な微小面を点線で表している。さらに、微小面への入射角∠LONをθ、∠HONをγ、光の波長をλとする(図7)。

【0047】
まず拡散反射は、面が受け取った光を全ての向きに均等に再放射すると考えるので、面が光をどれだけ受け取れるかによって拡散反射の強度は変化する。その面が受け取る光の割合は、入射角θが大きいほど小さくなり、ベクトル
【数32】
JP2016146529A_000034t.gif
とベクトル
【数33】
JP2016146529A_000035t.gif
の内積で与えられる。

【0048】
次に鏡面反射は鏡で起こるような反射であり、
【数34】
JP2016146529A_000036t.gif

【数35】
JP2016146529A_000037t.gif
の二等分方向
【数36】
JP2016146529A_000038t.gif
に垂直な微小面で起こると考えたときの反射である。物体表面が滑らかでなく、粗さを持っている場合は、そのような微小面が物体表面に存在すると考えるのである。その微小面の存在する割合を微小面勾配分布関数D(γ)、その向きの微小面で反射した光が物体の凹凸によって遮られる割合を幾何学的減衰率G、その向きにおいての鏡面反射係数F(λ,θ)とおく。このとき、鏡面反射の輝度
【数37】
JP2016146529A_000039t.gif

【数38】
JP2016146529A_000040t.gif
で与えられる。なお、式(9)から式(13)は参考文献2で与えられているものを引用する。

【0049】
各項は次のようにして求められる。
まず鏡面反射係数F(λ,θ)には、フレネルの方程式を用いる。入射角をθ、調べる光の波長をλ、その波長での屈折率をとおくと、
【数39】
JP2016146529A_000041t.gif
(10)
で求められる。つまり、
【数40】
JP2016146529A_000042t.gif

【数41】
JP2016146529A_000043t.gif
と物体の質感から求めることができる。

【0050】
微小面勾配分布関数D(γ)は、いくつか手法があるが、今回はベックマン分布関数を用いた。ベクトル
【数42】
JP2016146529A_000044t.gif

【数43】
JP2016146529A_000045t.gif
のなす角をγ、表面の粗さを
【数44】
JP2016146529A_000046t.gif
と置くと、
【数45】
JP2016146529A_000047t.gif
で求められる。つまり、
【数46】
JP2016146529A_000048t.gif

【数47】
JP2016146529A_000049t.gif
と物体の質感から求めることができる。

【0051】
最後に、幾何学減衰関数Gである。微小面に当たる光は、周囲の微小面によって入射光または反射光の一部が遮られる。まず、入射光が遮られる場合の減衰率Gbは、
【数48】
JP2016146529A_000050t.gif
(12)
である。また、反射光が遮られる場合の減衰率Gcは、
【数49】
JP2016146529A_000051t.gif
(13)
である。減衰は入射時または反射時のどちらかのみで起こり(図8)、減衰率Gは0(完全にさえぎられる)~1(減衰なし)であるから、
【数50】
JP2016146529A_000052t.gif
である。つまり、
【数51】
JP2016146529A_000053t.gif

【数52】
JP2016146529A_000054t.gif

【数53】
JP2016146529A_000055t.gif

【数54】
JP2016146529A_000056t.gif
から求めることができる。
よって、写真内で色を左右する要素は、ベクトル
【数55】
JP2016146529A_000057t.gif

【数56】
JP2016146529A_000058t.gif

【数57】
JP2016146529A_000059t.gif

【数58】
JP2016146529A_000060t.gif
と物体の質感である。

【0052】
(理想的なモデル)
カラー化を考える際、最初から実際の写真のような複雑で多様な条件を考慮するのは困難である。そこで、実際の写真と似た特徴を持ち、かつ単純な画像があれば理想的であると考えた。光の挙動の計算式を基に、このような理想的なモデルを考案した。

【0053】
写真に写る色は、法線ベクトル、視線方向、光源方向、光源を視線方向に反射可能な微小面の法線ベクトル、物体の質感の5つの要素によって変化する。このうち、まず光源は太陽光線と考えると平行光線であるため、写真に写るどの部分でも光源方向は変化しない。次に、視点が物体から十分に離れているとすると、平行投影に近づくため、写真内で視線方向は変化しないとみなすことができる。さらに、鏡面反射を起こす微小面の法線ベクトルは、視線方向ベクトルと光源方向ベクトルのハーフベクトルであるため、変化しないと言える。よって物体の質感が同じである範囲においては、写真の色の変化は法線ベクトルの変化によってのみ起こるといえる。

【0054】
[仮説]
実際の写真において、ある程度広い範囲が撮られており、全ての方向に均等に法線ベクトルが分布している場合、写真内に映りうる色は、全ての向きに等しい割合で法線ベクトルをもつと考え、「球体」によってすべてを調べることができると考える。

【0055】
この球体を「理想的なモデル」とし、条件を変えて映した球体のCG画像を用いて、色を調べることにする。

【0056】
(理想的なモデルを用いた数値実験)
球体のCG画像(図9左)の各画素の色をURSモデルにプロットすると、図9右のようになる。
図9右のモデルでは、CG画像に表した元の色である「少し明るい赤色」の点と白Wh、黒Bkを結んだ線上に、CG画像内のほとんどの色がのっており、元の色の点の少し内側でそれぞれ折れ曲がり、さらにその囲まれた領域に散らばりを持っている。

【0057】
そこで、CGで画像の条件を変えた際、URSモデルにプロットされた点の並びがどのように変化するかを調べる。

【0058】
物体の色を(R,G,B)=(1,0,0)、反射率を2.0、表面の粗さを0.1、光源の強さを15、光源を白色光、光源方向と視線方向のなす角を0°、以上を基本条件とし、これらの一部を系統的に変化させたとき、URSモデル内の点の分布がどう変化するかを調べる。

【0059】
[数値実験1:光源方向の影響]
光源方向をx軸の周りで視線方向から0°、30°、60°、90°と変化させた際、色の並びがどう変化するかを調べた(図10~13)。このように、光源方向を変化させた場合、視線方向となす角が広がるほど散らばりが強くなった。また、外側の主な線は変化しないことがわかった。

【0060】
[数値実験2:表面の粗さmの影響]
光源方向を0°とし、物体の表面の粗さを変化させた際の色の分布を調べた(図14~16)。このように、粗さを変化させてもBkおよびWhから折れ曲がり点までは変化はないが、荒さを上げるほど折れ曲がり点がBk、Whに近づくことがわかった。

【0061】
[数値実験3:物体の色の濃さの影響]
物体の色を(R,G,B)=(1.0,0,0)、(0.7,0,0)、(0.4,0,0)、(0.1,0,0)のように、色の濃さを変化させたときの色の分布を調べた(図17~20)。このように、物体の色の濃さを変化させてもBkおよびWhから折れ曲がり点までは変化はないが、色が濃くなるほど折れ曲がり点がBk、Whに近づくことがわかった。

【0062】
[数値実験4:光源の強さの影響]
光源の強さを10、20、30と変化させた場合の色の分布を調べた(図21~23)。このように、光源の強さを変化させてもBkおよびWhから折れ曲がり点までは変化はないが、光源が弱くなるほど折れ曲がり点がBk、Whに近づくことがわかった。

【0063】
[数値実験5:物体の色相の影響]
物体の色相を、他の基本色であるG(0,1.0,0)やC(0,1.0,1.0)、また基本色以外の色として(1.0,0.5,0)や(0,0.5,1.0)にしたときの色の分布を調べた(図24~27)。このように、他の基本の色でも、分布の外側の線は、その色と黒、白を繋いだ線になった。また、基本の6色でない色の場合の分布の外側の線は、黒とその色、その色とC,M,Y-Whの軸上の点、軸上の点と白をそれぞれ結んだ線となった。

【0064】
(色の分布の近似)
数値実験結果より、URSモデルにプロットされた点の並びは、物体の色などの条件によって、もっと簡単に表せるのではないかと考えた。そこで、色の分布の近似を考えた。

【0065】
まず、光源が十分に強く、光源方向と視線方向が一致しているとき、基本色とWhで構成される面上の点Pと、C,M,YのいずれかとWhを結んだ辺上の点Qを用いて、外側の線をBk-P-Q-Whと表すことができる(図28)。

【0066】
また、内側への折れ曲がりは、光が十分でなかったために拡散反射成分がPの輝度に達することができずに鏡面反射へと切り替わったと考えられる。光源色が白色のとき、Bk-P上の点Sから線は真上に延び、モデルの上部の面との交点Tからは同様にQ、Whとつながる。このとき、T-Qを結ぶ線は、最大値に達したR,G,BのどれかとWhを結ぶ直線(図ではB-Wh)と平行になる(図29)。つまり、QはTが決まれば1つに定まる。またこのTもSの真上でありカラーモデルの面との交点であるため、Sが決まれば1つに決まる。またこのSも、Bk-P軸上にあるため、Pが定まればSの輝度の情報のみで1つに決まる。

【0067】
この近似方法では、ある輝度を示す線上の点が1つであるため、白黒写真の各画素輝度の輝度画素にそれぞれ相当する色を当てはめれば、写真の条件さえ合えばカラー化が可能である。つまり、条件のあった白黒写真のカラー化に必要な情報は、Pの座標とSの輝度の情報のみである。

【0068】
そこで、Pを「基準色」、Sを「屈折点」と呼ぶことにし、これらの特定を目指す。
【実施例】
【0069】
以下に実施例を挙げて本発明をより詳細に説明するが、本発明はこれらの実施例により限定されない。
【実施例】
【0070】
(実施例1 実際の写真での近似の検証)
球による理想的なモデルにおいてでは成り立った、色の分布の近似方法が、実際の写真でも成り立つかをつぎの手順で調べた。
(1)元のカラー画像(図30)をデジタル処理により一旦モノクロ画像に変換する。
(2)カラー画像の色をURSモデルにプロットする。図32の赤い点がその分布である。
(3)この赤い点の分布を図32の青い折れ線で近似する。
(4)青い線に従って、モノクロ画像の色を復元し、図31が得られる。図33~図35も同様である。
復元の精度の評価には、カラーモデル内での距離の平均を用いた。
図30の写真の復元での平均誤差は0.0428、図33の写真の復元での平均誤差は0.0274となった。
このように、写真全体が似た色相である場合、近似式から元の色に大まかに復元することができることがわかった。
【実施例】
【0071】
(実施例2 基準色、屈折点の輝度の特定)
写真の条件を変えた際、写真全体の明るさや、隣どうしの画素を比べたとき鏡面反射等の明るさの差が大きくなる部分が変化した。そこで、写真全体でそれぞれの輝度を示す「画素数」および「輝度の変化量」を調べれば、基準色や屈折点などの特徴点の輝度が求まるのではないかと考えた(図36)。
【実施例】
【0072】
図36(c)のように、各輝度での輝度の変化量のヒストグラムでピークを示す輝度は、基準色の輝度と一致し、屈折点は輝度のヒストグラムの中央値と一致する。ただし、理想的なモデルでは輪郭の存在を考慮していないため、現時点では計算による証明はできていない。
【実施例】
【0073】
(実施例3 色相の白黒写真への現れ方)
理想的なモデルにおいて、物体の色の基準色の輝度が同じで色相のみが違うとき、画像にどのような違いが現れるかを調べた(図37~図39)。
右側のグラフはそれぞれの画像についての、各輝度での輝度の変化量の平均値のグラフである。このように、色相の情報は、ヒストグラムの「形」に現れた。
【実施例】
【0074】
(実施例4 同じ色分布の理想的なモデルの特定)
色相の特定を行うためには、元の写真に写る物体の色が指定した色相のときの画像が必要であるが、それを得るためには映っている物体の形状を特定しなければならず、白黒写真から色相による差を調べられるほどの精度で立体化することは困難である。
【実施例】
【0075】
しかし、理想的なモデルのように、単純な画像であれば、CGを用いて計算することは容易である。また、写真内に写る物体の法線ベクトルの分布が球体と同じであれば、光源の向き等の他の条件を合わせれば、色の分布、輝度の分布が元の写真と等しい球体のCG画像、つまり写真の画素の位置を並び替えて作りえる球体の画像が作れることになる。図40は輝度分布が一致する理想的なモデルを示す。よって、このような画像に置き換えた時の、光源方向等の条件の特定を目指す。
【実施例】
【0076】
まず、光源の方向についてである。光源の方向を変えると、光源方向が視線方向から離れるほど輝度分布が黒側に偏る。一般的な素材の材質では、鏡面反射の性質はそれほど広範囲では起こらないため、輝度のヒストグラムのピークは、普通、基準色の輝度よりも下、つまり拡散反射の性質の強い部分に現れる。また球体のように法線ベクトルの分布が一様な場合、法線ベクトルが視線方向ベクトルと一致する部分の色の面積が最も大きく映るはずである。
よって、輝度のヒストグラムで最大値を示すのは、光源方向と視線方向のなす角をθとするとき、
(基準色の輝度)×(光源の強さ)×cosθ
である。また、屈折点について、
(屈折点の輝度)=(基準色の輝度)×(光源の強さ)
以上より、屈折点、基準色のそれぞれの輝度から光源の方向と強さと求めることができる。
【実施例】
【0077】
(実施例5 色相の特定)
写真から条件の一致する球体を作り、色相を変化させて「ある輝度での輝度の変化量」のヒストグラムを作り、どの色相で最も元の写真のヒストグラムに近づくかを調べる。
まず、理想的なモデルでは輪郭による輝度の変化を考慮していないため、写真から輪郭での変化を除去する。写真を取り込むときの大きさや映っている物体の大きさによって、全体的な変化量の大きさが変化してしまうため、輪郭部での輝度の変化量は写真によって異なる。そこで、輝度の変化量の度数分布表を作り、平均を下回る変化量の画素は、
【数59】
JP2016146529A_000061t.gif
、それ以外は1.0を輪郭以外の変化量の割合とし、全ての画素でこの値を記録する。ある輝度での輝度の変化量の平均値を求める際、各画素でのこの割合を用いて重み付き平均としたところ、輪郭部での変化量を除いた、理想的なモデルに近いヒストグラムとなった(図41)。
【実施例】
【0078】
色相の絞り込みは、色相情報が輪につながり循環してしまっているため、簡単な式で値として出すことができない。そこで、基本の6色の色相でそれぞれ球体のCG画像を作り、それぞれの画像と写真とで、輝度の変化量のヒストグラムを比較し、違いを各輝度での値の差の2乗値の平均として計算する。6つのうち最もヒストグラムの形の近いものと、その両隣でより近いものとの間に正しい色相があるとする。これら2色を結んだ直線状で物体の色を変化させ、2分法によって本来の色相の色を求める。
【実施例】
【0079】
(実施例5 2色以上の場合の特定)
ここまでは写真全体での基準色が1つの場合を扱ってきたが、実際の写真では当然複数色用いられている場合が存在する。写真内の色が2色以上使われている場合、現実の色の近い部分ごとに画像を分割し、それぞれで色を特定すればよいと考えた。
【実施例】
【0080】
ここまでの色の特定の際に、「輝度」と「各画素での輝度の変化量」の情報を用いていた。そこで、この2つの要素で2次元の座標をとれば、各画素が元の色ごとにかたより、分類できると考えた。分類方法には、クラスタリングを用いた。図42にクラスタリング手順の概略を示す。今回用いるクラスタリング手法は、K-means++法を元に高速化を図って独自に開発したものである。
【実施例】
【0081】
まず、画像内の全画素について、x軸を「各画素での輝度の変化量」、y軸を「輝度」とする座標をとる。ランダムに一点をとり1つめのクラスタ中心とし、各データについてその点からの距離を計算する。この距離が最も遠い点を新しいクラスタ中心とし、各データをどちらに近いかで分類する。クラスタ中心を3点以上にする場合は同様に各データで最も近いクラスタ中心との距離を求め、その距離が最も遠いものを新しいクラスタ中心とした。
【実施例】
【0082】
次に、各クラスタで属しているデータの座標の重心を求め、そのクラスタのクラスタ中心を重心に更新する。各データで更新されたクラスタ中心でのクラスタを振り直し、重心を求めなおす。この動作をクラスタの割り当てが変わらなくなるまで行う。こうして求めたクラスタそれぞれに分割して基準の色を求めることで、写真の色分けが可能になった。
【実施例】
【0083】
しかし、実際の写真では、色は急に変わるのではなく徐々に変わるため、間の色が存在する。そこで、それぞれのクラスタで一旦基準の色を推定し、各画素でそれぞれのクラスタ中心との距離を調べ、その比で色を混ぜることにより表せる。これにより、色の変化がなめらかになり、カラー化した結果が自然な色合いになった。図43にモノクロサンプル写真、図44にクラスタリング結果、図45にカラー化結果、図46に元のカラー画像を示す。
【実施例】
【0084】
それぞれのクラスタで基準色を求めると、クラスタ1(図中の青い部分)が(0.298,0.298,1.0)、クラスタ2(図中の緑の部分)が(0,1.0,0)となった(図44)。
【実施例】
【0085】
今回の研究では、カラー化に必要な情報を絞り込み、また写真を球体という簡単な形に置き換えることで、カラー化の基本の処理ができた。しかし、現時点ではカラー化の成功例が少なく、精度が低い。その原因として、理想的なモデルでの「法線ベクトルが全ての方向に均等に存在する」という条件を写真が十分に満たしていないのではないかと考えている。例えば建物等をとった際には、映っている「面」の向きの法線ベクトルが多くなってしまう。そこで今後は、球体だけでなく、直方体等の法線ベクトルに偏りのある立体も理想的なモデルとしていきたいと考えている。
【実施例】
【0086】
また、実際の写真から条件の同じ理想的なモデルを求める際、現在は物体の質感を固定しているため、特殊な材質には対応できない。また、URSモデル内での色の分布の近似には、光源が白色光であるという条件があるため、夕焼け等の写真の再現が正確でない。今後は、このような写真が撮られた時の条件をもっと読み取ることで、より多くの写真に対応できるカラー化手法を開発したいと考えている。
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14
【図16】
15
【図17】
16
【図18】
17
【図19】
18
【図20】
19
【図21】
20
【図22】
21
【図23】
22
【図24】
23
【図25】
24
【図26】
25
【図27】
26
【図28】
27
【図29】
28
【図30】
29
【図31】
30
【図32】
31
【図33】
32
【図34】
33
【図35】
34
【図36】
35
【図37】
36
【図38】
37
【図39】
38
【図40】
39
【図41】
40
【図42】
41
【図43】
42
【図44】
43
【図45】
44
【図46】
45