TOP > 国内特許検索 > 視線表示方法及び視線表示装置 > 明細書

明細書 :視線表示方法及び視線表示装置

発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2020-118871 (P2020-118871A)
公開日 令和2年8月6日(2020.8.6)
発明の名称または考案の名称 視線表示方法及び視線表示装置
国際特許分類 G09G   5/00        (2006.01)
G02B  30/00        (2020.01)
G09G   5/10        (2006.01)
G09G   5/36        (2006.01)
G09F   9/46        (2006.01)
G09F   9/00        (2006.01)
H04N   5/66        (2006.01)
FI G09G 5/00 510V
G02B 27/22
G09G 5/10 B
G09G 5/36 520P
G09F 9/46 Z
G09F 9/00 361
H04N 5/66 D
請求項の数または発明の数 6
出願形態 OL
全頁数 11
出願番号 特願2019-010703 (P2019-010703)
出願日 平成31年1月24日(2019.1.24)
発明者または考案者 【氏名】三武 裕玄
出願人 【識別番号】304021417
【氏名又は名称】国立大学法人東京工業大学
個別代理人の代理人 【識別番号】100067736、【弁理士】、【氏名又は名称】小池 晃
【識別番号】100192212、【弁理士】、【氏名又は名称】河野 貴明
【識別番号】100204032、【弁理士】、【氏名又は名称】村上 浩之
【識別番号】100200001、【弁理士】、【氏名又は名称】北原 明彦
審査請求 未請求
テーマコード 2H199
5C058
5C094
5C182
5G435
Fターム 2H199BA23
2H199BA51
2H199BA68
2H199BB52
2H199BB59
5C058AB01
5C058BA35
5C094AA60
5C094BA27
5C094BA43
5C094DA03
5C094FA02
5C094HA10
5C182AA02
5C182AA03
5C182AA04
5C182AB11
5C182AC43
5C182AC46
5C182BA35
5C182BA54
5C182BB04
5C182BB14
5C182CA01
5C182CA21
5C182CB44
5C182DA65
5G435AA00
5G435BB05
5G435BB12
5G435CC13
5G435LL01
要約 【課題】美観を損ねずにキャラクタの視線を適切に表示することができる視線表示方法及び視線表示装置を提供する。
【解決手段】二層式ディスプレイ10を用いてキャラクタChの視線を適切に表示する視線表示方法であって、二層式ディスプレイ10は、第1の表示部11と、第1の表示部11よりも前面に設けられた第2の表示部12とを備え、第2の表示部12において、少なくともキャラクタChの瞳の部分を表示し、第1の表示部11において第2の表示部12で表示された以外の部分を表示することを特徴とする。
【選択図】図2
特許請求の範囲 【請求項1】
二層式ディスプレイを用いてキャラクタの視線を適切に表示する視線表示方法であって、
前記二層式ディスプレイは、第1の表示部と、該第1の表示部よりも前面に設けられた第2の表示部とを備え、
前記第2の表示部において、少なくとも前記キャラクタの瞳の部分を表示し、前記第1の表示部において前記第2の表示部で表示された以外の部分を表示することを特徴とする視線表示方法。
【請求項2】
前記二層式ディスプレイは、平面映像を表示する平面ディスプレイであることを特徴とする請求項1に記載の視線表示方法。
【請求項3】
前記第1の表示部で目の周りの顔領域を暗くし、前記第2の表示部で瞳の部分を表示する映像と、
前記第1の表示部で目の周りの顔領域を表示する一方で白目を含む目の中の領域を暗くし、前記第2の表示部で瞳を表示しない映像とを時分割で表示することを特徴とする請求項1又は請求項2に記載の視線表示方法。
【請求項4】
二層式ディスプレイを用いてキャラクタの視線を適切に表示する視線表示装置であって、
少なくとも、
第1の表示部と、
該第1の表示部よりも前面に設けられた第2の表示部と、
前記第1の表示部と前記第2の表示部に表示される映像を制御する制御部とを備え、
前記制御部は、前記第2の表示部において、少なくとも前記キャラクタの瞳の部分を表示し、前記第1の表示部において前記第2の表示部で表示された以外の部分を表示するよう制御することを特徴とする視線表示装置。
【請求項5】
前記二層式ディスプレイは、平面映像を表示する平面ディスプレイであることを特徴とする請求項4に記載の視線表示装置。
【請求項6】
前記制御部はさらに前記第1の表示部で目の周りの顔領域を暗くし、前記第2の表示部で瞳の部分を表示する映像と、前記第1の表示部で目の周りの顔領域を表示する一方で白目を含む目の中の領域を暗くし、前記第2の表示部で瞳を表示しない映像とを時分割で表示するよう制御することを特徴とする請求項4又は請求項5に記載の視線表示装置。
発明の詳細な説明 【技術分野】
【0001】
本発明は、二層式ディスプレイを用いて美観を損ねずにキャラクタの視線を適切に表示する視線表示方法及び視線表示装置に関する。
【背景技術】
【0002】
視線を正面に向けたキャラクタを平面画像で観た場合、どの角度からも自分が見られているように見える、いわゆるモナリザ効果が生じる。このため、平面画像においてキャラクタを表示する際、キャラクタの視線を適切に表示することが困難であった。
【0003】
このような問題に対して、例えば特許文献1には、観察者から見て異なった奥行き位置にある複数の表示面に、表示対象物体を観察者の視線方向から射影した2次元像をそれぞれ表示し、当該表示される2次元像の輝度を各表示面毎にそれぞれ独立に変化させて、3次元立体像を表示するDFD(Depth Fused 3D)方式の3次元表示方法が記載されている。
【0004】
また、特許文献2には、正面側に配置され、キャラクターの顔が描かれると共に、目の部分がくり抜かれた正面側パーツと、背面側に配置され、前記くり抜かれた目の位置に対応する位置に瞳が描かれた背面側パーツと、前記正面側パーツと前記背面側パーツを所定の間隔に保持するための間隔保持部材と、を備えたことを特徴とするキャラクター画像付き商品が記載されている。これは、ミツメトロニクス(登録商標)と呼ばれるものであり、見る人の動きに合わせて視線が観察者の方向に動いているように見えるものである。
【先行技術文献】
【0005】

【特許文献1】特開2008-42745号公報
【特許文献2】実用新案登録第3168917号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1に記載されているようなDFD(Depth Fused 3D)方式では、見る角度によっては顔面が浮いているように見えることがあり、美観を維持できる視聴可能角度に制約があった。また、特許文献2に記載の商品は、後述する本件特許発明とは、顔と目の前後が逆に設けられているものであり、視線の動く方向が後述する本件特許発明とは逆のため、正確な視線を表示するものではなかった。
【0007】
本発明は、上記課題に鑑みてなされたものであり、美観を損ねずにキャラクタの視線を適切に表示することができる視線表示方法及び視線表示装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の一態様は、二層式ディスプレイを用いてキャラクタの視線を適切に表示する視線表示方法であって、二層式ディスプレイは、第1の表示部と、第1の表示部よりも前面に設けられた第2の表示部とを備え、第2の表示部において、少なくともキャラクタの瞳の部分を表示し、第1の表示部において第2の表示部で表示された以外の部分を表示することを特徴とする。
【0009】
本発明の一態様によれば、キャラクタの瞳の部分を他の輪郭部分よりも前面に表示することにより、斜め方向から見た場合に、瞳の部分だけが観察者から離れる方向に移動して見えるため、美観を損ねずにキャラクタの視線を適切に表示することができる。
【0010】
このとき、本発明の一態様では、二層式ディスプレイは、平面映像を表示する平面ディスプレイとしてもよい。
【0011】
本発明を適用することにより、従来の平面画像で生じていたモナリザ効果を排除することができる。
【0012】
また、本発明の一態様では、第1の表示部で目の周りの顔領域を暗くし、第2の表示部で瞳の部分を表示する映像と、第1の表示部で目の周りの顔領域を表示する一方で白目を含む目の中の領域を暗くし、第2の表示部で瞳を表示しない映像とを時分割で表示するようにしてもよい。
【0013】
このように表示することで、例えば、瞳が目の輪郭からはみ出してしまうような場合であっても、修正した映像を時分割で表示することにより、瞳が目の輪郭内に収まっているように表示することができる。
【0014】
本発明の他の態様は、二層式ディスプレイを用いてキャラクタの視線を適切に表示する視線表示装置であって、少なくとも、第1の表示部と、第1の表示部よりも前面に設けられた第2の表示部と、第1の表示部と第2の表示部に表示される映像を制御する制御部とを備え、制御部は、第2の表示部において、少なくともキャラクタの瞳の部分を表示し、第1の表示部において第2の表示部で表示された以外の部分を表示するよう制御することを特徴とする。
【0015】
このようにキャラクタの瞳の部分を他の輪郭部分よりも前面に表示することにより、斜め方向から見た場合に、瞳の部分だけが観察者から離れる方向に移動して見えるため、美観を損ねずにキャラクタの視線を適切に表示できる視線表示装置とすることができる。
【0016】
このとき、本発明の他の態様では、二層式ディスプレイは、平面画像を表示する平面ディスプレイとしてもよい。
【0017】
本発明を適用することにより、従来の平面映像で生じていたモナリザ効果を排除することができる視線表示装置とすることができる。
【0018】
また、本発明の他の態様では、制御部はさらに第1の表示部で目の周りの顔領域を暗くし、第2の表示部で瞳の部分を表示する映像と、第1の表示部で目の周りの顔領域を表示する一方で白目を含む目の中の領域を暗くし、第2の表示部で瞳を表示しない映像とを時分割で表示するよう制御することができる。
【0019】
このように制御することで、例えば、瞳が目の輪郭からはみ出してしまうような場合であっても、修正した映像を時分割で表示することにより、瞳が目の輪郭内に収まっているように表示することができる。
【発明の効果】
【0020】
以上説明したように本発明によれば、美観を損ねずにキャラクタの視線を適切に表示することができる視線表示方法及び視線表示装置を提供することができる。
【図面の簡単な説明】
【0021】
【図1】従来の平面画像におけるキャラクタの視線を説明する概略図である。
【図2】本発明の一実施形態に係る視線表示方法の構成を示す概略図であり、(A)は二層式ディスプレイを示す斜視図であり、(B)は二層式ディスプレイのそれぞれで表示される映像を示す正面図である。
【図3】本発明の一実施形態に係る視線表示方法及び視線表示装置において、キャラクタが正面を向いて表示されている場合に、複数の角度から見た場合の視線の見え方を説明する概略図である。
【図4】本発明の一実施形態に係る視線表示方法及び視線表示装置において、キャラクタが右方向を向いて表示されている場合に、複数の角度から見た場合の視線の見え方を説明する概略図である。
【図5】キャラクタの映像を時分割で表示する場合の一例を示す概略図である。
【図6】本発明の一実施形態に係る視線表示装置の構成を示すブロック図である。
【発明を実施するための形態】
【0022】
以下、本発明の好適な実施の形態について詳細に説明する。なお、以下に説明する本実
施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本
実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。

【0023】
本発明の一実施形態に係る視線表示方法が適用される一例として、例えば、画面上でキャラクタが動作するインタラクティブキャラクタの表示や、これらを用いた情報、広告媒体であるデジタルサイネージ等が挙げられる。

【0024】
図1は、従来の平面画像におけるキャラクタの視線を説明する概略図である。例えば、図1に示す平面ディスプレイ100にキャラクタChが表示されている場合において、図1(A)のようにキャラクタChが視線を正面に向けている場合、正面の観察者AからはキャラクタChが自分(観察者A)を見ているように見えるが、斜め方向から見ている観察者Bからも、自分(観察者B)が見られているように見えてしまう。また、図1(B)のようにキャラクタChが視線を観察者から見て右方向に向けている場合、正面にいる観察者AからはキャラクタChが自分より右を見ているように見えるが、右斜め方向から見ている観察者Bからも、キャラクタChが自分よりも右を見ているように見えてしまう。このような現象は、モナリザ効果と呼ばれ、平面画像を表示する際にキャラクタChの視線を適切に表示できないという課題があった。

【0025】
本発明はこのような問題を解決するために発案された。図2は、本発明の一実施形態に係る視線表示方法の構成を示す概略図であり、(A)は二層式ディスプレイを示す斜視図であり、(B)は二層式ディスプレイのそれぞれで表示される映像を示す正面図である。本発明の一態様は、図2に示すように、二層式ディスプレイ10を用いてキャラクタChの視線を適切に表示する視線表示方法であって、二層式ディスプレイ10は、第1の表示部11と、第1の表示部11よりも前面に設けられた第2の表示部12とを備え、第2の表示部12において、少なくともキャラクタChの瞳の部分を表示し、第1の表示部11において第2の表示部12で表示された以外の部分を表示することを特徴とする。

【0026】
本発明では、このようにキャラクタChの瞳の部分を他の輪郭部分よりも前面に表示することにより、観察者の見る位置に応じてキャラクタChの前面の瞳の部分が、後面の白目の部分に対して見える位置が変化するため、美観を損ねずにキャラクタChの視線を適切に表示することができる。

【0027】
図3は、本発明の一実施形態に係る視線表示方法及び視線表示装置において、キャラクタが正面を向いて表示されている場合に、複数の角度から見た場合の視線の見え方を説明する概略図である。二層式ディスプレイ10に表示されたキャラクタChが正面に視線を向けている場合、キャラクタChの正面にいる観察者Bは自分がみられているように感じる。一方で、左斜め方向にいる観察者Aからみると、瞳の部分が手前の第2の表示部に表示されているため、後ろの第1の表示部に表示された目の輪郭部分に対して観察者Aから見てやや右側に瞳があるように見える。したがって、観察者Aから見ると表示されたキャラクタChは自分よりも右にいる観察者Bを見ているように見える。また、右斜め方向にいる観察者Cから見ると、逆にキャラクタの瞳の部分は目の輪郭部分に対してやや左側にあるようにみえるため、観察者Cから見ると表示されたキャラクタは自分よりも左にいる観察者Bを見ているように見える。このように、本発明の一実施形態に係る視線表示方法及び視線表示装置によれば、どの方向から見た場合であっても、美観を損ねずにキャラクタの視線を適切に表示することができる。

【0028】
図4は、本発明の一実施形態に係る視線表示方法及び視線表示装置において、キャラクタが右方向を向いて表示されている場合に、複数の角度から見た場合の視線の見え方を説明する概略図である。この場合も、正面にいる観察者BからはキャラクタChは右側にいる観察者Cを見ているように見える。また、左斜め方向にいる観察者Aから見ると、キャラクタChの瞳はさらに右側にあるようにみえるため、最も右側にいる観察者Cを見ているように見える。また、右斜め方向にいる観察者Cから見ると、キャラクタChの瞳は左側に動いて中央寄りにあるようにみえるため、観察者Cからは、キャラクタChが自分(観察者C)を見ているように見える。

【0029】
なお、キャラクタの瞳の位置と観察者の見る角度によっては、キャラクタの瞳の映像が後面の目の輪郭よりもはみ出して見えてしまう場合があり、美観を損ねる恐れがある。このとき、例えば、第1の表示部で目の周りの顔領域を暗くし、第2の表示部で瞳の部分を表示する映像と、第1の表示部で目の周りの顔領域を表示する一方で白目を含む目の中の領域を暗くし、第2の表示部で瞳を表示しない映像とを時分割で表示するようにしてもよい。

【0030】
図5は、キャラクタの映像を時分割で表示する場合の一例を示す概略図である。図5(A)では、第1の表示部11では目の周りの顔領域21を暗くし、第2の表示部12では瞳の部分22を表示する。このとき、観察者の見る角度によって瞳の部分22が第1の表示部の目の輪郭部分23をはみ出してしまうような場合であっても、目の周りの顔領域21を暗くすることで目の領域外の瞳孔像を見えなくすることができる。その一方で、図5(B)では、第1の表示部11で目の周りの顔領域21を表示する一方で白目を含む目の領域24を暗くし、第2の表示部12で瞳を表示しないようにする。このときは、目の輪郭部分23が表示されている状態となる。そして、図5(A)の映像と図5(B)の映像を時分割で交互に表示することにより、図5(C)に示すように、キャラクタの瞳の部分22が目の輪郭部分23からはみ出ていないように表示することができる。図5(A)と図5(B)の映像の切り替え間隔は、1/100秒以下、例えば120Hz以上とすることが好ましい。

【0031】
ここで、目の周りの顔領域21は、少なくとも、観察者が現実的に観察しうるあらゆる視点位置から見た時に、第2の表示部12に表示された瞳22の像が重なりうる第1の表示部11内の領域すべてを含むことが好ましい。実際には目の周りの顔領域21はそのような領域より大きくてもよく、例えば第1の表示部11の目以外の領域全てを目の周りの顔領域21と見なしてもよい。この場合、第2の表示部12で瞳22の部分を表示する間は第1の表示部11は暗い背景に目の内部の領域24のみを表示することになる。

【0032】
また、目の周りの顔領域21は、暗くした表示と顔領域の表示を交互に行うため、経時的に混色されて輝度が減少する。そのため、時分割表示において表示内容の切り替えの生じない目の周り以外の顔領域25は、目の周りの顔領域21と同じ輝度となるようにあらかじめ輝度を減じて表示する。あるいは、目の周りの顔領域21の外縁は、暗色から顔画像まで滑らかに色の変わるグラデーションとしてもよい。これは時分割表示により表示内容の変化する領域21と変化しない領域25の境界が明確に認識されてしまう可能性を減じることに効果がある。

【0033】
次に、視線表示装置について説明する。図6は、本発明の一実施形態に係る視線表示装置の構成を示すブロック図である。本発明の一態様は、二層式ディスプレイを用いてキャラクタの視線を適切に表示する視線表示装置30であって、少なくとも、第1の表示部31と、第1の表示部31よりも前面に設けられた第2の表示部32と、第1の表示部31と第2の表示部32に表示される映像を制御する制御部40とを備える。そして、制御部40は、第2の表示部32において、少なくともキャラクタの瞳の部分を表示し、第1の表示部31において第2の表示部32で表示された以外の部分を表示するよう制御することを特徴とする。

【0034】
第1の表示部31は、二層式ディスプレイの後面側に設けられ、キャラクタの瞳以外の部分、例えば、顔(白目、鼻、耳、口、髪等)や体全体を表示する。第1の表示部31として用いられるディスプレイには特に限定はなく、例えば、液晶ディスプレイ(LCD)、有機エレクトロルミネッセンス(OLED)、投影スクリーンなど任意の種類のディスプレイを使用することができる。

【0035】
第2の表示部32は、第1の表示部31の前面に設けられる。すなわち、第2の表示部32は、第1の表示部31に表示された映像の上に第2の表示部32で表示する映像を重ね合わせることとなる。このため、第2の表示部32には液晶ディスプレイ(LCD)のような減衰型のディスプレイが用いられる。なお、第2の表示部32では、主にキャラクタの瞳(黒目)の部分を表示するが、瞳のみに限定されるわけではなく、瞳と合わせて鼻や顔の他のパーツの部分を表示してもよい。

【0036】
制御部40は、例えば通常の情報処理端末として備えるべき、1又は複数のCPU(Central Processing Unit)41、ROM(Read Only Memory)42、RAM(Random access Memory)43等を備える。また、必要に応じてキーボード、タッチパネル等の入力部44や通信ユニット45、GPU(Graphics Processing Unit)46等を有していてもよい。各構成要素の数及び性能は、第1の表示部31及び第2の表示部32の大きさや種類、表示しようとするキャラクタの種類、数、計算の負荷等により状況に適したものを選択すればよい。また、制御部40は、本発明の一実施形態に係る視線表示方法を実現するためのプログラムを有する。

【0037】
CPU41は、入力されたキャラクタのデータや、ROM42に記憶されている各種プログラムに従って、制御部40に備わる各構成要素の動作を制御する機能を有する。本実施形態では、CPU41は、視線表示方法を実行させるためのプログラムに従って、キャラクタの視線を含めた表示のための動作を制御する。また、CPU41は、これら各種処理を実行する際に、必要なデータ等をRAM(Random access Memory)43等に適宜記憶させる機能を有する。なお、画像処理は、GPU46で行ってもよい。

【0038】
ROM42やRAM43といったメモリは、視線表示装置30の各構成要素の動作制御に必要な情報を記憶する機能を有する。本実施形態では、メモリは、視線表示装置30により実行される視線表示方法を実行させるためのプログラムが記憶されている。

【0039】
通信ユニット45は、視線表示装置30と他の端末間でのデータの送受信を行うために設けることができる。通信ユニット45は有線又は無線の通信回線を通じて他のサーバや端末との通信を行う。

【0040】
本発明の一実施形態に係る視線表示方法及び視線表示装置においては、キャラクタは静止映像でもよいし、動作を加えた動画としての映像であってもよい。いずれの場合でも、キャラクタのデータは、制御部40において、例えば瞳の部分と、それ以外の部分の映像データに分離し、第1の表示部31と第2の表示部32において重ね合わせた映像にずれが生じないように表示する。

【0041】
斜め方向から見た場合に、第2の表示部32に表示されたキャラクタの瞳(黒目)と、第1の表示部31に表示された目の輪郭(白目)の位置関係のずれの程度は、第1の表示部31と第2の表示32の間隔に依存する。すなわち、第1の表示部31と第2の表示部32の間隔が大きくなるほど、斜め方向から見た場合の瞳(黒目)の動きは大きくなる。したがって、例えば、第1の表示部31又は第2の表示部32を可動式として、制御部40においてその間隔を適宜制御するようにしてもよい。

【0042】
また、本発明の一実施形態に係る視線表示方法及び視線表示装置を、観察者の注意を引くことができるデジタルサイネージとして用いるような場合に、人の接近などを感知してその方向にキャラクタの視線を動かすように設定しておいてもよい。このような手段としては、例えば、センサによる人(観察者)の接近の感知や音声認識等により、感知した方向にキャラクタの視線を向けるように設定することができる。あるいは、モーションキャプチャ等によって、特定の人物の視線を含めた動きをキャラクタに反映させることでキャラクタの視線を動かすようにしてもよい。

【0043】
このように、本発明の一実施形態に係る視線表示方法及び視線表示装置によれば、第1の表示部の前面に、瞳を表示する第2の表示部を設けることで、広い視野(例えば120度以上)から見た場合でも、美観を損ねずにキャラクタの視線を適切に表示することができる。

【0044】
なお、上記のように本発明の一実施形態について詳細に説明したが、本発明の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは、当業者には、容易に理解できるであろう。従って、このような変形例は、全て本発明の範囲に含まれるものとする。

【0045】
例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、視線表示方法及び視線表示装置の構成、動作も本発明の一実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【0046】
10 二層式ディスプレイ、11,31 第1の表示部、12,32 第2の表示部、21 目の周りの顔領域、22 瞳の部分、23 目の輪郭部分、24 白目を含む目の領域、25 目の周り以外の顔領域、30 視線表示装置、40 制御部、41 CPU、42 ROM、43 RAM、44 入力部、45 通信ユニット、46 GPU、100 平面ディスプレイ(従来例)、Ch キャラクタ
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5