TOP > 国内特許検索 > 画像表示装置、入力装置、及び画像表示方法 > 明細書

明細書 :画像表示装置、入力装置、及び画像表示方法

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5083697号 (P5083697)
公開番号 特開2011-044061 (P2011-044061A)
登録日 平成24年9月14日(2012.9.14)
発行日 平成24年11月28日(2012.11.28)
公開日 平成23年3月3日(2011.3.3)
発明の名称または考案の名称 画像表示装置、入力装置、及び画像表示方法
国際特許分類 G06F   3/14        (2006.01)
G06F   3/048       (2006.01)
G06F   3/041       (2006.01)
G06T   3/00        (2006.01)
H04N   7/173       (2011.01)
G09G   5/377       (2006.01)
H04N   5/272       (2006.01)
FI G06F 3/14 360A
G06F 3/048 656A
G06F 3/041 330B
G06F 3/041 380J
G06T 3/00 300
H04N 7/173 610Z
G09G 5/36 520N
G09G 5/36 520M
H04N 5/272
請求項の数または発明の数 6
全頁数 15
出願番号 特願2009-192884 (P2009-192884)
出願日 平成21年8月24日(2009.8.24)
審査請求日 平成23年8月30日(2011.8.30)
特許権者または実用新案権者 【識別番号】504132881
【氏名又は名称】国立大学法人東京農工大学
発明者または考案者 【氏名】中川 正樹
【氏名】吉田 亮彦
個別代理人の代理人 【識別番号】100106002、【弁理士】、【氏名又は名称】正林 真之
【識別番号】100120891、【弁理士】、【氏名又は名称】林 一好
審査官 【審査官】森田 充功
参考文献・文献 特開平04-216124(JP,A)
特開平05-232861(JP,A)
特開平07-075013(JP,A)
特開平07-222191(JP,A)
特開平11-136577(JP,A)
特開2002-222428(JP,A)
特開2005-209196(JP,A)
特開2005-301479(JP,A)
特開2007-156950(JP,A)
特開2007-237954(JP,A)
特開2008-042785(JP,A)
調査した分野 G06F 3/048
G06F 3/041
G06F 3/14
特許請求の範囲 【請求項1】
手書き入力可能な入力部と、
前記入力部の操作に応じて表示画像を更新する画像作成手段と、
前記画像作成手段により更新された表示画像を前記入力部の表示画面で表示し、前記表示画面上で手書き入力可能な入力手段として前記入力部を機能させる画像表示手段と、
前記入力部を操作する操作者の映像を前記入力部と共に撮影する撮像手段と、
前記撮像手段により撮影された情景画像と、前記画像作成手段により更新された表示画像とを画像合成し、少なくとも前記表示画面を遮る物体を半透明化した合成画像を出力する画像合成手段とを備える画像表示装置。
【請求項2】
前記画像表示手段により表示画像が表示されていない前記入力部を撮影した背景画像を取得する背景画像取得手段を備え、
前記画像合成手段は、
前記撮像手段により撮影された情景画像を半透明化する半透明化手段と、
前記背景画像取得手段により取得した背景画像に、前記画像作成手段により更新された表示画像をはめ込んだ更新画像を作成する更新画像作成手段と、
前記更新画像作成手段により作成された更新画像と、前記半透明化手段により半透明化した情景画像とを画像合成する合成手段と、
前記合成手段により画像合成した合成画像を出力する出力手段とを備えることを特徴とする請求項1に記載の画像表示装置。
【請求項3】
前記画像合成手段は、
前記撮像手段により撮影された情景画像を半透明化する半透明化手段と、
前記撮像手段により撮影された情景画像上に、前記画像作成手段により更新された表示画像をはめ込んだ更新画像を作成する更新画像作成手段と、
前記更新画像作成手段により作成された更新画像と、前記半透明化手段により半透明化した情景画像とを画像合成する合成手段と、
前記合成手段により画像合成した合成画像を出力する出力手段とを備えることを特徴とする請求項1に記載の画像表示装置。
【請求項4】
前記半透明化手段は、前記撮像手段により撮影された情景画像を半透明化する透明度を変更する透明度変更手段を備えることを特徴とする請求項2又は3に記載の画像表示装置。
【請求項5】
請求項1乃至請求項4のいずれか1項に記載の画像表示装置における画像表示方法において、
手書き入力可能な前記入力部の操作に応じて表示画像を更新する画像作成ステップと、
前記表示画像を前記入力部の表示画面で表示し、前記表示画面上で手書き入力可能な入力手段として前記入力部を機能させる画像表示ステップと、
前記入力部を操作する操作者の映像を前記入力部と共に情景画像として撮影する撮像ステップと、
撮影された前記情景画像と、更新された前記表示画像とを画像合成し、少なくとも前記表示画面を遮る物体を半透明化した合成画像を出力する画像合成ステップとを有することを特徴とする画像表示方法。
【請求項6】
操作者による手書き入力を受け付ける入力装置において、
前記入力装置は、
手書き入力可能な入力部と、
前記入力部の操作に応じて表示画像を更新する画像作成手段と、
前記画像作成手段により更新された表示画像を前記入力部の表示画面で表示し、前記表示画面上で手書き入力可能な入力手段として前記入力部を機能させる画像表示手段と、
前記入力部を操作する操作者の映像を前記入力部と共に撮影する撮像手段と、
前記撮像手段により撮影された情景画像と、前記画像作成手段により更新された表示画像とを画像合成し、少なくとも前記表示画面を遮る物体を半透明化した合成画像を出力する画像合成手段とを備える入力装置。
発明の詳細な説明 【技術分野】
【0001】
本発明は、画像表示装置、入力装置、及び画像表示方法に関し、例えば、手書き入力可能な画像表示装置や電子白板等、手書き入力できる装置に適用することができるものである。
【背景技術】
【0002】
従来、講義、プレゼンテーション等で使用する大画面の画像表示装置として、コンピュータに接続して各種スライド等を表示するものが提供されている。このような装置でスライドを表示する場合、例えば指、手等を使用して表示画面の特定箇所を指示することにより、操作者の自然の動作で聴衆の注意を促し、聴衆の注意を集めることができる。
【0003】
しかしながら指、手等により表示画面の特定箇所を指示する場合、腕等により遮られて表示画面を部分的に見て取れなくなる。そこで指示棒、レーザーポインタ等を使用して表示画面の特定箇所を指示する方法、マウス等の操作によりカーソルを移動させて表示画面の特定箇所を指示する方法等も採用されている。
【0004】
またこのようなスライドの表示に関しては、別途、表示画面を撮影して表示するようにして、表示画面を遮る腕等を半透明化して表示する方法も提案されている(視認性とプレゼンス性を両立させる遠隔講義映像の送受信方法 JAIST Repository M-IS 平成14年度(Jun,2002-Mar.2003)(非特許文献1))。
【0005】
また近年、講義等ではいわゆる電子白板を使用する場合もあり、電子白板によれば、手書きしながら説明することができ、操作者の挙動により一段と聴取者の注意を喚起することができる。
【0006】
また近年、講義等では手書き入力可能な画像表示装置を使用する場合もある。ここでこの手書き入力可能な画像表示装置は、例えば液晶表示パネル等の画像表示パネル上に、座標入力手段を構成する透明タッチパネルを配置して構成される。この手書き入力可能な画像表示装置によれば、表示画面上で手書きしながら説明することができ、一段と聴取者の注意を喚起することができる。
【先行技術文献】
【0007】

【非特許文献1】視認性とプレゼンス性を両立させる遠隔講義映像の送受信方法 JAIST Repository M-IS 平成14年度(Jun,2002-Mar.2003)
【非特許文献2】対話型電子白板を用いた電子化授業への遠隔受講者参加方式の試作 情報処理学会研究報告,Vol.2002,No.119(CE-67),pp33-40(2002.12)
【発明の概要】
【発明が解決しようとする課題】
【0008】
ところで聴取者の注意を促す操作者の挙動(以下、アノテーションと呼ぶ)は、聴衆の注意を集め、説明を補足するのに有効である。特に電子白板、手書き入力可能な画像表示装置では、手書きできることにより、指等の指示によるアノテーションに比して、一段と聴衆の注意を喚起することができる。またこれらの装置は、手書きしたいという操作者の自然な欲求を満足する装置であることから、操作者にとっても好まれる。
【0009】
具体的に、図8は、マウスの操作によりアノテーションする場合(マウス)、タブレットの操作によりアノテーションする場合(表示なしペンタブレット)、表示画面に直接書き込んでアノテーションする場合(画面に直接書き込み)について、各手法の使い易さを5段階評価したものである。なおこの図8の評価は、これら3つの手法を何れも経験したことのある複数人の評価を平均値化したものであり、値が大きいもの程、使い易いことを示している。なおマウス、表示なしペンタブレットは、何れもスライドを表示した状態で、カーソル等を操作する場合である。
【0010】
しかしながらこれら電子白板、画像表示装置を使用する場合、手書きの際に、腕等により遮られて表示画面を部分的に見て取れなくなる問題がある。この問題を解決する1つの方法として、指示棒、レーザーポインタ等を使用する方法も考えられる。しかしながらこれらの方法では結局、手書きが困難になり、その結果、アノテーションが損なわれ、さらには操作者の使い勝手が劣化する問題がある。
【0011】
そこで、表示画面を介して視聴者が見るときに、直接的に画面に手書きを行いながらも、画面をできるだけ隠していない状況を提示するための手法について考えると、直接的に画面に手書きを行うときに表示画面を隠してしまう操作者の手や体、ペン等(以下、操作体)を見えなくすることが考えられる。
【0012】
しかし、この場合、操作体を見えなくすることにより、画面を隠すという弊害は除去することができるが、視聴者が見ることができるのは、画面上の手書き内容の変化だけなので、手書きを行っている人の書き込んでいる位置がわかりづらくなってしまう。これにより、映像の変化が乏しくなってしまうため、視聴者の集中力が失い易いという問題を生じることが指摘されている(非特許文献2参照)。
【0013】
また、現在の講義映像に用いられている表示手法として、手書きが行われている画面を含む情景映像と、手書きが行われているデスクトップ画面を並べて表示する方法がある。この方法であれば、上記で述べた映像の変化の乏しさの問題と画面隠れの問題を解決することができる。
【0014】
しかし、この手法の場合、出力する画面が2つになってしまうため2画面分の出力領域の確保、及び、それぞれの出力画面の縮小をしなくてはいけないという弊害を生ずる。また、視聴者が2つの画面を交互に見なくてはいけないという問題点があった。
【課題を解決するための手段】
【0015】
本発明では、上述の課題に鑑みてなされたものであり、手書き入力が可能であって、手書き入力の際に腕等により遮られる入力中の文字等を見て取ることができるようにすることにある。すなわち、本発明は、以下の技術的事項から構成される。
【0016】
(1) 手書き入力可能なタブレットと、
前記タブレットの操作に応じて表示画像を更新する画像作成手段と、
前記画像作成手段による表示画像を前記タブレットで表示し、表示画面上で手書き入力可能な入力手段として前記タブレットを機能させる画像表示手段と、
前記タブレットを操作する操作者の映像を前記タブレットと共に撮影する撮像手段と、
前記撮像手段により撮影された情景画像と、前記画像作成手段により更新された表示画像とを画像合成し、少なくとも前記表示画面を遮る物体を半透明化した合成画像を出力する画像合成手段とを備える画像表示装置。
【0017】
(1)の画像表示装置によると、表示画像を合成画像として出力する際に、表示画面を遮る手や腕等の物体を半透明化して合成画像を出力する。これにより、プレゼンテーション等において、聴取者の注意を促すアノテーションを行った場合であっても、タブレットを操作する操作者の腕等により表示画面が遮られて表示画面に表示されている内容を部分的に見て取れなくなるという問題を解消することができる。その結果、アノテーションによる聴衆の注意を集める機能を向上させ、操作者の使い勝手を向上させることができる。
【0018】
(2) 前記画像表示手段により表示画像が表示されていない前記タブレットを撮影した背景画像を取得する背景画像取得手段を備え、
前記画像合成手段は、
前記撮像手段により撮影された情景画像を半透明化する半透明化手段と、
前記背景画像取得手段により取得した背景画像に、前記画像作成手段により更新された表示画像をはめ込んだ更新画像を作成する更新画像作成手段と、
前記更新画像作成手段により作成された更新画像と、前記半透明化手段により半透明化した情景画像とを画像合成する合成手段と、
前記合成手段により画像合成した合成画像を出力する出力手段とを備えることを特徴とする(1)に記載の画像表示装置。
【0019】
(2)の画像表示装置によると、何も表示されていないタブレットを撮影した背景画像に表示画像をはめ込んだ更新画像に半透明化した情景画像を合成する。これにより、アノテーションを行う操作者が映っている情景画像が半透明化される。したがって、更新画像を合成画像として出力する際に、表示画面を遮る手や腕等の物体を半透明化して合成画像がディスプレイ等の表示装置に出力される。これにより、プレゼンテーション等において、聴取者の注意を促すアノテーションを行った場合であっても、タブレットを操作する操作者の腕等により表示画面が遮られて表示画面に表示されている内容を部分的に見て取れなくなるという問題を解消することができる。
【0020】
(3) 前記画像合成手段は、
前記撮像手段により撮影された情景画像を半透明化する半透明化手段と、
前記撮像手段により撮影された情景画像上に、前記画像作成手段により更新された表示画像をはめ込んだ更新画像を作成する更新画像作成手段と、
前記更新画像作成手段により作成された更新画像と、前記半透明化手段により半透明化した情景画像とを画像合成する合成手段と、
前記合成手段により画像合成した合成画像を出力する出力手段とを備えることを特徴とする(1)に記載の画像表示装置。
【0021】
(3)の画像表示装置によると、情景画像上に表示画像をはめ込んだ更新画像に半透明化した情景画像を合成する。これにより、アノテーションを行う操作者が映っている情景画像のうち、表示画像に重なっている領域だけが半透明化される。このため、更新画像を合成画像として出力する際に、表示画面を遮る操作者の手や腕等の物体だけが半透明化され、表示画面の領域に重なっていない腕や手以外の操作者自身の体幹部等は半透明化されない。これにより、プレゼンテーション等において、聴取者の注意を促すアノテーションを行った場合、タブレットを操作する操作者自身の腕や手以外の姿を聴衆に対しはっきりと見せることができる。したがって、操作者の腕等により表示画面が遮られて表示画面に表示されている内容を部分的に見て取れなくなるという問題を解消すると共に、操作者自身の姿を聴衆に対し見せることによりアノテーションの効果を向上させることができる。
【0022】
(4) 前記半透明化手段は、前記撮像手段により撮影された情景画像を半透明化する透明度を変更する透明度変更手段を備えることを特徴とする(2)又は(3)に記載の画像表示装置。
【0023】
(4)の画像表示装置によると、表示画像や情景画像の色や明るさ、又は、プレゼンテーションや講義を行う会場の明るさに応じて、情景画像の透明度を変更することができる。これにより、周辺の環境によらずにアノテーションを行うことができ、操作者の使い勝手を向上させることができる。
【0024】
(5) (1)乃至(4)のいずれか1に記載の画像表示装置における画像表示方法において、
手書き入力可能な前記タブレットの操作に応じて表示画像を更新する画像作成ステップと、
前記表示画像を前記タブレットで表示し、表示画面上で手書き入力可能な入力手段として前記タブレットを機能させる画像表示ステップと、
前記タブレットを操作する操作者の映像を前記タブレットと共に情景画像として撮影する撮像ステップと、
撮影された前記情景画像と、更新された前記表示画像とを画像合成し、少なくとも前記表示画面を遮る物体を半透明化した合成画像を出力する画像合成ステップとを有することを特徴とする画像表示方法。
【0025】
(5)の画像表示方法によると、表示画像を合成画像として出力する際に、表示画面を遮る手や腕等の物体を半透明化して合成画像を出力する。これにより、プレゼンテーション等において、聴取者の注意を促すアノテーションを行った場合であっても、タブレットを操作する操作者の腕等により表示画面が遮られて表示画面に表示されている内容を部分的に見て取れなくなるという問題を解消することができる。その結果、アノテーションによる聴衆の注意を集める機能を向上させ、操作者の使い勝手を向上させることができる。
【0026】
(6) 操作者による手書き入力を受け付ける入力装置において、
前記入力装置は、
手書き入力可能なタブレットと、
前記タブレットの操作に応じて表示画像を更新する画像作成手段と、
前記画像作成手段による表示画像を前記タブレットで表示し、表示画面上で手書き入力可能な入力手段として前記タブレットを機能させる画像表示手段と、
前記タブレットを操作する操作者の映像を前記タブレットと共に撮影する撮像手段と、
前記撮像手段により撮影された情景画像と、前記画像作成手段により更新された表示画像とを画像合成し、少なくとも前記表示画面を遮る物体を半透明化した合成画像を出力する画像合成手段とを備える入力装置。
【0027】
(6)の入力装置によると、操作者による手書き入力を受け付ける装置として使用することができる。この入力装置は、表示画像を合成画像として出力する際に、表示画面を遮る手や腕等の物体を半透明化して合成画像を出力する。これにより、プレゼンテーション等において、聴取者の注意を促すアノテーションを行った場合であっても、タブレットを操作する操作者の腕等により表示画面が遮られて表示画面に表示されている内容を部分的に見て取れなくなるという問題を解消することができる。その結果、アノテーションによる聴衆の注意を集める機能を向上させ、操作者の使い勝手を向上させることができる。
【発明の効果】
【0028】
本発明によれば、タブレットを操作する操作者の腕等により表示画面が遮られて表示画面に表示されている内容を部分的に見て取れなくなるという問題を解消し、アノテーションによる聴衆の注意を集める機能を向上させ、操作者の使い勝手を向上させることができる。
【図面の簡単な説明】
【0029】
【図1】本発明の第1の実施の形態に係る画像表示装置を用いて半透明提示映像を表示している状態を示す図である。
【図2】本発明の第1の実施の形態に係る背景画像、情景画像及び、コンピュータ表示画像を示す図である。
【図3】本発明の第1の実施の形態に係る画像合成の手順の概略を示す図である。
【図4】本発明の第1の実施の形態に係る半透明提示手法の流れを示す図である。
【図5】本発明の第1の実施の形態に係る画像取得手順を示す図である。
【図6】本発明の第1の実施の形態に係る合成画像の合成手順を示す図である。
【図7】本発明の第2の実施の形態に係る画像合成の手順の概略を示す図である。
【図8】手書き入力方法の使い易さを5段階評価した図である。
【発明を実施するための形態】
【0030】
以下、本発明の実施形態について図を用いながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限定されるものではない。

【0031】
[第1の実施の形態]
[画像表示方法の概要]
はじめに、本発明の第1の実施の形態に係る画像表示装置を用いた画像表示方法の手法の概要について説明する。以降では、この手書きを行うときに表示画面を隠してしまう操作者11の手や体、ペン等の操作体12を半透明に表示する画像表示方法の手法を半透明提示手法と呼び、半透明提示手法によって作られた映像を半透明提示映像と呼ぶこととする。

【0032】
図1は、本発明の実施の形態に係る画像表示装置10を用いて操作者11が手書き入力を行っている状態を示す図である。
画像表示装置10は、手書き入力が可能なタブレットPC(タブレット・パーソナルコンピュータ)13と、タブレットPC13を操作する操作者11の映像をタブレットPC13と共に撮影するWebカメラ50(図6参照)とを有する。

【0033】
タブレットPC13は、タッチパネルディスプレイ14を備え、既存のPCで用いられるキーボードやマウスの代わりに、タッチパネルディスプレイ14と、ペン型ポインティングデバイス15とにより、マウスによるポインティングデバイス機能と、キーボードによる文字入力機能とを実現することができる。そして、タブレットPC13のタッチパネルディスプレイ14に入力された文字16や絵等をタッチパネルディスプレイ14において表示する。

【0034】
[半透明提示手法に必要な映像の概要]
本発明の実施の形態に係る半透明提示手法においては、半透明提示映像を作成するにあたって図2に示すように、3枚の画像を取得する必要がある。1枚目に必要な画像は、手書き入力可能なタブレットPC13において文字16や絵等の手書きが行われていない画面を含む背景画像17である。2枚目に必要な画像は、タブレットPC13のタッチパネルディスプレイ14の画面に操作者11が直接手書きを行っている様子を表した映像の1フレーム毎の画像(以下、情景画像18と呼ぶ)である。本発明の実施の形態においては、この情景画像18中の、画面に書き込んでいる操作体12を半透明に表示する。3枚目に必要な画像は、操作者11の手書き操作により、タブレットPC13のタッチパネルディスプレイ14に表示されている文字16や絵の画像(以下、コンピュータ表示画像19と呼ぶ)である。

【0035】
[画像の合成の概要]
次に、図3を参照して、取得した背景画像17、情景画像18、及びコンピュータ表示画像19を用いて、半透明提示手法に必要な、画像の合成方法の概略について説明する。

【0036】
まずはじめに、背景画像17中のタッチパネルディスプレイ14の領域に相当する画面領域20に、手書きによって更新されるコンピュータ表示画像19をはめ込むことによって、画面領域20のみ更新される画像(以下、画面領域更新画像21と呼ぶ)を作成する。次に、作成した画面領域更新画像21と情景画像18を一定の割合で重ねて合成する。これらの合成処理によって半透明提示映像23の1フレームを作成する。

【0037】
[具体的な方法]
次に、本発明の実施の形態に係る画像表示装置10を用いて、半透明提示映像23を取得する半透明提示手法の具体的な方法について説明する。

【0038】
本発明の実施の形態に係る半透明提示手法の開発言語には、.net frameworkの機能を利用するためC#を用いる。画像処理には、現実環境にコンピュータを用いて情報を付加提示する技術を提供する拡張現実((AR)Augmented Reality)アプリケーション開発ライブラリであるNyARToolKitを使用するためDirect3D(登録商標)を用いる。

【0039】
[全体の流れ]
次に、図4を参照して、本実施の形態に係る画像表示装置10を用いた半透明提示手法を実現する全体の流れについて説明する。まず、半透明提示手法に必要な、背景画像17と情景画像18及び、コンピュータ表示画像19の3枚を取得する(ステップS1)。次に、取得した3枚の画像を合成する(ステップS2)。次に、その合成した画像をディスプレイ等の表示装置に出力する(ステップS3)。次に、画像表示装置10に設けられた終了ボタンが操作者11により押されたか否かを判別する(ステップS4)。終了ボタンが押されたと判別した場合には半透明提示手法を終了し、終了ボタンが押されたと判別されなかった場合にはステップS1の処理に戻る。したがって、画像表示装置10に設けられた終了ボタン(図示せず)が押されるまでステップS1からステップS3までの作業を連続的に繰り返すことによって半透明提示映像23を表示装置に表示し続けることができる。以上が半透明提示手法実現の全体の流れとなる。

【0040】
ここで、手書きが行われている側のタブレットPC13のコンピュータをサーバーPC30、半透明提示映像23を閲覧する側のコンビュータをクライアントPC40とすると、クライアントPC40側で画像の合成を行い、クライアントPC40側において画像を取得する処理を行う。

【0041】
サーバーPC30は、制御装置としてのCPU、記憶装置としての記憶部、通信装置としての通信部、手書き入力可能なタッチパネルディスプレイ14が含まれる。記憶部としては、ハードディスクドライブ(HDD)や、メモリ(RAM、ROM等)が挙げられる。また、通信部としては、各種有線及び無線のインターフェース装置が挙げられる。

【0042】
なお、詳細な説明は省略するが、クライアントPC40もサーバーPC30と同様のハードウェア構成を有している。但し、クライアントPC40は、タッチパネルディスプレイ14が必ずしも必要ではないため、サーバーPC30により手書き入力された文字や絵を表示するための表示装置と、キーボード及び、マウス、トラッキングボール等のポインティングデバイスとを備える。表示装置としては、例えば、液晶ディスプレイ、プラズマディスプレイ等の各種ディスプレイが挙げられる。ハードディスクドライブには、本発明のハードウェアを構成する画像表示装置10として機能させるための各種プログラム等を記憶する。

【0043】
[画像取得手順]
次に、図5を参照して、クライアントPC40側が、半透明提示映像を作成するのに必要な3枚の画像(背景画像17、情景画像18、コンピュータ表示画像19)を取得する手順について説明する。

【0044】
はじめに、クライアントPC40のCPUは、撮像手段としてのWebカメラ50により、背景画像17と情景画像18を撮影して取得する(ステップS11)。具体的には、クライアントPC40に接続されたWebカメラ50により、30fpsのフレームレートで、360x240のサイズの画像を取得する。

【0045】
次に、クライアントPC40のCPUは、Webカメラ50により取得された画像のキャプチャーをDirectShow(登録商標)を用いて行う(ステップS12)。このキャプチャーにより、背景画像17と情景画像18の取得を完了する(ステップS13)。このとき取得する背景画像17は、あらかじめ手書きが行われていない様子の画像を保存する。また、情景画像18は、背景画像17を撮影したときと同じアングルから、手書きが行われている様子を撮影して取得する。

【0046】
次に、図5を参照して、コンピュータ表示画像19の取得方法について説明する。はじめに、サーバーPC30のCPUは、コンピュータ表示画像19の情報を取得する(ステップS21)。具体的には、サーバーPC30であるタブレットPC13のタッチパネルディスプレイ14に表示されている文字16や絵の画像を取得する。コンピュータ表示画像19の取得にはWin32APIの機能を用いてBitmapクラスとして保持する。

【0047】
次に、サーバーPC30のCPUは、Bitmapクラスの画像データをbyte配列に変換する(ステップS22)。続いて、サーバーPC30のCPUは、byte配列に変換した画像データをリモートオブジェクトとして格納する(ステップS23)。

【0048】
サーバーPC30からクライアントPC40ヘの画像データの引き渡しは、.net frameworkの機能の1つである.net remotingを用いて行う。この.net remotingを用いることにより、ネットワーク間の通信が可能となり、他方のPC側のオブジェクトにアクセスすることができる。

【0049】
次に、クライアントPC40のCPUは、その画像データが格納されたサーバーPC30のリモートオブジェクトにアクセスする(ステップ31)。次に、クライアントPC40のCPUは、アクセスしたリモートオブジェクトの画像データを取得する(ステップS32)。次に、クライアントPC40のCPUは、byte配列の画像データを.net frameworkで処理が可能なImageクラスに変換する(ステップS33)。

【0050】
以上の工程によって、手書きが行われているコンピュータであるサーバーPC30であるタブレットPC13のタッチパネルディスプレイ14上に表示されているコンピュータ表示画像19を、閲覧側であるクライアントPC40において取得することができる(ステップS34)。

【0051】
[合成画像の合成手順]
次に、図6を参照して、取得した画像に基づき、合成画像を合成する手順について説明する。まず、背景画像17とコンピュータ表示画像19を合成して画面領域更新画像21を作成する方法について述べる。この合成では、背景画像17中の画面領域20に、コンピュータ表示画像19をはめ込む処理を行う。

【0052】
はじめに、クライアントPC40のCPUは、前述の通り、背景画像17、情景画像18、及びコンピュータ表示画像19の3枚の画像を取得する(ステップS41)。次に、クライアントPC40のCPUは、背景画像17中のタグの認識を行う(ステップS42)。

【0053】
この処理では、背景画像17中に存在する画面領域20を特定することができる。この画面領域20の特定は、ARアプリケーションの実装用ライブラリであるARToolKitの.net frameworkに対応したものであるNyARToolkitを用いて行う。このNyARToolkitにより、マーカーの位置と大きさの認識を行い、Direct3Dを用いて3Dオブジェクトを表示することができる。具体的には、画面領域20付近にマーカーを配置し、NyARToolkitによって取得したそのマーカーの情報をもとに、画面領域20の推定を行う(ステップS43)。また、NyARToolkitを用いることによって、カメラの位置が変わった場合には、はめ込み中画像の形状変換と画面領域20の特定を自動的に行う(ステップS44)。これにより、カメラの位置が変わっても、半透明提示手法を継続することができる。

【0054】
したがって、自動で画面領域の特定を行うことができるため、手動で画面領域20のサイズや位置を操作者11が設定する必要もなく、操作者11の負担を軽減することができる。さらに、このライブラリを用いることにより、マーカーの傾きも認識することができることから、タッチパネルディスプレイ14の正面以外からのアングルでも半透明提示映像を作成することができる。次に、クライアントPC40のCPUは、コンピュータ表示画像19を背景画像17にはめ込む処理を行う(ステップS45)。そして、このはめ込み処理により画面領域更新画像21を完成する(ステップS46)。

【0055】
次に、クライアントPC40のCPUは、作成した画面領域更新画像21と情景画像18をDirect3Dによりアルファブレンディングする処理を行う(ステップS47)。この処理では、Direct3Dによりアルファブレンドを調整して情景画像18を半透明にしながら、画面領域更新画像21と合成する処理を行う。このとき、クライアントPC40のCPUは、アルファブレンドを調整することにより、情景画像18の透明度を自由に変更することができる。この処理が終了することにより、半透明提示映像23の1フレームを完成することができる。すなわち、ステップS41からステップS47の処理を繰り返し行うことにより、半透明提示映像23を完成することができる。

【0056】
[合成画像の出力]
次に、完成した半透明提示映像23を出力する処理について説明する。クライアントPC40のCPUは、完成した半透明提示映像23をDirect3Dを用いてクライアントPCの表示装置に出力する。この半透明提示映像23の出力は、30fpsのフレーム間隔で行う。これにより、半透明提示映像23の動きは自然な動きを保持することができる。

【0057】
以上の構成によれば、タブレットを操作する操作者の腕等により表示画面が遮られて表示画面に表示されている内容を部分的に見て取れなくなるという問題を解消し、アノテーションによる聴衆の注意を集める機能を向上させ、操作者の使い勝手を向上させることができる。

【0058】
[第2の実施の形態]
第1の実施の形態における画像表示装置10を用いた半透明提示手法では、情景画像18中の操作体12すべてを半透明に表示する。つまり、手書きが行われる画面領域20外の操作体12も半透明に表示している。そこで、第2の実施の形態における画像表示装置10を用いた半透明提示手法では、手書きが行われている画面領域20に重なっている操作体12だけを半透明に表示して、画面領域20外の部分は半透明にしないで表示する。以下、第2の実施の形態について、第1の実施の形態と異なる点について説明する。

【0059】
[第2の実施の形態の画像の合成]
次に、図7を参照して、取得した情景画像18、及びコンピュータ表示画像19を用いて、半透明提示手法に必要な、画像の合成方法について説明する。第2の実施の形態では、第1の実施の形態と異なり、情景画像18とコンピュータ表示画像19の2つの画像だけを用いることによって半透明提示映像23を作成することができる。

【0060】
具体的な処理としては、第1の実施の形態における半透明提示手法で使用した背景画像17の代わりに、情景画像18中のタッチパネルディスプレイ14の領域に相当する画面領域20に、コンピュータ表示画像19をはめ込む処理を行う。これにより、手書きが行われている画面領域20上の操作体12が消去された画像である画面領域更新画像(2)21aを作成する。

【0061】
次に、作成された画面領域更新画像(2)21aと情景画像18のそれぞれの画素値を、一定の割合で重ねて合成する。第2の実施の形態の画像表示装置10を用いた合成方法により画像を合成することにより、画面領域20上の操作体12だけ半透明で表示され、画面領域20外の部分の操作者11は通常に表示される半透明提示映像23aの1フレームを作成することができる。

【0062】
[第3の実施の形態]
第2の実施の形態では、背景画像17を取得する必要がなく、また、NyARToolkitを用いることによって、カメラの位置が変わっても画像中にはめ込中画像の形状変換と領域の特定を自動的に行うため、半透明提示手法を続けることができる。

【0063】
そこで、第3の実施の形態では、クライアントPC40に通常の表示装置の代わりにヘッドマウントディスプレイとWebカメラ50を接続する。したがって、半透明提示映像23aを視聴している視聴者に、ヘッドマウントディスプレイとWebカメラ50を装着することにより、視聴者が移動しても第2の実施の形態に係る画像表示装置10を用いた半透明提示手法で見続けることができる。

【0064】
また、サーバーPC30に半透明提示映像を出力可能なヘッドマウントディスプレイとWebカメラ50を接続する。その結果、操作者も同様にヘッドマウントディスプレイとWebカメラ50を装着することにより、操作者が移動しても第2の実施の形態に係る画像表示装置10を用いた半透明提示手法で見続けることができる。

【0065】
[第4の実施の形態]
第1の実施の形態では、手書きが行われている画像を情景画像として撮影していたが、第4の実施の形態においては、文字16や絵が表示されていないタブレットPC13のタッチパネルディスプレイ14に手書きをしている情景を撮影する。

【0066】
具体的には、タブレットPC13の表示なしタッチパネルディスプレイの画面領域20にコンピュータ表示画像19をはめ込み、半透明提示映像23を作成する。これにより、手書きを行っている操作者11は、ヘッドマウントディスプレイを通して作成した半透明提示映像を見ることによって、表示なしのタッチパネルディスプレイ上に表示されたコンピュータ表示画像19に直接的に書き込んでいる感覚を味わうことが可能となる。つまり、第4の実施の形態においては、入力表示一体型タブレットPC同様に直感的な手書きを可能になる、さらに、本発明の実施の形態に係る画像表示装置10による半透明提示手法の特徴である画面隠れの軽減の効果が得ることができる。

【0067】
なお本発明は、上述の実施の形態に限定されるものでは無く、その趣旨を逸脱しない範囲で、上述の実施の形態に種々の変形を加えた形態とすることができる。

【0068】
具体的に、上述の実施の形態では、何ら情景画像を処理することなく、半透明化する場合について述べた。しかしながら本発明はこれに限らず、情景画像に各種の画像処理を施して半透明化してもよい。なおこのような画像処理は、エッジ強調処理、色相調整処理、講義している者の画像を特定キャラクタの画像に置き換える処理等を適用することができる。因みに、エッジ強調処理、色相調整処理は、各種の処理手法を広く適用することができ、一段とアノテーションの効果を増大させることができる。また講義している者の画像を特定キャラクタの画像に置き換える処理は、モーションキャプチャの手法を適用することができ、例えば子供等の特定の視聴者に人気のキャラクタの画像に、講義している者の画像を置き換えて、この特定の視聴者の注意を一段と喚起することができる。

【0069】
また上述の実施例においては、操作者11は、タッチパネルディスプレイ14に対し、ペン型ポインティングデバイスを用いて手書きを行っていたがこれに限られない。また、ペン型ポインティングデバイス15を用いてタッチパネルディスプレイ14に手書きを行っているが、ペン型ポインティングデバイス15の代わりに指により直接タッチパネルディスプレイ14に対し手書きする場合に適用してもよい。また、ペン型ポインティングデバイス15を用いてタッチパネルディスプレイ14に手書きを行っているが、マウスやトラックボール等により文字や絵を手書きする場合に適用して、操作中に腕等により遮られる画面を見て取ることができるようにしてもよい。また、サーバーPC30とクライアントPC40とが別々の装置に構成されているがこれに限られない。
【符号の説明】
【0070】
10 画像表示装置
11 操作者
12 操作体
13 タブレットPC
14 タッチパネルディスプレイ
15 ペン型ポインティングデバイス
16 文字
17 背景画像
18 情景画像
19 コンピュータ表示画像
20 画面領域
21 画面領域更新画像
23 半透明提示映像
30 サーバーPC
40 クライアントPC
50 Webカメラ
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7