TOP > 国内特許検索 > 多コンテンツ描画システム及び多コンテンツ描画方法 > 明細書

明細書 :多コンテンツ描画システム及び多コンテンツ描画方法

発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2020-091811 (P2020-091811A)
公開日 令和2年6月11日(2020.6.11)
発明の名称または考案の名称 多コンテンツ描画システム及び多コンテンツ描画方法
国際特許分類 G06T  19/00        (2011.01)
G06T  15/00        (2011.01)
A63F  13/35        (2014.01)
FI G06T 19/00 300B
G06T 15/00 501
A63F 13/35
請求項の数または発明の数 11
出願形態 OL
全頁数 14
出願番号 特願2018-230300 (P2018-230300)
出願日 平成30年12月7日(2018.12.7)
発明者または考案者 【氏名】齋藤 豪
【氏名】石井 翔
出願人 【識別番号】304021417
【氏名又は名称】国立大学法人東京工業大学
個別代理人の代理人 【識別番号】100067736、【弁理士】、【氏名又は名称】小池 晃
【識別番号】100192212、【弁理士】、【氏名又は名称】河野 貴明
【識別番号】100204032、【弁理士】、【氏名又は名称】村上 浩之
【識別番号】100200001、【弁理士】、【氏名又は名称】北原 明彦
審査請求 未請求
テーマコード 5B050
5B080
Fターム 5B050BA08
5B050BA09
5B050BA12
5B050BA13
5B050CA07
5B050DA10
5B050EA07
5B050EA12
5B050EA19
5B050EA27
5B050FA02
5B080BA02
5B080BA07
5B080CA03
5B080CA08
5B080DA06
5B080FA08
5B080FA09
5B080GA00
5B080GA11
5B080GA21
要約 【課題】特定の領域に存在する多種、多数のコンテンツを最適な負荷で描画する多コンテンツ描画システム及び多コンテンツ描画方法を提供する。
【解決手段】特定の領域Rに存在する多種、多数のコンテンツM、M1、M2を描画する多コンテンツ描画システム10であって、少なくとも、特定の領域Rの描画結果を生成する領域レンダリングサーバ12と、コンテンツの描画に関する計算を行うコンテンツレンダリングサーバ13を備え、領域レンダリングサーバ12は、位置及び視点に関する情報をコンテンツレンダリングサーバ13に送信し、コンテンツレンダリングサーバ13からコンテンツのレンダリングに関する像としての情報を受信することを特徴とする。
【選択図】図2
特許請求の範囲 【請求項1】
特定の領域に存在する多種、多数のコンテンツを描画する多コンテンツ描画システムであって、
少なくとも、
上記コンテンツを含む上記特定の領域の描画結果を生成する領域レンダリングサーバと、
上記コンテンツの描画に関する計算を行うコンテンツレンダリングサーバを備え、
上記領域レンダリングサーバは、位置及び視点に関する情報を上記コンテンツレンダリングサーバに送信し、該コンテンツレンダリングサーバからコンテンツのレンダリングに関する像としての情報を受信することを特徴とする多コンテンツ描画システム。
【請求項2】
上記コンテンツは3Dモデルを含むことを特徴とする請求項1に記載の多コンテンツ描画システム。
【請求項3】
上記レンダリングに関する像としての情報は遅延シェーディングに基づくG-bufferであることを特徴とする請求項1又は請求項2に記載の多コンテンツ描画システム。
【請求項4】
上記レンダリングに関する像としての情報はフォワードレンダリングに基づくレンダリング情報を含むことを特徴とする請求項1又は請求項2に記載の多コンテンツ描画システム。
【請求項5】
上記特定の領域は、複数の上記領域レンダリングサーバの処理により描画されることを特徴とする請求項1乃至請求項4のいずれか1項に記載の多コンテンツ描画システム。
【請求項6】
特定の領域に存在する多種、多数のコンテンツを描画する多コンテンツ描画方法であって、
計算手段を用いて上記コンテンツの描画に関する計算を行う計算工程と、
描画手段において上記コンテンツの位置及び視点に関する情報を取得する描画条件取得工程と、
上記描画手段から上記情報を上記計算手段に送信し、該計算手段からレンダリングに関する像としての情報を受信するレンダリング情報取得工程と、
上記レンダリングに関する像としての情報から上記コンテンツを含む上記特定の領域の描画結果を生成する描画工程
を有することを特徴とする多コンテンツ描画方法。
【請求項7】
上記コンテンツは3Dモデルを含むことを特徴とする請求項6に記載の多コンテンツ描画方法。
【請求項8】
上記レンダリングに関する像としての情報は遅延シェーディングに基づくG-bufferであることを特徴とする請求項6又は請求項7に記載の多コンテンツ描画方法。
【請求項9】
上記レンダリングに関する像としての情報はフォワードレンダリングに基づくレンダリング情報を含むことを特徴とする請求項6又は請求項7に記載の多コンテンツ描画方法。
【請求項10】
上記特定の領域を複数の上記描画手段により分割し、描画結果を生成する描画手段は、隣接する上記描画手段から、該描画手段が管理する領域の描画結果を取得することを特徴とする請求項6乃至請求項9のいずれか1項に記載の多コンテンツ描画方法。
【請求項11】
請求項6乃至10の何れか1項に記載の多コンテンツ描画方法をコンピュータに実行さ
せるためのプログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、多コンテンツ描画システム及び多コンテンツ描画方法に関する。
【背景技術】
【0002】
近年、コンピュータによるゲームやチャットの際に仮想世界を再現するようなサービスが数多く出てきている。このようなサービスはユーザに自身のモデルをアップロードさせることによって、自身があたかもその世界に訪れたかのように錯覚させる。
【0003】
例えば、特許文献1には、仮想世界における複数のキャラクターの移動を含むゲーム処理を行うゲーム処理手段と、複数のキャラクターから、所定の条件に基づいて、1のキャラクターを特定キャラクターとして特定する特定手段と、複数のキャラクターのうち特定キャラクターを除く複数の非特定キャラクターの移動に共通性があるか否かを判定する判定手段と、判定手段によって、共通性があると判定されなかった場合には特定キャラクターを優先表示キャラクターとして決定し、共通性があると判定された場合には少なくとも何れかの非特定キャラクターを優先表示キャラクターとして決定する、決定手段と、複数のキャラクターのうち、少なくとも前記優先表示キャラクターが表示画像の所定の領域に入るように描画関連パラメータを調整する調整手段を備えるシステムが開示されている。
【0004】
ユーザが自身のモデルをアップロードさせるコンテンツ構造はあまり広く実現されていない。このようなシステム中で同時に同じサーバ、ルームなどお互いが見えるような空間にユーザ同士が入るためにはユーザがあらかじめ他のユーザのアバターをダウンロードしなければならない。そのような構造を想定した際には、特にデータ転送量やユーザデバイスにおけるレンダリングコストの肥大化などの問題が伴う。
【0005】
すなわち、参加者が多くなればなるほど、それぞれのユーザがサーバからダウンロードしなければならないデータが大きく肥大化してしまう。また、一部のユーザがかなり大きなモデルをアップロードしてしまうと、他のユーザもこれをダウンロードしなければならず、膨大なネットワーク帯域の消費をする。そして、このモデルのレンダリングが各クライアントによって行われるために、ロースペックなデバイスのユーザは表示領域に入ってくる他人というコントロールしえない条件によってデバイスの処理の重さが大きく変わってしまう問題がある。
【先行技術文献】
【0006】

【特許文献1】特開2015-71012号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
このように、ユーザが自由にモデルをアップロードできるような仮想空間サービスなどでは、20~30名程度が一度の接続数の限界となっている現状がある。
【0008】
本発明は、上記課題に鑑みてなされたものであり、特定の領域に存在する多種、多数のコンテンツを最適な負荷で描画する多コンテンツ描画システム及び多コンテンツ描画方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明の一態様は、特定の領域に存在する多種、多数のコンテンツを描画する多コンテンツ描画システムであって、少なくとも、コンテンツを含む特定の領域の描画結果を生成する領域レンダリングサーバと、コンテンツの描画に関する計算を行うコンテンツレンダリングサーバを備え、領域レンダリングサーバは、位置及び視点に関する情報をコンテンツレンダリングサーバに送信し、コンテンツレンダリングサーバからコンテンツのレンダリングに関する像としての情報を受信することを特徴とする。
【0010】
本発明の一態様によれば、コンテンツサーバでは登録されているモデルに関する演算のみ行い、領域レンダリングサーバではコンテンツサーバで行う計算を必要とせずにコンテンツのレンダリングに関する像としての情報のみを受け取ることにより、特定の領域に存在する多種、多数のコンテンツを最適な負荷で描画することができる。
【0011】
このとき、本発明の一態様では、コンテンツは3Dモデルを含むこととしてもよい。
【0012】
3Dモデルのような重いデータ処理が必要な情報であっても、本発明の一態様では、レンダリングに関する像としての情報をやり取りするため、最適な負荷で描画することができる。
【0013】
また、本発明の一態様では、レンダリングに関する像としての情報は遅延シェーディングに基づくG-bufferとしてもよい。
【0014】
このようにすれば、仮に描画負荷が大きなコンテンツであったとしても、重くなるのはコンテンツレンダリングサーバにおける計算時のみであり、コンテンツそれぞれの負荷に応じてスケーリングすることによってその後の全体の描画処理の負荷には影響しなくなる。
【0015】
また、本発明の一態様では、レンダリングに関する像としての情報はフォワードレンダリングに基づくレンダリング情報を含むとしてもよい。
【0016】
レンダリングに関する像としての情報は遅延シェーディングに限らず、フォワードレンダリングに基づくものであってもよい。
【0017】
また、本発明の一態様では、特定の領域は、複数の領域レンダリングサーバの処理により描画されるようにしてもよい。
【0018】
複数の領域レンダリングサーバにより分割して管理することにより、広大な領域を描画するような場合であっても、負荷を軽減することができる。
【0019】
本発明の他の態様は、特定の領域に存在する多種、多数のコンテンツを描画する多コンテンツ描画方法であって、計算手段を用いてコンテンツの描画に関する計算を行う計算工程と、描画手段においてコンテンツの位置及び視点に関する情報を取得する描画条件取得工程と、描画手段から情報を計算手段に送信し、計算手段からレンダリングに関する像としての情報を受信するレンダリング情報取得工程と、レンダリングに関する像としての情報からコンテンツを含む特定の領域の描画結果を生成する描画工程を有することを特徴とする。
【0020】
本発明の他の態様によれば、計算手段ではコンテンツの描画に関する演算のみ行い、描画手段ではコンテンツの描画に関する計算を必要とせずにコンテンツのレンダリングに関する像としての情報のみを受け取ることにより、特定の領域に存在する多種、多数のコンテンツを最適な負荷で描画することができる。
【0021】
このとき、本発明の他の態様では、コンテンツは3Dモデルを含むこととしてもよい。
【0022】
3Dモデルのような重いデータ処理が必要な情報であっても、本発明の一態様では、レンダリングに関する像としての情報をやり取りするため、最適な負荷で描画することができる。
【0023】
また、本発明の他の態様では、レンダリングに関する像としての情報は遅延シェーディングに基づくG-bufferとしてもよい。
【0024】
このようにすれば、仮に描画負荷が大きなコンテンツであったとしても、重くなるのはコンテンツレンダリングサーバにおける計算時のみであり、コンテンツそれぞれの負荷に応じてスケーリングすることによってその後の全体の描画処理の負荷には影響しなくなる。
【0025】
また、本発明の一態様では、レンダリングに関する像としての情報はフォワードレンダリングに基づくレンダリング情報を含むとしてもよい。
【0026】
レンダリングに関する像としての情報は遅延シェーディングに限らず、フォワードレンダリングに基づくものであってもよい。
【0027】
また、本発明の他の態様では、特定の領域を複数の描画手段により分割し、描画結果を生成する描画手段は、隣接する描画手段から、該描画手段が管理する領域の描画結果を取得するようにしてもよい。
【0028】
複数の描画手段により分割して管理することにより、広大な領域を描画するような場合であっても、負荷を軽減することができる。
【0029】
また、本発明の他の態様は、上記多コンテンツ描画方法をコンピュータに実行させるためのプログラムである。
【発明の効果】
【0030】
以上説明したように本発明によれば、特定の領域に存在する多種、多数のコンテンツを最適な負荷で描画することができる。
【図面の簡単な説明】
【0031】
【図1】従来の描画システムの構成を示す概略図である。
【図2】本発明の一実施形態に係る多コンテンツ描画システムの構成を示す概略図である。
【図3】本発明の他の実施形態に係る多コンテンツ描画システムの構成を示す概略図である。
【図4】本発明の一実施形態に係る多コンテンツ描画方法の概略を示すフロー図である。
【図5】特定の領域を複数の描画手段で分割した際のレンダリングの方法を示した模式図である。
【発明を実施するための形態】
【0032】
以下、本発明の好適な実施の形態について詳細に説明する。なお、以下に説明する本実
施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本
実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。

【0033】
本発明の一実施形態に係る多コンテンツ描画システムが適用される一例として、ゲームや仮想世界のようなバーチャルなコンテンツにおいて、ユーザはカスタマイズしたモデル(参加者のキャラクタ等)を登録して運用し、クライアント端末には、各ユーザ(モデル)の視点に応じた画像が描画される状況を想定する。図1は、従来の描画システムの構成を示す概略図であり、図2は、本発明の一実施形態に係る多コンテンツ描画システムの構成を示す概略図である。

【0034】
従来の描画システム100では、図1に示すように、ユーザはクライアント端末101からレンダリングサーバ102にモデルMを登録(アップロード)し、その後は、レンダリングサーバ102に対してレンダリング結果をリクエストする。また、ユーザはクライアント端末101から自身のキャラクタMの動きなどの入力データをレンダリングサーバ102に送信する。

【0035】
図1に示すような描画システム100のように、あるユーザのモデルMからの視点を基にそれぞれのモデルM、M1、M2の描画情報を描画をするデバイス上にダウンロードする従来の方法では、ネットワークの帯域を浪費する、あるいはモデル情報をダウンロードしてデバイス上で描画する場合にはデバイスの計算負荷が重くなる問題があった。

【0036】
また、他の3DモデルM1、M2があるユーザのモデルMの視界内Sに入った場合などに対処するため、レンダリングサーバ102は事前にユーザからモデルM1、M2をダウンロードしなければならず、その度に多くの帯域を浪費してしまっていた。このような問題を解決するためには、突然モデルデータをダウンロードしなければならないような状態を避けることが必要となる。

【0037】
本発明はこのような問題を解決するために発案されたものであり、本発明の一態様は、図2に示すように、特定の領域Rに存在する多種、多数のコンテンツM、M1、M2を描画する多コンテンツ描画システム10であって、少なくとも、特定の領域Rの描画結果を生成する領域レンダリングサーバ12と、コンテンツの描画に関する計算を行うコンテンツレンダリングサーバ13を備え、領域レンダリングサーバ12は、位置及び視点に関する情報をコンテンツレンダリングサーバ13に送信し、コンテンツレンダリングサーバ13からコンテンツのレンダリングに関する像としての情報を受信することを特徴とする。

【0038】
本発明では、このような構成とすることにより、モデルMはコンテンツレンダリングサーバ13Aに格納(アップロード)後は他のサーバに移す必要がなく、必要に応じてその場でのレンダリング結果のみ取得すればよいため、モデルMのダウンロードによる帯域問題が解決される。

【0039】
仮にコンテンツレンダリングサーバ13でのモデル描画が重かったとしても、重くなるのはそのモデルの計算だけであり、全体の描画処理の負荷には影響しない。重いモデルをあげたユーザのキャラクタ(アバター)の場合、重くなるのはそのコンテンツサーバだけである。単純にそのコンテンツだけ重い状態としておくか、そのユーザの需要に応じてそのコンテンツサーバだけ高性能な計算機を割り当てることができる。また、本発明の実施形態によっては、ユーザが自身のモデルMをあげるコンテンツレンダリングサーバ13Aを強化などすることによってコンテンツの負荷を見るユーザにかけてしまうことを避けて、コンテンツのアップロード者にかけることができる。

【0040】
また、ユーザーサイドに配信されるのはモデルデータではないコンテンツのレンダリング結果であるのでコンテンツの情報を配信先に分からせることなくレンダリングの結果を得ることができる。したがって、ユーザーサイドにコンテンツの3Dモデルをダウンロードさせる必要がなく、コンテンツの保護を図ることができる。また、領域レンダリングサーバ12に3Dモデルをダウンロードさせる必要がないため、ユーザ自身がモデルデータを用いて配信する際に3Dモデルをサービス提供者に渡すことなく、サービス中でモデル表示を利用することができる。

【0041】
図3は、本発明の他の実施形態に係る多コンテンツ描画システム20の構成を示す概略図である。本発明の一実施形態に係る多コンテンツ描画システム20では、図3に示すように、特定の領域Rを複数の領域レンダリングサーバ22(22A~22P)により分割して管理するようにすることができる。これにより、広大な領域を描画するような場合であっても、負荷を軽減することができる。詳細については後述する。

【0042】
次に、本発明の一実施形態に係る多コンテンツ描画システムの構成要素である、領域レンダリングサーバ12とコンテンツレンダリングサーバ13の構成について説明する。

【0043】
領域レンダリングサーバ12とコンテンツレンダリングサーバ13は、それぞれ、サーバとして備えるべき、1又は複数のCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random access Memory)、通信ユニット等を備え、さらにGPU(Graphics Processing Unit)を備えていてもよい。また、必要に応じてキーボード、タッチパネル等の入力部や表示モニタ等の出力部等を有していてもよい。各構成要素の数及び性能は、描画の対象となる特定の領域Rの規模や、コンテンツの種類、数、計算の負荷等により状況に適したものを選択すればよい。また、領域レンダリングサーバ12とコンテンツレンダリングサーバ13には、それぞれ、後述する多コンテンツ描画方法を実現するためのプログラムを有する。

【0044】
領域レンダリングサーバ12やコンテンツレンダリングサーバ13のCPUは、互いの通信ユニットを介して受信したデータや、ROMに記憶されている各種プログラムに従って、各サーバに備わる各構成要素の動作を制御する機能を有する。本実施形態では、CPUは、多コンテンツ描画方法を実行させるためのプログラムに従って、多コンテンツの描画のための動作を制御する。また、CPUは、これら各種処理を実行する際に、必要なデータ等をRAM(Random access Memory)等に適宜記憶させる機能を有する。また、GPU(Graphics Processing Unit)は、画像処理に特化した演算装置であり、レンダリング処理等を実行するために、各サーバに備わっていることが好ましい。

【0045】
ROMやRAMといったメモリは、多コンテンツ描画システム10の各構成要素の動作制御に必要な情報を記憶する機能を有する。本実施形態では、メモリは、多コンテンツ描画システム10により実行される多コンテンツ描画方法を領域レンダリングサーバ12及びコンテンツレンダリングサーバ13間で実行させるためのプログラムが記憶されている。

【0046】
通信ユニットは、領域レンダリングサーバ12、コンテンツレンダリングサーバ13及びクライアント端末11間でのデータの送受信を行う機能を有する。通信ユニットは有線又は無線の通信回線を通じて他のサーバや端末との通信を行う。領域レンダリングサーバ12が複数ある場合には、各領域レンダリングサーバ12は少なくとも隣接する他の領域レンダリングサーバと通信可能であり、また、各領域レンダリングサーバ12は、1又は複数のコンテンツレンダリングサーバ13のそれぞれと通信可能である。

【0047】
次に、クライアント端末(ユーザデバイス)11、領域レンダリングサーバ12、コンテンツレンダリングサーバ13のそれぞれにおいて行われる処理について説明する。

【0048】
クライアント端末(ユーザデバイス)11は、ユーザが本発明の一実施形態に係る多コンテンツ描画システム10を利用する際に用いる端末である。例えば、汎用コンピュータ、タブレット端末、スマートフォン、携帯情報端末等の各種演算処理が可能な演算装置を備えた情報端末装置をいう。クライアント端末(ユーザデバイス)11は、自身が登録したキャラクタ(アバター)Mの位置情報などから、リクエストを送る先の領域レンダリングサーバ12を求めて描画結果を要求する。また、クライアント端末(ユーザデバイス)11は、必要に応じてサーバ上で同期されているアバターMの位置などのシーン情報を操作する。これは、領域レンダリングサーバ12が領域内を管理していて、これの変更を要求するようなリクエストを出してもよいし、別にシーンの状態を管理するようなサーバがあってもよい。

【0049】
領域レンダリングサーバ12は、必要に応じて特定の描画結果を取得できるような状況を作る。領域レンダリングサーバ12が複数存在する場合には、領域レンダリングサーバ12は、隣接する領域を管理する領域レンダリングサーバと接続を確立する。そして、領域レンダリングサーバ12は、クライアント端末(ユーザデバイス)11からの接続があった際に、キャラクタ(アバター)Mの視点に含まれうる隣接領域を管理する領域レンダリングサーバより描画結果を取得する。各領域レンダリングは、他の領域レンダリングサーバから要求があった際に、同時に渡されるカメラパラメータを用いた描画結果を取得する。

【0050】
領域レンダリングサーバ22(22A~22P)が図3に示すように複数存在する場合に、自身の周囲の領域レンダリングサーバとの接合面に対して、隣接する領域レンダリングサーバから取得した描画結果を貼り付けることによって領域外の平面が描画されたようにすることができる。この際の接合面は、4面による立方体が平面上に並んでいるような形状でも良いし、六角柱が並ぶような形状でもよい。空間を十分に充填し、平面によって区切られている任意の形状を用いればよい。

【0051】
また、領域レンダリングサーバ12は、領域中のコンテンツを管理するすべてのコンテンツレンダリングサーバ13(13A~13C)に対してレンダリングに関する像としての情報の更新をリクエストする。レンダリングに関する像としての情報としては、深度、法線、Light Accumulation buffer、表示領域判定用マスク画像およびアルベド、ラフネス、メタリックなどを始めとするマテリアル情報等が挙げられるが、遅延シェーディングに基づくG-bufferを用いることができる。G-bufferは、画面全体の法線、深さなどを表すバッファである。領域レンダリングサーバは、例えば、コンテンツレンダリングサーバで更新されたG-bufferを領域中で一つにまとめて一つの平面のG-bufferとして合成する。このとき、必要に応じて深さだけのG-bufferを特定のライト視点からリクエストすることでシャドウマップを作成し、前記平面とライト情報、シャドウマップなどを用いて実際のライティングを行い、ライティング結果を反映した画像を生成する。この際、実際のユーザから見た視点に合うようなゆがんだ射影行列を用いることができる。

【0052】
本発明の一実施形態に係る多コンテンツ描画システムにおいて、コンテンツレンダリングサーバから領域レンダリングサーバへと送られるレンダリングに関する像としての情報は、遅延シェーディング(Deferred Shading)のみに限定されるわけではなく、フォワードレンダリング(Forward Rendering)に基づく像としての情報であってもよい。フォワードレンダリングは、ライトの情報を送ってライティングまでをコンテンツレンダリングサーバで行う手法であり、最終的なレンダリング結果と透明度などの合成に必要なマスク(mask)情報あるいは深度(depth)情報をレンダリングに関する像としての情報として領域レンダリングサーバに送信する。

【0053】
コンテンツレンダリングサーバ13は、コンテンツを描画するのに適切な面の大きさを定めるためにコンテンツを囲う最小領域又は画像圧縮に適したサイズの領域を事前に計算する。この領域の計算は、ある視点が与えられたときに必要な描画画面の大きさを十分に計算できるような物であれば何でもよい。例えばAABB(Axis Aligned Bounding Box)や単純なモデルを囲う球面の計算などによることができる。コンテンツレンダリングサーバ13では、この領域を例えば、ユーザカメラから見た際にうまく映るような射影行列を計算する。

【0054】
コンテンツレンダリングサーバ13は、領域レンダリングサーバ12からリクエストがあった際にこのリクエストに応じてレンダリングに関する像としての情報を結果として送る。上述したようにレンダリングに関する像としての情報は、例えばG-bufferである。この際、データを圧縮して転送すればデータ転送量をより軽減化することができる。コンテンツレンダリングサーバは、前記射影行列を用いて既存のモデルからG-bufferを生成して領域レンダリングサーバ12に受け渡す。

【0055】
次に、本発明の一実施形態に係る多コンテンツ描画方法について、図面を使用しながら説明する。図4は、本発明の一実施形態に係る多コンテンツ描画方法の概略を示すフロー図である。本発明の一態様は、特定の領域に存在する多種、多数のコンテンツを描画する多コンテンツ描画方法であって、計算手段を用いてコンテンツの描画に関する計算を行う計算工程S1と、描画手段においてコンテンツの位置及び視点に関する情報を取得する描画条件取得工程S2と、描画手段から情報を計算手段に送信し、計算手段からレンダリングに関する像としての情報を受信するレンダリング情報取得工程S3と、レンダリングに関する像としての情報からコンテンツを含む特定の領域の描画結果を生成する描画工程S4を有する。

【0056】
計算工程S1は、計算手段を用いてコンテンツの描画に関する計算を行う工程である。計算手段としては、例えば上述したようなコンテンツレンダリングサーバが挙げられる。また、コンテンツとしては、ゲームやチャットなどの仮想空間おいて、ユーザが設定した自身のモデル(アバター)等であり、これらのモデルは、3Dモデルを含むものである。計算手段においては、例えば、上述したようにコンテンツを描画するのに適切な面の大きさを定めるためにコンテンツを囲う最小領域又は画像圧縮に適したサイズの領域を計算し、この領域を例えばユーザカメラから見た際にうまく映るような射影行列を計算する。

【0057】
描画条件取得工程S2は、描画手段においてコンテンツの位置及び視点に関する情報を取得する工程である。描画手段は、基本的には計算手段とは別に設けられる構成であり、例えば上述したような領域レンダリングサーバが挙げられる。ゲームやチャットなどの仮想空間においては、通常、ユーザは自身が登録したモデル(アバター)を操作して視点を変えたり、画面内の場所を移動したりする。この時の情報がユーザの操作するクライアント端末(ユーザデバイス)から描画手段へと送られる。

【0058】
レンダリング情報取得工程S3は、描画手段から情報を計算手段に送信し、計算手段からレンダリングに関する像としての情報を受信する。この時、対象とするユーザのモデル(アバター)の視野内に他のユーザのモデル(アバター)が存在する場合には、他のモデルについてのレンダリングに関する像としての情報も含めて受信する。レンダリングに関する像としての情報は、例えば上述したように遅延シェーディングに基づくG-bufferを用いることができる。このように、描画手段では直接コンテンツに関するデータは扱わずに、計算手段を介してレンダリングに関する像としての情報のみを受け取るため、コンテンツが多種、多数になったとしても描画負荷が重くなるような状態を防止することができる。したがって、本発明の一実施形態に係る描画方法では、より多くのユーザが参加した状態であっても各ユーザのモデル(アバター)を同時に多数描画することを可能にする。

【0059】
描画工程S4は、レンダリングに関する像としての情報からコンテンツを含む特定の領域の描画結果を生成する工程である。例えば、モデル(アバター)の位置、視点、当該視野中に含まれる配置物や他のモデル(アバター)に関するシーン情報に合わせて計算手段からレンダリングに関する像としての情報(例えばG-buffer)を取得し、G-buffer情報及びシーン情報からライティングをしてユーザ視点でのレンダリング結果を描画する。

【0060】
また、本発明の一実施形態に係る多コンテンツ描画方法では、例えば図3に示すように、特定の領域を複数の描画手段(領域レンダリングサーバ)により分割し、描画結果を生成する描画手段は、隣接する描画手段から、描画手段が管理する領域の描画結果を取得するようにしてもよい。

【0061】
図5は、特定の領域Rを複数の描画手段で分割した際のレンダリングの方法を示した模式図である。特定の領域RにあるユーザのモデルMが存在していた場合に、ある時にモデルMの視野内Sの画像が描画のために必要であったとする。その際にその平面に写りうる領域は領域r1を含むものであって、これを領域r1を管理するノードに対して結果の画像を問い合わせる。この際の結果画像はr2の領域とr3の領域に依存するため、このノードが隣り合わせる領域r4のノードに対して結果の画像を送るように問い合わせる。これは基本的に再帰的に繰り返される。このように複数個のノードが返す情報を元に各画像を組み合わせて結果となる画像を得ることができる。
【実施例】
【0062】
以下、本発明について、実施例を用いてさらに具体的に説明するが、本発明は、以下の実施例に何ら限定されるものではない。
【実施例】
【0063】
<実施例1.ユーザが自身の3Dアバターをアップロードする形式の仮想現実環境>
本発明の一実施形態に係る多コンテンツ描画システム及び多コンテンツ描画方法は、事前に予期できないような多種のモデルを表示することに秀でている。したがって、例えば、ユーザそれぞれが自身のデザインしたモデルをアップロードし得るような環境、同時にそれぞれのユーザが動くことにより他のユーザに観測され得るような環境、新しいユーザが突如空間内に配置されるような環境といった仮想空間での表現に適している。現実的な例としては、MMORPGなどのゲーム的要素や3D空間上のSNS空間など、同時多発的にそれぞれのユーザが独立した操作をするような例が挙げられる。
【実施例】
【0064】
このような環境下で、例えば、ユーザはサービスの登録時に自身のモデル(アバター)をコンテンツレンダリングサーバにアップロードする。このコンテンツレンダリングサーバは、他のユーザと共有のものであってもよいし、重いモデルであることが想定される場合は占有のコンテンツレンダリングサーバを割り当てればよい。これにより、ネットワーク全体に与える負荷に対するペナルティをユーザ自身に負担させることもできる。
【実施例】
【0065】
次に、ユーザは自身のアバターが所属する領域の領域レンダリングサーバにアクセスする。この際、動的に領域レンダリングサーバが増加するなどの場合は、領域レンダリングサーバのリストを管理するような領域レンダリングサーバを解決する目的のサーバがあってもよい。静的にあらかじめ領域から定まる場合には、単にこれらのサーバだけ存在していればよい。また、接続は、例えば、単なるソケット通信で接続を確立してもよい。必要に応じてストリーミング配信などに使われている圧縮技術などを応用できる。
【実施例】
【0066】
領域レンダリングサーバは写り得る隣接領域レンダリングノードに対してアバターの位置から見た場合のレンダリング結果をリクエストする。単にユーザが接続された場合と同一の状況として一般化ができる。この際にPerspective Offcenterな射影行列を用いることにより正常なレンダリング結果を得る。
【実施例】
【0067】
そして、シーン情報を取得する。単にアバターのみによって構成される場合は、領域レンダリングノードは自身に接続されるクライアントのリストからシーン情報を復元できる。また、アバターのみでなく、あらかじめ置かれた物体なども混ざり構成される場合は、別途シーングラフの管理ノードなどを用意してこれらから逐次シーン上の物体リストなどの姿勢を解決する。
【実施例】
【0068】
その後、領域レンダリングサーバは、シーン情報に合わせてコンテンツレンダリングサーバからG-bufferを取得し、G-buffer情報及びシーン情報からライティングをしてユーザ視点でのレンダリング結果を描画する。
【実施例】
【0069】
<実施例2.動的にモデルの形状が同時多発的に変わり得る状況下でのシミュレーション表示>
本発明の一実施形態に係る多コンテンツ描画システム及び多コンテンツ描画方法は、モデル自身の形状生成からレンダリングをする部分と全体のレンダリングを行う部分が独立であることから、シミュレーションのための形状生成コストが非常に高くそれを現実的な速度で外部に転送を行うことが現実的ではないデータのシミュレーションも可能である。例えば、ある部分領域のG-buffer描画結果を与えられたカメラ視点から取得することができるシミュレーションが挙げられる。シミュレーション目的によってはリアルタイムに行うことも可能であるし、それが必要のない状況でも特定領域のシミュレーション結果を現実的な速度で取得可能であるなら逐次的に大規模な空間を描画できる。
【実施例】
【0070】
まず、コンテンツレンダリングサーバでシミュレーションを行う。上記のシミュレーションをコンテンツレンダリングサーバにより行い、領域レンダリングサーバのリクエストに応じて結果を返す。実際の運用ではコンテンツレンダリングサーバはシミュレーションを実行する主体となる者が自分で立ててもよい。シミュレーションに参加するノードに空いている領域を割り当てることによる大規模空間のグリッドコンピューティングシステムとしてこのようなコンテンツレンダリングサーバを運用してもよい。
【実施例】
【0071】
その後、コンテンツレンダリングサーバより領域レンダリングサーバが結果を取得する。領域レンダリングサーバは大域的に必要な処理を行う。ここでの大域的な処理とはライティングにとらわれない。例えば、星雲のシミュレーションなどであれば、コンテンツレンダリングサーバが返す各部分領域のシミュレーション結果からそれぞれのコンテンツレンダリングサーバ同士の間での相互作用に関わる値の算出などを行う。
【実施例】
【0072】
なお、上記のように本発明の一実施形態について詳細に説明したが、本発明の新規事項
及び効果から実体的に逸脱しない多くの変形が可能であることは、当業者には、容易に理
解できるであろう。従って、このような変形例は、全て本発明の範囲に含まれるものとす
る。
【実施例】
【0073】
例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と
共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置
き換えることができる。また、多コンテンツ描画システムの構成、動作も本発明の一実
施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【0074】
10,20 多コンテンツ描画システム、11,21 クライアント端末、12,22(22A~22P) 領域レンダリングサーバ、13(13A~13C),23(23A~23C) コンテンツレンダリングサーバ、100 描画システム、101 クライアント端末、102 レンダリングサーバ、M,M1,M2 モデル、R 特定の領域、S 視界内、S1 計算工程、S2 描画条件取得工程、S3 レンダリング情報取得工程、S4 描画工程
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4