TOP > 国内特許検索 > 情報配信装置、情報配信システムおよび情報配信方法 > 明細書

明細書 :情報配信装置、情報配信システムおよび情報配信方法

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4408383号 (P4408383)
公開番号 特開2005-267218 (P2005-267218A)
登録日 平成21年11月20日(2009.11.20)
発行日 平成22年2月3日(2010.2.3)
公開日 平成17年9月29日(2005.9.29)
発明の名称または考案の名称 情報配信装置、情報配信システムおよび情報配信方法
国際特許分類 G06F  13/00        (2006.01)
H04W   4/00        (2009.01)
FI G06F 13/00 550L
H04B 7/26 M
請求項の数または発明の数 12
全頁数 25
出願番号 特願2004-078376 (P2004-078376)
出願日 平成16年3月18日(2004.3.18)
審査請求日 平成19年3月1日(2007.3.1)
特許権者または実用新案権者 【識別番号】504143441
【氏名又は名称】国立大学法人 奈良先端科学技術大学院大学
発明者または考案者 【氏名】安本 慶一
【氏名】伊藤 実
【氏名】柴田 直樹
【氏名】玉井 森彦
【氏名】孫 ▲たお▼
個別代理人の代理人 【識別番号】100065248、【弁理士】、【氏名又は名称】野河 信太郎
審査官 【審査官】坂東 博司
参考文献・文献 特開2003-087785(JP,A)
特開2000-261754(JP,A)
特開平09-182055(JP,A)
特開2002-232823(JP,A)
国際公開第03/029989(WO,A1)
特開平11-341449(JP,A)
TAMAI. M. et al.,Low power Video Streaming for PDAs,Proceeding of the 8th International Workshop on Mobile Multimedia Communications (MoMuC 2003),ドイツ,2003年10月 6日,p.31-36,URL,http://ito-lab.naist.jp/themes/pdffiles/031006.morihi-t.momuc2003.pdf
調査した分野 G06F 13/00
G06F 17/30
H04B 7/26
特許請求の範囲 【請求項1】
画像および音声を含むマルチメディア情報を格納した第1情報記憶部と、
ユーザによって設定されたマルチメディア情報の希望品質に関連する情報を含むユーザ要求情報を格納した第2情報記憶部と、
前記ユーザ要求情報に基づいて、第1情報記憶部に格納されたマルチメディア情報の情報品質を、そのマルチメディア情報に付与されたカテゴリごとに決定し、そのユーザの所有する情報端末に送信するための送信情報を生成する情報加工部と、
情報加工部で生成された送信情報を、前記情報端末に順次送信する送信部とを備え、
前記第2情報記憶部に格納されるユーザ要求情報が、前記カテゴリごとの希望再生品質を示す情報Iqを含み、
前記情報加工部によって決定された特定のカテゴリiの情報品質が、前記ユーザによって要求された希望再生品質よりも過剰である場合に、そのカテゴリiの情報品質を希望再生品質に縮小変更し、他のカテゴリの情報品質を比例配分して拡大変更することを特徴とする情報配信装置。
【請求項2】
画像および音声を含むマルチメディア情報を格納した第1情報記憶部と、
ユーザによって設定されたマルチメディア情報の希望品質に関連する情報を含むユーザ要求情報を格納した第2情報記憶部と、
前記ユーザ要求情報に基づいて、第1情報記憶部に格納されたマルチメディア情報の情報品質を、そのマルチメディア情報に付与されたカテゴリごとに決定し、そのユーザの所有する情報端末に送信するための送信情報を生成する情報加工部と、
情報加工部で生成された送信情報を、前記情報端末に順次送信する送信部とを備え、
前記第2情報記憶部に格納されるユーザ要求情報が、前記カテゴリごとの希望再生品質を示す情報Iqを含み、
前記情報加工部によって決定された特定のカテゴリiの情報品質が、前記ユーザによって要求された希望再生品質よりも過小である場合に、そのカテゴリiの情報品質を希望再生品質に拡大変更し、他のカテゴリの情報品質を比例配分して縮小変更することを特徴とする情報配信装置。
【請求項3】
画像および音声を含むマルチメディア情報を格納した第1情報記憶部と、
ユーザによって設定されたマルチメディア情報の希望品質に関連する情報を含むユーザ要求情報を格納した第2情報記憶部と、
前記ユーザ要求情報に基づいて、第1情報記憶部に格納されたマルチメディア情報の情報品質を、そのマルチメディア情報に付与されたカテゴリごとに決定し、そのユーザの所有する情報端末に送信するための送信情報を生成する情報加工部と、
情報加工部で生成された送信情報を、前記情報端末に順次送信する送信部とを備え、
前記第2情報記憶部に格納されるユーザ要求情報が、前記情報端末の電力残容量を含み、
前記送信情報を前記情報端末に送信中に、その情報端末の現在の電力残容量E1を予測する電力予測部と、
前記送信情報の送信中において前記情報端末からその電力残容量E2を受信する受信部と、
予測された電力残容量E1と受信された電力残容量E2との差が所定値を超えるか否かを比較する比較部とをさらに備え、
前記予測残容量E1と受信残容量E2との差が所定値を超えた場合に、
前記情報加工部が、未送信のマルチメディア情報に対してカテゴリごとの情報品質を再計算し変更することを特徴とする情報配信装置。
【請求項4】
前記第2情報記憶部に格納されるユーザ要求情報が、
前記情報端末の電力残容量Er,
再生希望マルチメディア情報名Id,
希望電力消費量情報Eo,
再生希望時間To,
マルチメディア情報に付与されたカテゴリに対する重要度Pをさらに含み、
前記第1情報記憶部に格納されたマルチメディア情報が、時分割されかつカテゴリが付与された複数個の場面情報からなり、
前記再生希望時間To内で、かつユーザの要求した希望電力消費量情報が示す電力の範囲内で、前記マルチメディア情報に付与されたカテゴリごとにユーザの希望再生品質を反映した情報が前記情報端末で再生することができるように、
前記情報加工部が、前記格納されたマルチメディア情報のカテゴリごとに情報品質を決定することを特徴とする請求項1または2の情報配信装置。
【請求項5】
前記情報加工部が決定するカテゴリごとの情報品質は、前記希望電力消費量情報によって定められる全消費電力のうち、そのカテゴリnに付与された重要度Pnおよびそのカテゴリが付与された場面の再生時間Tnから求められるそのカテゴリの消費電力量Enと、そのカテゴリの希望再生品質を示す情報Iqとによって決定されることを特徴とする請求項の情報配信装置。
【請求項6】
前記マルチメディア情報が動画像を含む場合に、前記カテゴリごとの情報品質は、動画像の画素数r,フレームレートfおよびビットレートbからなることを特徴とする請求項1乃至5のいずれかに記載の情報配信装置。
【請求項7】
前記マルチメディア情報が、重要度の異なる複数個のカテゴリの場面情報から構成される場合、前記情報端末で重要度の低いカテゴリの送信情報を再生中に、前記送信部が、その後に再生される重要度の高いカテゴリの送信情報の一部を、情報端末へ前もって送信しておくことを特徴とする請求項の情報配信装置。
【請求項8】
前記ユーザ要求情報に含まれた再生希望マルチメディア情報名のマルチメディア情報の全体について前記情報加工部が生成した送信情報を格納する第3情報記憶部を備え、第3情報記憶部が着脱可能な記録媒体であることを特徴とする請求項の情報配信装置。
【請求項9】
前記請求項1乃至8のいずれかに記載の情報配信装置により送信された送信情報を受信する受信部と、受信した送信情報を再生する情報再生部とを備えた情報端末。
【請求項10】
前記請求項の情報配信装置の第3情報記憶部を挿入可能な取付部と、取付部に挿入された第3情報記憶部に格納されている送信情報を再生する情報再生部とを備えた情報端末。
【請求項11】
画像および音声を含みかつカテゴリが付与されたマルチメディア情報を格納した第1情報記憶部と、
ユーザによって設定されたマルチメディア情報の希望品質に関連する情報を含むユーザ要求情報を格納し、前記ユーザ要求情報に前記カテゴリごとの希望再生品質を示す情報Iqを含んだ第2情報記憶部と、
前記ユーザ要求情報に基づいて、第1情報記憶部に格納されたマルチメディア情報の品質を、そのマルチメディア情報に付与されたカテゴリごとに決定し、そのユーザの所有する情報端末に送信するための送信情報を生成する情報加工部と、
情報加工部で生成された送信情報を、前記情報端末に順次送信する送信部とを備え、
前記情報加工部によって決定された特定のカテゴリiの情報品質が、
前記ユーザによって要求された希望再生品質よりも過剰である場合に、
そのカテゴリiの情報品質を希望再生品質に縮小変更し、
他のカテゴリの情報品質を比例配分して拡大変更する情報配信装置と、
情報配信装置から送信されてきた送信情報を再生する機能を備えた情報端末とから構成されることを特徴とする情報配信システム。
【請求項12】
配信される画像および音声を含むマルチメディア情報を取得し、
ユーザによって設定されたマルチメディア情報の希望品質に関連する情報を含むユーザ要求情報を取得し、
前記ユーザ要求情報に基づいて、ユーザが配信を希望した前記マルチメディア情報の品質を、そのマルチメディア情報に付与されたカテゴリごとに決定し、
そのユーザの所有する情報端末に送信するための送信情報を生成し、
生成された送信情報を、前記情報端末に順次送信し、
前記情報加工部によって決定された特定のカテゴリiの情報品質が、
前記ユーザによって要求された希望再生品質よりも過剰である場合に、
そのカテゴリiの情報品質を希望再生品質に縮小変更し、
他のカテゴリの情報品質を比例配分して拡大変更することを特徴とする情報配信装置の情報配信方法。
発明の詳細な説明 【技術分野】
【0001】
この発明は、情報配信装置および情報配信方法に関し、特に、画像,音声を含むマルチメディア情報を携帯端末等へ配信する場合に、配信先である携帯端末側の状況を考慮した情報配信装置および情報配信方法に関する。
【背景技術】
【0002】
近年、通信速度の高速化や、画像音声データの圧縮技術の進歩に伴って、インターネットを利用した動画配信や、無線通信を利用した携帯端末への動画配信が行われている。
たとえば、サーバに格納した動画,静止画,音声,文字などからなるマルチメディア情報を、インターネット経由でPDAやノートパソコンへ、ストリーミング情報として送信する情報配信サービスが行われている。
【0003】
また、大容量のビデオレコーダで録画したマルチメディア情報をメモリカードに記録し、メモリカードを携帯端末に差し込んで、マルチメディア情報を再生するようなシステムも実現されつつある。
しかし、PDA,ノートパソコン,携帯電話をはじめとする携帯端末は、いつでもどこでも利用者の都合のよい時間と場所で、ストリーミング再生を楽しむことができるが、マルチメディア情報の再生には大きな消費電力を必要とするので、利用者は電池容量の残量を気にしながら再生を行う必要がある。そこで、マルチメディア情報を再生する携帯端末側の消費電力を制御する方法が、いくつか提案されている(特許文献1および2参照)。
【0004】
特許文献1では、電池の実際の残量を検出し、受信したコンテンツを再生するために必要な電池容量を予測し、電池残量と必要な電池容量とを比較して電池残量が少ない場合は、電力不足を通知するとともに、配信サーバから動画像データの品質(フレーム数等)を落として送信させるようにする携帯端末の消費電力抑制方法が記載されている。
また、特許文献2では、ユーザが設定した動作モードと動作制限処理に基づいて、サーバから送信される符号化データの一部のみを受信するように受信制限をしたり、ユーザの嗜好データから判定した重要度とバッテリ残量に基づいて、受信,復号または再生出力の処理を制御するデータ再生装置が記載されている。

【特許文献1】特開2002-77377号公報
【特許文献2】特開2003-264767号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかし、従来のインターネットを経由した動画配信サービスでは、利用者からの要求により、予め用意した数種類の品質の画像の中から、送信してもらう画像の品質を利用者が選択することはできたが、利用者の携帯端末の電池容量の残量を考慮したものではなかった。したがって、残容量が少ないにもかかわらず利用者が高品質の動画配信を要求した場合には、利用者の意図に反して再生時間が短くなってしまうという問題があった。
また、特許文献1に記載のものでは、電池の残容量は考慮されているが、残容量が少なくなれば、予め定められた条件で品質を落として送信するので、利用者は高品質で見たい場面があるにもかかわらず、利用者の意図に反して再生画像の品質が劣化してしまうという問題があった。
【0006】
さらに、特許文献2に記載のものでは、ユーザが設定した嗜好に対応した重要度で符号化データを受信および再生をすることができるものの、それは、受信したマルチメディア情報の全体についてユーザの嗜好が反映されるだけであって、マルチメディア情報の中のユーザが本当に見たい場面と見たくない場面との区別は考慮されていない。
また、バッテリ電力の残量も考慮されているが残量が少ない場合には、ユーザの設定した重要度が高くても再生品質が悪くなり、ユーザの要求した品質での再生ができないという問題もあった。
【0007】
ところで、利用者が配信を希望するマルチメディア情報でも、最初から最後まですべて同じ重要度すなわち同じ品質で見たいという場合は少ないと考えられる。
たとえば、サッカーや野球等のスポーツ番組を再生する場合、ユーザが本当に見たい場面は限られていると考えられる。サッカーにおけるシュート場面やセットプレイの場面、野球における得点シーンなどは、高品質で見たいと考えられるのに対し、プレイが中断している場面や単にボールを回している場面などは見なくてもよいかあるいは低品質で再生してもよいと考える場合もある。
すなわち、受信したマルチメディア情報全体に対して品質を均一に落とすのではなく、ユーザが指定した場面ごとの重要度に応じて再生品質の高低に変化をつければ、利用者にとって満足のいく再生が可能であり、かつ携帯端末のバッテリ容量の有効活用も可能となる。
【0008】
また、バッテリの残容量が少なくなり、たとえば残り1時間しかないために節電機能が働いて、再生品質が均一に落とされてしまうと、利用者は高品質で見たい場面があるにもかかわらず、その場面(例えばシュートシーン)について満足のいく品質で見れないことになる。
すなわち、従来の消費電力の削減を考慮した再生方法では、電力の残容量が少ない場合でも、本当に見たい場面は高品質で再生してほしいと思う利用者のニーズに答えることは困難である。
【0009】
そこで、この発明は、以上のような事情を考慮してなされたものであり、指定された時間でマルチメディア情報を再生する場合において、マルチメディア情報の品質を場面の特徴(以下、カテゴリと呼ぶ)に対応させて変更し、利用者にとって満足のいく再生を可能とした情報配信装置を提供することを課題とする。
【課題を解決するための手段】
【0010】
この発明は、画像および音声を含むマルチメディア情報を格納した第1情報記憶部と、
ユーザによって設定されたマルチメディア情報の希望品質に関連する情報を含むユーザ要求情報を格納した第2情報記憶部と、前記ユーザ要求情報に基づいて、第1情報記憶部に格納されたマルチメディア情報の情報品質を、そのマルチメディア情報に付与されたカテゴリごとに決定し、そのユーザの所有する情報端末に送信するための送信情報を生成する情報加工部と、情報加工部で生成された送信情報を、前記情報端末に順次送信する送信部とを備え、前記第2情報記憶部に格納されるユーザ要求情報が、前記カテゴリごとの希望再生品質を示す情報Iqを含み、前記情報加工部によって決定された特定のカテゴリiの情報品質が、前記ユーザによって要求された希望再生品質よりも過剰である場合に、そのカテゴリiの情報品質を希望再生品質に縮小変更し、他のカテゴリの情報品質を比例配分して拡大変更することを特徴とする情報配信装置を提供するものである。
また、画像および音声を含むマルチメディア情報を格納した第1情報記憶部と、ユーザによって設定されたマルチメディア情報の希望品質に関連する情報を含むユーザ要求情報を格納した第2情報記憶部と、前記ユーザ要求情報に基づいて、第1情報記憶部に格納されたマルチメディア情報の情報品質を、そのマルチメディア情報に付与されたカテゴリごとに決定し、そのユーザの所有する情報端末に送信するための送信情報を生成する情報加工部と、情報加工部で生成された送信情報を、前記情報端末に順次送信する送信部とを備え、前記第2情報記憶部に格納されるユーザ要求情報が、前記カテゴリごとの希望再生品質を示す情報Iqを含み、前記情報加工部によって決定された特定のカテゴリiの情報品質が、前記ユーザによって要求された希望再生品質よりも過小である場合に、そのカテゴリiの情報品質を希望再生品質に拡大変更し、他のカテゴリの情報品質を比例配分して縮小変更することを特徴とする情報配信装置を提供するものである。
さらに、画像および音声を含むマルチメディア情報を格納した第1情報記憶部と、ユーザによって設定されたマルチメディア情報の希望品質に関連する情報を含むユーザ要求情報を格納した第2情報記憶部と、前記ユーザ要求情報に基づいて、第1情報記憶部に格納されたマルチメディア情報の情報品質を、そのマルチメディア情報に付与されたカテゴリごとに決定し、そのユーザの所有する情報端末に送信するための送信情報を生成する情報加工部と、情報加工部で生成された送信情報を、前記情報端末に順次送信する送信部とを備え、前記第2情報記憶部に格納されるユーザ要求情報が、前記情報端末の電力残容量を含み、前記送信情報を前記情報端末に送信中に、その情報端末の現在の電力残容量E1を予測する電力予測部と、前記送信情報の送信中において前記情報端末からその電力残容量E2を受信する受信部と、予測された電力残容量E1と受信された電力残容量E2との差が所定値を超えるか否かを比較する比較部とをさらに備え、前記予測残容量E1と受信残容量E2との差が所定値を超えた場合に、前記情報加工部が、未送信のマルチメディア情報に対してカテゴリごとの情報品質を再計算し変更することを特徴とする情報配信装置を提供するものである。
【0011】
また、前記第2情報記憶部に格納されるユーザ要求情報が、前記情報端末の電力残容量Er,再生希望マルチメディア情報名Id,希望電力消費量情報Eo,再生希望時間To,マルチメディア情報に付与されたカテゴリに対する重要度P,前記カテゴリごとの希望再生品質を示す情報Iqを含み、前記第1情報記憶部に格納されたマルチメディア情報が、時分割されかつカテゴリが付与された複数個の場面情報からなり、前記再生希望時間To内で、かつユーザの要求した希望電力消費量情報が示す電力の範囲内で、前記マルチメディア情報に付与されたカテゴリごとにユーザの希望再生品質を反映した情報が前記情報端末で再生することができるように、前記情報加工部が、前記格納されたマルチメディア情報のカテゴリごとの情報品質を変更することを特徴とする情報配信装置を提供するものである。
【0012】
さらに、前記情報加工部が変更するカテゴリごとの情報品質は、前記希望電力消費量情報によって定められる全消費電力のうち、そのカテゴリnに付与された重要度Pnおよびそのカテゴリが付与された場面の再生時間Tnとから求められるそのカテゴリの消費電力量Enと、そのカテゴリの希望再生品質を示す情報Iqとによって決定されることを特徴とする。ここで、カテゴリの希望再生品質を示す情報Iqには、前記送信情報のカテゴリごとの再生特性の比が含まれる。再生特性とは、たとえば、画質,動きの滑らかさ,色の深さなどを意味し、これらを相対的な優先度を表す数値比で与えたものが、再生特性の比である。
また、前記マルチメディア情報が動画像を含む場合に、前記カテゴリごとの情報品質は、動画像の画素数r,フレームレートfおよびビットレートbからなり、情報加工部は、カテゴリごとに、これらの3つの情報を決定する。
また、前記情報加工部によって決定された特定のカテゴリiの情報品質が、前記ユーザによって要求された希望再生品質よりも過剰である場合に、そのカテゴリiの情報品質を希望再生品質に縮小変更し、他のカテゴリの情報品質を比例配分して拡大変更するようにしてもよい。逆に、決定されたカテゴリiの情報品質が、希望再生品質よりも過小である場合、そのカテゴリiの情報品質を希望再生品質に拡大変更して、他のカテゴリの情報品質を比例配分して縮小変更してもよい。
【0013】
さらに、前記送信情報を前記情報端末に送信中に、その情報端末の現在の電力残容量を予測する電力予測部と、前記送信情報の送信中において前記情報端末からその電力残容量情報を受信する受信部と、予測された電力残容量E1と受信された電力残容量E2との差が所定値を超えるか否かを比較する比較部とをさらに備え、前記予測残容量E1と受信残容量E2との差が所定値を超えた場合に、前記情報加工部が、未送信のマルチメディア情報に対してカテゴリごとの情報品質を再計算し変更するようにしてもよい。
【0014】
また、前記マルチメディア情報が、重要度の異なる複数個のカテゴリの場面情報から構成される場合、前記情報端末で重要度の低いカテゴリの送信情報を再生中に、前記送信部が、その後に再生される重要度の高いカテゴリの送信情報の一部を、情報端末へ前もって送信しておくようにしてもよい。
ここで、ユーザ要求情報に含まれた再生希望マルチメディア情報名のマルチメディア情報の全体について前記情報加工部が生成した送信情報を、格納する第3情報記憶部を備え、この第3情報記憶部は着脱可能な記録媒体としてもよい。
【0015】
また、この発明は、前記情報配信装置により送信された送信情報を受信する受信部と、受信した送信情報を再生する情報再生部とを備えた情報端末を提供するものである。
さらに、前記情報配信装置により生成された送信情報を格納した第3情報記憶部を挿入可能な取付部と、取付部に挿入された第3情報記憶部に格納されている送信情報を再生する情報再生部とを備えた情報端末を提供するものである。
【0016】
また、この発明は、画像および音声を含むマルチメディア情報を格納した第1情報記憶部と、ユーザによって設定されたマルチメディア情報の希望品質に関連する情報を含むユーザ要求情報を格納した第2情報記憶部と、前記ユーザ要求情報に基づいて、第1情報記憶部に格納されたマルチメディア情報の品質を、そのマルチメディア情報に付与されたカテゴリごとに変更し、そのユーザの所有する情報端末に送信するための送信情報を生成する情報加工部と、情報加工部で生成された送信情報を、前記情報端末に順次送信する送信部とを備えたことを特徴とする情報配信装置と、情報配信装置から送信されてきた送信情報を再生する機能を備えた情報端末とから構成されることを特徴とする情報配信システムを提供するものである。
【0017】
また、この発明は、配信される画像および音声を含むマルチメディア情報を取得し、ユーザによって設定されたマルチメディア情報の希望品質に関連する情報を含むユーザ要求情報を取得し、前記ユーザ要求情報に基づいて、ユーザが配信を希望した前記マルチメディア情報の品質を、そのマルチメディア情報に付与されたカテゴリごとに変更し、そのユーザの所有する情報端末に送信するための送信情報を生成し、生成された送信情報を、前記情報端末に順次送信することを特徴とする情報配信装置の情報配信方法を提供するものである。
【0018】
さらに、この発明は、画像および音声を含むマルチメディア情報を格納し、ユーザによって設定されたマルチメディア情報の希望品質に関連する情報を含むユーザ要求情報に基づいて、前記マルチメディア情報の品質を、そのマルチメディア情報に付与されたカテゴリごとに変更して送信情報を生成する情報配信装置と、ユーザの所有する情報端末とからなる情報配信システムの情報配信方法であって、前記情報端末が、再生希望マルチメディア情報の識別名を情報配信装置へ送信し、前記情報配信装置が前記識別名によって特定されるマルチメディア情報に付与されたカテゴリに関するメタ情報を取得して情報端末へ送信し、情報端末が受信したメタ情報のカテゴリごとに、ユーザが設定したカテゴリの重要度、カテゴリごとの希望再生品質を示す情報を作成し、再生希望時間,希望電力消費量情報とともに、ユーザ要求情報として情報配信装置へ送信し、情報配信装置が、前記ユーザ要求情報に含まれる再生希望時間内で、かつ希望電力消費量情報が示す電力の範囲内で、カテゴリごとにユーザの希望再生品質を反映した情報が情報端末で再生されるように、配信すべきマルチメディア情報のカテゴリごとに情報品質を変更して送信情報を生成し、その送信情報を情報端末へ送信し、情報端末が、受信した送信情報をカテゴリごとに異なる情報品質でマルチメディア情報を再生することを特徴とする情報配信システムの情報配信方法を提供するものである。
【発明の効果】
【0019】
この発明によれば、ユーザ要求情報に含まれる希望品質に関連する情報をもとに、カテゴリごとに配信するマルチメディア情報の品質を変更しているので、カテゴリに含まれる場面ごとにユーザの希望する品質でマルチメディア情報を再生することができる。
また、情報加工部が、ユーザの設定した再生希望時間と希望電力消費量情報の示す範囲内で情報を再生するように情報品質を変更するので、ユーザは情報端末の電池の残容量を全く気にすることなく、マルチメディア情報を再生させることができる。また、指定された再生希望時間内で、ユーザが重要と思う場面は高品質で再生し、そうでない場面は比較的品質を落として再生するので、再生処理に使用される電力容量が同じでも、ユーザにとって意図した品質で再生でき、その電力を有効活用することができる。
【0020】
また、ユーザが希望電力消費量を指定することができるので、ユーザが意図的に再生以外の状態で必要と考える電力容量を残すことができ、再生が終了しても、情報端末における他の処理を実行させることができる。
また、情報加工部によって決められたあるカテゴリの情報品質が希望品質よりも過剰あるいは過小であった場合、決められた情報品質を縮小あるいは拡大することにより、より希望品質に近づけることも可能であり、電力の有効活用ができる。
さらに、送信情報の送信中であっても、情報端末の電力残容量を定期的に送信することにより、現実の残容量をより正確に反映した情報品質を求めることができる。
また、重要度の低いカテゴリの送信情報を再生中に、その後再生される重要度の高いカテゴリの送信情報の一部を前もって送信しておくことにより、重要度の高いカテゴリについて、情報配信装置と情報端末間の利用可能通信帯域よりも高いビットレートで、動画を再生することが可能となる。
【発明を実施するための最良の形態】
【0021】
以下、図に示す実施例に基づいて本発明を詳述する。なお、本発明はこれによって限定されるものではない。
<情報配信システムの全体構成>
図1に、この発明の情報配信装置を含む情報配信システムの全体構成ブロック図を示す。
この発明の情報配信システムは、マルチメディア情報を格納し、これを情報端末に送信する情報配信装置1と、マルチメディア情報を受信して再生する複数の情報端末2とからなり、両者は、インターネットのようなネットワーク3を介して接続される。
【0022】
ネットワーク3は、インターネットに限るものではなく、双方向に情報を送受信可能なネットワークであればよく、有線無線の別は問わない。有線LAN,専用回線,ADSL,ISDN,FTTHなどの有線ネットワークの他、無線LAN,Bluetooth,CDMAなどを含むあらゆる無線ネットワークが利用できる。
また、情報端末2としては、パソコン,携帯電話,PDA,ノートパソコン,ポータブルビデオプレーヤなど種々の情報通信機器があげられるが、この発明では、特に、限られた電力の有効活用をするという観点から、主として電池駆動型の携帯端末を対象とする。
【0023】
情報配信装置1は、多数のマルチメディア情報を格納することのできる大記録容量を持つサーバ機能と、マルチメディア情報をユーザの要求する情報に加工して送信する情報加工および通信中継機能を主として備える。
情報配信装置1は、サーバ機能と、情報加工・通信中継機能の両方を1つの筐体に備えたスタンドアロン型の装置として構成することもできるが、サーバ機能を持ったコンテンツサーバ11と、情報加工・通信中継機能を持った中継装置12とに分けて構成してもよい。
【0024】
この場合は、中継装置12と情報端末2とがネットワーク3を介して接続される。コンテンツサーバ11と中継装置12とは、同一構内や同一室内に設置して、LAN等のネットワークを介して接続すればよいが、必ずしも同一構内に設置する必要はなく、専用回線やインターネットで接続されるような遠隔地に設置するようにしてもよい。
以下の実施例では、情報配信装置1は、サーバ機能と、情報加工・通信中継機能の両方を有する1つの装置として説明する。
【0025】
また、情報配信装置1と情報端末2とは、ネットワーク3を介して接続されない状況での使用も考えられる。
この場合は、情報配信装置1で格納されているマルチメディア情報を可搬型のメモリカード等に記録し、このメモリカードを情報端末2に挿入することにより、その情報を再生するようにすればよい。メモリカードとしては、すでに種々のタイプが市販されているが、この発明ではいずれかに限定するものではなく、あらゆる着脱可能な記録媒体を使用することができる。このメモリカードは、前記した第3情報記憶部に相当する。また、所定のメモリカードを挿入することのできる取付部を、情報配信装置1と情報端末2に設ければよい。
【0026】
また、以下の実施例では、配信されるマルチメディア情報には、動画像,静止画像,音声およびデータが混在して含まれる。どの情報もカテゴリを付与するものとし、ユーザからの要求情報により、そのカテゴリごとに再生の重要度を付与するものとする。以下の実施例では、主として動画像を代表的な情報として取り上げ、情報の加工処理および送信処理について説明するが、他の音声等の情報の加工,送信処理も同様にすることができる。
【0027】
図1において、情報端末2と情報配信装置間でやりとりされる情報の概要について説明する。
情報配信装置1には、多数の情報コンテンツが格納されていることを前提とし、この格納されたコンテンツのうちユーザが希望する情報が、そのユーザの所有する携帯端末2へ送信される。
【0028】
まず、ユーザが情報配信装置1に格納されている情報を知っている場合、まず、携帯端末2から、再生を希望するマルチメディア情報名Id等を含んだユーザ要求情報5が、情報配信装置1へ送られる。
あるいは、ユーザが情報配信装置1に格納されている情報をまだ知らない場合、携帯端末2からの接続要求のみを受信した情報配信装置1が、自己の記憶部に格納され、配信可能なマルチメディア情報のリストを、携帯端末2へ送信し、このリストを受信した携帯端末2では、リストを一覧表示して、ユーザに再生を希望する情報を選択するようにしてもよい。この選択操作をしたときに、希望するマルチメディア情報名を含むユーザ要求情報5を、情報配信装置1へ送ればよい。ユーザ要求情報5には、後述するように嗜好データSや端末情報Teも含めてもよい。
【0029】
ユーザ要求情報5を受信した情報配信装置1は、その情報の内容を解析し、後述するように情報品質の決定、マルチメディア情報(動画データ等)の取得、情報の変換を行って、携帯端末へ送信することが可能な状態に加工した送信情報を作成する。そして、この送信情報6(変換されたマルチメディア情報)を、携帯端末2へ送信する。この送信情報6を受信した携帯端末2は、必要に応じてデータの復号化を行い、再生できる形式に変換し、LCDなどの表示装置にマルチメディア情報を表示する。
以上がこの発明の情報配信システムの情報配信処理の概要であるが、この発明は、特に、両者間で送受信されるデータ内容と、情報配信装置1で行われる情報加工処理の内容を特徴とするものである。
【0030】
<情報端末(携帯端末)の構成>
図2に、この発明の情報配信システムの詳細な構成ブロック図を示す。
図2において、情報端末(以下、携帯端末2と呼ぶ)は、各種情報を入力する入力部103、ネットワーク3を介して情報配信装置1と送受信をする通信部102、嗜好データSなどを格納した嗜好データ記憶部104、携帯端末固有の情報を格納した端末情報記憶部105、配信されてきた動画データを格納した動画データ記憶部106、端末情報を検出する端末情報検出部107、着脱可能な電池108、動画データを表示する等ユーザにわかる形態で出力する出力部110、受信した動画データを再生し、出力部110に与える再生部109、上記構成要素の動作を制御する制御部101とから構成される。
【0031】
ここで、入力部103は、キーボード,マウス,ペンなどのポインティングデバイスなどから構成され、文字,記号などを入力するとともに、出力部110に表示された項目のいずれかを選択入力するのに用いられる。
通信部102は、ネットワーク3に接続し、データを送信および受信する部分であり、TCP/IPなどの所定のプロトコルに従って通信を行う。
【0032】
制御部101は、CPU,ROM,RAM,I/Oコントローラ,タイマーなどからなるマイクロコンピュータにより構成され、ROMまたはRAMに予め記憶された制御プログラムに基づいて、各構成要素(102~110)の動作を制御する。すなわち、CPUが、制御プログラムに記述された手順に従って、各構成要素(102~110)のハードウェアを動作させ、携帯端末における情報再生機能などを実現させる。
制御プログラムは、ROM等に予め格納されて提供される場合の他、ICカード,ハードディスク,CD-ROMなどの媒体に記録された形態でも提供される。
また、制御プログラムは、ネットワークを介して他のサーバからダウンロードして提供されるようにしてもよい。
【0033】
出力部110は、CRT,LCD,EL表示などの各種表示装置の他、スピーカなどから構成される。
再生部109は、受信したマルチメディア情報をユーザにわかる形式で提供する部分であり、画像や文字データの場合は目に見える形式に変換して再生し、音声の場合は、スピーカから出力できる形式に変換して再生する。また動画の場合は、一般に圧縮して送信されるので、復号した後、再生処理を行う。
【0034】
各記憶部(104,105,106)は、各種半導体メモリを用いることができるが、ハードディスク,ICメモリカードなどの記録媒体を用いてもよい。この他に、着脱可能な記憶媒体からなる記憶部を備えてもよく、予め画像データ等が記憶された記憶媒体を装着して、そのデータを再生部109により再生するようにしてもよい。
【0035】
携帯端末2から情報配信装置1に送信されるユーザ要求情報5には、たとえば、図7に示すように、再生希望情報名Id,再生希望時間To,希望電力消費量情報Eo,嗜好データSおよび端末情報Teが含まれる。
再生希望情報名Idは、ユーザが配信を希望するマルチメディア情報の識別名を意味する。これは後述するように、図5のステップS21で入力される。
【0036】
再生希望時間Toは、ユーザが希望する再生時間を意味し、ステップS23で入力される。希望電力消費量情報Eoは、携帯端末2の現在の電力残容量のうち、ある特定のマルチメディア情報を再生する場合にユーザが消費してよいと考える電力消費量を意味し、たとえばパーセントの数値情報として入力されるものである。
【0037】
一般に、ユーザが携帯端末2の電力容量を絶対値で把握している場合は少ない。
また、マルチメディア情報の再生処理をするのに、すべての残容量を使い切ってしまうとすれば、再生された情報はユーザの満足のいく品質で見れたとしてもその後の入力処理や表示処理ができなくなってしまうおそれがある。すなわち、情報の再生もしたいが、再生終了後には、最低限必要な入力処理等ができるような電力容量を残しておきたいと考える場合もある。
【0038】
したがって、現在の残容量に対して、何%ぐらい情報の再生に用いてもよいかをユーザの意思で入力できれば、ユーザが携帯端末を使用する上で、非常に便利である。
電力残容量は、ユーザは直接数値では把握していないが、ユーザが、この情報Eoとして「70」と入力したとすると、現在の電力残容量に対してマルチメディア情報の再生処理でその70%の電力を消費してもよいことを意味する。
この希望電力消費量情報Eoは、ステップS23で入力されるが、再生希望時間Toとともに、情報配信装置1で、送信する情報の品質を決定する際の条件として用いられる。
【0039】
嗜好データSは、配信を希望するマルチメディア情報の再生品質を決めるパラメータに対応するデータである。また、嗜好データSは、マルチメディア情報に付与されたカテゴリごとに与えられるものであり、カテゴリC、そのカテゴリごとの重要度P,希望再生品質情報(優先度)Iqの組合せから構成される。
カテゴリCとは、マルチメディア情報を複数個の情報に時分割する場合に、その分割単位ごとに付与された識別子を意味する。
【0040】
たとえば、マルチメディア情報が画像データであったとすると、その動画データを時分割したときの各分割単位の場面情報を区別するための識別子が、カテゴリである。
サッカーの試合を例にとると、サッカーの動画データは、シュート場面(shoot),セットプレイ場面(set play),ハーフタイム,選手交代,ボールのパスなどの通常プレイ場面(通常プレイ)などのいくつかの場面情報に分割できる。
【0041】
このとき、各場面情報を区別するための識別子である「shoot」,「set play」,「通常プレイ」という情報が、カテゴリである。カテゴリCそのものは、ユーザが付与するものではなく、情報配信装置1で付与されるものである。
カテゴリCの付与処理は、情報配信装置1の担当者がマルチメディア情報を見ながら手動で付与してもよいが、その情報が持つ特性(音量,カラーヒストグラム,オブジェクトの輪郭など)を利用して、予め設定された条件に基づいて自動的に付与することもできる。すなわち、場面情報ごとの特性を用いて、自動付与プログラムにより、自動的にカテゴリを付与するようにしてもよい。
【0042】
カテゴリの重要度Pは、各カテゴリについてユーザが付与するデータであり、カテゴリごとの再生品質の程度を決める条件となる。
たとえば、重要度Pは数値で表され、数値が大きいほど重要度(再生品質)が高いとした場合、図7では、「shoot」というカテゴリの重要度P「4」は比較的高い重要度を示しており、シュート場面は、高い品質で再生してほしいということを意味する。
また、「通常プレイ」の重要度Pは「1」であって、比較的低い重要度を示しており、選手交代などの通常プレイは低い品質で再生してもよいことを意味する。
【0043】
希望再生品質情報Iqとは、カテゴリごとの希望再生品質を示す情報であり、再生品質を決める特性(再生特性)を指定した情報である。ここでは、4つの再生特性の優先度(比)Iqという形式で与えるものとする。これは、各特性の具体的数値をユーザが把握することは困難であるからであり、ユーザから見れば、各特性について大まかな設定ができればよいと考えられるからである。
たとえば、図7に示すように、カテゴリごとに、4つの再生特性の比Iqを(r:f:k:d)=(1:2:1:2)という形式で、ユーザが入力する。
4つ再生特性は、音声を含む動画(ビデオデータ)の場合、画質(画素数)r,動きの滑らかさ(フレームレート)f,色の深さ(階調数)k,音(ビットレート)dである。ただし再生特性の内容は、この4つに限るものではなく、再生する情報に対応して他の特性を用いてもよい。
【0044】
ここで、「画質」とは、いわゆる解像度を決めるパラメータであり、これを優先する場合はより鮮明な画像が表示されるのに対し、優先度を下げた場合は、全体は把握できるが細部はぼけた画像が表示されることになる。
「動きの滑らかさ」とは、動画像の連続性を決めるパラメータであり、1秒間に何枚の画像で構成するかを示すフレームレートfがこれに対応する。フレームレートが高い場合(優先度が高い)、動きがスムーズとなるが、フレームレートが低い場合は、動きがぎこちなく、見た目は駒おとしのような表示となる。
【0045】
「色の深さ」とは、カラー表示をする場合の発色数に対応するものであり、これの優先度が高い場合、色彩がより自然な感じであるのに対し、低い場合は、色彩が不自然となる。「音」については、音声をどの程度の音質で再生するかを決めるパラメータであり、音のビットレートがこれに対応する。この優先度が高いと音質がよくなるが、優先度が低いと音質は悪くなる。
【0046】
再生特性の優先度Iqは、図7のように比で表されるが、数値の1が最も優先度が高く、大きな数値ほど優先度が低くなることを意味する。
たとえば、図7の「通常プレイ」の優先度Iqは、(r:f:k:d)=(3:2:1:2)で表されているが、これは、4つの再生特性のうち、「色の深さk」の優先度が最も高く、次いで「動きの滑らかさf」と「音d」の優先度が高く、「画質r」の優先度は最も低くしてもよいということを意味する。
【0047】
言いかえれば、ユーザは、「通常プレイ」というカテゴリに対して、画質は悪くてもよいが、音と動きは普通で、色だけは自然な色彩で再生するように設定したことを意味する。
また、これらの4つ特性の比情報からそのカテゴリCの場面情報の再生品質が決定されることになる。
【0048】
図7において、端末情報Teには、バッテリ残量Te1,機種情報Te2,通信可能伝送速度Te3が含まれる。これらの情報Teは、ユーザが直接入力するものではなく、図2に示した端末情報検出部107が携帯端末2のハードウェアから取得するものである。
バッテリ残量Te1は、電池108の電力の残容量を意味し、電池の現在の電圧,出力電流値などを測定することにより取得することができる。
機種情報Te2は、携帯端末固有の識別情報であり、通常ROMの中に格納されているので、これを読み出すことにより取得できる。
この機種情報Te2も情報配信装置1に送信されるが、この機種情報Te2は、たとえばその携帯端末2の定格電力を検索調査するためや特定の電力で再生可能な品質(r,f,b)の決定などに利用される。
【0049】
通信可能伝送速度Te3は、携帯端末2の持つ最大通信速度を意味し、この情報も予めROM等に格納されたものを読み出せばよい。
この伝送速度Te3は、情報配信装置1に送信されると、送信するマルチメディア情報の圧縮率の決定,重要度の低いカテゴリの送信情報を再生中に、その後に再生される重要度の高いカテゴリの送信情報の一部を前もって送信する際のその一部の送信データ量の決定などの処理に利用される。
【0050】
<情報配信装置の構成>
一方、図2において、情報配信装置1は、通信部32,配信するマルチメディア情報の品質を決定する情報品質決定部33,携帯端末から送信されてきた嗜好データ等を格納する嗜好データ記憶部34,マルチメディア情報に付与されたカテゴリ等からなるメタデータを格納するメタデータ記憶部35,携帯端末から送信されてきた端末情報を格納する端末情報記憶部36,マルチメディア情報のうち、記録された生の動画を格納する変換前動画データ記憶部38,決定された情報品質に基づいて、生の動画を、送信可能な状態に変換する動画変換部37,動画変換部37によって生成された動画を格納する変換後動画データ記憶部39,上記構成要素の動作を制御する制御部31とから構成される。
【0051】
制御部31は、携帯端末2の制御部2と同様に、いわゆるマイクロコンピュータにより構成され、制御プログラムにより、各要素(32-39)のハードウェアを動作させながら、情報加工処理,配信処理等を実行するものである。
情報品質決定部33は、携帯端末から送信されてきたユーザ要求情報に基づいて、送信しようとするマルチメディア情報に付与されたカテゴリごとに、その情報品質を変更するものである。
【0052】
ここで、受信されたユーザ要求情報のうち、再生希望時間Toの範囲内と、ユーザの要求した希望電力消費量情報Eoの示す電力の範囲内で、配信を希望するマルチメディア情報のカテゴリごとにユーザが設定した希望再生品質情報Iqを反映して、カテゴリごとの情報品質が決定される。
【0053】
情報品質とは、一般的には、画質,音質などを意味するが、たとえば、動画データの情報品質とは、「画素数r」,「フレームレートf」,「ビットレートb」の3つのパラメータによって決定づけられる。情報品質の決定処理の詳細については後述する。
動画変換部37は、決定された情報品質に基づいて、カテゴリごとに動画データを変換するが、具体的には、カテゴリごとの生の画像データについての「画素数r」,「フレームレートf」および「ビットレートb」を、それぞれ決定された(r、f、b)に変換する処理が行われる。
【0054】
なお、情報品質決定部33と動画変換部37とが、情報加工部に相当する。
また、変換前動画データ記憶部38が第1情報記憶部に相当し、嗜好データ記憶部34と端末情報記憶部36とが第2情報記憶部に相当する。
この情報加工部の処理は、主として制御部31のCPUが、各記憶部にアクセスしながら制御プログラムに基づいて動作することにより行われる。
メタデータ記憶部35には、たとえば、図7に示すようなメタ情報Meが格納される。メタ情報Meは、動画データの場合、カテゴリと、そのカテゴリの場面情報を記録している時間帯の情報からなる。
たとえば、図7において、ある特定の変換前画像データについて時間帯「00時02分13秒から00時03分30秒」までは、カテゴリが「shoot」である場面情報が記録されていることを示している。
【0055】
メタ情報Meは、取得した変換前動画データと対応づけて記憶されるが、カテゴリを付与するときに作成される。
また、図1に示したように、情報配信装置1がコンテンツサーバ11と中継装置12に分けて構成されている場合は、コンテンツサーバ11に変換前動画データと、この動画データに対するメタ情報Meを予め格納しておき、携帯端末2から与えられた再生希望情報名に対応する動画データを、コンテンツサーバ11から変換前動画データ記憶部38に読み出し、さらに同時にメタ情報Meもメタ情報記憶部35に読み出すようにすればよい。
【0056】
<情報配信装置と携帯端末との通信処理>
次に、情報配信装置1と携帯端末2との間で行われる各種データの送受信処理の一実施例の概要について説明する。
図3に、情報配信装置1と携帯端末2との間の伝送手順の一実施例の説明図を示す。
この実施例においては、すでに、情報配信装置側でユーザの希望するマルチメディア情報(動画データ)が取得されているものとする。すなわち、対応する「変換前動画データ」と「メタ情報」とが格納されているものとする。
図3において、まず、携帯端末2において、入力部103からユーザが再生希望情報名Id(たとえば「サッカーABCDの試合」)を入力する。ユーザは、キーボード等を用いて文字データとしてこのIdを入力してもよく、また、表示部110に表示された選択メニューから、試合名を選択するようにしてもよい。
携帯端末2の通信部102が、入力された再生希望情報名Idを、情報配信装置1へ送信する(後述する図5のステップS21)。
次に、情報配信装置1は、受信した再生希望情報名Idをもとに、この情報名Idに対応する画像データのメタ情報Meを取得し、携帯端末2へ送信する(後述する図6のステップS33)。
メタ情報Meを受信した携帯端末2側では、メタ情報を表示して、ユーザがユーザ要求情報5を構成する情報を入力する。入力されたユーザ要求情報5は、情報配信装置1へ送信される(後述する図4のステップS13)。
【0057】
次に、ユーザ要求情報を受信した情報配信装置1は、この情報をもとにして、情報品質を決定し、変換前動画データを変換し、生成された変換後動画データを携帯端末2へ送信する(図6のステップS38)。
携帯端末2では、受信した変換後動画データを再生する。
以上が、この発明の一実施例の情報配信処理の伝送手順の概要である。
【0058】
<携帯端末2の動作の説明>
ここでは、携帯端末2における情報入力,取得,送受信,再生等の処理について説明する。
図4に、この発明の携帯端末の主要な処理の一実施例のフローチャートを示す。
図5に、携帯端末における嗜好データ等の入力と端末情報の取得処理(図4のステップS11)の詳細フローチャートを示す。
【0059】
まず、ステップS11において、図7に示したような嗜好データSの入力,端末情報Teの取得を行う。この処理内容の具体例は、図5のフローに示されている。
図5のステップS21において、ユーザが、入力部103から再生希望情報名Idを入力する。この情報名Idを、送信部102が、情報配信装置1へ送信する。
ステップS22において、通信部102がメタ情報Meを取得し、出力部110が取得したメタ情報Meを表示する。
メタ情報Meは、前記したように、情報配信装置1から図7に示したような情報として送信される。
表示部には、カテゴリCとその時間帯が表示される。
【0060】
ステップS23において、ユーザは、入力部103から再生希望時間Toと、希望電力消費量Eo(%)を入力する。たとえば、「To=60分、Eo=70%」のように入力する。
ステップS24において、ユーザが表示されたカテゴリCごとに、図7に示したような嗜好データSを入力する。これらのデータは、ユーザが入力しやすいように必要に応じて、入力補助画面を表示しながら行えばよい。
ステップS25において、端末情報検出部107が、図7に示したような端末情報Teを取得する。
上記各ステップによって入力又は取得されたデータは、記憶部(104,105)に格納される。
【0061】
図4に戻り、ステップS12において、制御部101が入力および取得されたデータを用いて、ユーザ要求情報5を作成する。
ステップS13において、通信部102が作成されたユーザ要求情報5を情報配信装置1に送信する。
ステップS14において、図示していないが、動画データが送信されてくるのを待ち、通信部102が送信されてきた動画データを受信する。
動画データが圧縮されている場合は、ステップS15において、復号化する。復号化された動画データは、動画データ記憶部106に格納される。
【0062】
ステップS16において、再生部16が、格納された動画データを再生する。
再生された動画は、受信したカテゴリごとの情報品質で、表示部110に表示される。
ステップS17において、ユーザが設定した希望再生時間Toを経過したか否か、制御部101が確認する。
希望再生時間Toを経過した場合は、再生処理を終了する。一方、まだ経過していない場合は、ステップS18へ進み、制御部101が監視設定時間が経過したか否か確認する。
【0063】
ここで、監視設定時間とは、端末情報検出部107がバッテリ残量Te1を検出するためのインターバル(秒)であって、予め設定し記憶部105に移動しておく。
画像の再生によって、電池の容量が減少していくが、現実には、種々の環境条件により予測よりも早く減る場合もあり、減り方が少ない場合もある。
そこで、一定時間ことに、現在のバッテリ残量をチェックするために、かかる条件を設けたものである。ただし、この条件は必須のものでなくてもよい。
ステップS18で、監視設定時間が経過している場合には、ステップS19へ進み、端末情報検出部107が、バッテリ残量情報Te1を取得し、送信部102が情報配信装置1へ送信する。
その後、ステップS14の動画データの受信処理へ戻る。
ステップS18で時間が経過していない場合も同様にステップS14へ戻る。
以上が、携帯端末側での処理内容である。
【0064】
携帯端末2では、特に電池の消耗をできるだけ抑えたいという要求があるので、画像等の情報の再生に必要な処理に限定している。
たとえば、受信した画像の再生品質を端末側で調整することも可能であるが、かかる調整処理を行えば、CPU等の動作によって電力を消費することになり、電池の消耗が早くなるからである。ただし、携帯端末2にかかる調整機能を備えておき、必要に応じて、実行させてもよい。
【0065】
<情報配信装置の動作の説明>
ここでは、情報配信装置1における各種情報の送受信,取得,品質決定および画像変換からなる情報加工,画像データの送信等の処理について説明する。
図6に、この発明の情報配信装置1の一実施例の主要処理のフローチャートを示す。
まず、ステップS31において、通信部32が、携帯端末から送信されてきた再生希望情報名Idを受信し、嗜好データ記憶部34に記憶する。
【0066】
ステップS32において、受信した情報名Idに対応する画像データのメタ情報Meがあるか否かメタデータ記憶部35を検索し、その情報名Idに対応するメタ情報Meを取得する。
ここで、メタデータ記憶部35に存在する場合は、そのまま読み出せばよいが、ない場合は、情報配信装置1が図示しない他のコンテンツサーバに接続し、ユーザに要求された動画データとメタ情報Meとを取得するようにしてもよい。
ステップS33において、取得あるいは読み出されたメタ情報Meを、携帯端末2へ送信する。
【0067】
ステップS34において、図示していないが、携帯端末からユーザ要求情報が送られてくるのを待ち、通信部32が前記したような嗜好データと端末情報を含むユーザ要求情報を受信すると、各記憶部(34,36)へ格納する。
ステップS35において、受信した情報をもとに、カテゴリごとに、配信する情報の情報品質を決定する。
配信する情報が動画データの場合、動画の品質を決定づける3つのパラメータ(画素数r,フレームレートf,ビットレートb)を所定の式を用いて算出する。これについては後述する。
【0068】
次に、ステップS36において、ユーザが希望した情報名Idの変換前動画データを記憶部38から読み出す。もし、動画データが格納されているコンテンツサーバがネットワークを介した別の場所にある場合は、ダウンロードすることにより取得する。
【0069】
ステップS37において、動画変換部37が、取得または読み出した変換前動画データを、ステップS35で決定された情報品質を満たすように、カテゴリごとに変換する。動画データの場合、画素数r,フレームレートfおよびビットレートbを変換して動画データを再構成することになるが、具体的な処理内容は、公知の技術を用いて行うことができる。
変換された動画データは、カテゴリごとに変換後動画データ記憶部39に、格納される。
【0070】
ステップS38において、通信部32が、変換後動画データを携帯端末2へ送信する。ここで、動画データを最初に送信するとき、再生希望時間の経過を確認するために、タイマーを起動させておく。
ステップS39において、ユーザ要求情報に含まれていた再生希望時間Toを経過したか否か、前記タイマーをチェックすることにより確認する。あるいは、メタ情報に含まれている時間帯情報を用いて、再生希望時間の経過を確認してもよい。
【0071】
ステップS39で、再生希望時間を経過した場合には、配信処理を終了する。一方、まだ経過していない場合は、ステップS40へ進み、その後にバッテリ残量情報Te1を受信したか否かチェックする。
通信部が、新たに、バッテリ残量情報Te1を受信した場合は、再度情報品質を更新するために、ステップS35へ戻る。受信していない場合は、続きの動画データを送信するためにステップS36へ戻る。
【0072】
ステップS35からステップS38までの一連の処理はたとえばカテゴリを一つの単位として行えばよい。また、1つのカテゴリの時間が長い場合は、適当な時間(例えば数秒)に区切り、その時間単位で上記一連の処理を行ってもよい。
以上が、情報配信装置における情報の加工処理と配信処理である。
これによれば、携帯端末の電力の残容量を考慮した上で、配信しようとするマルチメディア情報の再生品質を、カテゴリごとにユーザの希望する再生品質に変更することができる。
【0073】
また、ユーザが再生希望時間と、希望電力消費量情報を入力し、この情報を満たすように情報が配信されるので、ユーザはバッテリ残量を全く気にすることなく、マルチメディア情報を再生することができる。また再生が終了した後も予め指定しておいた電力が残っているはずなので、安心して携帯端末を使用できる。
【0074】
<情報品質の決定方法の説明>
次に、ステップS35の情報品質の決定方法について説明する。
前記したように、一般に、動画データをストリーミング再生する場合、その情報品質は、主として画素数r,フレームレートf,ビットレートbの3つのパラメータで特定できる。すなわち、この3つのパラメータの値を決定することが、情報品質を決定することに対応する。この3つのパラメータ(r,f,b)は、カテゴリごとの重要度Piとそのカテゴリの場面の再生時間Tiとから求められるカテゴリごとの消費電力量Eiと、そのカテゴリに対する希望再生品質を示す情報(優先度Iq)とを用いて、決定する。
【0075】
まず、ある動画データを、ユーザが指定した再生希望時間Toだけ再生する場合において、その中に含まれるカテゴリCのそれぞれの再生時間をTi(i=1,2…)とする。カテゴリがn個あるとすると、To=T1+T2+……+Tnである。
また、ユーザが設定した希望電力消費量情報Eoはパーセントで与えられるが、このパーセント値から求められる使用してもよい電力値をEooとする。携帯端末の現在のバッテリ残容量をTe1とすると、当然Eoo<Te1であり、設定したパーセント値を80%とすると、Eoo=Te1×0.8である。
【0076】
また、i番目のカテゴリCiにおいて消費してもよい電力量をEiとする。
また、携帯端末2では、現実には再生処理そのものに使用する電力量とは別に、再生時間Toの間でも、携帯端末を構成するハードウェアに供給される電力(再生以外の消費電力)があるので、この電力量を考慮しておく必要がある。再生処理以外の単位時間当たりの電力消費量をSoとすると、再生時間Toの間には、So×Toだけ消費されることになるので、実際に使える電力量EmaxはEmax=Eoo-So・Toとなる。
【0077】
ここで、n個のカテゴリCi(i=1,2,…n)ごとにそれぞれ消費してもよい電力量をEiとし、カテゴリCiに与えられた重要度をPiとする。重要度Piを考慮しなければ、Emax=E1+E2+……+Enとなり、Emaxを単にカテゴリの再生時間Tiで配分すればよいが、この発明では、再生時間Tiの他に、それぞれの重要度Piを考慮する。
【0078】
すなわち、各カテゴリCiの再生時間Tiと重要度Piの積を比例定数として、使える電力量Emaxを、カテゴリごとに比例配分する。
この場合、1つのカテゴリCiに割り当てられる電力量Ei(i=1~n)は、次式で表わされる。
Ei=Emax・(Pi・Ti)/ΣPi・Ti
この式において、右辺の変数はすべて与えられたデータから求められるものであるので、すべてのカテゴリについてEiが求められる。
【0079】
一方、あるカテゴリの情報品質(r,f,b)と、消費電力量Eiと再生時間Tiとは、一般に定数α,β,γを用いて、次式で表すことができる。
Ei=(α・r・f+β・b+γ)・Ti
ここで、EiとTiは既知であるが、他の変数は未知である。そこで、ユーザが設定した嗜好データの中の優先度Iqのうち、画質rと動きの滑らかさfを用いて、まず、(r,f,b)の比を計算する。
そして、この(r,f,b)の比と、上記EiとTiの関係式とを用いることにより、あるカテゴリCiの3つのパラメータ(r,f,b)の数値が決定される。この決定処理は、所定の数学的処理によって行われるので、詳細は省略する。
ただし、上記EiとTiとの関係式は、一例であってこれに限るものではない。
【0080】
図8に、このようにして求められた再生品質パラメータ(r,f,b)の組のシミュレーション結果を示す。
ここで、3つのカテゴリCiがあるものとし、各カテゴリCiの再生時間Tiをそれぞれ678秒、662秒,460秒としている。
図8において、実施例1は、重要度Piをすべて同一とした場合であり、各カテゴリ間で再生品質のパラメータ(r,f,b)の組は、すべて同一となっている。すなわち(r,f,b)=(245×184,17.60,250K)である。
【0081】
実施例2,3,4は、重要度Piをカテゴリ間で変えたものであるが、最も重要度Piの高いカテゴリC3が、画素数r,フレームレートf,ビットレートbのいずれにおいても高い値を示しており、比較的高品質で再生されることを意味する。
なお、実施例3および4は、重要度Piに加えて各カテゴリのフレームレートfiおよび画素数riの大小関係を指定したものである。
以上のようにして求められた3つの再生品質のパラメータ(r,f,b)は、ステップS37での変換処理に用いられる。
【0082】
図9に、この発明で決定された情報品質と、重要度の高い場面の割合との関係のグラフを示す。
縦軸は再生される情報品質の度合いを示しており、1が最も高い品質で再生されることを示し、数値が低いほど再生品質が悪くなる。
また、横軸は、ユーザが付与した複数個の重要度Pについて、配信情報に重要度Pが高い場面がどの程度含まれているか(割合)を示すものであり、この数値が高いほど重要度Pの高い画面が多く含まれていることを示し、グラフの左側へ行くほど、高い重要度Pの場面が含まれる割合は少ないことを意味する。
【0083】
まず、図9において、再生品質の度合いが0.42程度のところに点線の直線があるが、この直線は、重要度Pを考慮しない場合の品質を示している。
すなわち、ユーザが重要度Pを与えずに、すべてのカテゴリを平均化された同一の重要度とした場合、すべてのカテゴリの動画の再生品質は最高品質の4割程度となることを意味する。言いかえれば、このとき「シュート場面」などのユーザが高品質で見たいと希望する場面でも、それほどよくない品質でしか見られないことになる。
一方、図9の他のグラフ(G11~G24)は、この発明において重要度Pを考慮した場合の品質を示したものである。ここで、G11とG21が対応し、同様に(G12,G22),(G13,G23),(G14,G24)がそれぞれ対応する。
【0084】
たとえば、重要度の高い場面の割合が0.3の場合を考えると、重要度の高い場面のグラフ(G11~G14)は、再生品質の度合いが0.55から0.9程度の値を示しているので、同一の重要度に設定したときの0.42よりも高い品質で再生されることがわかる。
また、重要度の低い場面(G21~G24)は、再生品質の度合いは、0.22から0.38程度の値となっているので、同一の重要度のときよりも再生品質は落とされて再生されることがわかる。
以上のことより、ユーザが高品質再生を希望した場合はより高品質で再生され、希望しなかった場合は低品質で再生されることになるので、カテゴリごとにユーザの希望を満たした再生が可能となる。
【0085】
<情報品質の再調整>
ところで、上記のような方法でカテゴリごとの情報品質が決定されるが、複数個のカテゴリがある場合、電力容量を比例配分することにより品質を決定しているので、ある1つのカテゴリについて見ると、決定された情報品質の優先度が、ユーザが設定した再生品質情報の優先度Iqと一致していない場合もある。
たとえば、あるカテゴリについてユーザが希望した画質r:動きの滑らかさfが、r:f=1:1であったにもかかわらず、そのカテゴリの重要度が低いために、r:f=1:1とはならない場合もある。
言いかえれば、決定された情報品質が、ユーザの希望した情報品質よりも高い(過剰な)場合もあれば、低い(過小)の場合もあり得る。
【0086】
このような場合において、ユーザの希望品質や予め設定しておいたカテゴリごとの品質情報に基づいて、カテゴリの情報品質を再調整できれば、ユーザのより満足のいく品質で再生が可能となる。
たとえば、あるカテゴリiの一旦決定された情報品質がユーザの希望品質よりも過剰であった場合は、そのカテゴリiの情報品質を希望品質に一致するように縮小変更し、この縮小変更によって余った品質に相当する部分を、他の複数のカテゴリに対して比例配分して、他のカテゴリの情報品質を拡大変更するようにしてもよい。
具体的には、あるカテゴリの画素数がユーザが希望するものよりも大きかった場合は、そのカテゴリの画素数を希望の値に縮小変更して、他のカテゴリの画素数を再度調整すればよい。
【0087】
一方、あるカテゴリiの一旦決定された情報品質が、希望品質よりも過小であった場合、そのカテゴリiの情報品質を希望品質に一致するように拡大変更し、この拡大変更によって足りなくなる品質の部分を他のカテゴリに対して比例配分して、他のカテゴリの情報品質を縮小変更するようにしてもよい。
たとえば、あるカテゴリのフレームレートが希望するフレームレートより低すぎる場合、希望のフレームレートの値に拡大変更し、他のカテゴリのフレームレートを低めにする調整を再度行えばよい。
【0088】
<電力残容量の比較処理>
また、情報配信装置1が、ステップS40において、バッテリ残量の情報を受信した場合、再度情報品質を決定する処理(ステップS35)へ戻るが、この場合、その情報端末の現在の電力残容量を予測する電力予測部を備えることが好ましい。
すなわち電力予測部で予測した電力残容量E1と、受信されたバッテリ残容量E2との差を比較し、一定値以上のずれが生じていた場合に、これから送信しようとする未送信のマルチメディア情報に対して、再度、情報品質を計算するようにすればよい。
これは、バッテリ容量を受信するごとに常に再決定処理を行うとすると、残容量にわずかなずれが生じたにすぎない場合でも、再決定処理が行われる場合があり、結果的に無用な処理が行われてしまう場合があるからである。
電力残容量の予測は、予め取得された携帯端末固有の情報から求めればよい。
【0089】
したがって、再計算をするための残容量差(E1-E2)と比較する一定値を、適切な数値に設定すれば、情報品質の再決定をより効果的に行うことができる。
ただし、携帯端末の電力消費の特性は、個々に異なるのでこの一定値をどのように定めるかは一義的に決めることはできないが、たとえば、携帯端末の電力消耗率などを条件として決めることができる。
また、一例として、予測残容量E1と受信残容量E2との差が、受信残容量E2の10%以上(|E1-E2|/E2≧0.1)となった場合に、情報品質の再決定をするようにすればよい。
【0090】
<伝送手順を考慮した再生品質の向上>
さらに、情報配信装置1と携帯端末2の間の伝送速度を考慮すると、カテゴリごとの情報の送信手順を工夫することにより、より効率的に情報を送信でき、かつ情報の再生品質を向上させることもできる。具体的には、重要度の高いカテゴリの情報を前もって送信する。
ここでは、送信するマルチメディア情報にカテゴリが複数個ある場合において、重要度の低いカテゴリの場面の後に重要度の高いカテゴリの場面が設定されているとする。一般に、重要度の低いカテゴリの部分は情報品質も低いので、その情報伝送時間は比較的短いと考えられ、逆に重要度の高いカテゴリの部分は情報品質は高いのでその情報伝送時間は長いと考えられる。
【0091】
このとき、低いカテゴリの情報伝送が終了し、そのストリーミング再生中において、通信されていない空き時間に、後続の高いカテゴリ情報の一部分を前もって送信するようにすれば、実質的にこの高いカテゴリの情報の伝送に長い時間を割り当てることができるので、前もって送信を行わない場合に比べて、より高品質のデータを送ることが可能となる。
【0092】
たとえば、高いカテゴリの情報について、前もって送信しない場合においてその送信にTa時間だけかかるとし、低いカテゴリの再生中に、通信の空き時間がTb時間だけあったとした場合、このTb時間も含めて、(Ta+Tb)時間を高いカテゴリの情報の送信に使えるとすると、Ta時間に対応する高いカテゴリの品質を、それよりも長い(Ta+Tb)時間に相当する品質に拡大変更することができることを意味する。
具体的には、Ta時間で送信していたときのカテゴリの情報のビットレートb1を、(Ta+Tb)時間の間で送信可能なビットレートb2(>b1)に拡大変更することができる。すなわち、通信の空き時間を利用して前もって後続の高いカテゴリの情報を送信しておけば、重要度の高いカテゴリの情報品質をより向上させることができる。
具体的に言えば、重要度の高いカテゴリの情報再生において、情報配信装置と携帯端末間の利用可能通信帯域よりも高いビットレートで動画再生が可能となる。
このように、前もって高カテゴリの情報を送信する場合、あるカテゴリの情報品質(r,f,b)を決定するためのEiとTiの関係式は、前記したものとは異なる次式を用いる。
Ei=(α・r・f+β・b+P(b,bmax))・Ti
ここで、P(b,bmax)は、bとbmaxと定数とから計算される関数である。またbmaxは、情報配信装置と携帯端末間で利用可能な最大伝送速度であり、通信可能伝達速度Te3と同一の値を用いるものとする。
【0093】
このように、前もって後続の高カテゴリの情報の一部を送信した場合には、携帯端末側では、その一部の情報をバッファリングしておき、その後続の高カテゴリについての他の情報を受信したときに合体させ、所定の時刻に再生するようにすればよい。
【図面の簡単な説明】
【0094】
【図1】この発明の情報配信システムの概略構成図である。
【図2】この発明の情報配信装置と携帯端末の一実施例の構成ブロック図である。
【図3】この発明の情報配信装置と携帯端末との間の伝送手順の一実施例の説明図である。
【図4】この発明の携帯端末の主要な処理のフローチャートである。
【図5】この発明の携帯端末の入力および取得処理のフローチャートである。
【図6】この発明の情報配信装置の情報加工処理等のフローチャートである。
【図7】この発明の携帯端末で入力,取得される情報と、メタ情報の一実施例の説明図である。
【図8】この発明の一実施例において、決定されたカテゴリごとの再生品質パラメータの説明図である。
【図9】この発明において、カテゴリごとの重要度と再生品質の関係の説明図である。
【符号の説明】
【0095】
1 情報端末(携帯端末)
2 情報配信装置
3 ネットワーク
5 ユーザ要求情報
6 送信情報
11 中継装置
12 コンテンツサーバ
31 制御部
32 通信部
33 情報品質決定部
34 嗜好データ記憶部
35 メタデータ記憶部
36 端末情報記憶部
37 動画変換部
38 変換前動画データ記憶部
39 変換後動画データ記憶部
101 制御部
102 通信部
103 入力部
104 嗜好データ記憶部
105 端末情報記憶部
106 動画データ記憶部
107 端末情報検出部
108 電池
109 再生部
110 出力部(表示部)
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8