TOP > 国内特許検索 > 表示制御装置、表示制御方法及び表示制御プログラム > 明細書

明細書 :表示制御装置、表示制御方法及び表示制御プログラム

発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2019-192986 (P2019-192986A)
公開日 令和元年10月31日(2019.10.31)
発明の名称または考案の名称 表示制御装置、表示制御方法及び表示制御プログラム
国際特許分類 H04N   5/93        (2006.01)
G06F  16/00        (2019.01)
G06F  16/70        (2019.01)
H04N   5/783       (2006.01)
FI H04N 5/93
G06F 17/30 320A
G06F 17/30 170D
G06F 17/30 360Z
H04N 5/783
請求項の数または発明の数 9
出願形態 OL
全頁数 17
出願番号 特願2018-080849 (P2018-080849)
出願日 平成30年4月19日(2018.4.19)
新規性喪失の例外の表示 特許法第30条第2項適用申請有り https://ipsj.ixsq.nii.ac.jp/ej/index.php?active_action=repository_view_main_item_detail&page_id=13&block_id=8&item_id=184119&item_no=1、平成29年11月 1日(抄録) https://ipsj.ixsq.nii.ac.jp/ej/index.php?active_action=repository_view_main_item_detail&page_id=13&block_id=8&item_id=184119&item_no=1、平成29年11月 1日(予稿) 情報処理学会 第209回 コンピュータビジョンとイメージメディア研究会(CVIM209)北海道札幌市北区北21条西11丁目 北海道大学 フード&メディカルイノベーション国際拠点、平成29年11月8日 https://www.wiss.org/WISS2017/Program.html、平成29年10月30日 http://www.wiss.org/WISS2017Proceedings/、平成29年12月 6日 https://www.youtube.com/watch?v=qo3IxAdIi4o、平成29年12月6日 第25回インタラクティブシステムとソフトウェアに関するワークショップ(WISS2017)山梨県北杜市大泉町西井出8240-1039八ヶ岳ロイヤルホテル、平成29年12月6日 https://www.youtube.com/watch?v=FyuPaFXFWvA、平成30年 2月16日 https:/chi2018.acm.org/technical-program/ https://dl.acm.org/citation.cfm?doid=3170427.3189085、平成30年 2月27日 https://www.youtube.com/watch?v=77ueFtn66-M、平成30年 3月 3日 https://www.youtube.com/watch?v=dFHfvuhWETo、平成30年 4月 7日
発明者または考案者 【氏名】森島 繁生
【氏名】粥川 青汰
【氏名】中村 優文
【氏名】佐藤 洋一
【氏名】樋口 啓太
【氏名】米谷 竜
出願人 【識別番号】899000068
【氏名又は名称】学校法人早稲田大学
【識別番号】504137912
【氏名又は名称】国立大学法人 東京大学
個別代理人の代理人 【識別番号】110002675、【氏名又は名称】特許業務法人ドライト国際特許事務所
審査請求 未請求
テーマコード 5C053
Fターム 5C053HA21
5C053HA29
5C053LA06
要約 【課題】動画の内容を反映したインタフェースにより高速閲覧を可能とする表示制御装置、表示制御方法及び表示制御プログラムを提案する。
【解決手段】表示制御装置10は、複数フレームの映像から構成される動画からフレーム毎に映像に含まれるオブジェクトを検出し、検出されたオブジェクトのうち、動画内での出現態様(各オブジェクトが出現する頻度及び/又は出現するタイミング)に基づく条件を満たすオブジェクトを選択し、選択されたオブジェクトのそれぞれについてユーザによる重要度の指定を受け付け可能なキューOC1~OC10をインタフェース100に提示する。
【選択図】図12
特許請求の範囲 【請求項1】
複数フレームの映像から構成される動画から、前記動画に含まれるオブジェクトを検出する検出部と、
前記検出部により検出されたオブジェクトの中から、前記動画内での出現態様に基づく条件を満たすオブジェクトを選択する選択部と、
前記選択部により選択されたオブジェクトのそれぞれについてユーザの指定を受け付け可能な指定部をインタフェースに提示する表示制御部と、
を備える表示制御装置。
【請求項2】
前記検出部は、フレーム毎に前記動画に含まれるオブジェクトを検出し、
前記選択部は、前記検出部により検出されたオブジェクトの中から、前記動画内での出現頻度及び出現タイミングの一方又は双方に基づいてオブジェクトを選択する、請求項1に記載の表示制御装置。
【請求項3】
前記選択部は、前記検出部により検出されたオブジェクトのうち、前記動画内での出現頻度が相対的に低いオブジェクトを選択対象から除外する、請求項2に記載の表示制御装置。
【請求項4】
前記選択部は、前記検出部により検出されたオブジェクトのうち、前記動画内での出現頻度が相対的に高いオブジェクトを選択対象から除外する、請求項2に記載の表示制御装置。
【請求項5】
前記選択部は、前記検出部により検出されたオブジェクトの中で同時に出現する2以上のオブジェクトがある場合、当該2以上のオブジェクトのうちの一つを選択する、請求項2に記載の表示制御装置。
【請求項6】
前記インタフェースに提示された前記指定部のうち少なくとも一つの指定部が指定された場合、前記表示制御部は、前記複数フレームのうち、当該少なくとも一つの指定部に対応するオブジェクトが出現する第1フレームの再生速度が、前記第1フレーム以外の第2フレームの再生速度よりも遅くなるように前記動画を表示させる、請求項1から5のいずれか1項に記載の表示制御装置。
【請求項7】
前記表示制御部は、
前記選択部により選択されたオブジェクト毎に前記インタフェースに提示する前記指定部の色が異なるように表示し、
前記インタフェースに提示された前記指定部のうち少なくとも一つの指定部が指定された場合、当該少なくとも一つの指定部に対応するオブジェクトが出現する時間軸上の区間を当該少なくとも一つの指定部の色で前記インタフェースに提示する、請求項1から6のいずれか1項に記載の表示制御装置。
【請求項8】
複数フレームの映像から構成される動画から、前記動画に含まれるオブジェクトを検出する検出ステップと、
前記検出ステップで検出されたオブジェクトの中から、前記動画内での出現態様に基づく条件を満たすオブジェクトを選択する選択ステップと、
前記選択ステップで選択されたオブジェクトのそれぞれについてユーザの指定を受け付け可能な指定部をインタフェースに提示する提示ステップと、
を含む表示制御方法。
【請求項9】
コンピュータを、
複数フレームの映像から構成される動画から、前記動画に含まれるオブジェクトを検出する検出部と、
前記検出部により検出されたオブジェクトの中から、前記動画内での出現態様に基づく条件を満たすオブジェクトを選択する選択部と、
前記選択部により選択されたオブジェクトのそれぞれについてユーザの指定を受け付け可能な指定部をインタフェースに提示する表示制御部と、
として機能させる表示制御プログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、表示制御装置、表示制御方法及び表示制御プログラムに関する。
【背景技術】
【0002】
近年、ウェアラブルカメラの小型化及び普及に伴い、頭部に装着されたカメラによって撮影した動画(以下、「一人称視点映像」と呼ぶ。) が撮影される機会が増加している。一人称視点映像を閲覧することで、撮影者がどこへ行き、何をしていたかなどの詳細な記録を、撮影者の目線を通して共有可能となる。両手が空いた状態で撮影可能な一人称視点映像は撮影時の負担が非常に小さいため、日常生活、レジャー、スポーツ、個人技能の解析など、様々な対象の記録を残す手段として今後普及して行くことが予想される。さらに、カメラ付きのスマートフォンの普及に伴い、誰でも気軽に写真が撮影可能となったことで、ソーシャル・ネットワーキング・サービス(SNS)において大量の写真が投稿、共有される時代が到来したように、今後、次なる撮影手段としてウェアラブルカメラが普及することで、一人称視点映像を共有し、閲覧する機会が増えていくことが予想される。
【0003】
しかしながら、一人称視点映像では常時撮影が基本であるため、撮影者の視覚体験をもれなく記録可能である反面、長時間かつ冗長なシーンを含む場合が多くなってしまい、映像を閲覧するのに時間を要するという問題点がある。この問題点を解決する手法として、シーンごとに再生速度を変化させる高速閲覧手法が研究されている。
【0004】
例えば、特許文献1及び非特許文献1では、一人称視点映像を閲覧する手がかり(キュー)として、Movement(移動)、Stop(静止)、Hand(手の動作)、Person(人物との対話)という撮影者の基本的な行動に対応した4つのキューを搭載したインタフェースが提案されている。ユーザがこれらのキューの重要度を指定することで、一人称視点映像の中で注目部分と非注目部分が設定され、注目部分は通常速度で再生され、非注目部分は高速で再生される。これにより、一人称視点映像からユーザの関心の高いシーンを効率的且つ高速に発見し、閲覧することが可能となる。
【先行技術文献】
【0005】

【特許文献1】特願2016-241446
【0006】

【非特許文献1】K. Higuchi, R. Yonetani, and Y. Sato, “EgoScanning: Quickly Scanning First-Person Videos with Egocentric Elastic Timelines” In Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems, 2017, p. 6536-6546
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献1及び非特許文献1で提案されたインタフェースでは、ユーザが指定可能なキューが4つのキューに固定されており、動画の内容が考慮されていないため、システムが有効に働く動画が限定されるという問題があった。
【0008】
本発明は以上の点を考慮してなされたもので、動画の内容を反映したインタフェースにより高速閲覧を可能とする表示制御装置、表示制御方法及び表示制御プログラムを提案することを目的とする。
【課題を解決するための手段】
【0009】
本発明の表示制御装置は、複数フレームの映像から構成される動画から、前記動画に含まれるオブジェクトを検出する検出部と、前記検出部により検出されたオブジェクトの中から、前記動画内での出現態様に基づく条件を満たすオブジェクトを選択する選択部と、前記選択部により選択されたオブジェクトのそれぞれについてユーザの指定を受け付け可能な指定部をインタフェースに提示する表示制御部と、を備えるものである。
【0010】
本発明の表示制御方法は、複数フレームの映像から構成される動画から、前記動画に含まれるオブジェクトを検出する検出ステップと、前記検出ステップで検出されたオブジェクトの中から、前記動画内での出現態様に基づく条件を満たすオブジェクトを選択する選択ステップと、前記選択ステップで選択されたオブジェクトのそれぞれについてユーザの指定を受け付け可能な指定部をインタフェースに提示する提示ステップと、を含むものである。
【0011】
本発明の表示制御プログラムは、コンピュータを、複数フレームの映像から構成される動画から、前記動画に含まれるオブジェクトを検出する検出部と、前記検出部により検出されたオブジェクトの中から、前記動画内での出現態様に基づく条件を満たすオブジェクトを選択する選択部と、前記選択部により選択されたオブジェクトのそれぞれについてユーザの指定を受け付け可能な指定部をインタフェースに提示する表示制御部と、として機能させるものである。
【発明の効果】
【0012】
本発明によれば、動画に含まれる各オブジェクトについてユーザの指定を受け付け可能な指定部を動的に生成してインタフェースに提示することにより、より効率的に動画から特定のシーンを発見することができる。
【図面の簡単な説明】
【0013】
【図1】本発明の実施形態の表示制御装置のハードウェア構成を示すブロック図である。
【図2】本実施形態の表示制御装置により実行されるキュー生成処理のフローチャートである。
【図3】動画からのオブジェクト検出を説明する図である。
【図4】動画から検出されたオブジェクトのキューの候補を示す図である。
【図5】有効なキューの組み合わせを選択するキュー選択アルゴリズムの例を説明する図である。
【図6A】キュー選択アルゴリズムにおいて、動画の一部のフレームのみに出現するオブジェクトがある場合を説明する図である。
【図6B】キュー選択アルゴリズムにおいて、動画の大部分のフレームで出現するオブジェクトがある場合を説明する図である。
【図6C】キュー選択アルゴリズムにおいて、同時に異なるオブジェクトが出現する場合を説明する図である。
【図6D】キュー選択アルゴリズムにおいて、閲覧に有効なオブジェクトのキューが選択される場合を説明する図である。
【図7】キュー選択アルゴリズムにおいて、キューの候補の中から有効なキューが選択されることを説明する図である。
【図8】貪欲法を用いたキュー選択アルゴリズムの手順を説明する図である。
【図9】キュー選択アルゴリズムの結果に基づいて生成されるオブジェクトキューを示す図である。
【図10】本実施形態の表示制御装置により表示されるインタフェースであって、オブジェクトキューが操作されていない状態の表示例を示す図である。
【図11】本実施形態の表示制御装置により実行される閲覧設定処理のフローチャートである。
【図12】本実施形態の表示制御装置により表示されるインタフェースであって、オブジェクトキューが操作されたときの表示例を示す図である。
【図13A】本実施形態のインタフェースの評価実験のために用いる複数の映像の内容を示す表である。
【図13B】評価実験の設計を示す表である。
【図14】本実施形態のインタフェースを用いた場合において、映像毎に検出回数の多いオブジェクトとキュー選択アルゴリズムで選択されたキュー(オブジェクト)とを示す表である。
【図15】インタフェースの高速閲覧性能を図る尺度としての平均閲覧速度を説明する図である。
【図16】評価実験で用いた映像毎に、本実施形態のインタフェース及び従来のインタフェースの平均閲覧速度及び95%信頼区間を示す表である。
【図17】本実施形態のインタフェース及び従来のインタフェースに対する主観評価結果を示す図である。
【発明を実施するための形態】
【0014】
以下、図面を参照して本発明の実施形態について説明する。各図において、同一又は同様の要素には同一の符号を付し、重複する説明は省略する。

【0015】
図1は、本発明の実施形態に係る表示制御装置10のハードウェア構成を示すブロック図である。表示制御装置10は、CPU(Central Processing Unit)11と、RAM(Random Access Memory)12と、ROM(Read Only Memory)13と、通信部14と、入力部15と、表示部16とを有し、各部はバスを介して相互に接続されている。

【0016】
CPU11は、ROM13に格納された表示制御プログラム等の各種のアプリケーションプログラムを実行する。また、CPU11は、通信部14又は入力部15からの入力データを演算し、演算結果をRAM12又はROM13に格納させたり、表示部16に表示させたりする。具体的に、CPU11は、ROM13に格納された表示制御プログラムにしたがって、動画からフレーム毎にオブジェクトを検出する検出部と、検出されたオブジェクトの中から、動画中の各オブジェクトの出現態様(各オブジェクトが出現する頻度及び出現するタイミング)に基づく条件を満たすオブジェクトを選択する選択部と、選択されたオブジェクトのそれぞれについてユーザが重要度を指定可能なキュー(指定部)を表示部16上のユーザインタフェース(UI)に提示する表示制御部としての機能を有する。

【0017】
RAM12は、半導体素子で構成される揮発性メモリであり、CPU11によって実行される各種処理で生じたデータ等を記憶する。

【0018】
ROM13は、半導体記憶素子で構成される不揮発性メモリであり、CPU11によって実行される各種のアプリケーションプログラムやデータを格納している。なお、表示制御装置10で実行可能な各種のアプリケーションプログラムは、表示制御装置10が読み取り可能なメモリカード等の外部記録媒体に格納されていてもよいし、通信ネットワークを介して提供されてもよい。

【0019】
通信部14は、表示制御装置10をLAN(Local Area Network)又はWAN(Wide Area Network)等の通信ネットワークに接続する。

【0020】
入力部15は、キーボード、マウス、タッチパネル等の入力デバイスからなり、ユーザの操作によってデータの入力を受け付ける。

【0021】
表示部16は、LCD(Liquid Crystal Display)等の表示デバイスからなり、CPU11による演算結果を表示する。具体的に、表示部16は、CPU11により実行された表示制御プログラムに基づいて、動画表示のためのUI(図10及び図12参照。)を表示する。

【0022】
なお、表示制御装置10は、一般のパーソナルコンピュータ又はスマートフォンのCPUによって表示制御プログラムを実行することで実現されるようにしてもよい。

【0023】
次に、表示制御装置10により実行される処理について説明する。
図2は、表示制御装置10により実行されるキュー生成処理を示すフローチャートである。

【0024】
まず、表示制御装置10は、図3に示すように、入力された動画(一人称視点映像)からフレーム毎に動画に含まれるオブジェクト(物体、人物等)を検出する(ステップS1)。動画からオブジェクトを検出するのは、検出されたオブジェクトの一部を重要度指定のためのキューとしてUIに提示することにより、ユーザは提示されたキューから映像の内容(撮影された場所や撮影者の行動等)を推定し、且つ動画中の特定のシーンに容易にアクセスできるようにするためである。

【0025】
ステップS1では、例えば、公知のオブジェクト検出方法であるYOLOv2(J. Redmon and A. Farhadi. YOLO9000: better, faster, stronger. In In Proc. IEEE Conf. Computer Vision and Pattern Recognition (CVPR’17), pp. 7263-7271, 2017.)を用いる。ここで、公知のCOCO dataset(T. Y. Lin, M. Maire, S. Belongie, J. Hays, P. Perona, D. Ramanan, P. Doll´ar, and C. L. Zitnick. Microsoft COCO: Common Objects in Context. In Proceedings of the European Conference on Computer Vision (ECCV), pp. 740-755, 2014.)を用いて合計80種類のオブジェクトが検出可能なネットワークを利用する。なお、オブジェクトの検出方法及び検出可能なオブジェクトの数については、これらの公知技術に限定されるものではない。

【0026】
ステップS1において動画からオブジェクトが検出されると、表示制御装置10は、図4に示すように、検出された全てのオブジェクトについて、重要度を指定するためのキューを暫定的に設定する。ここで、ステップS1で検出された全てのオブジェクトに対応するキューをUIの限られたスペースに表示することは困難である。また、動画中に数フレームしか現れないオブジェクトや、逆に常時現れ続けるオブジェクトなど、適応的な高速閲覧に必ずしも適さないオブジェクトがキューとして利用される可能性がある。そこで、表示制御装置10は、キュー選択アルゴリズムを用いて、ステップS1で検出された全てのオブジェクトに対応するキューの候補の中から、動画の高速閲覧に有効なオブジェクトのキューを選択する(ステップS2)。

【0027】
以下、図5~図8を参照して、動画の高速閲覧に有効なオブジェクトのキューを選択するキュー選択アルゴリズムについて詳細に説明する。

【0028】
ここでは、図5に示すように、すでに2つのオブジェクトのキュー(c1、c2)が選択済みであるとき、新たな4つのオブジェクトのキューの候補(c3、c4、c5、c6)の中から有効なキューを1つ選択する例を説明する。図5に示す各キューの斜線部分は、時間軸上でオブジェクトが出現する箇所(キューが強調する箇所)を示している。これら4つのキューの候補(c3、c4、c5、c6)は、図5に示すように、動画全体における出現態様(オブジェクトが出現する頻度及び出現するタイミング)が異なっている。最初に選択される2つのキューc1及びc2の選択方法については後述する。

【0029】
(i)動画のごく一部のみ出現するオブジェクトのキュー(Irrelevant cue)
図6Aに示すように、キューc3は、動画内のごくわずかなシーンのみ強調するキューであり、動画の要旨に無関係なノイズである場合が多い。また、選択済みの2つのキュー(c1、c2)にキューc3を追加した場合、これらのキューを任意に組み合わせても(c1+c3, c2+c3, c1+c2+c3など)強調できないシーンが動画中に多く存在してしまう。よって、キューc3は動画の高速閲覧に有効なキューとして選択されない。

【0030】
(ii)動画の大部分に出現するオブジェクトのキュー(Dominant cue)
反対に、図6Bに示すキューc4のように、動画の大部分に出現するオブジェクトのキューは、動画の内容を反映したキューである反面、ユーザがキューc4の重要度を高く指定すると、動画の大部分が強調された冗長な動画が再生されてしまい、動画からシーンを絞り込む効果がない。よって、キューc4も動画の高速閲覧に有効なキューとして選択されない。

【0031】
(iii)他のオブジェクトと同時に出現するオブジェクトのキュー(Overlapping cue)
動画内で同時に出現するオブジェクトとしては、例えば、お皿とフォーク、ディスプレイとキーボードなどがある。図6Cに示すキューc5のように、動画の一部区間を適度に強調するがその強調箇所が既に選択済みのキュー(図6Cではキューc2)の強調箇所と被っている場合(例えば、キューc2がお皿、キューc5がフォークに対応する場合)、ユーザがキューc2の重要度を指定した場合でもキューc5の重要度を指定した場合でも、同じ箇所が強調された動画が再生されることとなる。よって、キューc5も動画の高速閲覧に有効なキューとして選択されない。

【0032】
(iv)最適なキュー(Acceptable cue)
図6Dに示すキューc6は、動画の一部区間を強調でき、且つ上記(i)~(iii)のいずれにも該当しないキューである。キューc6が選択済みの2つのキューc1、c2に追加され、結果として得られた3つのキューを任意に組合せると、動画の一部分を強調することができる様々なパターン(c1+c2, c1+c6, c2+c6, c1+c2+c6)を得ることができる。

【0033】
そのため、図7に示すように、4つのオブジェクトのキューの候補(c3、c4、c5、c6)の中から有効なキューとしてc6が選択され、結果として3つの有効なキューc1、c2、c6が選択されることとなる。

【0034】
このように、動画から検出された全てのオブジェクトについて暫定的に設定されたキューの中から上記のキュー選択アルゴリズムに従って最適なキューを一つずつ選択して追加する作業を、予め設定されたキューの個数まで繰り返すことで、最終的にユーザに提示する最適なキューの組み合わせが決定される。

【0035】
キュー選択アルゴリズムに従って最適なキューを選択するために、キューの組み合わせCN={c1, …, cN}に対し式(1)に示す有効度評価関数F(CN)を用いる。
【数1】
JP2019192986A_000003t.gif

【0036】
式(1)においてA(CN)はN個のキューの組み合わせで強調するフレームの総数、B(ci)は1つのキューciが強調するフレームの数を示す。キュー選択アルゴリズムでは有効度評価関数F(CN)が最大となるようなキューの組み合わせCNを選択する。

【0037】
例えば、図5に示すように、既に2つのキューが選択済みで、新たに3番目のキューを選択する場合(N=3の場合)、c1+c2+c3(図6A)やc1+c2+c5(図6C)は強調するフレームの総数A(C3)が相対的に少ない一方で、c1+c2+c4(図6B)やc1+c2+c6(図6D)は強調するフレームの総数A(C3)が相対的に多い。また、キューc4が強調するフレームの数B(c4)は相対的に多い一方で、キューc6が強調するフレームの数B(c6)は相対的に少ない。すなわち、A(CN)を導入することで、動画内でわずかしか出現しないキューc3や選択済みのキューと強調箇所が被るようなキューc5は排除される。また、max (B(ci))を導入することで、キューc4のように動画全体を通して極端に出現頻度の高いオブジェクトのキュー(動画の大部分を強調してしまうキュー)を排除することができる。よって、既に2つのキュー(c1,c2)が選択済みの場合、4つのキューの候補(c1,c2,c3,c4)のうち有効度評価関数F(C3)が最大となるキューはc6となる。

【0038】
有効なキューの選択のアルゴリズムでは、全探索を用いて有効なキューの組み合わせを求めるのは計算量が膨大となりNP困難となることから、本実施形態では貪欲法を用いて有効なキューの組み合わせを求める。ただし、最初に選択される2つのキューについては、図8に示すように、有効度評価関数F(C2)が最大となるようなキューの組み合わせC2={c1,c2}を全探索によって求める。C3={c1,c2,c3}を求める場合は、選択済みのC2={c1,c2}を保持し、F(C3)が最大となるようなキューc3を求める。このように貪欲法を用いて最適なキューの組み合わせを求める処理を予め設定されたキューの個数mまで繰り返すことで、最終的にユーザに提示する最適なキューの組み合わせCm={c1, …, cm}が決定される。

【0039】
なお、本実施形態では、有効度評価関数として式(1)を採用したが、上記(iv)の最適なキューが選択可能であれば、他の関数を採用してもよい。

【0040】
キュー選択アルゴリズムによって最適なキューが選択されると、表示制御装置10は、選択された最適なキューを、表示部16に表示されたインタフェース100上に提示させる(ステップS3)。図9に、キュー選択アルゴリズムによって選択された最適なキュー(オブジェクトキュー)の一例を示す。図9のオブジェクトキューは、図10に示すように、インタフェース100のオブジェクトキュー領域200に提示される。図9及び図10ではキューが10個(m=10)提示された例を示している。なお、本実施形態では、最適なキューの個数mが予め設定されるものとしているが、ユーザが最適なキューの個数を任意に指定可能としてもよい。

【0041】
オブジェクトキュー領域200は、図9に示すように、オブジェクト名表示領域201とキュー表示領域202とを有し、オブジェクト名表示領域201上の各オブジェクト名に対応して、重要度を指定するためのキューOC1~OC10が表示されている。キューOC1~OC10のそれぞれにはスライダSD1~SD10が設けられており、スライダSD1~SD10を操作することにより、重要度が0.00~1.00の間で指定可能となっている。また、キューOC1~OC10は互いに異なる色で表示されており(例えば、キューOC1は赤色、キューOC2は緑色など)、各オブジェクトが色によって区別可能となっている。

【0042】
図10は、表示部16に表示されるインタフェース100であって、オブジェクトキュー領域200のキューOC1~OC10のスライダSD1~SD10が全て0.00の位置にある場合(すなわち、全てのキューの重要度が0.00である場合)を示す。図10に示すように、インタフェース100は、オブジェクトキュー領域200と、動画選択領域300と、再生画面領域400と、オブジェクトタイムライン500と、伸縮タイムライン600と、再生速度設定領域700とから構成される。

【0043】
動画選択領域300は、再生画面領域400に表示中の動画以外の動画へのリンクとなる領域である。図10では8個の動画のサムネイルが表示されているが、表示される動画のサムネイルの個数は限定されない。また、動画のサムネイルの他に、動画の内容を示すテキスト情報が表示されていてもよい。

【0044】
再生画面領域400は、動画選択領域300から選択された動画を再生する領域である。
オブジェクトタイムライン500は、再生画面領域400と伸縮タイムライン600との間に設けられ、キューOC1~OC10のうち1以上のキューのスライダが操作された場合、操作されたキューに対応するオブジェクトが動画中に出現する箇所(タイミング)を、後述の伸縮タイムライン600に対応させて表示する領域である。

【0045】
伸縮タイムライン600は、動画の時間経過を示す目盛を表示しており、動画の再生に伴ってスライダ601が目盛に沿って移動可能となっている。図10に示すように、キューOC1~OC10のスライダSD1~SD10が操作されていない状態(すなわち、重要度が0.00である状態)では、伸縮タイムライン600の目盛は等間隔で表示され、再生画面領域400に表示された動画が全てのフレームで同じ再生速度で再生されることとなる。

【0046】
再生速度設定領域700は、再生画面領域400に表示された動画全体を何倍の速度で再生するかをスライダ701によって設定する領域である。

【0047】
次に、図11及び図12を参照して、ユーザが実際にインタフェース100を用いて動画を閲覧する際に行われる閲覧設定処理の一例について説明する。

【0048】
まず、キューOC1~OC10のうち少なくとも1つのキューのスライダがユーザによって操作されると、操作されたキューに対応するオブジェクトの重要度が0.00以外の値に指定される(ステップS10)。図12に示すインタフェース100では、オブジェクトが“car”、“bird”及び“bottle”に対応するキューOC2、OC4及びOC5のスライダSD2、SD4及びSD5がそれぞれ、0.56、1.00及び1.00の位置に操作された例、すなわち、“car”、“bird”及び“bottle”の重要度がそれぞれ、0.56、1.00及び1.00に指定された例を示している。

【0049】
次に、表示制御装置10は、ステップS10で重要度が0.00以外の値に指定されたオブジェクトが検出された箇所をオブジェクトタイムライン500上に表示する(ステップS11)。例えば、オブジェクトが“car”、“bird”及び“bottle”に対応するキューOC2、OC4及びOC5が、それぞれ、緑色、水色、ピンク色で表示されていた場合、オブジェクトタイムライン500では、“car”が出現する区間TL2が緑色でハイライトされ、“bird”が出現する区間TL4が水色でハイライトされ、“bottle”が出現する区間TL5がピンク色でハイライトされる。このように、重要度が0.00以外の値に指定されたオブジェクトが出現する区間をオブジェクトタイムライン500上でキューの色に対応させて表示させることで、ユーザが関心をもったオブジェクトが動画全体のどのタイミングで出現するかが一目で確認可能となる。

【0050】
さらに、再生速度設定領域700のスライダ701の移動により、動画全体を何倍の速度で再生するかが指定される(ステップS12)。表示制御装置10は、ステップS10及びS12におけるユーザの指定に基づいて、動画の各フレームの再生速度を算出する(ステップS13)。各オブジェクトの重要度及び動画全体の再生速度に基づくフレーム毎の再生速度(表示時間)の算出方法は、非特許文献1に開示された方法を用いることができる。

【0051】
そして、表示制御装置10は、ステップS13で算出した各フレームの再生速度を伸縮タイムライン600上に反映させる(ステップS14)。具体的に、表示制御装置10は、各フレームの再生速度に応じて伸縮タイムライン600上の目盛の幅を変更する。再生速度が遅くなるにしたがって伸縮タイムライン600の目盛の幅が広くなる。また、表示制御装置10は、ステップS10において重要度が0.00以外の値に指定されたオブジェクトが出現する区間を伸縮タイムライン600に沿ってハイライト表示させる。例えば、図12の伸縮タイムライン600において、“car”が出現する区間ET1、“bottle”が出現する区間ET2、及び“bird”が出現する区間ET3が赤くハイライトされる。伸縮タイムライン600において赤くハイライトされた区間E1~E3は他の区間NTよりも遅く再生される。このように、ユーザによって重要度が0.00以外の値に指定されたオブジェクトが出現するシーンとその他のシーンの再生速度の違いを伸縮タイムライン600上で明確に区別させることが可能となる。また、表示制御装置10は、伸縮タイムライン600の区間E1~E3を、それぞれ、オブジェクトタイムライン500上の区間TL2、TL5、及びTL4に対応させる。これにより、ユーザは、動画を閲覧する前に、関心のあるオブジェクトが出現するシーンの再生速度と出現するタイミングの双方を把握することができる。

【0052】
次に、本実施形態のインタフェース100の評価実験について説明する。
一人称視点映像は見回り(監視)や伝統技能の保存、ライフログなど、幅広く応用することができ、それぞれの映像において重要なシーンが異なる。そこで、様々なシーンをウェアラブルカメラで撮影した一人称視点映像を用意し、その中から特定のシーンを、本実施形態のインタフェース100(以下、インタフェースαと呼ぶ。)及び非特許文献1に開示されたインタフェース(以下、インタフェースβと呼ぶ。)を用いて発見するタスクを実験参加者に与えることで、インタフェースαに対する評価実験を行った。

【0053】
評価実験では、図13Aに示すように、8種類のシーンをウェアラブルカメラで撮影した動画(映像1~映像8)をそれぞれ2つのデータセットA及びBに分け、計16本の映像を用意した。実験参加者は、インターネット上で公開されている一般的な映像閲覧システムを使用した経験のある大学生16名である。図13Bに示すように、実験参加者を8名ずつ2つのグループXとYに分け、グループXは、データセットAをインタフェースβで、データセットBをインタフェースαで閲覧し、グループYは、データセットAをインタフェースαで、データセットBをインタフェースβで閲覧した。

【0054】
図14は、映像1~映像8のそれぞれについて、検出回数の多い順でのオブジェクトの名称と、本実施形態のインタフェースαを用いて選択されたキュー(オブジェクトの名称)を示している。インタフェースαを用いた場合、映像の種類に応じてキューが動的に生成されることで、図14に示すように、単純に検出回数の多い順のオブジェクトとは異なるオブジェクトのキューが選択された。例えば、“person”はどの種類の映像に対しても検出されているが、映像3(市街地散策)と映像8(テーマパーク観光)では映像の大部分で歩行者が撮影されるため、“person”(人物)のキューは有効なキューとして選択されなかった。このように、インタフェースαを用いることで、映像全体を指定するような冗長なキューを排除して有効なキューの組み合わせを選択することが可能となる。

【0055】
評価実験では、各映像から特定のシーンを2秒程度抜き出して実験参加者に提示し、インタフェースα及びβを用いて、提示されたシーンを見つけるタスクを実験参加者に与え、その完了時間(タスク完了時間)を測定した。そして、タスク完了時間から平均閲覧速度を計算した。平均閲覧速度は、非特許文献1においてインタフェースの高速閲覧性能を図る尺度として導入されたもので、図15に示すように、特定のシーンが映像内で位置している時間(目的シーンの位置(s))をそのシーンを発見するタスクの完了時間(タスク完了時間(s))で割ったものである。平均閲覧速度が大きいシステムほど、効率的に目的のシーンを発見可能なシステムとなる。

【0056】
そして、インタフェースα及びβのそれぞれについて、8種類の映像それぞれに対するタスクとそれらを合計したタスク全体における平均閲覧速度から95%信頼区間を計算した。図16は、インタフェースα及びβのそれぞれについて、映像毎に平均閲覧速度の実験参加者平均と95%信頼区間を示したものである。図16に示すように、ほとんどの映像について、本実施形態のインタフェースαの方が優位な有意差(図16において「*」が付された箇所を参照。)が得られた。

【0057】
図17に、インタフェースα及びインタフェースβに対する実験参加者(16名)の主観評価の結果を7段階評価(ローマ数字のI~VII)で示す。図17では、インタフェースαが優位の回答ほどローマ数字の値が大きくなり、インタフェースβが優位の回答ほどローマ数字の値が小さくなっている。また、ローマ数字に関連付けて付されているアラビア数字は、実験参加者の数である。例えば、「VII 10」は10名の実験参加者がインタフェースαの方が優位であると回答していることを示す。図17に示すように、4つの全ての質問に対し、過半数の参加者が本実施形態のインタフェースαの方を高く評価していることがわかる。

【0058】
このように、本実施形態によれば、動画に含まれる各オブジェクトの重要度を指定するためのキュー(指定部)を動画の内容に応じて動的に生成しインタフェースに提示することにより、より効率的に動画から特定のシーンを発見することが可能となる。

【0059】
本発明は、上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲内で種々の変更が可能である。

【0060】
例えば、本実施形態では、動画からオブジェクト(物体、人物など)のみを検出して動画の閲覧に有効なキューを動的に自動生成するようにしたが、動画からオブジェクト以外の情報(例えば、撮影場所、被写体の動作など)も検出してキューを自動生成するようにしてもよい。
【符号の説明】
【0061】
10 表示制御装置
11 CPU
12 RAM
13 ROM
14 通信部
15 入力部
16 表示部
100 インタフェース
200 オブジェクトキュー領域
201 オブジェクト名表示領域
202 キュー表示領域
300 動画選択領域
400 再生画面領域
500 オブジェクトタイムライン
600 伸縮タイムライン
601 スライダ
700 再生速度設定領域
701 スライダ
OC1、OC2、OC3、OC4、OC5、OC6、OC7、OC8、OC9、OC10 キュー
SD1、SD2、SD3、SD4、SD5、SD6、SD7、SD8、SD9、SD10 スライダ
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6A】
5
【図6B】
6
【図6C】
7
【図6D】
8
【図7】
9
【図8】
10
【図9】
11
【図10】
12
【図11】
13
【図12】
14
【図13A】
15
【図13B】
16
【図14】
17
【図15】
18
【図16】
19
【図17】
20