TOP > 国内特許検索 > マルチメディア情報検索システム及びプログラム

マルチメディア情報検索システム及びプログラム

国内特許コード P06A009318
整理番号 TDU-082
掲載日 2006年9月22日
出願番号 特願2004-342304
公開番号 特開2006-155042
登録番号 特許第4621909号
出願日 平成16年11月26日(2004.11.26)
公開日 平成18年6月15日(2006.6.15)
登録日 平成22年11月12日(2010.11.12)
発明者
  • 柴田 滝也
  • 川崎 由加里
  • 川崎 舞佳
  • 金森 淳香
出願人
  • 学校法人東京電機大学
発明の名称 マルチメディア情報検索システム及びプログラム
発明の概要

【課題】 ユーザが画像情報をキーにその画像情報とマッチングする音情報をデータベースから検索し、あるいは音情報をキーにその音情報とマッチングする画像情報をデータベースから検索するマルチメディア情報検索システムを提供する。
【解決手段】 この発明のマルチメディア情報検索システムでは、入力された音データを周波数分析して音特徴量を生成し、この音特徴量にマッチングする画像コントラストファクタを決定し、この画像コントラストファクスをキーにして画像識別子と画像データと画像コントラストファクタとを対応させた画像レコードを多種類登録している画像データベースを検索し、該当する画像データを抽出する、あるいはその逆の検索を行う。
【選択図】 図1

従来技術、競合技術の概要


従来、インターネット上の検索に利用されるGoogle(登録商標)、Yahoo!(登録商標)のような検索システムは、テキストによる検索が主であり、テキスト以外の異なるメディア情報間の検索システムはほとんど知られていない。また画像情報や音情報のような異なるメディアデータを編集には各種情報に関連する知識が必要とされ、専門技術者でなければこのような情報の編集ができない。しかも専門技術者であってもインターネット上にあるメディア情報をすべて見ることはできない。反面、現在、高度な専門知識を有しないユーザが多量に流されるインターネット上のマルチメディアデータにアクセスするようになってきている。また、地上波ディジタル放送が解禁されると、その放送に流すコンテンツの重要が増加することが予想される。



このような現実では、高度な知識を有しない一般ユーザであっても異なるメディアデータを編集できるシステムが存在するようになれば、コンテンツの内容の幅が広がり、将来のコンテンツ産業の拡大が期待できる。

産業上の利用分野


本発明は、コントラストモデルを用いたマルチメディア情報検索システム及びプログラムに関する。

特許請求の範囲 【請求項1】
表示出力、印字出力、ネットワークに対する情報入出力、入力手段からの情報入力を処理する入出力処理部と、
画像識別子と画像データと画像特徴量とを対応させた画像レコードを多種類登録している画像データベースと、
前記入出力処理部に入力された音データを周波数分析し、音特徴量を生成する音分析部と、
前記音分析部の生成した音特徴量にマッチングする画像特徴量を決定する音・画像マッチング処理部と、
前記音・画像マッチング処理部の決定した画像特徴量をキーにして前記画像データベースを検索し、該当する画像特徴量を持つ画像データを抽出する画像データベース検索部とを備え
前記画像データベースは、画像識別子と、画像データと、当該画像データに対して、
【数式A1】


の画像特徴量算出式に基づいて算出した画像特徴量Crg,Cybとを対応させた画像レコードを多種類保持しており、
前記音分析部は、入力された音データに対して、
【数式A2】


式に基づいて、音特徴量Cfを求め、
前記音・画像マッチング処理部は、音特徴量Cfとこれにマッチングする画像特徴量Crg,Cybとの対応データを保持していて、前記音分析部の求めた音特徴量Cfに対して当該対応データを参照して当該音特徴量にマッチングする画像特徴量Crg,Cygを決定することを特徴とするマルチメディア情報検索システム。

【請求項2】
表示出力、印字出力、ネットワークに対する情報入出力、入力手段からの情報入力を処理する入出力処理部と、
画像識別子と画像データと画像特徴量とを対応させた画像レコードを多種類登録している画像データベースと、
前記入出力処理部に入力された音データを周波数分析し、音特徴量を生成する音分析部と、
前記音分析部の生成した音特徴量にマッチングする画像特徴量を決定する音・画像マッチング処理部と、
前記音・画像マッチング処理部の決定した画像特徴量をキーにして前記画像データベースを検索し、該当する画像特徴量を持つ画像データを抽出する画像データベース検索部とを備え、
前記画像データベースは、画像識別子と、画像データと、当該画像データに対して、
【数式B1】


の画像特徴量算出式に基づいて算出した画像特徴量としての彩度Cs1又はCs2とを対応させた画像レコードを多種類保持しており、
前記音分析部は、入力された音データに対して、
【数式B2】


式に基づいて、音特徴量Cfを求め、
前記音・画像マッチング処理部は、音特徴量Cfとこれにマッチングする画像彩度Cs1又はCs2との対応データを保持していて、前記音分析部の求めた音特徴量Cfに対して当該対応データを参照して当該音特徴量にマッチングする画像彩度Cs1又はCs2を決定することを特徴とするマルチメディア情報検索システム。

【請求項3】
表示出力、印字出力、ネットワークに対する情報入出力、入力手段からの情報入力を処理する入出力処理部と、
画像識別子と画像データと画像特徴量とを対応させた画像レコードを多種類登録している画像データベースと、
前記入出力処理部に入力された音データを周波数分析し、音特徴量を生成する音分析部と、
前記音分析部の生成した音特徴量にマッチングする画像特徴量を決定する音・画像マッチング処理部と、
前記音・画像マッチング処理部の決定した画像特徴量をキーにして前記画像データベースを検索し、該当する画像特徴量を持つ画像データを抽出する画像データベース検索部とを備え、
前記画像データベースは、画像識別子と、画像データと、当該画像データに対して、
【数式C1】


の画像特徴量算出式に基づいて算出した画像特徴量としての明度Cbrとを対応させた画像レコードを多種類保持しており、
前記音分析部は、入力された音データに対して、
【数式C2】


式に基づいて、音特徴量Cfを求め、
前記音・画像マッチング処理部は、音特徴量Cfとこれにマッチングする画像明度Cbrとの対応データを保持していて、前記音分析部の求めた音特徴量Cfに対して当該対応データを参照して当該音特徴量にマッチングする画像明度Cbrを決定することを特徴とするマルチメディア情報検索システム。

【請求項4】
表示出力、印字出力、ネットワークに対する情報入出力、入力手段からの情報入力を処理する入出力処理部と、
音識別子と音データと音特徴量とを対応させた音レコードを多種類登録している音データベースと、
前記入出力処理部に入力された画像データに所定の画像特徴量算出式を適用して画像特徴量を生成する画像分析部と、
前記画像分析部の生成した画像特徴量にマッチングする音特徴量を決定する画像・音マッチング処理部と、
前記画像・音マッチング処理部の決定した音特徴量をキーにして前記音データベースを検索し、該当する音特徴量を持つ音データを抽出する音データベース検索部とを備え、
前記音データベースは、音識別子と、音データと、当該音データに対して、
【数式D1】


の音特徴量算出式に基づいて算出した音特徴量Cfとを対応させた音レコードを多種類保持しており、
前記画像分析部は、入力された画像データに対して、
【数式D2】


式に基づいて、画像特徴量Crg,Cybを求め、
前記画像・音マッチング処理部は、画像特徴量Crg,Cybとこれにマッチングする音特徴量Cfとの対応データを保持していて、前記画像分析部の求めた画像特徴量Crg,Cybに対して当該対応データを参照して当該画像特徴量にマッチングする音特徴量Cfを決定することを特徴とするマルチメディア情報検索システム。

【請求項5】
表示出力、印字出力、ネットワークに対する情報入出力、入力手段からの情報入力を処理する入出力処理部と、
音識別子と音データと音特徴量とを対応させた音レコードを多種類登録している音データベースと、
前記入出力処理部に入力された画像データに所定の画像特徴量算出式を適用して画像特徴量を生成する画像分析部と、
前記画像分析部の生成した画像特徴量にマッチングする音特徴量を決定する画像・音マッチング処理部と、
前記画像・音マッチング処理部の決定した音特徴量をキーにして前記音データベースを検索し、該当する音特徴量を持つ音データを抽出する音データベース検索部とを備え
前記音データベースは、音識別子と、音データと、当該音データに対して、
【数式E1】


の音特徴量算出式に基づいて算出した音特徴量Cfとを対応させた音レコードを多種類保持しており、
前記画像分析部は、入力された画像データに対して、
【数式E2】


式に基づいて、画像特徴量としての彩度Cs1又はCs2を求め、
前記画像・音マッチング処理部は、画像特徴量Cs1又はCs2とこれにマッチングする音特徴量Cfとの対応データを保持していて、前記画像分析部の求めた画像彩度Cs1又はCs2に対して当該対応データを参照して当該画像彩度にマッチングする音特徴量Cfを決定することを特徴とするマルチメディア情報検索システム。

【請求項6】
表示出力、印字出力、ネットワークに対する情報入出力、入力手段からの情報入力を処理する入出力処理部と、
音識別子と音データと音特徴量とを対応させた音レコードを多種類登録している音データベースと、
前記入出力処理部に入力された画像データに所定の画像特徴量算出式を適用して画像特徴量を生成する画像分析部と、
前記画像分析部の生成した画像特徴量にマッチングする音特徴量を決定する画像・音マッチング処理部と、
前記画像・音マッチング処理部の決定した音特徴量をキーにして前記音データベースを検索し、該当する音特徴量を持つ音データを抽出する音データベース検索部とを備え、
前記音データベースは、音識別子と、音データと、当該音データに対して、
【数式F1】


の音特徴量算出式に基づいて算出した音特徴量Cfとを対応させた音レコードを多種類保持しており、
前記画像分析部は、入力された画像データに対して、
【数式F2】


式に基づいて、画像特徴量としての明度Cbrを求め、
前記画像・音マッチング処理部は、画像明度Cbrとこれにマッチングする音特徴量Cfとの対応データを保持していて、前記画像分析部の求めた画像明度Cbrに対して当該対応データを参照して当該画像明度にマッチングする音特徴量Cfを決定することを特徴とするマルチメディア情報検索システム。

【請求項7】
入力された音データを周波数分析し、音特徴量を生成する音分析ステップと、
前記音分析ステップで生成した音特徴量にマッチングする画像特徴量を決定する音・画像マッチング処理ステップと、
前記音・画像マッチング処理ステップで決定した画像特徴量をキーにして、画像識別子と画像データと画像特徴量とを対応させた画像レコードを多数保持している画像データベースを検索し、該当する画像特徴量を持つ画像データを抽出する画像データベース検索ステップとをコンピュータに実行させるマルチメディア情報検索プログラムであって、
前記画像データベースは、画像識別子と、画像データと、当該画像データに対して、
【数式G1】


の画像特徴量算出式に基づいて算出した画像特徴量Crg,Cybとを対応させた画像レコードを多種類保持しており、
前記音分析ステップでは、入力された音データに対して、
【数式G2】


式に基づいて、音特徴量Cfを求め、
前記音・画像マッチング処理ステップでは、音特徴量Cfとこれにマッチングする画像特徴量Crg,Cybとの対応データを保持していて、前記音分析ステップで求めた音特徴量Cfに対して当該対応データを参照して当該音特徴量にマッチングする画像特徴量Crg,Cygを決定することを特徴とするマルチメディア情報検索プログラム。

【請求項8】
入力された音データを周波数分析し、音特徴量を生成する音分析ステップと、
前記音分析ステップで生成した音特徴量にマッチングする画像特徴量を決定する音・画像マッチング処理ステップと、
前記音・画像マッチング処理ステップで決定した画像特徴量をキーにして、画像識別子と画像データと画像特徴量とを対応させた画像レコードを多数保持している画像データベースを検索し、該当する画像特徴量を持つ画像データを抽出する画像データベース検索ステップとをコンピュータに実行させるマルチメディア情報検索プログラムであって、
前記画像データベースは、画像識別子と、画像データと、当該画像データに対して、
【数式H1】


の画像特徴量算出式に基づいて算出した画像特徴量としての彩度Cs1又はCs2とを対応させた画像レコードを多種類保持しており、
前記音分析ステップでは、入力された音データに対して、
【数式H2】


式に基づいて、音特徴量Cfを求め、
前記音・画像マッチング処理ステップでは、音特徴量Cfとこれにマッチングする画像彩度Cs1又はCs2との対応データを保持していて、前記音分析ステップで求めた音特徴量Cfに対して当該対応データを参照して当該音特徴量にマッチングする画像彩度Cs1又はCs2を決定することを特徴とするマルチメディア情報検索プログラム

【請求項9】
入力された音データを周波数分析し、音特徴量を生成する音分析ステップと、
前記音分析ステップで生成した音特徴量にマッチングする画像特徴量を決定する音・画像マッチング処理ステップと、
前記音・画像マッチング処理ステップで決定した画像特徴量をキーにして、画像識別子と画像データと画像特徴量とを対応させた画像レコードを多数保持している画像データベースを検索し、該当する画像特徴量を持つ画像データを抽出する画像データベース検索ステップとをコンピュータに実行させるマルチメディア情報検索プログラムであって、
前記画像データベースは、画像識別子と、画像データと、当該画像データに対して、
【数式I1】


の画像特徴量算出式に基づいて算出した画像特徴量としての明度Cbrとを対応させた画像レコードを多種類保持しており、
前記音分析ステップでは、入力された音データに対して、
【数式I2】


式に基づいて、音特徴量Cfを求め、
前記音・画像マッチング処理ステップでは、音特徴量Cfとこれにマッチングする画像明度Cbrとの対応データを保持していて、前記音分析ステップで求めた音特徴量Cfに対して当該対応データを参照して当該音特徴量にマッチングする画像明度Cbrを決定することを特徴とするマルチメディア情報検索プログラム

【請求項10】
入力された画像データに所定の画像特徴量算出式を適用して画像特徴量を生成する画像分析ステップと、
前記画像分析ステップで生成した画像特徴量にマッチングする音特徴量を決定する画像・音マッチング処理ステップと、
前記画像・音マッチング処理ステップで決定した音特徴量をキーにして、音識別子と音データと音特徴量とを対応させた音レコードを多種類登録している音データベースを検索し、該当する音特徴量を持つ音データを抽出する音データベース検索ステップとをコンピュータに実行させるマルチメディア情報検索プログラムであって、
前記音データベースは、音識別子と、音データと、当該音データに対して、
【数式J1】


の音特徴量算出式に基づいて算出した音特徴量Cfとを対応させた音レコードを多種類保持しており、
前記画像分析ステップでは、入力された画像データに対して、
【数式J2】


式に基づいて、画像特徴量Crg,Cybを求め、
前記画像・音マッチング処理ステップでは、画像特徴量Crg,Cybとこれにマッチングする音特徴量Cfとの対応データを保持していて、前記画像分析ステップで求めた画像特徴量Crg,Cybに対して当該対応データを参照して当該画像特徴量にマッチングする音特徴量Cfを決定することを特徴とするマルチメディア情報検索プログラム。

【請求項11】
入力された画像データに所定の画像特徴量算出式を適用して画像特徴量を生成する画像分析ステップと、
前記画像分析ステップで生成した画像特徴量にマッチングする音特徴量を決定する画像・音マッチング処理ステップと、
前記画像・音マッチング処理ステップで決定した音特徴量をキーにして、音識別子と音データと音特徴量とを対応させた音レコードを多種類登録している音データベースを検索し、該当する音特徴量を持つ音データを抽出する音データベース検索ステップとをコンピュータに実行させるマルチメディア情報検索プログラムであって、
前記音データベースは、音識別子と、音データと、当該音データに対して、
【数式K1】


の音特徴量算出式に基づいて算出した音特徴量Cfとを対応させた音レコードを多種類保持しており、
前記画像分析ステップでは、入力された画像データに対して、
【数式K2】


式に基づいて、画像特徴量としての彩度Cs1又はCs2を求め、
前記画像・音マッチング処理ステップでは、画像特徴量Cs1又はCs2とこれにマッチングする音特徴量Cfとの対応データを保持していて、前記画像分析ステップで求めた画像彩度Cs1又はCs2に対して当該対応データを参照して当該画像彩度にマッチングする音特徴量Cfを決定することを特徴とするマルチメディア情報検索プログラム。

【請求項12】
入力された画像データに所定の画像特徴量算出式を適用して画像特徴量を生成する画像分析ステップと、
前記画像分析ステップで生成した画像特徴量にマッチングする音特徴量を決定する画像・音マッチング処理ステップと、
前記画像・音マッチング処理ステップで決定した音特徴量をキーにして、音識別子と音データと音特徴量とを対応させた音レコードを多種類登録している音データベースを検索し、該当する音特徴量を持つ音データを抽出する音データベース検索ステップとをコンピュータに実行させるマルチメディア情報検索プログラムであって、
前記音データベースは、音識別子と、音データと、当該音データに対して、
【数式L1】


の音特徴量算出式に基づいて算出した音特徴量Cfとを対応させた音レコードを多種類保持しており、
前記画像分析ステップでは、入力された画像データに対して、
【数式L2】


式に基づいて、画像特徴量としての明度Cbrを求め、
前記画像・音マッチング処理ステップでは、画像明度Cbrとこれにマッチングする音特徴量Cfとの対応データを保持していて、前記画像分析ステップで求めた画像明度Cbrに対して当該対応データを参照して当該画像明度にマッチングする音特徴量Cfを決定することを特徴とするマルチメディア情報検索プログラム。
産業区分
  • 計算機応用
  • 電子応用機器
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

JP2004342304thum.jpg
出願権利状態 権利存続中
ライセンスご希望の方、またシーズの詳細に関することについては、下記「問合せ先」まで直接お問い合わせくださいますよう,お願い申し上げます。


PAGE TOP

close
close
close
close
close
close
close