TOP > 国内特許検索 > 楽音生成方法およびその装置 > 明細書

明細書 :楽音生成方法およびその装置

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4054852号 (P4054852)
登録日 平成19年12月21日(2007.12.21)
発行日 平成20年3月5日(2008.3.5)
発明の名称または考案の名称 楽音生成方法およびその装置
国際特許分類 G10H   1/00        (2006.01)
G06T  13/00        (2006.01)
FI G10H 1/00 A
G10H 1/00 102Z
G06T 13/00 Z
請求項の数または発明の数 8
全頁数 11
出願番号 特願2007-504633 (P2007-504633)
出願日 平成18年1月6日(2006.1.6)
国際出願番号 PCT/JP2006/300047
国際公開番号 WO2006/090528
国際公開日 平成18年8月31日(2006.8.31)
優先権出願番号 2005049727
優先日 平成17年2月24日(2005.2.24)
優先権主張国 日本国(JP)
審査請求日 平成19年6月26日(2007.6.26)
特許権者または実用新案権者 【識別番号】504174135
【氏名又は名称】国立大学法人九州工業大学
発明者または考案者 【氏名】中村 俊介
早期審査対象出願または早期審理対象出願 早期審査対象出願
個別代理人の代理人 【識別番号】100112771、【弁理士】、【氏名又は名称】内田 勝
審査官 【審査官】小宮 慎司
参考文献・文献 実開平05-038699(JP,U)
特開2002-162967(JP,A)
実開平07-031096(JP,U)
特開平06-301381(JP,A)
特開2000-020054(JP,A)
特開昭63-184875(JP,A)
特開平05-232943(JP,A)
特開2002-006838(JP,A)
特開平07-134583(JP,A)
調査した分野 G10H 1/00 - 7/12
G06T 13/00
特許請求の範囲 【請求項1】
物をぶつけたときの振動データを振動センサによって取得する振動データ取得工程と、
振動データから波形成分を抽出する波形成分抽出工程と、
抽出した波形成分に基づいて、音楽理論データベースの音を楽音データとして生成する楽音データ生成工程と、
を有することを特徴とする楽音生成方法。
【請求項2】
前記楽音データが既成の楽譜データであり、前記抽出した波形成分に基づいて楽譜データの曲調が変化するように構成してなることを特徴とする請求項1記載の楽音生成方法。
【請求項5】
抽出した波形成分に基づいて、予め楽器データを生成することを特徴とする請求項1記載の楽音生成方法。
【請求項7】
前記波形成分に基づいて効果画像の画像データを生成し、画像を出力する画像データ生成・画像出力工程をさらに有することを特徴とする請求項1または5記載の楽音生成方法。
【請求項9】
所定の場所に着脱可能に配置される振動認識手段と、
物をぶつけたときの振動データを振動認識手段によって取得する振動データ取得手段と、
振動データから波形成分を抽出する波形成分抽出手段と、
抽出した波形成分に基づいて、音楽理論データベースの音を楽音データとして生成する楽音データ生成手段と、
を有することを特徴とする楽音生成装置。
【請求項10】
前記楽音データが既成の楽譜データであり、前記抽出した波形成分に基づいて楽譜データの曲調が変化するように構成してなることを特徴とする請求項9記載の楽音生成装置。
【請求項12】
前記楽音データ生成手段が抽出した波形成分に基づいて、予め楽器データを生成することを特徴とする請求項9記載の楽音生成装置。
【請求項14】
前記波形データに基づいて効果画像の両像データを生成し、画像を出力する画像データ生成・画像出力手段をさらに有することを特徴とする請求項9または12の楽音生成装置。
発明の詳細な説明 [技術分野]
[0001]
本発明は、楽音を生成する楽音生成方法およびその装置に関する。
[背景技術]
[0002]
近年、デジタルマルチメディアの技術が発達して電子楽器等も普及しつつある。この場合、アコースティック楽器の音をいかに忠実に再現するかが重要な課題であるが、これとともに、表現豊かなバリエーションのある楽音を得ることも大きな関心事である。
[0003]
上記の表現豊かなバリエーションのある楽音を得ることができる電子楽器として、例えば、打撃センサで検出されるセンシング信号により楽音信号を制御する電子打楽器が開示されている(特許文献1参照。)。
[特許文献1]
特開2002-221965号公報
[発明の開示]
[発明が解決しようとする課題]
[0004]
しかしながら、上記の電子打楽器は、これまでの打楽器を電子化して音色を増やしたに過ぎない。また、あくまでも打楽器の一種であるため、演奏するために特別な技術や知識が必要である。このため、音楽に親しもうとする一般者にとって、このような電子打楽器は容易には利用しがたいのが現状である。
[0005]
本発明は、上記の課題に鑑みてなされたものであり、容易に楽音データを生成し、さらには演奏を楽しむことができる楽音生成方法およびその装置を提供することを目的とする。
[課題を解決するための手段]
[0006]
上記目的を達成するために、本発明に係る楽音生成方法は、
物をぶつけたときの振動データを振動センサによって取得する振動データ取得工程と、
振動データから波形成分を抽出する波形成分抽出工程と、
抽出した波形成分に基づいて、音楽理論データベースの音を楽音データとして生成する楽音データ生成工程と、を有することを特徴とする。
[0007]
また、本発明に係る楽音生成方法は、前記楽音データが既成の楽譜データであり、前記抽出した波形成分に基づいて楽譜データの曲調が変化するように構成してなることを特徴とする。
[0008]
[0009]
[0010]
また、本発明に係る楽音生成方法は、抽出した波形成分に基づいて、予め楽器データを生成することを特徴とする。
[0011]
[0012]
また、本発明に係る楽音生成方法は、前記波形成分に基づいて効果画像の画像データを生成し、画像を出力する画像データ生成・画像出力工程をさらに有することを特徴とする。
[0013]
[0014]
また、本発明に係る楽音生成装置は、
所定の場所に着脱可能に配置される振動認識手段と、
物をぶつけたときの振動データを振動認識手段によって取得する振動データ取得手段と、
振動データから波形成分を抽出する波形成分抽出手段と、
抽出した波形成分に基づいて、音楽理論データベースの音を楽音データとして生成する楽音データ生成手段と、
を有することを特徴とする。
[0015]
また、本発明に係る楽音生成装置は、前記楽音データが既成の楽譜データであり、前記抽出した波形成分に基づいて楽譜データの曲調が変化するように構成してなることを特徴とする。、
[0016]
また、本発明に係る楽音生成装置は、前記楽音データ生成手段が抽出した波形成分に基づいて、予め楽器データを生成することを特徴とする。
[0017]
[0018]
また、本発明に係る楽音生成装置は、前記波形データに基づいて効果画像の画像データを生成し、画像を出力する画像データ生成・画像出力手段をさらに有することを特徴とする。
[0019]
[発明の効果]
[0020]
本発明に係る楽音生成方法およびその装置は、物をぶつけたときの振動データを振動センサによって取得する振動データに基づいて楽音データを生成するため、適当な振動を発生させるだけの操作で容易に楽音データを生成することができる。
また、本発明に係る楽音生成方法およびその装置によれば、生成した楽音データに基づいて楽音を出力して演奏を楽しむことができる。
【図面の簡単な説明】
[0021]
[図1]本発明の楽音生成装置の概略構成を示す図である。
[図2]振動源の材質に応じて楽器データベースを参照して楽器を決定する機構を説明するための図である。
[図3]振動の加え方に応じて楽音のベロシティを決定する機構を説明するための図である。
[図4]音の生成と画像の生成をシンクロさせる機構を説明するための図である。
[図5]本発明の楽音生成装置における楽音生成の処理手順のフローを示す図である。
[符号の説明]
[0022]
10 楽音生成装置
12 振動認識手段
14 主制御装置
16 音響装置
18 表示装置
20 振動データ処理部
22 楽音データ生成部
24 画像データ生成部
26 MIDI音源
28 クロック
30 振動データ取得部
32 波形成分抽出部
34 楽音データ決定部
36 楽音データベース
38 画像データ決定部
40 画像データベース
42 データ転送・保存部
44 データ転送部
46 データ保存部
【発明を実施するための最良の形態】
【0023】
本発明に係る楽音生成方法およびその装置の実施の形態について、以下に説明する。
【0024】
まず、本発明の楽音生成装置の概略構成について、図1を参照して説明する。
本発明の楽音生成装置10は、振動認識手段12と、主制御装置14と、音響装置(楽音出力手段)16と、表示装置(画像出力手段)18を備える。
【0025】
振動認識手段12は、振動センサであり、受容(センシング)した衝撃や振動を波形に変換する。振動認識手段12は、音響センサを含む。
振動センサは、接触式であってもよく、また、非接触式であってもよい。振動認識手段12は、吸盤やクリップ、針などであり、どこにでも自由な場所に取り付けができるように設けられる。そして、例えば、図1に示すように振動認識手段12の取り付けられた、振動発生源としての打撃板を棒で叩くことで、打撃板に生じた振動を受容する。振動認識手段12は、人が手を叩いたり、物を叩いたりして生ずる音(振動)に限らず、種々の振動源の振動を認識(受容)することができる。また、振動認識手段12は、空気の流れを認識するドップラーセンサや加えられた力のかかり具合を認識する圧力センサであってもよい。
【0026】
主制御装置14は、例えばパソコンであり、振動認識手段12からの振動データ信号を処理して、音響装置16に楽音信号を送り、また、表示装置18に画像信号を送るものである。主制御装置14の詳細な構成は後述する。
【0027】
音響装置16は、例えばスピーカシステムであり、楽音信号によって楽音を発生するものである。
表示装置18は、例えば液晶ディスプレイであり、画像信号によって画像を表示するものである。
なお、音響装置16および表示装置18は、主制御装置14と一体化されたものであってもよい。また、必要に応じて表示装置18を省略してもよい。
【0028】
主制御装置14について、さらに説明する。
主制御装置14は、振動データ処理部20と、楽音データ生成部(楽音データ生成手段)22と、画像データ生成部(画像データ生成手段)24と、データ転送・保存部42と、音源として、例えばMIDI音源26と、クロック28を備える。
【0029】
振動データ処理部20は、振動認識手段12から振動データを取得する振動データ取得部(振動データ取得手段)30と、取得した振動データの波形を解析し、楽音生成のトリガとなる特徴的な波形成分(波形データ)を抽出する波形成分抽出部(波形成分抽出手段)32とを備える。
【0030】
振動認識手段12によって受容される振動は、所定のタイミングで、振動データ処理部20に振動データ(波形データ)として取り込まれ、さらに、単位時間ごとの波形データが取得される。
波形データは、波形成分抽出部32において、例えばFFT(高速フーリエ変換)によって波形成分が抽出される。抽出される波形成分は、例えば波形のエネルギ量や波形の周波数分布形状パターンである。
これにより、与えられた振動の大きさや、力の大きさ、風の強さなど、あるいは、叩いたのか、触ったのか、こすったのかというような振動源に加わるエネルギの種類など、あるいはまた、硬いもの、柔らかいもの、木材、金属、プラスチック等の振動源の材質などの豊富な情報を区別する(図2参照。)。
【0031】
楽音データ生成部22は、振動データ処理部20で抽出される波形成分に基づいて楽音データを生成するものである。
楽音データ生成部22は、MIDIデータを生成する楽音データ決定部34とともに、楽音データベース36を有する。
楽音データベース36は、MIDIデータベース、音楽理論データベースおよび楽器データベースを含む。
【0032】
MIDIデータベースは、例えば、表1に示すように、波形のエネルギ量の最大値から最小値の間を12分割したときの位置(大きさ)に応じてMIDIデータのノートナンバー(以下、noteという。)が割り付けられている。そして、楽音データ決定部34において、波形成分抽出部32で得られる波形のエネルギ量に対応するnote、すなわち音階が楽音データして決定される。この場合、MIDIデータを生成するため、リアルタイムな処理が可能となる。
また、このとき、MIDIの音源としてサンプラーを利用することにより楽器に限らず様々な音を鳴らすことができる。例えば、楽譜ファイル(MIDIファイル)のなかに猫の鳴き声を出すという命令(楽譜)を埋め込んでおき、子供が「犬のお巡りさん」を演奏するときに、メロディのフレーズ間に鳴き声を発音することができる。
【0033】
【表1】JP0004054852B2_000002t.gif【0034】
音楽理論データベースは、例えば、表2に示すような波形のエネルギ量の最大値から最小値の間を12分割したときの位置(大きさ)に応じたコード上の音階(ここではCコード)や、あるいは、表3に示すような民族風音階(ここでは沖縄音階)のデータが含まれる。そして、楽音データ決定部34において、波形成分抽出部32で得られる波形のエネルギ量に対応する、音楽理論を適用した音階が生成される。これにより、例えば、不快な音を避け、さらには好みの旋律を得ることができる。
【0035】
【表2】JP0004054852B2_000003t.gif【0036】
【表3】JP0004054852B2_000004t.gif【0037】
また、楽音データベース36には、さらに、楽譜データベースを含むようにしてもよい。
楽譜データベースは、例えば、表4に示すように、「ちょうちょ」という既存の楽譜データ(音階の順番のデータ:note)を含む。そして、楽音データ決定部34において、入力される波形データの順番につぎの音階を決定していく。このとき、上記のようにエネルギ量の大小で分割することなく、波形のエネルギ量が閾値以上のときに、入力される前後の波形エネルギの増減に無関係に順次つぎの音階を決定してもよいが、noteの増減と入力される前後の波形エネルギの増減が一致するときにつぎの音階を決定するようにしておくと、意識的に順次異なる振動を生成する動作によって楽譜の音楽を演奏している感覚を得ることができる。なお、波形のエネルギ量が閾値に至らないときは、振動データ取り込みのタイミング制御を行い、つぎの振動データに基づく波形エネルギ量に応じてつぎの音階が決定される。
また、このとき、抽出した波形成分に基づいて、音の強弱やベロシティを変えあるいはエフェクトをかけたり、自動的に装飾音を付加したり、曲風を沖縄音楽風やジャズ風に変換するように構成することにより、曲調を変化させて、個性的な演奏を行っている感覚を得ることができる。
【0038】
【表4】JP0004054852B2_000005t.gif【0039】
楽器データベースは、例えば、図2に示すように、プラスチック、金属、木材等の振動を加える材料の材質ごとの波形の周波数分布形状パターンが含まれる。また、例えば、表5に示すように、材質に応じてMIDIProgram Numberが割り付けられている。そして、楽音データ決定部34において、入力される波形成分(波形の周波数分布形状パターン)と楽器データベースの波形の周波数分布形状パターンとをパターンマッチングして、入力される波形成分を生じる振動源の材質を例えばプラスチックと特定(認識)し、プラスチックに対応するProgram Number1(ピアノ)の楽器を決定する。これにより、振動を発生させる材料を選択することで、所望の楽器を選択することができる。なお、このとき、振動源の材質に換えて、例えば、爪等の硬い振動はピアノの音、手のひら等の柔らかいもので生じる振動は笛の音といったように、振動源に振動を発生させるための手段(道具)と楽器を対応付けてもよい。
【0040】
【表5】JP0004054852B2_000006t.gif【0041】
また、楽音データベース36には、上記材料の材質を特定して楽器を決定する方法と関連して、例えば、図3に示すように、こする、叩く、触る等の振動の加え方(種類)ごとの波形の周波数分布形状パターンが含まれる。そして、楽音データ決定部34において、入力される波形成分(波形の周波数分布形状パターン)とこれら振動の加え方(種類)ごとの波形の周波数分布形状パターンとをパターンマッチングして、例えば、入力される波形成分を生じる振動源の振動の加え方をこするものであると特定(認識)したときにはMIDIのベロシティを下げ、入力される波形成分を生じる振動源の振動の加え方を叩くものであると特定(認識)したときにはMIDIのベロシティを上げる。これにより、振動の加え方を変えることで、楽音の大きさを変えることができ、演奏の自由度を広げることができる。
【0042】
また、楽音データ決定部34で、例えば、所定時間間隔で得られる波形成分の変化量が閾値以下のときには、前の時刻の楽音データがそのまま継続して生成されるように構成することで、楽音の音の長さ(テンポ)が得られる。
【0043】
また、楽音データ決定部34で、例えば、通常、波形成分に応じて例えば音楽理論(Cコード)のnote76を単音として生成するものを、振動源の材質や振動の加え方等が特定の条件に合致するとき、note76を軸にすばやく76-79-72-76等の連続変化音を一まとまりの音として生成するように構成することで、音に厚みをつけることができる。
【0044】
画像データ生成部24は、例えば、振動データ処理部20で抽出される波形成分に基づいて画像データを生成する機能を備え、画像データ決定部38および画像データベース40を有する。
画像データベース40には画像データが波形成分に応じて割り付け、保存されている。このとき、振動データ処理部20で抽出される波形成分に直接対応する形で画像データを割り付けてもよいが、より、好ましくは、例えば、音の生成と画像の生成(変化)をシンクロさせるように構成する。
すなわち、例えば、図4に示すように、画像データベース40は音階の高さ、言い換えればノートナンバーを画面上の上下の位置に、ベロシティの強さを左右の位置に対応付けておく。そして、画像データ決定部38は、波形成分によって定まる画像上の点で玉がはじける(波紋が広がる・花火が開く)エフェクトを生成する。このとき、はじける玉の色は、例えば、三味線が赤、笛が青等、楽器の種類に対応させる。
これにより、演奏している感覚をより強く得ることができる。
【0045】
データ転送・保存部42は、楽音データ生成部22および画像データ生成部24から送られてくるそれぞれのデータを一時的に記憶するデータ転送部44と、必要に応じてそれらのデータを保存するデータ保存部(楽音データ保存手段、画像データ保存手段)46を含む。
【0046】
MIDI音源28は、複数の種類の楽器についての楽音が含まれており、データ転送部44の楽音データの信号によって制御されて、選択された楽器の楽音信号を生成する。楽音信号によって音響装置16で楽音を発生する。
一方、画像データ生成部で生成された画像データは、データ転送部44の画像データの信号によって表示装置18で表示する。
音響装置16と表示装置18は、両者を同時に動作させ、あるいはいずれか一方のみを動作させることができる。
【0047】
つぎに、本発明の楽音生成装置10による楽音の発生および画像の表示の処理について、図5のフローチャートを参照して説明する。
【0048】
振動データ取得工程では、タイミング(リズム)を制御されながら(図5中、S10)、着脱可能に所定の場所に配置して用いられる振動センサによって振動データを取得する(図5中、S12)。
ついで、波形成分抽出工程では、単位時間の波形データ(波形成分)を取得し(図5中、S14)、さらに、FFT(高速フーリエ変換)により波形成分を抽出、言い換えれば、振動データから波形成分を抽出する(図5中、S16)。
【0049】
ついで、楽音データ生成工程では、波形のエネルギが閾値以上かどうかを判断し(図5中、S18)、閾値に至らないときは、再び、タイミングの制御を行う(図5中、S10)。一方、波形のエネルギが閾値以上のときは、プログラムナンバー(楽器等の種類等)が固定されているかどうかを判断する(図5中、S20)。
そして、プログラムナンバーが固定されているときは、波形成分の周波数分布形状から叩く・こする等の振動の加え方の種類を認識し、MIDIのベロシティやエフェクトに対応付ける(図5中、S24)。一方、プログラムナンバーが固定されていないときは、波形成分の周波数分布形状から材質を認識し、材質とプログラムナンバーを対応付けた後(図5中、S22)、さらに、波形成分の周波数分布形状から叩く・こする等の振動の加え方の種類を認識し、ベロシティやエフェクトに対応付ける(図5中、S24)。
ついで、エネルギ量をノートナンバー(音階)に対応付ける(図5中、S26)。
これらの楽音データは、必要に応じて保存する(楽音データ保存工程)。
【0050】
ついで、MIDIデータを生成し(図5中、S28)、楽音出力工程で、音源に送信し(図5中、S30)、音声(楽音)を出力する(図5中、S32)。
【0051】
一方、画像生成・出力工程で、波形成分と決定した楽音データから画像データを生成する。画像データは、必要に応じて保存したうえで(画像データ保存工程)、画像として出力する(図5中、S34)。
【0052】
楽器を弾けるようになりたいというのは多くの人が持つ気持ちである。しかし現在の楽器は、練習等によって自由に楽音を表現できるものではあるが、思うように扱えるようになるには多大な練習による習熟を必要とするため、馴染みにくい。本発明によれば、誰もが簡単に演奏でき、机や床などをすぐに楽器にすることが可能になる。
また、楽器の習熟度合いの違う人たちが一緒に演奏することも可能になる。例えば、いつも練習している子供たちはギターとピアノをそのまま弾き、楽器を演奏したことのない父親はこのシステムを利用して机を叩いて演奏に参加する。楽譜等の音階の発する順番をあらかじめ設定できるため、机の叩き方だけで子供たちとセッションすることが可能になる。
また、すばらしい感性を持っているにもかかわらず、それを表現する方法がなく、あるいは表現することが困難である人は、通常の楽器等を練習することによって型にはまってしまいせっかくの感性が活かせないという現状がある。本発明によれば、技術に縛られない感性そのものを表現することができるようになる。
また、タップダンスや和太鼓など、通常は打つ音(振動)だけで表現していたものが、このシステムにより同時に音階を作り出すことが可能になるため、パフォーマンスの可能性が広がる。
【0053】
以上説明した本実施の形態に関わらず、例えば、ドラムだけ流しておいて、好きなタイミングでピアノの音を生成するといったように、ベースとなる音楽を鳴らしておいて、そこに振動により音を追加してもよい。
また、例えば、振動の大きさを3分割して、その範囲内に該当音階が入っていたときに音が生成されるようにすることにより、演奏的な自由度(ゲーム的要素)を入れることができる。
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4