TOP > 国内特許検索 > 楽音生成方法 > 明細書

明細書 :楽音生成方法

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第3978506号 (P3978506)
登録日 平成19年7月6日(2007.7.6)
発行日 平成19年9月19日(2007.9.19)
発明の名称または考案の名称 楽音生成方法
国際特許分類 G10H   1/00        (2006.01)
G10G   1/00        (2006.01)
FI G10H 1/00 Z
G10G 1/00
請求項の数または発明の数 4
全頁数 15
出願番号 特願2006-528958 (P2006-528958)
出願日 平成17年7月7日(2005.7.7)
国際出願番号 PCT/JP2005/012539
国際公開番号 WO2006/011342
国際公開日 平成18年2月2日(2006.2.2)
優先権出願番号 2004220998
優先日 平成16年7月29日(2004.7.29)
優先権主張国 日本国(JP)
審査請求日 平成18年9月26日(2006.9.26)
特許権者または実用新案権者 【識別番号】504174135
【氏名又は名称】国立大学法人九州工業大学
発明者または考案者 【氏名】中村 俊介
早期審査対象出願または早期審理対象出願 早期審査対象出願
個別代理人の代理人 【識別番号】100112771、【弁理士】、【氏名又は名称】内田 勝
審査官 【審査官】小宮 慎司
参考文献・文献 特開平03-206493(JP,A)
特開平06-175652(JP,A)
特開2003-271164(JP,A)
特開2002-182647(JP,A)
国際公開第96/022580(WO,A1)
調査した分野 G10H 1/00 - 7/12
G10G 1/00 - 7/02
特許請求の範囲 【請求項9】
描画画面を設定し、ペンまたはマウスを用いて座標データを順次入力して描画するとともに、所定の時間間隔で前後して入力された3つの座標データから2つのベクトルを算出し、算出された2つのベクトルの角度変化量に基づいて音の高さが、スカラ量に基づいて音の強さが、およびスカラ量レベルに基づいて音の長さが、それぞれ決定された楽音データを生成し、発音する描画・発音ステップと、
該描画画面に色相環を一時的に表示し、ペンまたはマウスを用いて座標位置を移動して、連続的に変化する表示色データのなかから表示する表示色データを決定、生成する表示色データ生成ステップと、
を有し、ペンまたはマウスを用いた操作により、描画とともに楽音を出力し、かつ表示色を変更することを特徴とする楽音生成方法。
【請求項10】
前記描画・発音ステップにおいて、前記ベクトルの角度変化量に基づいて所定の音階音のみの楽音データを生成することを特徴とする請求項9記載の楽音生成方法。
【請求項11】
前記表示色データ生成ステップにおいて、前記色相環に楽器が割り当てられており、表示色データとともに楽器データを生成することを特徴とする請求項9記載の楽音生成方法。
【請求項12】
別々に入力された座標データ群ならびに生成された楽音データ群、表示色データ群および楽器データ群からなるデータ群を記録し、該データ群に基づいて楽音および画像のうちのいずれか一方または双方を同時再生するステップをさらに有することを特徴とする請求項9~11のいずれか1項に記載の楽音生成方法。
発明の詳細な説明 【技術分野】
[0001] 本発明は、入力される座標データに基づいて楽音を生成する楽音生成方法に関する。
【背景技術】
[0002] 近年、コンピュータを利用した音楽演奏システムが急速に普及しつつある。音楽演奏システムは、一般的には、作曲や編曲を楽しむことを目的としたものであり、音楽の専門知識や習熟を必要とするものである。
[0003] これに対して、楽譜を図形や色に置き換えて画像として視覚的に表現するものや、音楽と画像の変化とを連動させるもの等、気軽に使用でき、娯楽性の高いシステムも提案されている。
[0004] このようなシステムとして、例えば、描かれた絵の座標情報を入力するペン型入力装置と、ペン型入力装置から入力された座標情報を表示する表示装置と、ペン型入力装置から入力された座標情報に対応した音声信号を出力する音源装置と、ペン型入力装置から入力された座標情報に基づいて表示装置と音源装置とを制御する主制御装置とを備えた音楽演奏システムが提案されている。この音楽演奏システムによれば、使用する楽器の音色を入力スクリーン上の色として置き換え、使用者が色のバリエーションの中から自由に選択し、表示スクリーン上に配置することにより、音を聞く楽しみに加えて見る楽しみも味わうことができるとされている(特許文献1参照。)。
[0005] しかしながら、上記音楽演奏システムにおいて、描くためにペンを置いた位置に対応した音声信号は、座標位置に割り当てられた音声信号である。そして、予め絵を描くときに座標位置に応じた音声信号が生成、記録され、つぎに描かれた絵を再度なぞることにより、座標位置に応じた音声信号が再生されるものである。すなわち、描いた絵によって生成された音声信号ではなく、描かれた絵をなぞる際に画面上のどこにペンを置いたかによって判断され、座標位置に応じた音声信号が再生されるものである。このため、実際には、自由に描いた絵に基づいて自由な音声を生成することはできず、画面の位置に規定されたペン操作を行わざるを得ないといえる。また、音楽を再現するためには完全に一致する画面位置でペンを動かさねばならない。
【0006】
一方、座標系が設定された描画領域に、入力された画像を入力順に表示する画像表示ステップと、表示しつつある画像部分の座標系における座標に対応する楽音を発生させる楽音生成ステップとを有する楽音発生方法が提案されている。ここで、座標系は、楽音の音程を決定する第一の座標軸と、楽音の左右の音量バランスを決定する第二の座標軸とに設定されている。この楽音発生方法によれば、再現される描画と楽音とを入力時の描画と楽音とに一致させることができるとされている(特許文献2参照。)。なお、マウスのクリック操作によりテンポの要素が加わってフレーズが生成される。
【0007】
しかしながら、上記楽音生成方法(特許文献2)において、生成される音声は、座標位置(座標点)に割り当てられた音程および音量を持つ1つの音である。いうなれば、特定の音程および音量の1つの音を一義的に得るには、平面座標上で特定の座標点を入力する必要がある。また、生成されるフレーズも、平面座標上での特定の座標点におけるマウス操作によって決まるものである。その意味において、上記楽音生成方法(特許文献2)は、上記音楽演奏システム(特許文献1)と同様に、いわば、自由に描いた描画に基づいて音声を生成するときの生成する音声の自由度は小さいといえる。
【0008】
この点に関し、電子楽器における音色パラメータや効果のパラメータをタブレット入力で行い操作性を向上させることを目的として、タブレット上の操作点をサンプリングし、各サンプリング点Pk (k=0,1,2,…)を結ぶベクトルVk を想定し、操作の初動時のベクトルV0の方向に対する現在のベクトルの方向の回転角度に応じてパラメータを増減させ、その際パラメータ値を増加させるか減少させるかは操作点の回転方向によって決め、一方、操作点の回転方向はベクトルの傾きの差(変化)によって検出する電子楽器のパラメータ入力装置が提案されている(特許文献3参照。)。
【特許文献1】
特開平8-335076号公報
【特許文献2】
特開2003-271164号公報
【特許文献3】
特開平6-175652号公報
【発明の開示】
【発明が解決しようとする課題】
[0009] しかしながら、上記電子楽器のパラメータ入力装置(特許文献3)において、ベクトルに基づいて制御する対象は音色パラメータ等の値の増減であり、音色パラメータ自体の設定変更は、タブレットとは別の入力手段であるモード設定スイッチ等のパラメータ入力装置により行うものとされている。このため、上記他の先行技術と同様に、自由に描いた描画に基づいて音声を生成するときの生成する音声の自由度は小さいといえる。
[0010] 本発明は、上記の課題に鑑みてなされたものであり、実質的に描画的な操作のみで、楽音を自在に発音するとともに、描画する色を自在に選択することができる楽音生成方法を提供することを目的とする。
【課題を解決するための手段】
[0011] 上記目的を達成するために、本発明に係る楽音生成方法は、描画画面を設定し、ペンまたはマウスを用いて座標データを順次入力して描画するとともに、所定の時間間隔で前後して入力された3つの座標データから2つのベクトルを算出し、算出された2つのベクトルの角度変化量に基づいて音の高さが、スカラ量に基づいて音の強さが、およびスカラ量レベルに基づいて音の長さが、それぞれ決定された楽音データを生成し、発音する描画・発音ステップと、該描画画面に色相環を一時的に表示し、ペンまたはマウスを用いて座標位置を移動して、連続的に変化する表示色データのなかから表示する表示色データを決定、生成する表示色データ生成ステップと、を有し、ペンまたはマウスを用いた操作により、描画とともに楽音を出力し、かつ表示色を変更することを特徴とする。
また、本発明に係る楽音生成方法は、前記描画・発音ステップにおいて、前記ベクトルの角度変化量に基づいて所定の音階音のみの楽音データを生成することを特徴とする。
また、本発明に係る楽音生成方法は、前記表示色データ生成ステップにおいて、前記色相環に楽器が割り当てられており、表示色データとともに楽器データを生成することを特徴とする。
また、本発明に係る楽音生成方法は、別々に入力された座標データ群ならびに生成された楽音データ群、表示色データ群および楽器データ群からなるデータ群を記録し、該データ群に基づいて楽音および画像のうちのいずれか一方または双方を同時再生するステップをさらに有することを特徴とする。
【発明の効果】
[0019] 本発明に係る楽音生成方法は、描画画面を設定し、ペンまたはマウスを用いて座標データを順次入力して描画するとともに、所定の時間間隔で前後して入力された3つの座標データから2つのベクトルを算出し、算出された2つのベクトルの角度変化量に基づいて音の高さが、スカラ量に基づいて音の強さが、およびスカラ量レベルに基づいて音の長さが、それぞれ決定された楽音データを生成し、発音する描画・発音ステップと、描画画面に色相環を一時的に表示し、ペンまたはマウスを用いて座標位置を移動して、連続的に変化する表示色データのなかから表示する表示色データを決定、生成する表示色データ生成ステップと、を有し、ペンまたはマウスを用いた操作により、描画とともに楽音を出力し、かつ表示色を変更するため、実質的に描画的な操作のみで、楽音を自在に発音するとともに、描画する色を自在に選択することができる。
【図面の簡単な説明】
[0020][図1]本発明の楽音生成装置の概略構成を示す図である。
[図2]本発明の楽音生成装置における座標データとベクトルの関係を説明するための図である。
[図3]本発明の楽音生成装置において表示色決定方法を説明するために用いる色相環を示す図である。
[図4]本発明の楽音生成装置において楽器決定方法を説明するために用いる色相環を示す図である。
[図5]本発明の楽音生成装置における楽音生成の処理手順のメインフローを示す図である。
[図6]本発明の楽音生成装置における楽音生成の処理手順のうち、色選択処理のフローを示す
[図7]本発明の楽音生成システムの一例のシステム構成を示す図である。
[図8]本発明の楽音生成システムの他の一例のシステム構成を示す図である。
【符号の説明】
[0021] 10、10a 楽音生成装置
12 座標入力装置
14 主制御装置
16 音響装置
18 表示装置
20 動き算出部
22 楽音データ生成部
24 楽器データ生成部兼表示色データ生成部
26 データ転送・保存部
28 MIDI音源
30 タイマ
30a、30b リズム制御・同期部
32 座標バッファ部
34 ベクトル算出部
36 楽音データ決定部
38 音楽理論データベース
40 色・楽器対応照合・決定部
42 色・楽器対応データベース
44 データ転送部
46 データ保存部
48 サーバ部
50 通信ネットワーク
【発明を実施するための最良の形態】
[0022] 本発明に係る楽音生成方法の実施の形態について、以下に説明する。
[0023] まず、本発明に係る楽音生成方法を好適に実施することができる本発明の楽音生成装置の概賂構成について、図1を参照して説明する。
本発明の楽音生成装置10は、座標入力装置(座標入力手段)12と、主制御装置14と、音響装置(楽音出力手段)16と、表示装置(画像表示手段)18を備える。
座標入力装置12は、連続的に、あるいは不連続に描かれる線や絵の座標データを入力するためのものであり、タッチパネルディスプレイやマウス等の適宜の方式のものを用いることができる。
主制御装置14は、例えばパソコンであり、座標入力装置12からの座標データ信号を処理して、音響装置16に楽音信号を送り、また、表示装置18に画像信号を送るものである。主制御装置14の詳細な構成は後述する。
音響装置(楽音出力手段)16は、例えばスピーカシステムであり、楽音信号によって楽音を発生するものである。
表示装置18は、例えば液晶ディスプレイであり、画像信号によって画像を表示するものである。
なお、音響装置16および表示装置18は、主制御装置14と一体化されたものであってもよい。また、必要に応じて表示装置18を省略してもよい。
【0024】
主制御装置14について、さらに説明する。
主制御装置14は、動き算出部(ベクトル算出手段)20と、楽音データ生成部(楽音データ生成手段)22と、楽器データ生成部兼表示色データ生成部(楽器データ生成手段兼表示色データ生成手段)24と、データ転送・保存部26と、音源として、例えばMIDI音源28と、タイマ30を備える。
【0025】
動き算出部20は、座標入力装置12で入力された座標データについて、所定時間間隔で前後して入力された2つの座標位置を結んで、大きさと向きを有するベクトルとして算出するものである。動き算出部20は、座標バッファ部32およびベクトル算出部34を有する。
座標バッファ部32は、入力された座標データを一時的に記憶するものであり、入力された座標データをそのまま取り込む第1座標バッファ部ならびに第1座標バッファ部の座標データを所定の時間間隔で順次シフトする第2座標バッファ部および第3座標バッファ部を含む。
ベクトル算出部34は、第1座標バッファ部乃至第3座標バッファ部の座標データからベクトルを算出するものであり、スカラ量算出部と角度変化量算出部を含む。
【0026】
楽音データ生成部22は、ベクトル算出部34で算出されたベクトルに基づいて楽音データを生成するものであり、この場合MIDIデータを生成する。
楽音データ生成部22は、MIDIデータを生成する楽音データ決定部36を有するとともに、この場合、音楽理論データベース38をさらに有する。音楽理論データベース38の詳細は、後述する。
楽音データ決定部36は、スカラ量に基づいて音の強さパラメータを決定する音の強さパラメータ決定部と、角度変化量に基づいて音の高さパラメータを決定する音の高さパラメータ決定部を含む。なお、これとは逆に、スカラ量に基づいて音の高さパラメータを決定し、角度変化量に基づいて音の強さパラメータを決定する構成としてもよい。
また、楽音データ決定部36では、例えば、所定時間間隔で得られるベクトルの変化量が閾値以下のときには、前の時刻の楽音データがそのまま継続して生成されるように構成することで、楽音の音の長さ(テンポ)が得られる。
なお、楽音データは、上記音の高さ、音の強さおよび音の長さのみでなく、音の左右バランスあるいは音の揺れ(モジュレーション)であってもよく、これら5つの中から選ばれる1または2以上とすることができる。
【0027】
楽器データ生成部兼表示色データ生成部24は、座標データに対応して、楽器データを生成する機能と表示色データを生成する機能とを兼ね備える、色・楽器対応照合・決定部40および色・楽器対応データベース42を有する。
色・楽器対応データベース42は、座標データに基づいて、表示色データおよび楽器データを生成する。すなわち、表示装置18で表示する表示色データおよび音響装置16で発生する楽音の素材となる楽器データが、例えば座標位置に応じて色相環および色相環に対応した楽器分割領域の形で割り付けられており、色相環を入力画面に表示したうえで座標位置を変化させることで、新しい表示色データおよび楽器データが得られる。色・楽器対応照合・決定部40で、入力された座標データを色・楽器対応データベース42と照合して、表示色データおよび楽器データを同時に決定する。
【0028】
データ転送・保存部26は、楽音データ生成部22および楽器データ生成部兼表示色データ生成部24から送られてくる、座標データを含むそれぞれのデータを一時的に記憶するデータ転送部44とともに、必要に応じてそれらのデータを保存するデータ保存部46を含む。
【0029】
MIDI音源28は、複数の種類の楽器についての楽音が含まれており、データ転送部42の楽音データおよび楽器データの信号によって制御されて、選択された楽器の楽音信号を生成する。楽音信号によって音響装置16で楽音を発生する。
一方、データ転送部42の表示色データを含む座標データの信号によって、入力装置12において描かれた画像を表示装置18で表示する。
音響装置16と表示装置18は、両者を同時に動作させ、あるいはいずれか一方のみを動作させることができる。
【0030】
ここで、座標データの変化からベクトルを算出し、ベクトルの変化に基づいて楽音を生成する方法について、図2および表1~3をさらに参照して説明する。
【0031】
連続的にあるいは不連続に変化する座標データを所定時間間隔で動き算出部20の座標バッファ部32に取り込む。ここでは、例えば、座標平面上で、図2中左から右にペンを動かして、ある時刻における座標データ1(x1,y1,t1)、座標データ1を取得した後、所定時間経過したときの座標データ2(x2,y2,t2)、座標データ2を取得した後、所定時間経過したときの座標データ3(x3,y3,t3)が順次得られる状態を示すものとする。ここで、(xi,yj)は座標値を、tkは時刻をそれぞれ示す。上記のように、時刻t1、時刻t2および時刻t3は、所定の等時間間隔である。最新の座標データ3は第1バッファ部に取り込まれる。それに先立ち、座標データ2が第1バッファ部から第2バッファ部へ、座標データ1が第2バッファ部から第1バッファ部へシフトされる。
【0032】
ベクトル算出部34の角度変化量算出部では、上記座標データ1および座標データ2から、すなわち、座標データ1および座標データ2の2つの座標位置を結んでベクトルaを得、同様に座標データ2および座標データ3からベクトルbを得る。このとき、座標データ(xi,yj)の位置は、ペンの動きによって自由に変化し、このため、ベクトルbは、ベクトルaと異なったものとなりうる。すなわち、例えば、図2に示すように時刻t1から時刻t2までの間にペンを一定の方向にゆっくり動かし、時刻t2から時刻t3までの間にペンを方向を変えて速く動かすと、ベクトルbは、ベクトルaに対して、スカラ値が大きくなるとともに、ベクトルの方向が変わる。このときの、所定の時間間隔で前後して得られる2つのベクトルの方向の変化量を図2中、角度変化量θで示す。
【0033】
楽音データ生成部22の楽音データ決定部36で、角度変化量θに応じて音の高さ(音の高さデータ、音の高さパラメータ)が生成される。
角度変化量θは、ペンの動きに応じて±180度の値をとりうる。音の高さは、MIDIデータのノートナンバー(以下、noteという。)を用いる。noteは、例えば、0~127の数字で全音(ピアノの白鍵)と半音(ピアノの黒鍵)が配列されたものである。
表1に示すように、角度変化量θの値に応じてnoteを割り付けておくことで、ペンの動きに応じて全ての音の高さをとりうる。
【0034】
【表1】JP0003978506B2_000002t.gif【0035】
ここで、楽音データ生成部22の音楽理論データベース38について合わせて説明する。
音楽理論データベース38には、表1の角度変化量θに応じて全ての音の高さを指定できるデータのほかにさらに、例えば表2に示す角度変化量θに応じてコード上の音階(ここではCコード)や、表3に示す民族風音階(ここでは沖縄音階)のデータが含まれる。
したがって、楽音を生成する際、音楽理論を適用する操作を行うことで、好みの旋律を得ることができる。
【0036】
【表2】JP0003978506B2_000003t.gif【0037】
【表3】JP0003978506B2_000004t.gif【0038】
また、ベクトル算出部34のスカラ量算出部では、ベクトルaおよびベクトルbからそれぞれのスカラ量が算出される。そして、楽音データ生成部22の楽音データ決定部36で、ベクトルaおよびベクトルbそれぞれのスカラ量に応じて音の強さ(音の強さデータ、音の強さパラメータ)が生成される。言い換えれば、ベクトルのスカラ量を変えることで音の強さを変えることができる。
座標平面の最大幅を1とし、ペンを動かして得られるスカラ量をLとするとき、Lは0~1の範囲内の値をとりうる。音の強さは、MIDIデータのボリューム(以下、volumeという。)を用い、volumeは0~127の数字をとるものとする。
そして、スカラ量Lとvolumeとの関係を、例えば次の式のように設定することで、スカラ量に応じて音の強さが生成される。
volume=(1-L)*120
この場合、ペンをゆっくり動かすほどスカラ量Lの値が小さくなり大きな音の強さが得られることになる。
【0039】
このとき、スカラ量Lが閾値以下のときには、その前の時刻におけるスカラ量に応じて生成された音の強さを継続するように設定することで、音の長さ(テンポ)を生成することができる。
【0040】
つぎに、表示装置18を用いてペンで描いた絵を表示するときに、表示色を選択する方法について図3を参照して説明する。
【0041】
図3に示すように、座標平面の中心点を中心として360度の角度範囲で色相hが割り当てられた色相環が設定される。また、色相環は、座標平面の中心点に近いほど淡い色となり、座標平面の中心点から遠いほど鮮やかな色となるように彩度sが割り当てられている。
そして、色選択ボタン等の色設定手段を操作して座標平面に色相環を表示し、ペンを平面座標の現在の座標P(x,y)の位置に置いた状態から別の座標の位置に移動させて色相環の角度を変えることで表示色の色相を変えることができ、また、色相環の中心からの距離を変えることで表示色の彩度を変えることができる。なお、マウスを用いるときは、右ボタンをドラッグすることで、表示色を変えることができる。
【0042】
このとき、ペンを動かさずに同一の座標に固定している時間の長さに応じて明度を変化させるように設定することで、所望の明度を得ることができる。
【0043】
つぎに、表示色と楽器を対応させて、表示色に応じた楽器を選択する方法について、図4および表4~表8を参照して説明する。
【0044】
図4に示すように、図3の色相環を例えば12分割して、各色A~Lに楽器を割り当てる。このとき、MIDI音源28の例えば表4に示す音色マップの楽器番号(Program Nunber)を、表5に示すようにそのまま機械的に割り当ててもよく、また、表6に示すように好みの楽器番号を割り当ててもよい。あるいはまた、例えば表7に示すドラムセット番号1のような、別途用意したドラムセット番号を表8に示すように割り当ててもよい。
これにより、表示色の決定と合わせて楽器の種類を決定することができる。なお、画像表示を行わないときは、座標平面上の操作で楽器の決定のみ行うこともできる。
【0045】
【表4】JP0003978506B2_000005t.gif【0046】
【表5】JP0003978506B2_000006t.gif【0047】
【表6】JP0003978506B2_000007t.gif【0048】
【表7】JP0003978506B2_000008t.gif【0049】
【表8】JP0003978506B2_000009t.gif【0050】
以上説明した、表示色を選択するためのデータおよび楽器を選択するためのデータは、色・楽器対応データベース42に含まれており、色・楽器対応照合・決定部40によって、入力される座標データと照合されて、表示色および楽器が決定される。
【0051】
つぎに、本発明の楽音生成装置10による楽音の発生および画像の表示の処理について、図5および図6のフローチャートを参照して説明する。
【0052】
楽音生成装置10を使用する操作者が、操作を開始すると(図5中、S1)、時刻、座標データ等の初期設定が行われる(図5中、S2)。
ついで、モード確認が行われ(図5中、S3)、操作者は希望により色選択を行う(図5中、S22)。色選択の処理については後述する。色選択を行わない場合は、初期設定された色条件に基づいて、描画が行われることになる。
色選択を行わない場合、描画開始(ドラッグ開始)の判断が行われ(図5中、S4)、引き続き、描画の初期化が行われ、初期の連続2座標(Pbuf3、Pbuf2)が第3、第2バッファにシフトされる(図5中、S5)。描画を開始していないときは、モード確認のステップS3に戻る。
【0053】
ついで、描画がリズム(音の長さ、テンポ)に合致したタイミングで行われているかが判断される(図5中、S6)。
描画がリズムに合致したタイミングで行われていると、描画中の現在の座標P(以下、現座標ということがある。)、すなわち、現座標データが取得され(図5中、S7)、引き続き、現座標Pと直前の座標(Pbuf2)とが比較される(図5中、S8)。
現座標Pと所定時間過去である直前の座標(Pbuf2)の値の差が閾値未満のときには、再び、描画がリズムに合致したタイミングで行われているかが判断されるステップS6に戻る。一方、現座標Pと直前の座標(Pbuf2)の値の差が閾値以上のときは、現座標Pが第1バッファに代入される(Pbuf1、図5中、S9)。ここで、座標の値が変わっているにもかかわらず直前の音が鳴っている場合、note offをMIDI音源28に送信する。すなわち、例えば管楽器のように音が自然に消えることなく継続される楽器を選んでいるときは、次の音を鳴らすために、直前の音(今の音)が止められる(図5中、S10)。
【0054】
第1乃至第3バッファの座標データ(Pbuf1~Pbuf3)から2つのベクトルの角度変化量θおよびそれぞれのベクトルのスカラ量Lが算出される(図5中、S11)。
ついで、ベクトルの角度変化量θおよびスカラ量L、ならびに、初期設定され、あるいは選択された色、および色に対応して選択(指定)された楽器等から、MIDIデータと画面表示データが生成される(図5中、S12)。
【0055】
楽音生成装置10は、この実施例では、複数の操作者が交代で描画し、楽音を作成し、その後、これら複数の描画および楽音を同時に再生することを想定しているため、以下の処理を経る。
生成した各データは、リストに保存され、音が鳴っていた時間がデータに追加される(図5中、S13)。
ついで、各バッファは、後ろにシフトされる(図5中、S14)。さらに、生成したデータが規定量を超えたかどうかが判断される(図5中、S15)。生成したデータが規定量を超えていないときは、操作者が描画を終了したかどうかが判断され(図5中、S16)、操作者が描画を終了したとき、すなわち、ペンを離してドラッグを終了したときは、モード確認のステップS3に戻る。一方、操作者が描画を継続しているときは、タイミング確認のステップS6に戻り、さらに新たな座標が取得される。なお、操作者が1人のみの場合は、ステップS15は省略され、ステップS16に進む。
生成したデータが規定量を超えたかどうかが判断されるステップS15で、生成したデータが規定量を超えるときは、さらに規定人数分に達したかどうかが判断され(図5中、S17)、規定人数分に達したときは処理が終了され(図5中、S18)、一方、規定人数分に達していないときは別の操作者による操作が行われる(図5中、省略。)。
【0056】
一方、MIDIデータと画面表示データが生成されると(図5中、S12)、これらのデータに基づいて、リアルタイムで画面表示が行われ(図5中、S19)、あるいはMIDIデータがMIDI音源に送られて(図5中、S20)、発音される(図5中、S21)。一方、保存したデータに基づいて、画面表示や発音を行うこともできる。このとき、操作者が複数の場合は、同一の画面に複数の描画が行われ、同時演奏(セッション)が行われる。
なお、操作者が複数の場合、複数の描画および同時演奏を同時に行ってもよく、複数の描画および同時演奏のうちのいずれか一方のみを行ってもよい。
【0057】
つぎに、色選択の処理について説明する。例えば、前記したペンダウン操作により色選択が開始されると(図6中、S23)、現在の座標Pが取得される(図6中、S24)。
ついで、前記した色相環の有効範囲の中心点Oと現在の座標Pの位置関係が算出され(図6中、S25)、さらに、ペンを上げたかどうかが判断される(図6中、S26)。
ペンを上げると、色相環の中心角に基づいて色相hが、色相環の中心点からの距離に基づいて彩度sが、それぞれ決定され(図6中、S27)、色選択が終了し(図6中、S28)、描画を行うメインルーチンに戻る。
【0058】
一方、ペンを置いたままのときは、閾時間が経過したときの座標が先の座標Pと同一かどうかが判断される(図6中、S29)。
そして、新たな座標が先の座標Pと異なるときは、新たな座標が現在の座標として取得される((図6中、S24)。一方、新たな座標が先の座標Pと同一のときは、明度が最大値かどうか判断され、明度が最大値でないときは明度を上げた後に(図6中、S31)、また明度が最大値のときは明度を最小値に下げた後に(図6中、S32)、それぞれペンを上げたかどうかが判断されるステップS26に戻る。
【0059】
なお、本発明の楽音生成装置10において、複数人が別々に入力する代わりに、座標入力装置12として複数人で座標データを入力できるデバイスを用い、主制御装置14で複数の座標データを同時処理可能に構成してもよい。
また、本発明の楽音生成装置10において、座標入力装置12として3次元マウス等の3次元入力デバイスを用いることで、3次元ベクトルに基づいて楽音データを生成することができる。
また、本発明の楽音生成装置10において、座標入力装置12はカメラで捉えた物体の位置を座標データとして入力するものであってもよい。
また、本発明の楽音生成装置10において、ベクトルのスカラ量の大きさ、言い換えればペンの動きの早さに応じて線のかすれを表現したり、選択スイッチ等を設けて、描く線の太さを変えることも可能である。
【0060】
つぎに、本発明の楽音生成装置10を複数基用いて構成する楽音生成システムについて、図7および図8を参照して説明する。
本発明の楽音生成システムは、上記の楽音生成装置10の複数基が通信ネットワークで結ばれ、複数基の楽音生成装置10それぞれで楽音および画像を同時に生成し、あるいは、必要に応じて録画再生するものである。この場合、リアルタイムでデータを交信してもよく、あるいは、タイムラグを置いて、例えば1つあるいは複数の楽音生成装置10のデータを受信して録画した別の楽音生成装置10で、録画した他のデータに自らのデータを重ねることもできる。また、楽音および画像を同時に生成する代わりに、楽音または画像のうちのいずれか一方を同時に生成してもよい。
【0061】
楽音生成システムの一つの例は、図7に示すように、例えば2基の楽音生成装置10が通信ネットワーク(図示せず。図8参照。)で直接に繋がれたものである。図7中、参照符号30aはタイマ30を含むズム制御・同期部を示す。
それぞれの楽音生成装置10で入力された座標データ群ならびに座標データに応じて生成された楽音データ群、表示色データ群および楽器データ群からなるデータ群がそれぞれの楽音生成装置10のデータ保存部26に記録されるとともに、それらのデータ群が例えばリアルタイムで交信されて、リズム制御・同期部30aで制御、同期されたデータ群に基づいて楽音および画像を同時に生成する。なお、この場合も、楽音および画像を同時に生成する代わりに、楽音または画像のうちのいずれか一方を同時に生成してもよい。
[0062] また、楽音生成システムの他の一つの例は、図8に示すように、例えば3基の楽音生成装置10aがサーバ部48を介して通信ネットワーク50で繋がれたものである。
この場合、データ保存部46およびリズム制御・同期部30bはサーバ部48に設けられ、図7の楽音生成システムと同様に、3基の楽音生成装置10のデータ群が例えばリアルタイムで交信されて、リズム制御・同期部30bで制御、同期されたデータ群に基づいて楽音および画像を同時に生成する。なお、この場合も、楽音および画像を同時に生成する代わりに、楽音または画像のうちのいずれか一方を同時に生成してもよい。
[0063] 本発明の楽音生成システムによれば、離隔した地にいる複数人でセッションを行うことができる。
[0064] 本発明の楽音生成方法によれば、絵を描くことと演奏することが同時に行えるため、個人の楽しみを提供するほか、アーティストの新しい表現としても利用できる。
また、本発明の楽音生成方法は、音楽の演奏のためだけに用途を限定するものではない。例えば、サイン等の文字を書くペンの動きを音声化することにより、新たなサイン認証や視覚障害者のための視覚情報の伝達手段として活用することができる。あるいは、手の動きから簡単に音を作り出すことができるため、リハビリテーションや高齢者のボケ防止等のツールとしても適用が可能である。同様に、子供の情操教育、色と音の学習などにも適用できる。
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7