TOP > 国内特許検索 > 旋律編集装置、旋律編集方法及び旋律編集プログラム > 明細書

明細書 :旋律編集装置、旋律編集方法及び旋律編集プログラム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5835709号 (P5835709)
公開番号 特開2013-182133 (P2013-182133A)
登録日 平成27年11月13日(2015.11.13)
発行日 平成27年12月24日(2015.12.24)
公開日 平成25年9月12日(2013.9.12)
発明の名称または考案の名称 旋律編集装置、旋律編集方法及び旋律編集プログラム
国際特許分類 G10G   1/04        (2006.01)
G10H   1/00        (2006.01)
FI G10G 1/04
G10H 1/00 102Z
請求項の数または発明の数 6
全頁数 12
出願番号 特願2012-046062 (P2012-046062)
出願日 平成24年3月2日(2012.3.2)
審査請求日 平成27年2月27日(2015.2.27)
特許権者または実用新案権者 【識別番号】899000057
【氏名又は名称】学校法人日本大学
発明者または考案者 【氏名】北原 鉄朗
【氏名】土屋 裕一
個別代理人の代理人 【識別番号】100124257、【弁理士】、【氏名又は名称】生井 和平
審査官 【審査官】上田 雄
参考文献・文献 特開2005-107087(JP,A)
特開平02-054300(JP,A)
特開2000-155592(JP,A)
特開2005-107337(JP,A)
調査した分野 G10G 1/00-3/04
G10H 1/00-7/12
特許請求の範囲 【請求項1】
曲の旋律を編集するための旋律編集装置であって、該旋律編集装置は、
入力される旋律を音高の時系列データに変換する時系列変換部と、
前記時系列変換部により変換される時系列データをフーリエ変換し、所定の次数のフーリエ係数を生成する第1フーリエ変換部と、
前記第1フーリエ変換部により生成されるフーリエ係数から所定の低次側の次数までのフーリエ係数を抽出し逆フーリエ変換を行うことで、入力される旋律の大まかな時系列データである旋律包絡を生成すると共に、残りの次数のフーリエ係数を保持する旋律包絡生成部と、
前記旋律包絡生成部により生成される旋律包絡を任意に編集可能な旋律包絡編集部と、
前記旋律包絡編集部により編集される旋律包絡をフーリエ変換し、編集後の旋律包絡のフーリエ係数を生成する第2フーリエ変換部と、
前記第2フーリエ変換部により生成される編集後の旋律包絡のフーリエ係数と、旋律包絡生成部により保持される残りの次数のフーリエ係数とを結合し、逆フーリエ変換を行うことで編集後の音高の時系列データを生成する時系列データ生成部と、
前記時系列データ生成部により生成される音高の時系列データに基づき、編集後の旋律を出力する出力部と、
を具備することを特徴とする旋律編集装置。
【請求項2】
請求項1に記載の旋律編集装置において、前記出力部は、入力される旋律の各音符の発音時刻及び消音時刻を基に、時系列データ生成部により生成される編集後の音高の時系列データを、各音符の発音時刻から消音時刻までの音高の平均値を各音符の音高として、編集後の旋律を出力することを特徴とする旋律編集装置。
【請求項3】
請求項1又は請求項2に記載の旋律編集装置において、前記出力部は、曲の調に応じて出現する音高の出現確率に基づき、時系列データ生成部により生成される音高の時系列データを補正した上で、編集後の旋律を出力することを特徴とする旋律編集装置。
【請求項4】
請求項1乃至請求項3の何れかに記載の旋律編集装置において、旋律包絡生成部は、旋律包絡の細かさが調整可能なように、抽出する所定の低次側のフーリエ係数の次数を選択的に調整可能に構成されることを特徴とする旋律編集装置。
【請求項5】
請求項1乃至請求項4の何れかに記載の旋律編集装置をコンピュータで実現するための旋律編集プログラムであって、コンピュータを上記各部として機能させるための旋律編集プログラム。
【請求項6】
曲の旋律を編集するための旋律編集方法であって、該旋律編集方法は、
入力される旋律を音高の時系列データに変換する時系列変換過程と、
前記時系列変換過程により変換される時系列データをフーリエ変換し、所定の次数のフーリエ係数を生成する第1フーリエ変換過程と、
前記第1フーリエ変換過程により生成されるフーリエ係数から所定の低次側の次数までのフーリエ係数を抽出し逆フーリエ変換を行うことで、入力される旋律の大まかな時系列データである旋律包絡を生成すると共に、残りの次数のフーリエ係数を保持する旋律包絡生成過程と、
前記旋律包絡生成過程により生成される旋律包絡を任意に編集可能な旋律包絡編集過程と、
前記旋律包絡編集過程により編集される旋律包絡をフーリエ変換し、編集後の旋律包絡のフーリエ係数を生成する第2フーリエ変換過程と、
前記第2フーリエ変換過程により生成される編集後の旋律包絡のフーリエ係数と、旋律包絡生成過程により保持される残りの次数のフーリエ係数とを結合し、逆フーリエ変換を行うことで編集後の音高の時系列データを生成する時系列データ生成過程と、
前記時系列データ生成過程により生成される音高の時系列データに基づき、編集後の旋律を出力する出力過程と、
を具備することを特徴とする旋律編集方法。
発明の詳細な説明 【技術分野】
【0001】
本発明は旋律編集装置、旋律編集方法及び旋律編集プログラムに関し、特に、曲の旋律を任意に編集可能な旋律編集装置、旋律編集方法及び旋律編集プログラムに関する。
【背景技術】
【0002】
従来の曲や音声等の編集を行うための技術としては、例えば特許文献1が挙げられる。これは、曲の各音の周波数、大きさ、時間の長さ等を関数としてデジタル化し、デジタル化した旋律をグラフ形式で表示するものである。編集者はそのグラフを編集することにより、曲を編集(改変)するものである。
【0003】
また、フーリエ変換及び逆フーリエ変換を用いて音声を編集する従来技術としては、例えば特許文献2が挙げられる。ここでは、所要の音声波形に対し、一周期波形をフーリエ変換し、変換結果の各次数の振動波形の振幅を変えずに位相を一定として逆フーリエ変換を行うものである。このような音声素片データにより合成音声の雑音感を低減するものである。
【先行技術文献】
【0004】

【特許文献1】特開2007-17578号公報
【特許文献2】国際公開第2000/65572号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1の技術では、曲の各種情報をそのままグラフ化したものをダイレクトに編集するものであり、音符単位で大きく改変されてしまうので、元の曲から著しく変わってしまうものである。音符表現に馴染みのある専門家であれば所望の旋律に改変することが可能であるが、音楽の非専門家が編集した場合には、まったく異なった旋律となってしまう可能性もあり、その編集作業は困難なものであった。
【0006】
また、特許文献2の技術は、変換結果の各次数の振動波形の振幅を変えずに位相を一定として逆フーリエ変換を行うものであり、このような音声素片データにより合成音声の雑音感を低減するものであるが、曲の旋律を編集するものではなく、また、曲の旋律編集に応用できるようなものでもなかった。
【0007】
本発明は、斯かる実情に鑑み、音楽の非専門家であっても、大まかなイメージで曲の旋律を容易に編集可能な旋律編集装置、旋律編集方法及び旋律編集プログラムを提供しようとするものである。
【課題を解決するための手段】
【0008】
上述した本発明の目的を達成するために、本発明による旋律編集装置は、入力される旋律を音高の時系列データに変換する時系列変換部と、時系列変換部により変換される時系列データをフーリエ変換し、所定の次数のフーリエ係数を生成する第1フーリエ変換部と、第1フーリエ変換部により生成されるフーリエ係数から所定の低次側の次数までのフーリエ係数を抽出し逆フーリエ変換を行うことで、入力される旋律の大まかな時系列データである旋律包絡を生成すると共に、残りの次数のフーリエ係数を保持する旋律包絡生成部と、旋律包絡生成部により生成される旋律包絡を任意に編集可能な旋律包絡編集部と、旋律包絡編集部により編集される旋律包絡をフーリエ変換し、編集後の旋律包絡のフーリエ係数を生成する第2フーリエ変換部と、第2フーリエ変換部により生成される編集後の旋律包絡のフーリエ係数と、旋律包絡生成部により保持される残りの次数のフーリエ係数とを結合し、逆フーリエ変換を行うことで編集後の音高の時系列データを生成する時系列データ生成部と、時系列データ生成部により生成される音高の時系列データに基づき、編集後の旋律を出力する出力部と、を具備するものである。
【0009】
ここで、出力部は、入力される旋律の各音符の発音時刻及び消音時刻を基に、時系列データ生成部により生成される編集後の音高の時系列データを、各音符の発音時刻から消音時刻までの音高の平均値を各音符の音高として、編集後の旋律を出力しても良い。
【0010】
また、出力部は、曲の調に応じて出現する音高の出現確率に基づき、時系列データ生成部により生成される音高の時系列データを補正した上で、編集後の旋律を出力しても良い。
【0011】
また、旋律包絡生成部は、旋律包絡の細かさが調整可能なように、抽出する所定の低次側のフーリエ係数の次数を選択的に調整可能に構成されても良い。
【0012】
また、旋律編集装置をコンピュータで実現するための旋律編集プログラムであって、コンピュータを上記各部として機能させるための旋律編集プログラムであっても良い。
【0013】
さらに、本発明の旋律編集方法は、入力される旋律を音高の時系列データに変換する時系列変換過程と、時系列変換過程により変換される時系列データをフーリエ変換し、所定の次数のフーリエ係数を生成する第1フーリエ変換過程と、第1フーリエ変換過程により生成されるフーリエ係数から所定の低次側の次数までのフーリエ係数を抽出し逆フーリエ変換を行うことで、入力される旋律の大まかな時系列データである旋律包絡を生成すると共に、残りの次数のフーリエ係数を保持する旋律包絡生成過程と、旋律包絡生成過程により生成される旋律包絡を任意に編集可能な旋律包絡編集過程と、旋律包絡編集過程により編集される旋律包絡をフーリエ変換し、編集後の旋律包絡のフーリエ係数を生成する第2フーリエ変換過程と、第2フーリエ変換過程により生成される編集後の旋律包絡のフーリエ係数と、旋律包絡生成過程により保持される残りの次数のフーリエ係数とを結合し、逆フーリエ変換を行うことで編集後の音高の時系列データを生成する時系列データ生成過程と、時系列データ生成過程により生成される音高の時系列データに基づき、編集後の旋律を出力する出力過程と、を具備するものであっても良い。
【発明の効果】
【0014】
本発明の旋律編集装置、旋律編集方法及び旋律編集プログラムには、音楽の非専門家であっても、大まかなイメージで曲の旋律を容易に編集可能であるという利点がある。
【図面の簡単な説明】
【0015】
【図1】図1は、本発明の旋律編集装置を説明するための概略ブロック図である。
【図2】図2は、入力される旋律と音高の時系列データの具体例である。
【図3】図3は、本発明の旋律編集装置における旋律包絡の一例である。
【図4】図4は、本発明の旋律編集装置における旋律包絡の種々の次数における例である。
【図5】図5は、本発明の旋律編集装置において、ポインティングデバイスによるドラッグ操作で旋律包絡を描き直した一例である。
【図6】図6は、本発明の旋律編集装置における編集後の音高の時系列データの一例である。
【図7】図7は、本発明の旋律編集装置における音高の時系列データの歪部分の拡大図である。
【図8】図8は、本発明の旋律編集装置における音高の時系列データの他の歪部分の拡大図である。
【発明を実施するための形態】
【0016】
以下、本発明を実施するための形態を図示例と共に説明する。図1は、本発明の旋律編集装置を説明するための概略ブロック図である。図示の通り、本発明の旋律編集装置は、時系列変換部10と、第1フーリエ変換部20と、旋律包絡生成部30と、旋律包絡編集部40と、第2フーリエ変換部50と、時系列データ生成部60と、出力部70とから主に構成されている。なお、以下の説明では主に旋律編集装置として説明するが、本発明はこれに限定されず、後述するように、同じような流れに沿って旋律を編集する旋律編集方法や旋律編集プログラムとしても適用可能なものである。

【0017】
まず、時系列変換部10は、入力される曲の旋律を音高の時系列データに変換するものである。より具体的に説明すると、入力される旋律は、例えばMIDI(Musical Instrument Digital Interface)データである。また、WaveデータやMP3データ等、旋律のデータ形式は特に制限はない。時系列変換部10では、これら入力された旋律を、音高の時系列データ、即ち、時間に対する音階の高低の連続グラフ形式に変換すれば良い。一例として、図2に、入力される旋律(音符データ)と音高の時系列データの具体例を示す。

【0018】
より具体的に実装状況を説明すると、例えば、図2の例では、入力される旋律として、4/4拍子で4小節の長さの旋律の例を示した。これに対して、時系列変換部10では、8192個の要素からなる配列を用意して4小節の時間長を8192個に等分する。例えば、1小節目の1拍目のデータが0~511となるようにする。そして、これらの配列における各音符の発音時刻から消音時刻に相当する要素に、音の高さを表す整数値であるノートナンバーの値を入れる。ノートナンバーとしては、例えば中央の「ド」に対して60等の整数値を入力する。

【0019】
第1フーリエ変換部20は、時系列変換部10により変換される時系列データをフーリエ変換し、所定の次数nのフーリエ係数を生成するものである。即ち、時系列データを周期信号とみなしてフーリエ変換を行う。具体的には、時系列変換部10から得られる配列に対して、高速フーリエ変換(FFT)を行う。これにより、例えば上述の例では8192個の次数のフーリエ係数が得られる。

【0020】
旋律包絡生成部30は、第1フーリエ変換部により生成されるフーリエ係数から所定の低次側の次数kまでのフーリエ係数を抽出し逆フーリエ変換を行うことで、入力される旋律の大まかな時系列データである旋律包絡を生成すると共に、残りの次数k+1次からn次までのフーリエ係数を保持するものである。図1を参照すると、旋律包絡生成部30には、まず低次側抽出部31と高次側抽出部32が含まれている。ここで、高次側抽出部32は、すべてのフーリエ係数n次から低次側のフーリエ係数kを除いた残りの次数のフーリエ係数を抽出するものである。低次側抽出部31により抽出された所定の低次側の次数kのフーリエ係数は、逆フーリエ変換部33により旋律包絡を生成する。ここで、旋律包絡とは、入力される旋律の大まかな時系列データである。

【0021】
より具体的には、例えば図3に示されるように、すべてのフーリエ係数が含まれる時系列データ(図2参照)に比較して、旋律包絡は大まかな時系列データとなる。図3に示される旋律包絡は、具体的には10次の次数までのフーリエ係数を逆フーリエ変換して生成されたものである。より具体的には、低次側抽出部31は、例えば上述の例ではn=8192個のフーリエ係数のうち、次数の低いほうからk次(図3に示される例ではk=10)までを残し、残りのk+1次からn次までは0とする。この配列に対して、逆フーリエ変換部33により逆FFTを行い、旋律包絡が生成される。そして、高次側抽出部32により抽出された、低次側抽出部31の残差である残りの次数(k+1次からn次まで)のフーリエ係数は、蓄積部34に一旦保持される。

【0022】
ここで、旋律包絡の大まかさは、低次側の次数kにより決定される。即ち、kが大きければより細かくなり、kが小さければより大まかとなる。図4に、種々の次数における旋律包絡の例を示す。例えば、k=5次までの旋律包絡は、図4(a)に示されるように、図3に示される10次までの旋律包絡に対してよりなだらかな曲線になっている。そして、k=20次までの旋律包絡は、図4(b)に示されるように、10次までの旋律包絡に対してより細かくなっており、図2に示されるような元の音高の時系列データに近くなっている。さらに、図4(c)に示されるように、k=50次までの旋律包絡は、元の音高の時系列データにより近くなっており、1音1音の動きが略忠実に再現されている。このように、旋律包絡生成部では、抽出する所定の低次側のフーリエ係数の次数を選択的に調整できれば良く、例えば編集者に次数kを任意に入力できるように構成されれば良い。これにより、ある程度音符を読める編集者であれば、次数kを大きめに設定し、より細かい旋律包絡を調整できるようにしても良い。

【0023】
次の旋律包絡編集部40は、旋律包絡生成部30により生成される旋律包絡を任意に編集可能なものである。旋律包絡編集部40は、例えば表示モニタ等を有し、編集者に対して図3に示されるような旋律包絡を表示可能なものである。そして、表示された旋律包絡に対して、周知のマウス等のポインティングデバイスで編集者が編集可能なように構成されている。即ち、図5に示されるように、ポインティングデバイスによるドラッグ操作で旋律包絡を描き直すことが可能である。編集者は、例えば旋律をもう少し低くしたい、といった感覚を基に、旋律包絡を編集する。

【0024】
第2フーリエ変換部50は、旋律包絡編集部40により編集された旋律包絡をフーリエ変換するものである。そして、第2フーリエ変換部50は、編集後の旋律包絡のフーリエ係数を生成する。具体的には、所定の低次の次数のフーリエ係数をk次まで生成する。即ち、上述の例では、10次までのフーリエ係数を生成する。

【0025】
時系列データ生成部60は、第2フーリエ変換部50により生成される編集後の旋律包絡のフーリエ係数と、旋律包絡生成部30により保持される残りの次数のフーリエ係数とを結合し、逆フーリエ変換を行うことで編集後の音高の時系列データを生成するものである。図1を参照すると、時系列データ生成部60には、結合部61と逆フーリエ変換部63とが含まれている。ここで、結合部61は、第2フーリエ変換部50からの編集後の旋律包絡のフーリエ係数と、蓄積部34に保持される高次側のフーリエ係数とを結合するものである。即ち、k次までのフーリエ係数(編集後)と、k+1からn次まで(オリジナル)を結合する。そして、このように結合された配列に対して、逆フーリエ変換部63により逆FFTを行い、図6に示されるような、編集後の音高の時系列データが生成される。

【0026】
まったく編集していない場合には、音高の時系列データは入力されたものと同じものが得られるが、編集した場合には、その編集は低次の次数のフーリエ係数のみに作用することになる。したがって、編集していない部分では、入力された旋律のオリジナルの状態が保持されたまま、編集した部分では編集者の意図に合わせて大まかな改変が行われることになる。このように、本発明の旋律編集装置では、大まかな時系列データである旋律包絡を編集させるようにしているため、音楽の非専門家であっても、大まかなイメージで曲の旋律を容易に編集可能となる。また、細かなイメージについては、旋律包絡生成部の高次側抽出部で抽出され蓄積部にて保持されており、これを編集後の低次側のフーリエ係数と結合させた上で逆FFTを行うため、編集前の細かなイメージの状態はある程度再現される。したがって、音楽の非専門家が編集した場合であっても、まったく異なった旋律となってしまう可能性も低い。

【0027】
そして、出力部70は、時系列データ生成部により生成された音高の時系列データに基づき、編集後の旋律を出力するものである。出力部70は、入力された旋律のデータ形式に合わせて出力しても良いし、他の形式に変換しても勿論良い。例えば、MIDIデータが入力された場合には、時系列データに基づいてMIDIデータ形式で出力すれば良い。

【0028】
ここで、例えば各音符の発音時刻や消音時刻、即ち、リズムは、入力された旋律のままを用いた場合、出力部70では、各音符の音高であるノートナンバーを決定すれば良い。この際、編集後の音高の時系列データの、各音符の発音時刻から消音時刻までの音高に変化が生じた場合には、平均値を用いれば良い。即ち、出力部70では、入力される旋律の各音符の発音時刻及び消音時刻を基に、編集後の音高の時系列データを、各音符の発音時刻から消音時刻までの音高の平均値を各音符の音高として、編集後の旋律を出力すれば良い。このようにして各音符の音高を決定すれば、入力された旋律のリズムを維持したまま、編集後の旋律を出力することが可能となる。例えば、図7の音高の時系列データの歪部分の拡大図に示されるように、発音時刻から消音時刻までの間の音高の変化に対して、平均値である24をこの音符のノートナンバーとして決定すれば良い。なお、本明細書中では、説明を簡単にするために、音高の編集についてのみ説明し、各音符のリズムについては入力された旋律のままを用いたものを例に説明したが、本発明はこれに限定されない。音符数や音符の音価についても、音高と同様に編集可能に構成しても良い。

【0029】
また、単に平均値を各音符の音高とした場合に、音楽的に不適切なノートナンバーとなる可能性もある。そこで、出力部70は、不適切にならないように所定の条件によって時系列データを補正した上で、編集後の旋律を出力するようにしても良い。例えば、曲の調に応じて出現する音高の出現確率に基づき、時系列データ生成部により生成される音高の時系列データを補正した上で、編集後の旋律を出力しても良い。具体的には、図8の音高の時系列データの歪部分の拡大図に示されるように、編集によって歪んだ部分で単純に平均値を取ると音楽的に不適切となる場合、歪みの小さい部分、即ち、比較的平らな時系列データの部分についてはできるだけその値を採用し、歪みの大きい部分、即ち、急峻に変化する時系列データの部分については、音楽的に適切な音を選ぶようにする。音楽的に適切な音とは、曲の調に合った音という意味である。このような適切な音を、曲の調に応じて出現する音高の出現確率に基づき決定すれば良い。

【0030】
より具体的には、各音符の発音時刻から消音時刻までの音高の値に対して、平均μ、分散σを求め、以下の数1の値g(x)が最大となるノートナンバーxをその音符の値とする。
【数1】
JP0005835709B2_000002t.gif
但し、p(x)は曲の調における各音高の出現確率である。
ここで、出現確率とは、例えば、ハ長調であれば、「ド」や「ソ」は「ド#」や「ソ#」よりも出現され易いというような傾向を表す確率分布である。また、各音高の出現確率は、実験的に定めても良い。

【0031】
出力部70は、このような出現確率を基に、最終的に適切な音となるように、時系列データ生成部により生成される編集後の音高の時系列データを補正した上で、旋律を出力すれば良い。

【0032】
このように、本発明の旋律編集装置によれば、音楽の非専門家であっても、大まかなイメージで曲の旋律を容易に編集可能となる。

【0033】
また、本発明は、上述の各部をコンピュータに機能させるためのプログラムであっても良い。即ち、上述の旋律編集装置の時系列変換部10と、第1フーリエ変換部20と、旋律包絡生成部30と、旋律包絡編集部40と、第2フーリエ変換部50と、時系列データ生成部60と、出力部70とを、それぞれコンピュータ上で実現するための旋律編集プログラムであっても良い。

【0034】
さらに、本発明は、入力される旋律を上述の各部に沿った手法で編集する旋律編集方法であっても良い。即ち、本発明の旋律編集方法は、時系列変換過程と、第1フーリエ変換過程と、旋律包絡生成過程と、旋律包絡編集過程と、第2フーリエ変換過程と、時系列データ生成過程と、出力過程と、からなるものであっても良い。時系列変換過程は、入力される旋律を音高の時系列データに変換する。第1フーリエ変換過程は、時系列変換過程により変換される時系列データをフーリエ変換し、所定の次数のフーリエ係数を生成する。旋律包絡生成過程は、第1フーリエ変換過程により生成されるフーリエ係数から所定の低次側の次数までのフーリエ係数を抽出し逆フーリエ変換を行うことで、入力される旋律の大まかな時系列データである旋律包絡を生成すると共に、残りの次数のフーリエ係数を保持する。旋律包絡編集過程は、旋律包絡生成過程により生成される旋律包絡を任意に編集可能とする。第2フーリエ変換過程は、旋律包絡編集過程により編集される旋律包絡をフーリエ変換し、編集後の旋律包絡のフーリエ係数を生成する。時系列データ生成過程は、第2フーリエ変換過程により生成される編集後の旋律包絡のフーリエ係数と、旋律包絡生成過程により保持される残りの次数のフーリエ係数とを結合し、逆フーリエ変換を行うことで編集後の音高の時系列データを生成する。そして、出力過程は、時系列データ生成過程により生成される音高の 時系列データに基づき、編集後の旋律を出力する。本発明は、このような旋律編集方法であっても良い。

【0035】
なお、本発明の旋律編集装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【符号の説明】
【0036】
10 時系列変換部
20 第1フーリエ変換部
30 旋律包絡生成部
31 低次側抽出部
32 高次側抽出部
33 逆フーリエ変換部
34 蓄積部
40 旋律包絡編集部
50 第2フーリエ変換部
60 時系列データ生成部
61 結合部
63 逆フーリエ変換部
70 出力部
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7