録音を楽譜に変える

かつて楽譜を用意するということは、写譜師を雇うことを意味しました。録音を1音ずつ聴き、手作業で楽譜を書き起こす人です。今ではAI採譜ツールが、その「聴いて書き起こす」というプロセスの自動版を担っています。オーディオファイルを解析し、何が演奏されているかを判断し、そこから標準的な記譜を生成します。

これは本当に便利な近道です。ただし正直なところ、それは「推測」でもあります。根拠のある推測ではありますが、あくまで推測です。出力結果を完成した楽譜として扱う前に、実際に何が起きているのかを理解しておく価値があります。

AIが実際に行っていること

生のオーディオファイルを与えられると、採譜は波形だけを頼りに、複数の問題を同時に解決しなければなりません。

ピッチ — 複数の音が重なっている場合でも、ある瞬間にどの音が鳴っているかを特定する。
リズム — それぞれの音がどれくらいの長さで、拍に対してどこに位置するかを判断する。
調と拍子 — ミュージシャンが耳で調を判断するのと同じように、曲全体の音楽的な枠組みを推測する。
何を残し、何を省くか — 単一のクリーンな楽器を超える音源では、AIは「メイン」となる音楽的ラインを判断しなければなりません。密度の高いミックス内のすべてのパートを同時に完全採譜することは、現状のツールでは信頼性が低いためです。

これらはどれも台本を読み上げるような単純作業ではなく、自動で行われる「解釈」です。だからこそ、その結果は完成品としてではなく、質の高い「たたき台」として扱うべきです。ゴールの大部分まで到達させてくれる出発点であり、その後に人の手による仕上げの余地が残されています。

最も精度が高い場面

採譜の精度は、AIがどれだけ多くの要素を解きほぐさなければならないかにほぼ直結します。

単独のメロディーライン — 単一の明瞭な楽器や声だけで、他に何も競合するものがない場合。
ピアノ — メロディーと伴奏が一体になっているケース、特に中程度のテンポの場合。
単一楽器の録音 — ギター、バイオリン、フルートなど、単音またはそれに近い楽器全般。
中程度のテンポ — 非常に速いパッセージは、正確でクリーンなリズム記譜に量子化するのが難しくなります。

苦手な場面

密度の高いコードや厚いハーモニー — 複数の音が重なり合い、AIはどの音が重要かを判断しなければなりません。
強くエフェクト処理・歪みがかかった楽器 — ピッチ情報そのものを抽出するのが難しくなります。
フルバンドやオーケストラのミックス — 現実的なアプローチとしては、すべてのパートを完全採譜しようとするのではなく、最も目立つメロディーラインを抽出することが多くなります。
ポリリズムを含む楽曲 — 根底にある拍そのものが、人間が聴いても曖昧な場合。

出力結果の活用方法

採譜結果は完成した楽譜ではなく、最初の下書きとして扱いましょう。アーティキュレーション(スタッカート、レガート、アクセントといった音の弾き方)、ダイナミクス(強弱)、装飾音(前打音、トリルなど)は、後から記譜ソフト上で手作業による仕上げが必要になりやすい部分です。それでも時間の節約効果は本物です。かつてはプロの写譜師が何時間もかけていた作業が、今では数分で済み、あとは仕上げの磨き込みを加えるだけで、ゼロから採譜する必要がなくなります。

興味本位以上に重要な理由

実際の音楽制作における多くのコラボレーションは、今なお書かれた楽譜を通じて行われています。セッションミュージシャン、映画・テレビの音楽監督、教育者、オーケストラは、一般的に録音ではなく楽譜をもとに仕事をします。「耳で作った」ものと「他の誰かが読めるパート譜」との間のギャップを埋めることで、オーディオだけで制作しているプロデューサーにはなかなか手が届かない状況にもアクセスできるようになります。

MIDI Labにおけるこの機能の位置づけ

MIDIから楽譜への変換(【関連記事】を参照)は、音符がすでに分かっている(推測する必要がない)ぶん、より直接的なケースです。しかし同じ考え方はオーディオにも広がります。MIDI Labのセッションには、すでにオーディオファイルを添付として保持できるため、その録音を譜面に変換することは、同じスレッド内での自然な次のステップです。専用の文字起こしツールも、専用のモードも不要で、オーディオやMIDIの添付ファイルがすでに機能しているのと同じように、「手元にあるものを入れて、欲しいものを説明する」だけです。

生のオーディオではなくMIDIを扱っている場合、たとえば生成したトラックや録音したMIDI演奏であれば、記譜の問題ははるかにシンプルになります。音がすでに「推測」ではなく「既知の情報」だからです。詳しくはなぜMIDIから楽譜への変換がより簡単なのかをご覧ください。