Превращение записи в партитуру

Раньше ноты означали найм копииста: человека, который слушает запись, ноту за нотой, и вручную записывает партитуру. Инструменты ИИ-транскрипции теперь автоматически выполняют похожий процесс слушания и записи — анализируют аудиофайл, определяют, что играется, и создают из этого стандартную нотную запись.

Это по-настоящему полезное упрощение работы. Но, честно говоря, это ещё и догадка — обоснованная, но всё же догадка. Стоит понимать, что происходит на самом деле, прежде чем воспринимать результат как готовую партитуру.

Что на самом деле делает ИИ

Имея на входе только сырой аудиофайл, транскрипция должна решить сразу несколько задач, опираясь исключительно на звуковую волну:

Высота звука — определение того, какая нота звучит в конкретный момент, даже когда несколько нот накладываются друг на друга.
Ритм — определение того, как долго длится каждая нота и где она приходится относительно доли.
Тональность и размер такта — вывод общей музыкальной структуры произведения, точно так же, как музыкант определил бы тональность на слух.
Что оставить, а что отбросить — если речь идёт о чём-то большем, чем один чистый инструмент, ИИ приходится решать, какая линия является «главной», поскольку полностью транскрибировать каждую одновременно звучащую партию в плотном миксе современные инструменты пока не умеют надёжно.

Ничего из этого не похоже на чтение по написанному тексту — это интерпретация, выполняемая автоматически. Именно поэтому к результату стоит относиться как к сильному черновику, а не к готовому произведению: это отправная точка, которая проходит большую часть пути за вас, оставляя место для доработки человеком.

Где это работает лучше всего

Точность транскрипции напрямую зависит от того, сколько всего ИИ нужно распутать:

Сольные мелодические линии — один чёткий инструмент или голос, ничто не отвлекает внимание.
Фортепиано — мелодия и аккомпанемент вместе, особенно в умеренном темпе.
Записи одного инструмента — гитара, скрипка, флейта, всё монофоническое или близкое к этому.
Умеренные темпы — очень быстрые пассажи сложнее точно квантовать в чистую ритмическую запись.

Где возникают сложности

Плотные аккорды и густая гармония, где несколько нот накладываются друг на друга и ИИ приходится решать, какие из них важны.
Сильно обработанные или искажённые инструменты, где саму высоту звука сложнее выделить.
Миксы полного состава или оркестра, где практичнее обычно выделить самую заметную мелодическую линию, а не пытаться полностью транскрибировать каждую партию.
Полиритмичный материал, где сама основная пульсация неоднозначна даже для человеческого слуха.

Использование результата

Относитесь к транскрипции как к первому проходу, а не к готовой партитуре. Артикуляция (то, как берётся нота — стаккато, легато, с акцентом), динамика (громко и тихо) и украшения (форшлаги, трели) — детали, которые чаще всего требуют ручной доработки в нотном редакторе. Экономия времени при этом остаётся реальной — то, что раньше занимало у профессионального копииста часы, теперь занимает минуты, с финальной шлифовкой вместо транскрипции с нуля.

Почему это важно не только из любопытства

Записанные ноты по-прежнему остаются тем, как во многом происходит музыкальное сотрудничество — сессионные музыканты, музыкальные супервайзеры кино и ТВ, педагоги и оркестры обычно работают с партитурой, а не с записью. Преодоление разрыва между «я сочинил это на слух» и «вот партия, которую кто-то другой может прочитать» открывает возможности, которые продюсеру, работающему исключительно с аудио, получить непросто.

Как это вписывается в MIDI Lab

Преобразование MIDI в нотную запись (см. сопутствующую статью) — более простой случай, поскольку ноты уже известны, а не выводятся из звука. Но та же идея применима и к аудио: сессия MIDI Lab уже может содержать аудиофайл в виде вложения, и превращение этой записи в нотную запись — естественный следующий шаг в рамках того же диалога — без отдельного инструмента для транскрипции, без отдельного режима, просто "загрузите то, что у вас есть, опишите, что вам нужно" — точно так же, как уже работают вложения аудио и MIDI.

Если вы работаете с MIDI, а не с сырым аудио — сгенерированным треком или записанным MIDI-исполнением, — задача создания нот становится намного проще, поскольку ноты уже известны, а не выводятся. Смотрите почему MIDI в ноты — более простая версия этой задачи.