Python в аудио-спецэффектах: как работают нейросети изнутри

Предисловие

Почему я написал эту книгу

В первой книге мы учились обрабатывать звук. Мы загружали аудиофайлы, убирали шум, выравнивали громкость, меняли голос, микшировали с музыкой. Мы написали десятки скриптов, которые делали то, на что раньше уходили часы ручного труда. Это была книга-инструмент. Бери и делай.

Во второй книге мы пошли глубже. Мы разобрали математику, которая стоит за каждым эффектом. Мы написали преобразование Фурье с нуля. Мы спроектировали фильтры и свёртки. Мы поняли, как работает спектральное вычитание и адаптивная фильтрация. Мы создали свой синтезатор. Это была книга-понимание. Знай, что под капотом.

Теперь настало время для третьего шага. Для книги, которая смотрит в будущее. Потому что мир обработки звука меняется прямо сейчас. Традиционные алгоритмы — фильтры, свёртки, спектральное вычитание — постепенно уступают место нейросетям. Нейросетевое шумоподавление работает лучше классического. Нейросетевое разделение источников способно вытащить голос из шумной записи так, как не снилось никакому спектральному вычитанию. Синтез речи достиг уровня, когда сгенерированный голос неотличим от человеческого. И всё это происходит здесь и сейчас.

Но есть проблема. Большинство материалов по нейросетевой обработке звука написаны для исследователей. Они полны формул, графиков обучения, сравнений архитектур и ссылок на научные статьи. Они предполагают, что читатель уже знает и цифровую обработку сигналов, и машинное обучение. Обычный разработчик, звукорежиссёр или создатель контента, открывая такую статью, закрывает её через три минуты. Слишком сложно. Слишком много незнакомых терминов. Слишком большой разрыв между «я умею применять фильтры» и «я понимаю, как работает WaveNet».

Эта книга — мост через этот разрыв. Она написана для тех, кто прочитал первые две книги и хочет идти дальше. Или для тех, кто уже знает Python и основы обработки звука и хочет войти в мир нейросетей без боли и отчаяния.

Для кого эта книга

Эта книга для вас, если вы прочитали первые две книги серии — «Python для творческих: звук на твоей стороне» и «Цифровая обработка сигналов на Python: от инженера к разработчику». Вы умеете работать со звуком в коде. Вы понимаете, что такое спектрограмма, фильтр и свёртка. Теперь вы готовы к нейросетям.

Эта книга для вас, если вы не читали первые две книги, но уже программируете на Python и имеете базовое представление об обработке звука. Вы знаете, что такое частота дискретизации, амплитуда и спектр. Вы слышали про нейросети и, возможно, даже обучали пару моделей на картинках. Теперь вы хотите применить это знание к звуку.

Эта книга для вас, если вы звукорежиссёр, музыкант или создатель контента, который слышал про нейросетевые инструменты — iZotope RX, Adobe Podcast, ElevenLabs, — и хочет понимать, как они работают, чтобы использовать их осознанно. Вы не обязаны становиться исследователем. Но вы можете перестать верить в магию и начать понимать технологию.

Эта книга для вас, если вы разработчик, который хочет внедрить нейросетевую обработку звука в свой продукт. Вы хотите не просто скачать готовую модель, а понимать, какую архитектуру выбрать, как подготовить данные и как интерпретировать результаты. После этой книги вы сможете обучать свои модели для своих задач.

Как устроена эта книга

Книга состоит из девяти глав. Мы начнём с самого простого — с одного искусственного нейрона. Мы напишем его на чистом Python, без библиотек, и научим его отличать громкий звук от тихого. Это даст нам интуицию о том, как машины учатся. Затем мы соберём из нейронов полносвязную сеть и научим её классифицировать звуки.

Дальше мы перейдём к главной идее нейросетевой обработки звука: спектрограмма как картинка. Мы узнаем, почему звук для нейросети — это не массив чисел, а изображение. Мы построим свёрточную нейросеть, которая видит на спектрограмме паттерны — форманты, обертоны, шум — и использует это для классификации и обработки.

Затем мы изучим автокодировщики — архитектуру, которая сжимает звук в компактное представление и восстанавливает обратно. Автокодировщики лежат в основе многих современных аудиоэффектов: они могут убрать шум, изменить тембр или выделить голос из смеси.

В пятой главе мы займёмся разделением источников — задачей, которая ещё десять лет назад казалась неразрешимой. Мы возьмём запись, где смешаны голос и музыка, и разделим их. Мы разберём архитектуры вроде Demucs и попробуем их в деле.

В шестой главе мы реализуем нейросетевое шумоподавление. Мы сравним его с классическим спектральным вычитанием из второй книги и увидим, насколько нейросети эффективнее.

В седьмой главе мы перейдём к синтезу речи. Мы узнаем, как работают голосовые ассистенты и системы клонирования голоса. Мы возьмём предобученную модель и заставим её говорить нашим голосом.

В восьмой главе мы займёмся детектором эмоций. Мы научим нейросеть определять по голосу, радуется человек, грустит, злится или спокоен. Это глава о том, как из аудиосигнала извлекается смысл.

В девятой главе мы создадим свой уникальный аудиоэффект с помощью нейросети. Это будет не готовая модель из интернета, а наша собственная архитектура, обученная под конкретную творческую задачу.

Бонусная глава соберёт всю трилогию воедино. Мы посмотрим на путь, который прошли: от первой книги, где мы просто вызывали готовые функции, до третьей, где мы создаём нейросетевые эффекты. Мы увидим, как три уровня — применение, понимание, создание — складываются в целостную картину.

Каждая глава построена по тому же принципу, что и во второй книге. Сначала — проблема и интуиция. Затем — теория шаг за шагом, без пропусков и без «очевидно, что». Затем — код. Мы будем писать нейросети с использованием PyTorch, но каждую строчку я объясню. Затем — визуализация: графики обучения, спектрограммы, результаты. Затем — «За кулисами»: история алгоритмов, связь с другими областями. Затем — «Лаборатория ошибок»: что ломается и как чинить. И наконец — «Творческое задание».

Почему именно PyTorch

Для нейросетей нам понадобится фреймворк глубокого обучения. Я выбрал PyTorch. Почему? Потому что он интуитивно понятен. Код на PyTorch читается как обычный Python. Вы можете поставить print() в любом месте и увидеть, что происходит внутри модели. Вы можете отлаживать нейросеть как обычную программу. Для обучения это неоценимо.

TensorFlow тоже мощный фреймворк, но его API более многословен, а отладка сложнее. Для наших целей — понять, как работают нейросети, а не просто запустить готовую модель, — PyTorch подходит идеально.

Если вы никогда не работали с PyTorch — не страшно. В первой главе мы установим его и напишем первый код. Всё, что вам нужно знать о тензорах, градиентах и обучении, я объясню по ходу дела.

Что вам понадобится

Вам понадобится Python 3.9 или новее и несколько библиотек: torch, torchaudio, librosa, numpy, soundfile, matplotlib. Всё это устанавливается через pip одной командой. В первой главе я дам точную инструкцию.

Вам понадобятся базовые знания Python и понимание основ обработки звука — то, что дают первые две книги. Если вы их не читали — ничего страшного, я буду напоминать ключевые концепты по мере необходимости. Но если вы встретите незнакомый термин вроде «спектрограмма» или «частота дискретизации» и захотите узнать о нём подробнее — загляните в приложения первой или второй книги.

Вам понадобится готовность к тому, что нейросети — это не всегда быстро. Обучение даже простой модели может занять несколько минут. Сложной — часы. Если у вас нет мощной видеокарты, не переживайте: все примеры в книге спроектированы так, чтобы работать на обычном ноутбуке. Там, где нужны серьёзные вычислительные ресурсы, я предложу предобученные модели.

И, как всегда, вам понадобится любопытство. Желание заглянуть под капот и понять, как устроена технология, которая меняет мир прямо сейчас.

Пара слов перед стартом

Я пишу эту книгу в 2025 году. Нейросетевая обработка звука развивается с ошеломляющей скоростью. Каждый месяц появляются новые архитектуры, новые рекорды по качеству, новые применения. К тому моменту, когда вы будете читать эти строки, что-то уже может устареть.

Но есть вещи, которые не устаревают. Понимание принципов. Знание того, как нейросеть учится на данных. Умение выбрать архитектуру под задачу. Навык подготовки данных и интерпретации результатов. Этому и посвящена книга — не конкретным моделям, которые могут смениться через год, а фундаментальным идеям, которые останутся с вами надолго.

Первая книга дала вам инструменты. Вторая книга дала понимание. Третья книга даст вам способность создавать то, что ещё вчера казалось научной фантастикой.

Я помню момент, когда нейросети впервые меня по-настоящему удивили. Это было не в лаборатории и не на конференции. Я сидел дома, в наушниках, и запускал очередной эксперимент. У меня была запись голоса, сделанная на кухне. За окном шёл дождь, холодильник гудел, где-то на заднем плане играло радио. Классическое спектральное вычитание, которое я сам писал для второй книги, справлялось посредственно. Шум уходил, но голос становился глухим и неестественным, как из бочки. Я привык к этому результату. Я думал, что лучше сделать нельзя.

Потом я скачал предобученную нейросетевую модель шумоподавления — RNNoise, разработанную командой Mozilla. Она была крошечной, меньше мегабайта. Я подал на вход ту же самую запись. И услышал голос. Чистый, ясный, живой голос. Как будто человек сидел не на шумной кухне, а в студии с дорогим микрофоном. Никакой бочки. Никакой глухоты. Никаких артефактов. Только голос и тишина.

Я помню, как откинулся на спинку стула и несколько секунд просто смотрел в потолок. Я потратил недели на реализацию классических алгоритмов. Я понимал каждую строчку своего кода. Я знал, почему спектральное вычитание даёт музыкальный шум, почему гейт обрезает концы фраз, почему адаптивный фильтр не справляется с нестационарным шумом. И вот пришла крошечная нейросеть, которая ничего не знала о спектрах, фильтрах и теореме Найквиста — она просто смотрела на тысячи примеров шумной и чистой речи и училась делать из первого второе. И делала это лучше меня.

Это был переломный момент. Я понял, что нейросети — это не просто ещё один инструмент. Это другой уровень мышления о звуке. Классические алгоритмы опираются на наше понимание физики и математики звука. Мы проектируем фильтр, потому что знаем, как он влияет на частоты. Мы вычитаем спектр шума, потому что знаем, что шум стационарен. Нейросеть же не знает ничего. Она просто смотрит на данные и находит закономерности, которые мы, возможно, даже не можем сформулировать. И часто эти закономерности работают лучше наших теорий.

Но — и это важное «но» — слепая вера в нейросети так же опасна, как и их игнорирование. Нейросеть может научиться удалять шум, но может научиться и удалять полезный сигнал. Она может дать потрясающий результат на одних данных и полностью провалиться на других. Понимание того, что происходит внутри модели, критически важно. Нельзя просто взять готовую модель и надеяться на лучшее. Нужно знать, как она училась, на каких данных, какие у неё ограничения.

Именно этому и посвящена третья книга. Не просто запуску готовых моделей, а пониманию. Мы будем не только использовать нейросети, но и заглядывать внутрь: смотреть на функции потерь, анализировать кривые обучения, визуализировать активации. Мы будем задавать вопросы: почему модель ошиблась? что она выучила? можно ли ей доверять? И мы будем писать свои модели — простые, понятные, но работающие.

Это третья ступень. Первая книга сделала вас практиком. Вторая — инженером. Третья сделает вас исследователем. Тем, кто не боится технологий будущего, потому что понимает их изнутри.

Поехали.

Введение. Почему нейросети — это не магия

О чём эта книга

Откройте любой современный аудиоредактор. Найдите в нём функцию «шумоподавление». Скорее всего, вы увидите два варианта: классический и нейросетевой. Классический — это ползунки, пороги, параметры, которые нужно настраивать. Нейросетевой — одна кнопка. Нажали — шум исчез. Нажали ещё раз — и ваш голос звучит так, будто вы записывались в профессиональной студии, а не на кухне с воющим холодильником.

Теперь откройте любой сервис синтеза речи. Напечатайте текст. Выберите голос. Нажмите «озвучить». Через несколько секунд вы получите аудиофайл, в котором человеческий голос произносит ваш текст — с интонациями, паузами, естественными придыханиями. Вы можете дать послушать другу, и он не догадается, что это синтез.

Откройте приложение для видеозвонков. Оно убирает эхо, шум стройки за окном, лай собаки и плач ребёнка — всё в реальном времени, без задержки. Ваш собеседник слышит только ваш голос, чистый и ясный.

Всё это работает благодаря нейросетям. И всё это кажется магией. Вы нажимаете кнопку — получаете результат. Что происходит внутри? Непонятно. Почему результат такой хороший? Тоже непонятно. Почему иногда он всё-таки плохой? Тем более непонятно.

Эта книга написана для того, чтобы магия перестала быть магией. Чтобы нейросетевая обработка звука стала для вас не чёрным ящиком, а понятным инструментом. Таким же понятным, каким стали фильтры и свёртки после второй книги. Таким же привычным, каким стала нормализация громкости после первой.

Мы не будем погружаться в математические глубины машинного обучения на уровне исследовательских статей. Но мы не будем и просто запускать готовые модели, не понимая их устройства. Мы пойдём по среднему пути — тому самому, который сработал в первых двух книгах. Мы будем понимать достаточно, чтобы осмысленно применять нейросети, диагностировать проблемы и адаптировать модели под свои задачи. И мы будем писать код, который делает реальную работу со звуком.

Три уровня работы со звуком

В первой книге мы были практиками. У нас была задача: убрать шум, выровнять громкость, смонтировать подкаст. Мы брали готовые функции — librosa.effects.split, nr.reduce_noise, pyln.normalize.loudness — и получали результат. Мы не знали, что внутри, но мы знали, как применить. Это первый уровень: использование.

Во второй книге мы стали инженерами. Мы заглянули под капот. Мы узнали, что шумоподавление — это спектральное вычитание, что изменение голоса — это манипуляции со спектрограммой, что компрессор — это отслеживание огибающей и умножение на коэффициент усиления. Мы написали свои версии этих алгоритмов. Мы научились проектировать фильтры и синтезировать звук. Это второй уровень: понимание.

В третьей книге мы станем создателями нового. Мы узнаем, как работают нейросетевые алгоритмы, которые превосходят классические. Мы научимся обучать модели, которые убирают шум лучше спектрального вычитания, разделяют источники лучше адаптивных фильтров и синтезируют речь, неотличимую от человеческой. Мы не будем просто вызывать готовые модели — мы будем понимать их архитектуру, готовить для них данные, обучать и оценивать качество. Это третий уровень: создание интеллектуальных систем.

Эти три уровня не заменяют, а дополняют друг друга. Практик знает, какую кнопку нажать. Инженер знает, что за этой кнопкой происходит. Создатель знает, как сделать кнопку, которой ещё нет.

Что такое нейросеть на самом деле

Прежде чем мы начнём, давайте разберёмся с главным. Нейросеть — это не мозг. Это не искусственный интеллект в научно-фантастическом смысле. Это не существо, которое думает и осознаёт себя. Нейросеть — это математическая функция. Очень большая, очень сложная, с миллионами параметров, но — функция. Она принимает на вход числа и выдаёт на выходе числа.

В чём же отличие нейросети от обычной функции, скажем, от фильтра? Фильтр мы проектируем сами. Мы решаем: вот здесь будет частота среза, вот здесь — крутизна спада, вот такие коэффициенты. Мы понимаем, почему фильтр работает именно так. Нейросеть же никто не проектирует вручную. Её параметры — те самые миллионы чисел — находятся автоматически, в процессе обучения. Мы показываем нейросети тысячи примеров входных и выходных данных, и она постепенно подстраивает свои параметры так, чтобы для каждого входа выдавать правильный выход.

В этом и сила, и слабость нейросетей. Сила в том, что они могут научиться решать задачи, для которых у нас нет хороших алгоритмов. Мы не знаем, как точно описать правило удаления шума из произвольной записи — слишком много разных шумов и разных голосов. Но мы можем собрать тысячи примеров зашумлённых и чистых записей и показать их нейросети. И она найдёт закономерности, которые мы, возможно, даже не можем сформулировать словами.

Слабость в том, что мы не всегда понимаем, чему именно научилась нейросеть. Она может найти закономерность, которая работает на обучающих данных, но не работает в реальном мире. Она может научиться удалять не только шум, но и тихие согласные, которые похожи на шум. Она может «переобучиться» — запомнить обучающие примеры наизусть вместо того, чтобы вывести общее правило. Поэтому просто взять готовую модель недостаточно — нужно понимать, как она устроена и на каких данных обучена.

Почему нейросети победили в обработке звука

Классические алгоритмы обработки звука основаны на математических моделях. Мы предполагаем, что шум стационарен — и применяем спектральное вычитание. Мы предполагаем, что реверберация линейна — и применяем свёртку. Мы предполагаем, что голосовой сигнал периодичен на коротких интервалах — и применяем автокорреляцию для определения высоты тона.

Эти предположения работают. Но они работают не всегда. Реальный мир сложнее наших моделей. Шум не всегда стационарен — проезжающая машина или хлопок дверью меняют его характер за миллисекунды. Реверберация не всегда линейна — в маленькой комнате с мебелью отражения ведут себя сложнее, чем в пустом соборе. Голос не всегда периодичен — шёпот и придыхания не имеют основного тона вообще.

Нейросети не делают предположений. Они не знают, что такое стационарность, линейность или периодичность. Они просто смотрят на данные. Если в данных есть закономерность, нейросеть её выучит. Неважно, можем ли мы описать эту закономерность формулой. Неважно, понимаем ли мы её физический смысл. Если тысячи примеров показывают, что после определённого паттерна на спектрограмме идёт другой паттерн, нейросеть это запомнит и воспроизведёт.

Это не означает, что классические алгоритмы умерли. Они по-прежнему полезны, когда данных мало, когда нужна предсказуемость и интерпретируемость, когда важна скорость и малые вычислительные ресурсы. Но для задач, где качество важнее всего, нейросети сегодня — бесспорные лидеры.

Как устроена эта книга

Книга состоит из девяти глав. Мы начнём с самого простого — одного искусственного нейрона, — и дойдём до создания собственных нейросетевых аудиоэффектов.

В первой главе мы познакомимся с фундаментом: что такое искусственный нейрон, как из нейронов собирается сеть, что такое обучение и функция потерь. Мы напишем простую полносвязную сеть на PyTorch и научим её классифицировать звуки — отличать речь от музыки, музыку от шума. Это даст нам базовый инструментарий, с которым мы будем работать всю книгу.

Во второй главе мы перейдём к ключевой идее нейросетевой обработки звука: спектрограмма как изображение. Мы узнаем, почему звук для нейросети удобно представлять в виде картинки, и как свёрточные нейросети, изначально придуманные для анализа изображений, оказались невероятно эффективны для анализа звука.

В третьей главе мы углубимся в свёрточные сети. Мы разберём, как они выделяют паттерны на спектрограмме — форманты гласных, обертоны, шумовые всплески, — и используем эти паттерны для классификации и обработки. Мы напишем свёрточную сеть, которая распознаёт музыкальные инструменты по звуку.

В четвёртой главе мы изучим автокодировщики — архитектуру, которая сжимает данные в компактное представление и восстанавливает обратно. Мы применим автокодировщик к спектрограммам и увидим, как он учится выделять самое важное и отбрасывать шум.

В пятой главе мы перейдём к разделению источников. Мы разберём архитектуры вроде Open-Unmix и Demucs, которые способны взять смесь голоса и музыки и разделить её на отдельные дорожки. Мы запустим предобученную модель и разберёмся, как она устроена внутри.

В шестой главе мы реализуем нейросетевое шумоподавление. Мы обучим свою модель, которая берёт зашумлённую запись и выдаёт чистую. Мы сравним результат с классическим спектральным вычитанием из второй книги и увидим разницу.

В седьмой главе мы займёмся синтезом речи. Мы узнаем, как работают модели Text-to-Speech, и научимся клонировать голос — создавать синтезированную речь, которая звучит как конкретный человек.

В восьмой главе мы переключимся на анализ эмоций в голосе. Мы обучим модель, которая по аудиозаписи определяет, радуется человек, грустит, злится или говорит нейтрально. Мы разберёмся с тем, какие признаки в голосе выдают эмоции.

В девятой главе мы создадим свой уникальный нейросетевой аудиоэффект. Мы придумаем творческую задачу — например, превращение голоса в звук музыкального инструмента или создание гибридного тембра, — и решим её с помощью нейросети.

Бонусная глава соберёт всю трилогию воедино. Мы посмотрим на путь, который мы прошли: от вызова готовых функций в первой книге до создания нейросетевых эффектов в третьей.

Что вам понадобится

Для работы с книгой вам нужен Python 3.9 или новее. Я предполагаю, что у вас уже установлены библиотеки из первых двух книг: numpy, librosa, soundfile, scipy, matplotlib. Если нет — установите их одной командой:

bash

pip install numpy librosa soundfile scipy matplotlib

Главная новая библиотека — PyTorch. Установка зависит от вашей системы, но для большинства пользователей подойдёт:

bash

pip install torch torchaudio

Если у вас есть видеокарта NVIDIA и вы хотите использовать её для ускорения обучения, установите версию с поддержкой CUDA. Инструкции есть на официальном сайте pytorch.org. Если видеокарты нет — не страшно. Все примеры в книге работают на обычном процессоре, просто обучение может занять чуть больше времени.

Вам также понадобится torchaudio — библиотека для работы со звуком, интегрированная с PyTorch. Она умеет загружать аудиофайлы, вычислять спектрограммы и применять аудиоэффекты — и всё это в виде тензоров PyTorch, готовых для подачи в нейросеть.

Для некоторых глав нам понадобятся предобученные модели. Я дам ссылки для скачивания и код для загрузки. Ничего покупать не нужно — всё бесплатно и открыто.

Как читать эту книгу

Главы построены последовательно: каждая следующая опирается на предыдущие. Если вы новичок в нейросетях, читайте по порядку. Если у вас уже есть опыт — можете переходить к интересующим главам, но имейте в виду, что в первой главе вводятся базовые понятия, которые используются дальше.

Каждая глава завершается творческим заданием. Не пропускайте их. Нейросети — это область, где понимание приходит через практику. Можно прочитать десять книг и всё равно не уметь обучить модель. А можно обучить одну модель своими руками — и понять больше, чем из всех книг вместе.

И, как всегда, экспериментируйте. Меняйте параметры. Ломайте код и чините. Нейросети — это не хрупкие конструкции. Они либо работают, либо нет. Когда не работают — это не провал, а приглашение к исследованию.

Пара слов перед стартом

Я помню свой первый опыт обучения нейросети. Это был простой перцептрон, который должен был отличать единицы от нулей на картинке восемь на восемь пикселей. Я запустил обучение и ждал. Процессор гудел, вентилятор ноутбука раскрутился до максимума. Через десять минут модель обучилась. Она правильно классифицировала аж семьдесят два процента примеров. Я был в восторге. Семьдесят два процента! Машина, которую я написал сам, научилась видеть!