Как работает шумоподавление: профиль шума, ИИ и регенерация голоса

Запись — это множество частот одновременно

Любой звук — это смесь частот. Гул — низкий тон, шипение — россыпь высоких тонов, а голос — набор тонов, который меняется с каждым слогом. Если изобразить запись так, чтобы время шло слева направо, а высота звука росла снизу вверх, речь проявится яркими полосами, а ровный шум — дымкой позади них.

1. Профиль шума: изучить шум, а затем убрать его по всей записи

Классическому методу от вас нужно одно: несколько секунд без речи, где слышен только шум. В Denoise это движок Классический: он просит отметить такой участок и сам предлагает несколько подходящих. Движок измеряет, насколько громок шум на этом участке в каждой частотной полосе, — это и есть профиль шума, — а затем приглушает эти полосы на ту же величину по всей записи. Насколько сильно их приглушать, задаёт параметр Уровень шумоподавления.

Лучше всего это работает с шумом, который никогда не меняется: вентилятор, кондиционер, электрический гул, шипение магнитной ленты. С шумом, который то появляется, то пропадает, например с транспортом, ветром или разговорами людей, метод справляется с трудом, потому что один профиль шума не может описать его целиком. А поскольку метод приглушает одни и те же полосы по всей записи, при сильной обработке звук становится «водянистым» и булькающим, а голос — тоньше там, где у голоса и шума общие частоты.

2. ИИ-шумоподавление: та же идея, но всё делается за вас

ИИ-модели шумоподавления делают ту же работу, но не просят у вас образец шума. Их обучали на тысячах часов чистой речи, смешанной со всевозможными шумами, поэтому они знают, как на такой картинке выглядит голос и как выглядит шум. Каждые несколько миллисекунд они оценивают, полоса за полосой, какая часть звука — голос, сохраняют её и приглушают остальное. Поскольку решение принимается заново в каждый момент, они успевают за меняющимся шумом: проезжающей машиной, порывом ветра, хлопнувшей дверью.

Именно это по умолчанию делает AI · Auto в Denoise, а модели DPDFNet и DeepFilterNet доступны и по отдельности — как AI · DPDFNet и AI · Fast Denoise; AI · aTENNuate же обрабатывает саму звуковую волну, а не частотные полосы. Все они имеют дело только с записанным звуком, поэтому не могут добавить слов, которых никто не произносил. Сколько шума будет убрано, определяет параметр Сила шумоподавления, а если оставить немного шума, звук часто получается естественнее.

3. Восстановление: как воссоздать то, что потеряла запись

Некоторые записи не просто зашумлены — они потеряли часть голоса. Телефонный звонок, старый диктофон или сильное сжатие могут срезать высокие частоты, и тогда голос звучит глухо даже в тихой комнате. Функция Восстановить качество речи достраивает недостающий верхний диапазон по тому, что осталось. Она дополняет голос, а не заменяет его, поэтому слова остаются теми, что были сказаны; то, что она добавляет, — это правдоподобная яркость, а не утраченные детали.

4. Регенерация: новый голос по описанию старого

Новейшие модели восстановления идут ещё дальше. Они прослушивают повреждённую запись, определяют, какая речь, по их мнению, в ней звучит, и создают новую запись этой речи — примерно так, как это сделал бы синтезатор речи. Именно так AI · Sidon может спасти звук, с которым не справится шумоподавление: сильно искажённые, перегруженные или очень глухие голоса.

Подвох в том, что результат — это лучшее предположение модели. Если от оригинала утрачено слишком многое, модель регенерации может выдать речь, которая звучит правильно, тем же голосом и в том же ритме, но содержит слоги, которых никто не произносил, а иногда и откровенную бессмыслицу. Именно это мы услышали от VoiceFixer — модели, которую Denoise использовал раньше, — на сильно повреждённой записи лекции: чётко звучащую речь, лишённую смысла. Модель Sidon, пришедшую ей на смену, создавали и проверяли так, чтобы она сохраняла слова, но ни одна модель регенерации от этого не застрахована, поэтому проверяйте имена и числа во всём, что важно, и прибегайте к регенерации, только когда обычное шумоподавление не помогает.

От чего зависит, насколько хорошим может быть результат

Любой из описанных выше методов может работать только с тем, что в записи ещё сохранилось. Важнее всего четыре фактора:

• Насколько сохранился голос. Если часть голоса так и не попала в запись или была отброшена форматом низкого качества, шумоподавление её не вернёт; добавить её правдоподобную версию может только восстановление.
• Насколько громок шум по сравнению с голосом. Когда шум так же громок, как голос, или громче, у них совпадает большая часть частот, и вместе с шумом уходят и части голоса: результат звучит тонко, глухо или «по-роботски».
• Был ли перегруз при записи. Если звук был слишком громким для микрофона или для уровня записи, пики звуковой волны срезались. Это трескучее искажение теперь — часть голоса, а не отдельный шум, поэтому шумоподавление его оставляет; перерисовать его может только регенерация.
• Что ещё на фоне звучит как голос. Разговоры других людей или музыка с пением для любого метода выглядят как речь, поэтому часть этого остаётся. Для музыки есть другой путь: AI · Music отделяет вокал от инструментов.

Эхо — это не шум

Эхо в помещении, или реверберация, — это сам голос, который мгновением позже снова приходит от стен, потолка и пола. Поскольку оно состоит из того же звука, убрать его труднее, чем шум: ИИ-модели шумоподавления частично его уменьшают, но в зале, на лестничной клетке или в пустой комнате слова сливаются, и никакая настройка не сделает их снова полностью чёткими. Решение — расстояние: чем ближе микрофон ко рту, тем громче голос по сравнению с его эхом.

Лучшее шумоподавление происходит ещё до записи

Программы спасают записи, но не могут вернуть звук, который так и не был записан. Несколько привычек дают больше, чем любая настройка:

• Поднесите микрофон ближе. Телефон, который держат рядом с говорящим, лучше телефона на столе в другом конце комнаты. Для интервью и видео самое большое улучшение из всех даёт петличный микрофон («петличка») на воротнике говорящего — проводной или беспроводной.
• Защитите микрофон от ветра. На улице помогает поролоновая или меховая ветрозащита на внешнем микрофоне; если записываете на телефон, встаньте спиной к ветру или прикройте телефон рукой либо укройте его за углом.
• Следите за уровнем. Если индикатор доходит до самого верха, звук перегружается. Чуть тише, чем нужно, — надёжнее: тихий звук потом можно усилить, а перегруз уже не исправить.
• Выберите самое тихое место из доступных. На время записи выключите вентиляторы и кондиционер и отойдите подальше от транспорта и работающей техники.
• Чем мягче обстановка, тем меньше эха. Мебель, шторы, ковры и книжные полки поглощают эхо, а плитка, стекло и пустые комнаты его отражают.