Como funciona

Como funciona a remoção de ruído: perfis de ruído, IA e regeneração de voz

A remoção de ruído divide a gravação em muitas bandas estreitas de frequência, do zumbido grave ao chiado agudo, calcula a cada momento quanto de cada banda é ruído e abaixa essas partes para que a voz se destaque. As ferramentas mais antigas aprendem como é o ruído a partir de alguns segundos sem fala; os modelos de IA aprendem como soam as vozes e os ruídos com milhares de horas de exemplos e fazem isso sozinhos; e os modelos de restauração vão além e reconstroem a própria voz.

Última atualização · Por Routes Software, criadora do Denoise

Uma gravação é feita de muitas frequências ao mesmo tempo

Todo som é uma mistura de frequências. O zumbido é um tom grave; o chiado, um leque de tons agudos; e a voz, um conjunto de tons que muda a cada sílaba. Se você desenhar uma gravação com o tempo correndo da esquerda para a direita e o som ficando mais agudo de baixo para cima, a fala aparece como listras brilhantes, e o ruído constante, como uma névoa por trás delas.

Duas imagens da mesma gravação, representada como frequências ao longo do tempo. Em cima, uma voz sobre o barulho de um ventilador, com uma pausa entre palavras marcada. Embaixo, o mesmo clipe depois da remoção de ruído com IA: a névoa sumiu e a voz continua lá.
Uma voz gravada com um ventilador e um chiado eletrônico ao fundo, representada como frequências ao longo do tempo; quanto mais brilhante, mais alto. Em cima, o original, com uma pausa entre palavras marcada: é desse tipo de momento que se tira um perfil de ruído. Embaixo, o mesmo clipe depois da remoção de ruído com IA feita pelo DeepFilterNet, a família de modelos que o Denoise executa no seu celular.

1. O perfil de ruído: aprender como é o ruído e depois removê-lo da gravação inteira

O método clássico precisa de uma só coisa de você: alguns segundos sem fala, só com o ruído. No Denoise, esse é o motor Clássico, que pede para você marcar um trecho assim e sugere alguns. Ele mede a intensidade do ruído em cada banda de frequência desse trecho, o chamado perfil de ruído, e depois abaixa essas bandas na mesma medida em toda a gravação. O Nível de redução de ruído define até que ponto.

Funciona melhor com ruídos que nunca mudam: um ventilador, um ar-condicionado, o zumbido elétrico, o chiado de fita. Tem dificuldade com ruídos que vão e vêm, como trânsito, vento ou pessoas conversando, porque um único perfil não consegue descrever tudo isso. E, como abaixa as mesmas bandas em toda a gravação, exagerar deixa um som aquoso e oscilante e tira o corpo da voz onde a voz e o ruído dividem as mesmas frequências.

2. Supressão de ruído com IA: a mesma ideia, só que automática

Os redutores de ruído com IA fazem o mesmo trabalho sem pedir uma amostra. Eles foram treinados com milhares de horas de fala limpa misturada com todo tipo de ruído, então aprenderam como uma voz aparece nessa imagem e como o ruído aparece. A cada poucos milissegundos, estimam, banda por banda, quanto do som é voz, mantêm essa parte e abaixam o resto. Como decidem de novo a cada momento, acompanham o ruído que muda: um carro passando, uma rajada de vento, uma porta.

É isso que o AI · Auto faz por padrão no Denoise, e os modelos DPDFNet e DeepFilterNet também são oferecidos separadamente como AI · DPDFNet e AI · Fast Denoise; o AI · aTENNuate trabalha na própria onda sonora, e não em bandas de frequência. Todos eles trabalham só com o som que foi gravado, então não podem acrescentar palavras que ninguém disse. A Intensidade de redução define quanto ruído sai, e deixar um pouco muitas vezes soa mais natural.

3. Restauração: reconstruir o que a gravação perdeu

Algumas gravações não só ganharam ruído: também perderam parte da voz. Uma ligação telefônica, um gravador de voz antigo ou uma compressão pesada podem cortar as frequências mais altas, de modo que a voz soa abafada mesmo em uma sala silenciosa. A opção Restaurar a qualidade da voz reconstrói essa parte de cima que falta a partir do que sobrou. Ela complementa a voz em vez de substituí-la, então as palavras continuam sendo as que foram ditas; o que ela acrescenta é um brilho plausível, não o detalhe que se perdeu.

4. Regeneração: uma voz nova a partir de uma descrição da antiga

Os modelos de restauração mais recentes vão além. Eles escutam a gravação danificada, deduzem a fala que acreditam estar ali e geram uma gravação nova dela, mais ou menos como faria um sintetizador de voz. É assim que o AI · Sidon consegue resgatar áudios que um redutor de ruído não consegue: vozes muito distorcidas, estouradas ou muito abafadas.

O problema é que o resultado é o melhor palpite do modelo. Quando falta coisa demais do original, um modelo de regeneração pode produzir uma fala que soa certa, com a voz e o ritmo certos, mas que diz sílabas que ninguém disse, às vezes um absurdo completo. Ouvimos exatamente isso com o VoiceFixer, o modelo que o Denoise usava antes, na gravação muito danificada de uma aula: uma fala que soava clara, mas não fazia sentido nenhum. O Sidon, que o substituiu, foi criado e testado para preservar as palavras, mas nenhum modelo de regeneração está imune; por isso, confira nomes e números em tudo o que for importante e use a regeneração só quando a remoção de ruído comum não puder ajudar.

O que define o quão bom o resultado pode ser

Todos os métodos acima só conseguem trabalhar com o que a gravação ainda contém. Quatro coisas são as que mais importam:

  • Quanto da voz sobreviveu. Se parte da voz nunca foi gravada, ou foi descartada por um formato de baixa qualidade, a remoção de ruído não consegue trazê-la de volta; só a restauração pode acrescentar uma versão plausível.
  • Quão alto está o ruído em relação à voz. Quando o ruído está tão alto quanto a voz ou mais, os dois dividem a maior parte das frequências, e tirar o ruído leva junto partes da voz: o resultado soa sem corpo, abafado ou robótico.
  • Se a gravação estourou. Se o som estava alto demais para o microfone ou para o nível de gravação, os picos da onda sonora foram cortados retos. Essa distorção crepitante agora faz parte da voz, não é um ruído separado, então um redutor de ruído a deixa como está; só a regeneração consegue redesenhá-la.
  • Que outros sons ao fundo parecem uma voz. Outras pessoas falando, ou música com canto, parecem fala para qualquer método, então uma parte fica. Para música, o caminho é outro: o AI · Music separa os vocais dos instrumentos.

Eco não é ruído

O eco de um ambiente, ou reverberação, é a própria voz chegando de novo um instante depois, vinda das paredes, do teto e do chão. Como é feito do mesmo som, é mais difícil de remover do que o ruído: os redutores de ruído com IA diminuem parte dele, mas em um salão, uma escadaria ou uma sala vazia as palavras se misturam, e nenhum ajuste as deixa totalmente nítidas de novo. A solução é a distância: quanto mais perto o microfone estiver da boca, mais alta fica a voz em relação ao eco.

A melhor remoção de ruído acontece antes de gravar

O software salva gravações, mas não consegue recuperar um som que nunca foi captado. Alguns hábitos fazem mais do que qualquer ajuste:

  • Aproxime o microfone. Um celular segurado perto de quem fala é melhor do que um apoiado numa mesa do outro lado da sala. Em entrevistas e vídeos, um microfone de lapela (lavalier) preso na gola de quem fala é, sozinho, a maior melhoria possível, com ou sem fio.
  • Proteja-o do vento. Ao ar livre, uma espuma ou um protetor de pelúcia contra o vento no microfone externo ajuda; com o celular, fique de costas para o vento ou proteja o aparelho com a mão ou em um canto.
  • Fique de olho no nível. Se o medidor chegar ao topo, o som estoura. Gravar um pouco baixo demais é mais seguro, porque o som baixo pode ser aumentado depois, e o estouro não pode ser desfeito.
  • Escolha o lugar mais silencioso que puder. Desligue ventiladores e o ar-condicionado enquanto grava, e afaste-se do trânsito e de máquinas ligadas.
  • Ambientes com superfícies macias têm menos eco. Móveis, cortinas, tapetes e estantes de livros absorvem o eco; azulejos, vidro e salas vazias o refletem de volta.

Ouça a diferença

Antes
Depois
Uma leitura do LibriVox de domínio público com um ventilador constante e um chiado eletrônico presentes do começo ao fim (ruído CC0 do projeto DeepFilterNet). O “Depois” é a saída do DeepFilterNet, a família de modelos que o Denoise executa no seu celular, sem nenhuma edição.

Perguntas frequentes

A remoção de ruído com IA inventa palavras?

Os modelos de supressão de ruído, como AI · Auto, AI · DPDFNet, AI · Fast Denoise e AI · aTENNuate, não: eles trabalham só com o som que foi gravado, mantendo a voz e abaixando o resto. Já os modelos de regeneração, como o AI · Sidon, geram áudio novo e, em uma gravação muito danificada, podem dizer algo que não foi dito; por isso, confira as palavras importantes depois de usar um deles.

Por que minha voz fica abafada ou robótica depois da remoção de ruído?

Geralmente porque o ruído estava tão alto quanto a voz, então removê-lo levou junto partes da voz. Experimente uma Intensidade de redução mais baixa ou outro motor. Se a gravação já estava abafada antes de qualquer remoção de ruído, ative Restaurar a qualidade da voz no Denoise.

A remoção de ruído consegue corrigir o eco?

Em parte. Os redutores de ruído com IA diminuem parte do eco do ambiente, mas uma reverberação forte é a própria voz chegando atrasada e não pode ser removida por completo. A solução confiável é gravar mais perto de quem fala.

Dá para consertar uma gravação distorcida ou estourada?

A remoção de ruído não consegue, porque o estouro muda a própria voz em vez de acrescentar ruído. A regeneração, que no Denoise é o AI · Sidon, consegue redesenhar a fala estourada, com o risco de sons inventados descrito acima. Para evitar o estouro, grave com o nível um pouco mais baixo.

Com qual motor devo começar?

Comece pelo AI · Auto: ele escolhe o modelo e os ajustes para a sua gravação. Use o Clássico para um zumbido constante que a IA não tenha tirado, e o AI · Sidon para vozes distorcidas ou muito danificadas, e não apenas com ruído.

É melhor remover o ruído depois ou gravar limpo?

Grave o mais limpo que puder: a remoção de ruído salva gravações, mas não traz de volta um som que nunca foi captado. Aproximar o microfone faz mais do que qualquer ajuste.

Fontes