Come funziona la rimozione del rumore: profili di rumore, AI e rigenerazione della voce

Una registrazione è fatta di tante frequenze insieme

Ogni suono è una combinazione di frequenze. Il ronzio è un tono grave, il fruscio un ventaglio di toni acuti, e la voce un insieme di toni che cambia a ogni sillaba. Se disegni una registrazione con il tempo che scorre da sinistra a destra e l'altezza del suono che sale dal basso verso l'alto, il parlato appare come strisce luminose, mentre il rumore costante è una foschia sullo sfondo.

1. Il profilo di rumore: rilevare il rumore, poi toglierlo ovunque

Il metodo classico ha bisogno di una sola cosa da te: qualche secondo senza parlato, in cui si sente solo il rumore. In Denoise è il motore Classico, che ti chiede di selezionare un tratto del genere e te ne suggerisce alcuni. In quel tratto misura quanto è forte il rumore in ogni banda di frequenza, ottenendo un profilo di rumore, e poi abbassa quelle bande della stessa misura in tutta la registrazione. Fin dove spingersi lo decide il Livello di riduzione del rumore.

Funziona al meglio con i rumori che non cambiano mai: una ventola, un condizionatore, il ronzio elettrico, il fruscio del nastro. Fa fatica con i rumori che vanno e vengono, come il traffico, il vento o le persone che parlano, perché un solo profilo di rumore non può descriverli tutti. E poiché abbassa le stesse bande ovunque, se lo spingi molto lascia un suono acquoso e tremolante e assottiglia la voce ovunque voce e rumore condividano le stesse frequenze.

2. Riduzione del rumore con l'AI: la stessa idea, in automatico

I modelli AI di riduzione del rumore fanno lo stesso lavoro senza chiederti un campione. Sono stati addestrati su migliaia di ore di parlato pulito mescolato a ogni tipo di rumore, quindi hanno imparato che aspetto ha una voce in quell'immagine e che aspetto ha il rumore. Ogni pochi millisecondi stimano, banda per banda, quanta parte del suono è voce, la mantengono e abbassano il resto. Poiché decidono di nuovo a ogni istante, seguono i rumori che cambiano: un'auto che passa, una raffica di vento, una porta.

È quello che fa AI · Auto per impostazione predefinita in Denoise, mentre i modelli DPDFNet e DeepFilterNet sono disponibili anche singolarmente come AI · DPDFNet e AI · Fast Denoise; AI · aTENNuate lavora direttamente sull'onda sonora invece che sulle bande di frequenza. Tutti lavorano solo con il suono registrato, quindi non possono aggiungere parole che nessuno ha detto. L'Intensità di riduzione decide quanto rumore viene tolto, e lasciarne un po' spesso suona più naturale.

3. Ripristino: ricostruire ciò che la registrazione ha perso

Alcune registrazioni non hanno solo accumulato rumore: hanno perso anche una parte della voce. Una telefonata, un vecchio registratore vocale o una forte compressione possono tagliare le frequenze più alte, così una voce suona ovattata anche in una stanza silenziosa. L'opzione Ripristina la qualità vocale ricostruisce quella parte alta mancante a partire da ciò che resta. Aggiunge qualcosa alla voce invece di sostituirla, quindi le parole restano quelle che sono state dette; ciò che aggiunge è una brillantezza plausibile, non i dettagli andati persi.

4. Rigenerazione: una voce nuova da una descrizione di quella vecchia

I modelli di ripristino più recenti vanno oltre. Ascoltano la registrazione danneggiata, ricavano il parlato che secondo loro contiene e ne generano una registrazione nuova, come farebbe un sintetizzatore vocale. È così che AI · Sidon può salvare audio che un modello di riduzione del rumore non può salvare: voci fortemente distorte, saturate o molto ovattate.

Il rovescio della medaglia è che il risultato è l'ipotesi migliore del modello. Quando manca troppo dell'originale, un modello di rigenerazione può produrre un parlato che suona giusto, con la voce e il ritmo giusti, ma che pronuncia sillabe che nessuno ha detto, a volte vere e proprie assurdità. È esattamente quello che abbiamo sentito con VoiceFixer, il modello che Denoise usava prima, su una lezione molto danneggiata: un parlato dal suono chiaro che non aveva alcun senso. Sidon, che lo ha sostituito, è stato progettato e testato per mantenere le parole, ma nessun modello di rigenerazione ne è immune, quindi controlla nomi e numeri in tutto ciò che è importante e usa la rigenerazione solo quando la normale rimozione del rumore non può aiutarti.

Che cosa determina quanto può essere buono il risultato

Ogni metodo descritto sopra può lavorare solo con ciò che la registrazione contiene ancora. Contano soprattutto quattro cose:

• Quanta parte della voce è sopravvissuta. Se una parte della voce non è mai stata registrata, o è stata scartata da un formato di bassa qualità, la rimozione del rumore non può riportarla indietro; solo il ripristino può aggiungerne una versione plausibile.
• Quanto è forte il rumore rispetto alla voce. Quando il rumore è forte quanto la voce o di più, i due condividono la maggior parte delle frequenze, e togliendo il rumore si portano via anche parti della voce: il risultato suona sottile, ovattato o robotico.
• Se la registrazione è andata in saturazione. Se il suono era troppo forte per il microfono o per il livello di registrazione, i picchi dell'onda sonora sono stati appiattiti. Quella distorsione crepitante ora fa parte della voce, non è un rumore separato, quindi un modello di riduzione del rumore la lascia com'è; solo la rigenerazione può ridisegnarla.
• Che cos'altro, sullo sfondo, suona come una voce. Altre persone che parlano, o musica con il canto, per ogni metodo assomigliano al parlato, quindi una parte resta. Per la musica, invece, AI · Music separa la voce dagli strumenti.

L'eco non è rumore

L'eco di una stanza, o riverbero, è la voce stessa che arriva di nuovo un attimo dopo, rimbalzando su pareti, soffitto e pavimento. Poiché è fatta dello stesso suono, è più difficile da togliere del rumore: i modelli AI di riduzione del rumore ne riducono una parte, ma in una sala, in una tromba delle scale o in una stanza vuota le parole si impastano tra loro, e nessuna impostazione le rende di nuovo del tutto nitide. La soluzione è la distanza: più il microfono è vicino alla bocca, più la voce è forte rispetto alla sua eco.

La migliore rimozione del rumore avviene prima di registrare

Il software salva le registrazioni; non può recuperare un suono che non è mai stato catturato. Alcune abitudini fanno più di qualsiasi impostazione:

• Avvicina il microfono. Un telefono tenuto vicino a chi parla funziona meglio di uno appoggiato su un tavolo dall'altra parte della stanza. Per interviste e video, un microfono a clip (lavalier) sul colletto di chi parla è il singolo miglioramento più grande, con o senza filo.
• Riparalo dal vento. Un antivento in spugna o a pelo su un microfono esterno aiuta all'aperto; con il telefono, dai le spalle al vento o riparalo con la mano o in un angolo.
• Controlla il livello. Se l'indicatore arriva in cima, il suono va in saturazione. Un po' troppo basso è più sicuro, perché un suono basso si può alzare in seguito, mentre la saturazione non si può annullare.
• Scegli il posto più silenzioso che puoi. Spegni ventilatori e aria condizionata mentre registri e allontanati dal traffico e dalle macchine in funzione.
• Le stanze arredate fanno meno eco. Mobili, tende, tappeti e librerie assorbono l'eco; piastrelle, vetro e stanze vuote la rimandano indietro.