ノイズ除去の仕組み：ノイズプロファイル、AI、音声の再生成

録音は、多くの周波数の重なり

どんな音も、さまざまな周波数が混ざり合ってできています。ハムノイズは低い音、ヒスノイズは広い範囲に散らばった高い音の集まり、そして声は音節ごとに変化する音の組み合わせです。時間を左から右へ、音の高さを下から上へとって録音を図にすると、話し声は明るい縞模様として現れ、一定のノイズはその背後にかかるもやのように見えます。

1. ノイズプロファイル：まずノイズを覚え、それから録音全体で取り除く

古典的な方法で用意する必要があるのは、ひとつだけです。話し声がなく、ノイズだけが聞こえる数秒間です。Denoiseではクラシックエンジンがこれにあたり、そうした区間を指定するよう求め、候補もいくつか提案します。その区間で各周波数帯のノイズの大きさを測ったものがノイズプロファイルで、これをもとに、録音全体でそれらの帯域をその分だけ下げます。どこまで下げるかはノイズ低減レベルで決めます。

この方法がいちばん効果を発揮するのは、ファン、エアコン、電気的なハムノイズ、テープのヒスノイズのように、まったく変化しないノイズです。交通音や風、人の話し声のように現れたり消えたりするノイズは苦手です。ひとつのノイズプロファイルでは、そのすべてを表しきれないからです。また、録音全体で同じ帯域を下げるため、強くかけすぎると水っぽく揺らぐような音が残り、声とノイズが同じ周波数を共有しているところでは声が痩せてしまいます。

2. AIによるノイズ抑制：考え方は同じ、作業はおまかせ

AIのノイズ除去モデルは、サンプルを求めることなく同じ仕事をこなします。クリーンな話し声にあらゆる種類のノイズを混ぜた、何千時間ものデータで学習しているため、先ほどのような図の中で声がどう見え、ノイズがどう見えるかを知っているのです。数ミリ秒おきに、帯域ごとに音のどれだけが声かを推定し、その部分を残して残りを下げます。瞬間ごとに判断し直すので、通り過ぎる車、突風、ドアの音のように変化するノイズにも追従できます。

Denoiseでは、AI · Autoがデフォルトでこの処理を行います。DPDFNetとDeepFilterNetのモデルも、それぞれAI · DPDFNetとAI · Fast Denoiseとして単独で選べます。AI · aTENNuateは、周波数帯ではなく音の波形そのものを処理します。どれも録音された音だけを扱うので、誰も言っていない言葉を付け加えることはできません。どれだけノイズを取り除くかはノイズ除去の強さで決まり、少し残したほうが自然に聞こえることもよくあります。

3. 復元：録音から失われたものを再構築する

録音によっては、ノイズが加わっただけでなく、声の一部が失われていることがあります。電話の通話や古いボイスレコーダー、強い圧縮によって高い周波数がカットされると、静かな部屋でも声がこもって聞こえます。音声品質を復元は、残っている部分をもとに、失われた高域を再構築します。声を置き換えるのではなく付け足すので、言葉は実際に話されたもののままです。付け足されるのは、それらしい明るさであって、失われた細部ではありません。

4. 再生成：元の声の「説明」から新しい声を作る

最新の復元モデルは、さらに先へ進みます。損傷した録音を聴き、そこに含まれていると思われる話し声を割り出して、音声合成ソフトと同じような要領で、その話し声を新たに生成します。こうしてAI · Sidonは、ノイズ除去モデルでは救えない音声、つまりひどく歪んだ声、音割れした声、非常にこもった声を救えるのです。

落とし穴は、結果がモデルの「最善の推測」にすぎないことです。元の音声が失われすぎていると、再生成モデルは、声もリズムも正しく聞こえるのに、誰も言っていない音節を話す音声を作り出すことがあり、ときにはまったく意味をなさないことさえあります。Denoiseが以前使っていたモデルVoiceFixerで、ひどく損傷した講義の録音を処理したところ、まさにそうなりました。はっきり聞こえるのに、意味の通らない話し声になったのです。VoiceFixerに代わって採用されたSidonは、言葉を保つように作られ、検証もされていますが、どんな再生成モデルもこの問題と無縁ではありません。大事な内容では人名や数字を確認し、再生成は通常のノイズ除去では対処できない場合にだけ使ってください。

どこまで良い結果になるかを決めるもの

ここまでのどの方法も、録音にまだ残っているものしか扱えません。特に重要なのは次の4つです。

• 声がどれだけ残っているか。声の一部がそもそも録音されていなかったり、低品質な形式で切り捨てられていたりすると、ノイズ除去では取り戻せません。それらしいものを付け足せるのは、復元だけです。
• 声に比べて、ノイズがどれだけ大きいか。ノイズが声と同じくらい、あるいはそれ以上に大きいと、両者はほとんどの周波数を共有しているため、ノイズを取り除くと声の一部も一緒に取り除かれてしまいます。その結果、痩せた音、こもった音、ロボットのような音になります。
• 録音が音割れ（クリッピング）していないか。音がマイクや録音レベルに対して大きすぎると、音の波形の山が平らに切り取られてしまいます。このバリバリとした歪みは、もはや別のノイズではなく声の一部なので、ノイズ除去モデルはそのまま残します。描き直せるのは再生成だけです。
• 背景に、ほかにも声のように聞こえる音がないか。ほかの人の話し声や、歌の入った音楽は、どの方法にとっても話し声のように見えるため、一部が残ります。音楽の場合は、代わりにAI · Musicがボーカルと楽器を分離します。

エコーはノイズではない

部屋のエコー、つまり残響は、声そのものが壁や天井、床から少し遅れて再び届いたものです。同じ音からできているため、ノイズより取り除くのが難しく、AIのノイズ除去モデルはある程度軽減しますが、ホールや階段室、がらんとした部屋では言葉同士がにじんで混ざり合い、どんな設定でも完全にははっきりさせられません。解決策は距離です。マイクが口に近いほど、エコーに比べて声が大きくなります。

最良のノイズ除去は、録音する前に始まる

ソフトウェアは録音を救えても、そもそも録られていない音は取り戻せません。次のようないくつかの習慣は、どんな設定よりも効果があります。

• マイクを近づける。話し手の近くで持ったスマホのほうが、部屋の反対側のテーブルに置いたスマホより良い音で録れます。インタビューや動画なら、話し手の襟に付けるクリップ式のピンマイク（ラベリアマイク）が、有線でもワイヤレスでも、単独の対策としてはいちばん効果的です。
• マイクを風から守る。屋外では、外付けマイクにスポンジ製やファー製の風防を付けると効果があります。スマホなら、風に背を向けるか、手や物陰で風をさえぎりましょう。
• 録音レベルに注意する。メーターがいちばん上まで振り切れると、音割れします。少し小さすぎるくらいのほうが安全です。小さい音は後から上げられますが、音割れは元に戻せないからです。
• できるだけ静かな場所を選ぶ。録音中はファンやエアコンを止め、車の往来や動いている機械から離れましょう。
• 柔らかいものが多い部屋ほど響かない。家具やカーテン、カーペット、本棚はエコーを吸収し、タイルやガラス、何もない部屋はエコーを跳ね返します。