Microsoft создала нейросеть для подделки человеческого голоса

Компания Microsoft создала нейросеть VALL-E для преобразования текста в речь, которая может имитировать голос любого человека на основе образца продолжительностью всего три секунды.

Полученный образец VALL-E разбивает на мельчайшие фрагменты и сравнивает их с уже имеющейся базой данных. Зная, как в разных ситуациях звучат голоса других людей, нейросеть "предполагает", как в тех же условиях будет звучать "донор". Таким образом, у VALL-E получается очень правдоподобно имитировать голос носителя образца с естественными интонациями.

При создании VALL-E использовалась технология сжатия аудиосигнала EnCodec и библиотека записей голосов более 7 000 человек с общим хронометражем около 60 000 часов Libri-light. Оба продукта принадлежат корпорации Meta.

В Microsoft считают, что новая нейросеть будет полезна при создании аудиоконтента на основе текста. В частности, VALL-E может быть использована совместно с генератором текстов GPT-3 для создания полностью оригинального контента.

Источник: gazeta.ru