Text to Speech нейросети и потенциал их использования в озвучке модов.

[Lgs]

Со времен Microsoft Sam и Говорилки технологии генерации речи сделали огромный шаг вперёд, особенно за последние несколько лет. Голос генерируется настолько хорошо, что люди не сразу догадываются что говорят с роботом по телефону. Имея даже небольшой объем входных данных можно натренировать нейросеть на генерацию реалистичных фраз которые будут звучать почти так же хорошо как оригинал. В связи с чем хочу обсудить вопрос использования этих технологий в озвучке модов.

Только задумайтесь о потенциале! Можно просто скормить программе кучу текстовиков и получить все файлы озвучки в тот же день, можно озвучивать персонажей голосами давно умерших актёров! В случае с монотонными голосами на одной ноте вроде Дентона и Дженсена я думаю результаты будут лучше прочих.

 

Для общего ознакомления с идеей генерации голоса можно зайти на сайт https://15.ai/ (кажется этот сайт закрыли, там какая-то драма в твиторе, разбираться нет желания)

Выбираем в списке слева игру, справа персонажа, в текстовое поле пишем любой текст и жмем кнопку Generate, на выходе получаем озвучку.

 

 

Теперь к конкретике. Очень хорошо описывает то что я имею в виду трейлер квест-мода на ведьмака, голос Геральта в котором сгенерирован за деньги коммерческой нейросетью cybervoice:

 

Другой пример - у серии игр Gothic есть большое сообщество, один из участников написал приложение и натренировал модель на игровых аудиофайлах, в результате с помощью этой программы можно быстро озвучить все немые моды голосами актёров оригинальных игр. Вот тема на немецком форуме https://forum.worldofplayers.de/forum/threads/1580689-RELEASE-GameTTS-Text-To-Speech-Anwendung

Вот гитхаб программы https://github.com/lexkoro/GameTTS

Скачал, протестировал. Я не являюсь человеком говорящим на немецком, но очень люблю немецкие голоса в готике. Субъективно могу сказать что получилось очень похоже на живую озвучку, не чувствую никакой мерзкой синтетической нотки как у 15.ai 

 

Сразу пришла в голову мысль ради эксперимента переозвучить интро деуса персонажами готики, но энтузиазм потерялся уже на этапе поиска немецких con файлов.

Какие у кого мысли на тему сабжа в целом? Знаете какие-нибудь опенсорсные TTS проекты?

 

 

[Lgs]

На ютубе начали появляться первые мемы с персонажами из Deus Ex. Второй ролик мне не очень заходит потому что Дентон говорит с интонацией, что для него нехарактерно

Мысли?

 

 

 

[unit849]

Эти голоса как глоток свежего воздуха на фоне римейка первого deus ex на unreal engine 5.

 

Лучше бы DxIw отладили.