Озвучивание модов с помощью нейросетей/ИИ

[Lgs]

Скрытый текст

Text to Speech нейросети и потенциал их использования в озвучке модов.

Со времен Microsoft Sam и Говорилки технологии генерации речи сделали огромный шаг вперёд, особенно за последние несколько лет. Голос генерируется настолько хорошо, что люди не сразу догадываются что говорят с роботом по телефону. Имея даже небольшой объем входных данных можно натренировать нейросеть на генерацию реалистичных фраз которые будут звучать почти так же хорошо как оригинал. В связи с чем хочу обсудить вопрос использования этих технологий в озвучке модов.

Только задумайтесь о потенциале! Можно просто скормить программе кучу текстовиков и получить все файлы озвучки в тот же день, можно озвучивать персонажей голосами давно умерших актёров! В случае с монотонными голосами на одной ноте вроде Дентона и Дженсена я думаю результаты будут лучше прочих.

 

Для общего ознакомления с идеей генерации голоса можно зайти на сайт https://15.ai/ (кажется этот сайт закрыли, там какая-то драма в твиторе, разбираться нет желания)

Выбираем в списке слева игру, справа персонажа, в текстовое поле пишем любой текст и жмем кнопку Generate, на выходе получаем озвучку.

 

 

Теперь к конкретике. Очень хорошо описывает то что я имею в виду трейлер квест-мода на ведьмака, голос Геральта в котором сгенерирован за деньги коммерческой нейросетью cybervoice:

 

Другой пример - у серии игр Gothic есть большое сообщество, один из участников написал приложение и натренировал модель на игровых аудиофайлах, в результате с помощью этой программы можно быстро озвучить все немые моды голосами актёров оригинальных игр. Вот тема на немецком форуме https://forum.worldofplayers.de/forum/threads/1580689-RELEASE-GameTTS-Text-To-Speech-Anwendung

Вот гитхаб программы https://github.com/lexkoro/GameTTS

Скачал, протестировал. Я не являюсь человеком говорящим на немецком, но очень люблю немецкие голоса в готике. Субъективно могу сказать что получилось очень похоже на живую озвучку, не чувствую никакой мерзкой синтетической нотки как у 15.ai 

 

Сразу пришла в голову мысль ради эксперимента переозвучить интро деуса персонажами готики, но энтузиазм потерялся уже на этапе поиска немецких con файлов.

Какие у кого мысли на тему сабжа в целом? Знаете какие-нибудь опенсорсные TTS проекты?

 

 

[Lgs]

На ютубе начали появляться первые мемы с персонажами из Deus Ex. Второй ролик мне не очень заходит потому что Дентон говорит с интонацией, что для него нехарактерно

Мысли?

 

 

 

[unit849]

Эти голоса как глоток свежего воздуха на фоне римейка первого deus ex на unreal engine 5.

 

Лучше бы DxIw отладили.

[Lgs]

 

 

 

 

[GreenEyesMan]

Как показал опыт создания озвучки для 2027 - нейросети вполне годно делают. Это конечно не по станиславскому, зато весьма киберпанковски.

 

Может быть имеет смысл попробовать озвучить на русском диалоги в игре? Правда надо учитывать, что их там раза в три больше, чем в 2027-м.

[LoadLine Calibration]

2 часа назад, GreenEyesMan сказал:

Может быть имеет смысл попробовать озвучить на русском диалоги в игре? Правда надо учитывать, что их там раза в три больше, чем в 2027-м.

Да, как раз почти в 3 раза. Озвучка 2027 содержит около 3.5 тысяч файлов, а оригинальная игра -- 10 074.

 

По количеству символов на оригинальную игру целиком понадобиться около двух-трёх миллионов (с запасом). Нужны будут "управляющие слова", без них реакция на восклицания и вопросы оставляет желать лучшего.

 

На мой взгляд вполне можно осилить, но возможно лучше начать с модов с оригинальными персонажами, попрактиковаться на них.

[Lgs]

Из того что я слушал русская озвучка сильно отстаёт по качеству генерации сейчас, лучше подождать пока станет на уровне английской сейчас.

[LoadLine Calibration]

Можно было бы начать с AI Barks. Это часть озвучки игры содержит около 1500 файлов. Там фразы которые NPC говорят во время боя, когда бездействуют и т.п. Чего-то особенного там не требуется.

[Gelu McAllister]

3 часа назад, LoadLine Calibration сказал:

Можно было бы начать с AI Barks. Это часть озвучки игры содержит около 1500 файлов. Там фразы которые NPC говорят во время боя, когда бездействуют и т.п. Чего-то особенного там не требуется.

 

Ну, кстати, да. Если с чего-то и начинать то именно с барков. Это самая нудная и притом объемная часть для перевода. И думаю для озвучки тоже.

[LoadLine Calibration]

Неплохой результат по исправлению "нестабильного" скопированного голоса, который произносит каждый раз с заметными отличиями.

 

1. Использовать то что есть и сгенерировать побольше удачных файлов.

2. Использовать удачные файлы чтобы скопировать этот голос ещё раз.

 

(Всё это для ElevenLabs, функция Instant Voice Cloning).

[LoadLine Calibration]

На русском языке скопированные голоса звучат несколько ... иначе. Но узнать можно.

[Gelu McAllister]

Теперь мне будут сниться кошмары)

[Dae]

11 часов назад, LoadLine Calibration сказал:

На русском языке скопированные голоса звучат несколько ... иначе. Но узнать можно.

 

По мне так — здорово!

[LoadLine Calibration]

Мой небольшой опыт по работе с русским текстом в ElevenLabs.

 

Всё описанное может не работать с некоторыми голосами.

 

1) Чтобы поставить ударение, нужно написать нужную букву заглавной. Чаще всего  ещё и те что слева/справа.

Пример: "Текст котоРЫй нужно озВУчить. ДополнитЕЛьный текст."

 

Чаще работает чем нет.

 

 

2) Чтобы получить восклицания или вопросы, нужно написать примерно так:

"Пошёл вон!", крикнул он злобно.

"Пошёл вон!", крикнул он раздраженно.

 

"Ты придёшь?", спросил он.

"Давай, подходи!", воскликнул он.

 

Я называю это "управляющими словами". Можно попытаться создать удивление или что-то ещё. Нужно экспериментировать.

 

Иногда работает увеличение количества вопросительных и восклицательных знаков (с английским работает очень хорошо).

Если вопрос нужно "усилить", то нужно два вопросительных знака. Больше обычно нет смысла.

Аналогично и с восклицательными знаками.

 

3) Смех, усмешки, и разные кхм можно (иногда и нужно) использовать и на английском. Haha, hmmm..., heh и прочие.

Пример: "Hmmm... Интересно, ушли те бандиты с моста или нет?"

 

 

 

 

 

[GreenEyesMan]

Я думаю, что можно использовать разные нейросети. Где-то голоса более человеческие, а где-то как раз для всяческих ИИ, мибовцев, киборгов и роботов подойдут - ибо звучат они механически.

[LoadLine Calibration]

Анна и Гюнтер. Какое-то сходство есть. А вот Николетт не получается, совсем другой голос.
 

[LoadLine Calibration]

Русские AI Barks для оригинала/Revision/GMDX почти готовы, осталось вырезать ненужное, перекодировать в нужный формат и можно интегрировать в имеющийся русификатор. Французы не получились вообще, совсем, поэтому их не будет. Остальное получилось от "неплохо" до "ну, сойдёт".