Lgs Опубликовано: 4 декабря 2021 Опубликовано: 4 декабря 2021 Скрытый текст Text to Speech нейросети и потенциал их использования в озвучке модов. Со времен Microsoft Sam и Говорилки технологии генерации речи сделали огромный шаг вперёд, особенно за последние несколько лет. Голос генерируется настолько хорошо, что люди не сразу догадываются что говорят с роботом по телефону. Имея даже небольшой объем входных данных можно натренировать нейросеть на генерацию реалистичных фраз которые будут звучать почти так же хорошо как оригинал. В связи с чем хочу обсудить вопрос использования этих технологий в озвучке модов. Только задумайтесь о потенциале! Можно просто скормить программе кучу текстовиков и получить все файлы озвучки в тот же день, можно озвучивать персонажей голосами давно умерших актёров! В случае с монотонными голосами на одной ноте вроде Дентона и Дженсена я думаю результаты будут лучше прочих. Для общего ознакомления с идеей генерации голоса можно зайти на сайт https://15.ai/ (кажется этот сайт закрыли, там какая-то драма в твиторе, разбираться нет желания) Выбираем в списке слева игру, справа персонажа, в текстовое поле пишем любой текст и жмем кнопку Generate, на выходе получаем озвучку. Теперь к конкретике. Очень хорошо описывает то что я имею в виду трейлер квест-мода на ведьмака, голос Геральта в котором сгенерирован за деньги коммерческой нейросетью cybervoice: Другой пример - у серии игр Gothic есть большое сообщество, один из участников написал приложение и натренировал модель на игровых аудиофайлах, в результате с помощью этой программы можно быстро озвучить все немые моды голосами актёров оригинальных игр. Вот тема на немецком форуме https://forum.worldofplayers.de/forum/threads/1580689-RELEASE-GameTTS-Text-To-Speech-Anwendung Вот гитхаб программы https://github.com/lexkoro/GameTTS Скачал, протестировал. Я не являюсь человеком говорящим на немецком, но очень люблю немецкие голоса в готике. Субъективно могу сказать что получилось очень похоже на живую озвучку, не чувствую никакой мерзкой синтетической нотки как у 15.ai Сразу пришла в голову мысль ради эксперимента переозвучить интро деуса персонажами готики, но энтузиазм потерялся уже на этапе поиска немецких con файлов. Какие у кого мысли на тему сабжа в целом? Знаете какие-нибудь опенсорсные TTS проекты? Dae понравилось это
Lgs Опубликовано: 17 марта 2023 Автор Опубликовано: 17 марта 2023 На ютубе начали появляться первые мемы с персонажами из Deus Ex. Второй ролик мне не очень заходит потому что Дентон говорит с интонацией, что для него нехарактерно Мысли? Dae и ZwerPSF понравилось это
unit849 Опубликовано: 21 марта 2023 Опубликовано: 21 марта 2023 Эти голоса как глоток свежего воздуха на фоне римейка первого deus ex на unreal engine 5. Лучше бы DxIw отладили.
GreenEyesMan Опубликовано: 16 июня Опубликовано: 16 июня Как показал опыт создания озвучки для 2027 - нейросети вполне годно делают. Это конечно не по станиславскому, зато весьма киберпанковски. Может быть имеет смысл попробовать озвучить на русском диалоги в игре? Правда надо учитывать, что их там раза в три больше, чем в 2027-м.
LoadLine Calibration Опубликовано: 16 июня Опубликовано: 16 июня 2 часа назад, GreenEyesMan сказал: Может быть имеет смысл попробовать озвучить на русском диалоги в игре? Правда надо учитывать, что их там раза в три больше, чем в 2027-м. Да, как раз почти в 3 раза. Озвучка 2027 содержит около 3.5 тысяч файлов, а оригинальная игра -- 10 074. По количеству символов на оригинальную игру целиком понадобиться около двух-трёх миллионов (с запасом). Нужны будут "управляющие слова", без них реакция на восклицания и вопросы оставляет желать лучшего. На мой взгляд вполне можно осилить, но возможно лучше начать с модов с оригинальными персонажами, попрактиковаться на них. GreenEyesMan понравилось это
Lgs Опубликовано: 16 июня Автор Опубликовано: 16 июня Из того что я слушал русская озвучка сильно отстаёт по качеству генерации сейчас, лучше подождать пока станет на уровне английской сейчас.
LoadLine Calibration Опубликовано: 17 июня Опубликовано: 17 июня Можно было бы начать с AI Barks. Это часть озвучки игры содержит около 1500 файлов. Там фразы которые NPC говорят во время боя, когда бездействуют и т.п. Чего-то особенного там не требуется.
Gelu McAllister Опубликовано: 17 июня Опубликовано: 17 июня 3 часа назад, LoadLine Calibration сказал: Можно было бы начать с AI Barks. Это часть озвучки игры содержит около 1500 файлов. Там фразы которые NPC говорят во время боя, когда бездействуют и т.п. Чего-то особенного там не требуется. Ну, кстати, да. Если с чего-то и начинать то именно с барков. Это самая нудная и притом объемная часть для перевода. И думаю для озвучки тоже.
LoadLine Calibration Опубликовано: 21 июня Опубликовано: 21 июня Неплохой результат по исправлению "нестабильного" скопированного голоса, который произносит каждый раз с заметными отличиями. 1. Использовать то что есть и сгенерировать побольше удачных файлов. 2. Использовать удачные файлы чтобы скопировать этот голос ещё раз. (Всё это для ElevenLabs, функция Instant Voice Cloning). GreenEyesMan понравилось это
LoadLine Calibration Опубликовано: 29 июня Опубликовано: 29 июня На русском языке скопированные голоса звучат несколько ... иначе. Но узнать можно. ElevenLabs_2024-06-29T10_10_55_Алекс Джейкобсон_ivc_s100_sb100_se0_b_m2.mp3 ElevenLabs_2024-06-29T10_11_14_Джок_ivc_s100_sb100_se0_b_m2.mp3 ElevenLabs_2024-06-29T10_11_39_Джозеф Мандерли_ivc_s35_sb75_se0_b_m2.mp3 ElevenLabs_2024-06-29T10_12_09_JC Denton_ivc_s100_sb75_se0_b_m2.mp3 ElevenLabs_2024-06-29T10_12_35_Paul Denton_ivc_s100_sb100_se0_b_m2.mp3 ElevenLabs_2024-06-29T10_12_51_Сэм Картер_ivc_s100_sb100_se0_b_m2.mp3 ElevenLabs_2024-06-29T10_13_49_Джейми Рейес_ivc_s50_sb75_se0_b_m2.mp3 ElevenLabs_2024-06-29T10_15_24_MJ12 Commando_ivc_s50_sb75_se0_b_m2.mp3 SlashNet, Dae и GreenEyesMan понравилось это
Dae Опубликовано: 29 июня Опубликовано: 29 июня 11 часов назад, LoadLine Calibration сказал: На русском языке скопированные голоса звучат несколько ... иначе. Но узнать можно. ElevenLabs_2024-06-29T10_10_55_Алекс Джейкобсон_ivc_s100_sb100_se0_b_m2.mp3 ElevenLabs_2024-06-29T10_11_14_Джок_ivc_s100_sb100_se0_b_m2.mp3 ElevenLabs_2024-06-29T10_11_39_Джозеф Мандерли_ivc_s35_sb75_se0_b_m2.mp3 ElevenLabs_2024-06-29T10_12_09_JC Denton_ivc_s100_sb75_se0_b_m2.mp3 ElevenLabs_2024-06-29T10_12_35_Paul Denton_ivc_s100_sb100_se0_b_m2.mp3 ElevenLabs_2024-06-29T10_12_51_Сэм Картер_ivc_s100_sb100_se0_b_m2.mp3 ElevenLabs_2024-06-29T10_13_49_Джейми Рейес_ivc_s50_sb75_se0_b_m2.mp3 ElevenLabs_2024-06-29T10_15_24_MJ12 Commando_ivc_s50_sb75_se0_b_m2.mp3 По мне так — здорово! LoadLine Calibration понравилось это
LoadLine Calibration Опубликовано: 29 июня Опубликовано: 29 июня Мой небольшой опыт по работе с русским текстом в ElevenLabs. Всё описанное может не работать с некоторыми голосами. 1) Чтобы поставить ударение, нужно написать нужную букву заглавной. Чаще всего ещё и те что слева/справа. Пример: "Текст котоРЫй нужно озВУчить. ДополнитЕЛьный текст." Чаще работает чем нет. 2) Чтобы получить восклицания или вопросы, нужно написать примерно так: "Пошёл вон!", крикнул он злобно. "Пошёл вон!", крикнул он раздраженно. "Ты придёшь?", спросил он. "Давай, подходи!", воскликнул он. Я называю это "управляющими словами". Можно попытаться создать удивление или что-то ещё. Нужно экспериментировать. Иногда работает увеличение количества вопросительных и восклицательных знаков (с английским работает очень хорошо). Если вопрос нужно "усилить", то нужно два вопросительных знака. Больше обычно нет смысла. Аналогично и с восклицательными знаками. 3) Смех, усмешки, и разные кхм можно (иногда и нужно) использовать и на английском. Haha, hmmm..., heh и прочие. Пример: "Hmmm... Интересно, ушли те бандиты с моста или нет?" GreenEyesMan понравилось это
GreenEyesMan Опубликовано: 30 июня Опубликовано: 30 июня Я думаю, что можно использовать разные нейросети. Где-то голоса более человеческие, а где-то как раз для всяческих ИИ, мибовцев, киборгов и роботов подойдут - ибо звучат они механически. LoadLine Calibration понравилось это
LoadLine Calibration Опубликовано: 22 июля Опубликовано: 22 июля Анна и Гюнтер. Какое-то сходство есть. А вот Николетт не получается, совсем другой голос. ElevenLabs_2024-07-22T09_44_38_Гюнтер Херманн_ivc_s100_sb100_se100_b_m2.mp3 ElevenLabs_2024-07-22T09_49_51_Анна Наварре_ivc_s50_sb100_se50_b_m2.mp3 GreenEyesMan понравилось это
LoadLine Calibration Опубликовано: 26 июля Опубликовано: 26 июля Русские AI Barks для оригинала/Revision/GMDX почти готовы, осталось вырезать ненужное, перекодировать в нужный формат и можно интегрировать в имеющийся русификатор. Французы не получились вообще, совсем, поэтому их не будет. Остальное получилось от "неплохо" до "ну, сойдёт". Smuggler01.mp3 StantonDowd01.mp3 Sailor02.mp3 MJ12Commando03.mp3 MiB04.mp3 Mechanic03.mp3 MaxChen01.mp3 MaggieChow01.mp3 JosephManderley01.mp3 JordanShea05.mp3 JoJoFine02.mp3 AnnaNavarre03.mp3 Terrorist03.mp3 TerroristB04.mp3 TriadLumPath03.mp3 GreenEyesMan понравилось это
Рекомендованные сообщения
Создайте аккаунт или войдите в него для комментирования
Вы должны быть пользователем, чтобы оставить комментарий
Создать аккаунт
Зарегистрируйтесь для получения аккаунта. Это просто!
Зарегистрировать аккаунтВойти
Уже зарегистрированы? Войдите здесь.
Войти сейчас