Varazdat S.
Janis Tirtey
Как на самом деле работает ИИ-липсинк
Фонемы на входе, виземы на выходе
Модели ИИ-липсинка разбивают речь на фонемы, то есть отдельные звуки, из которых складываются слова, и сопоставляют каждую с виземой, формой рта, которая производит этот звук. Затем модель анимирует лицо через эту последовательность форм рта в такт аудио.
Эта карта соответствия хороша настолько, насколько хороши два её входа: чистая аудиодорожка и стабильное, читаемое лицо для анимации. Слабый вход с любой стороны даёт один и тот же симптом: движение рта выглядит немного не в такт или смазано, даже если сама модель сильная.
Правила для исходного материала
Анфас, хороший свет, стабильность
Лучшие результаты дают лицо анфас при хорошем свете и чистое аудио. Для дубляжа видео в видео важно, чтобы материал был стабильным, с чётким и неперекрытым лицом и постоянным положением головы: кадры с резкими поворотами головы или экстремальными углами заметно снижают точность липсинка.
Для персонажа, созданного из неподвижного фото, а не из отснятого материала, действует то же правило, только на шаг раньше: прямой снимок с ровным светом и без смаза даёт модели чистую основу для анимации ещё до того, как в процесс попадает аудио.
Подготовка аудиодорожки
Ясность и темп важнее громкости
Если в сценарии есть неясные формулировки, длинные паузы, перебивающие друг друга голоса, «съеденные» согласные или неровная громкость, у модели слабее аудиокарта, по которой она формирует рот, и синхронизация ухудшается именно в этих местах.
Посмотрите готовый клип целиком, включая быстрые фразы, паузы и окончания предложений. Если речь звучит раньше или позже движения рта, сначала проверьте длину и темп аудио, а не считайте виноватой саму модель: удаление лишних пауз из загруженной дорожки или корректировка скорости синтеза речи перед повторной генерацией исправляет большинство проблем с таймингом.
Проверяйте всё лицо, а не только рот
Рот это лишь половина того, что воспринимается как «говорит»
Смотрите на лицо персонажа целиком, а не только на рот, особенно если в исходнике есть сильная мимика или движения головы. Естественно ли двигаются глаза? Меняется ли мимика вместе с эмоциональным содержанием сценария?
Точная форма рта на застывшем лице одна из самых быстрых причин, по которой липсинк выглядит искусственно. Рот несёт соответствие фонем, а остальное лицо показывает, живо ли звучит подача.
Turn a Character Photo Into a Talking Video
Generate a consistent AI character, then add lip-synced audio for talking-head content. Free to start.
Начать бесплатную пробную версиюГоворящий аватар из фото или дубляж реальной съёмки
Два разных процесса для двух разных задач
Говорящий аватар из фото предполагает загрузку неподвижного изображения и добавление аудио, чтобы получить говорящего персонажа. Этот процесс лучше всего подходит для ИИ-ведущего, бренд-персонажа или социального контента, построенного вокруг постоянной сгенерированной персоны (см. инструмент говорящего ИИ-аватара).
Дубляж реальной съёмки, наоборот, заново синхронизирует существующее отснятое видео с новым аудио. Он лучше всего подходит для локализации или для создания многоязычной версии записанного контента. Правила к входным данным и подготовке аудио из разделов выше относятся к обоим случаям, но исходный материал и цель у них разные.
Частые ошибки
Что делает липсинк очевидно искусственным
Исходный кадр с движением или под углом. Модели для точной карты визем нужно стабильное лицо анфас; кадр под углом или с движением напрямую ухудшает синхронизацию.
Пропуск очистки аудио. Перебивающие друг друга голоса, «съеденные» согласные или длинные незапланированные паузы ослабляют фонемную карту, на которой строится движение рта.
Оценка результата только по рту. Технически точно синхронизированный рот на лице без мимики выглядит искусственно. Глаза и выражение лица тоже должны двигаться.
Генерация одного длинного дубля вместо проверки по частям. Рассинхрон обычно проявляется в конкретных фразах или окончаниях предложений, а не равномерно по всему клипу. Проверка по отрезкам находит его быстрее, чем однократный просмотр от начала до конца.