Varazdat S.
Janis Tirtey
Две принципиально разные техники
По референсу и генеративная
Замена лица в видео сводится к двум принципиально разным техникам: по референсу (загружаете фото целевого лица) и генеративная (описываете человека текстом). Референсный подход работает лучше, когда есть конкретный человек и хорошее его фото; генеративный лучше подходит для вымышленного персонажа, для которого не существует реального референсного фото.
Для ИИ-инфлюенсера, созданного как сгенерированный, согласованный персонаж, референсный подход почти всегда правильный выбор: собственный установленный набор референсов персонажа становится источником идентичности для каждой замены.
Как работает модель под капотом
Детекция, извлечение, смешивание
Современный процесс состоит из трёх этапов: детекция лица, извлечение признаков и смешивание. На этапе детекции модель, обученная на большом количестве лиц, находит ключевые ориентиры (обычно от 68 до 468 точек в зависимости от модели), включая уголки глаз, кончик носа, края губ и контуры линии челюсти.
Продвинутые конвейеры также переносят коэффициенты мимики и направление взгляда из исходного видео на заменённую личность. Именно это удерживает выражения заменённого лица в соответствии с оригинальной игрой актёра, а не делает его похожим на наклеенное.
Почему несколько референсных фото лучше одного
Один ракурс против устойчивой идентичности
Одно исходное фото даёт модели один взгляд на личность; три-пять референсов под разными углами, с разными выражениями и условиями освещения дают устойчивое представление о личности, которое переживает смену позы в целевом видео. Замена, построенная по одному референсному фото, заметно деградирует, как только угол головы в целевом видео отличается от ракурса этого фото.
Это тот же базовый принцип, что стоит за согласованностью ИИ-инфлюенсера: персонаж с установленным, разнообразным набором референсов даёт более надёжные результаты во всех дальнейших применениях, включая замену лица.
Правила качества входного видео
Что нужно от целевого материала
Выбирайте целевой материал с фронтальными или трёхчетвертными ракурсами лица, а не с экстремальным профилем. Большинство слабых результатов связаны с низким качеством входных данных: размытые исходные фото, экстремальные ракурсы или сильное смазывание движения в целевом видео, а не с ограничением самой модели.
Стабильный материал с чётким, незакрытым лицом даёт заметно лучшие результаты, чем материал с быстрыми движениями головы; это тот же принцип качества входных данных, что действует для синхронизации губ (см. как сделать синхронизацию губ для ИИ-персонажа).
Build a Consistent Face for Reliable Swaps
Generate a character with a robust, varied reference set for consistent results across every video. Free to start.
Начать бесплатную пробную версиюСогласие и раскрытие
Не необязательное дополнение
Всегда получайте надлежащее согласие перед тем, как заменить чьё-либо лицо в видеоконтенте, особенно для коммерческого использования. Во многих юрисдикциях действуют требования к раскрытию дипфейков для контента, изменённого ИИ, особенно в политическом или порочащем контексте, а водяные знаки или раскрытие являются хорошей практикой, даже если это строго не требуется.
Для собственной согласованной сгенерированной личности ИИ-инфлюенсера эта проблема не стоит так же остро (никакой реальный человек не выдаётся за другого), но любая замена лица с участием подобия реального третьего лица требует его согласия без исключений.
Типичные ошибки
Что делает замену очевидно поддельной
Использование одного референсного фото. Три-пять референсов под разными углами дают гораздо более устойчивую идентичность, чем одно фото.
Выбор целевого материала с экстремальными ракурсами или сильным движением. Фронтальные или трёхчетвертные ракурсы в стабильном материале дают самые надёжные результаты.
Игнорирование переноса мимики и взгляда. Технически точная замена лица, которая не переносит выражения и направление взгляда оригинальной игры, выглядит наклеенной, а не естественной.
Замена подобия реального человека без согласия. Это и этическая, и во многих юрисдикциях юридическая проблема, независимо от того, насколько хорош технический результат.