Официальный партнер BytePlusBytePlus, компания ByteDance
Официальный партнер BytePlus · OmniHuman 2.0
Липсинк с ИИ: фото и голос превращаются в говорящее видео
Загрузите фото, добавьте голос, и Lip Sync в KreatorFlow заставит человека на снимке произнести или спеть каждое слово, с естественными жестами и мимикой. Работает на OmniHuman 2.0, модели ByteDance, которой управляет звук, а один дубль длится до 5 минут.
- До 5 минут
- Речь, пение и рэп
- Люди, персонажи и питомцы
- 720p или 1080p
- 0,20 $ за секунду в 720p
Липсинк доступен только на платном доступе. Два способа начать с небольшой суммы: пробный доступ на 48 ч за 3 $ (60 кр., примерно 15 с в 720p; затем подключается тариф Creator: 19 $ за первый месяц и 25 $ в месяц, если не отменить его в течение этих 48 ч) или пакет кредитов от 8 $ (160 кр., примерно 40 с в 720p, разовый платеж без подписки).
Обновлено:
На этой странице
- Что делает липсинк с ИИ
- Чего он не делает: оживляет фото, а не видео
- Как сделать видео с липсинком за три шага
- Что можно сделать
- Откуда берется голос
- Сколько стоит видео с липсинком
- Для чего его используют чаще всего
- Советы для естественного результата
- Согласие и ответственное использование
- Вопросы о липсинке с ИИ
- Что еще посмотреть
Что делает липсинк с ИИ
Липсинк с ИИ берет две вещи, изображение человека и то, что он должен сказать, и возвращает видео, где этот человек это говорит. Lip Sync в KreatorFlow делает это с OmniHuman 2.0, новейшей видеомоделью ByteDance, которой управляет звук. KreatorFlow является официальным партнером BytePlus, компании ByteDance, и модель работает через BytePlus.
«Управляет звук» значит, что главное здесь аудио. Рот идет за словами, брови и голова реагируют на ударения, паузы выглядят как паузы, а песня именно исполняется, а не просто проговаривается. Необязательная текстовая подсказка добавляет только то, чего нет в аудио: улыбку, кивок или медленный наезд камеры.
Чего он не делает: оживляет фото, а не видео
Чтобы было понятно: Lip Sync начинает с неподвижного фото. Он не дублирует и не пересинхронизирует уже готовое видео и не меняет рот в записанном клипе. Если нужно, чтобы человек из видео сказал что-то другое, возьмите четкий кадр из этого видео как фото и сгенерируйте новый ролик с новым голосом. Разговор двух людей в одной задаче он тоже не делает: каждое видео это одно фото и один голос.
Как сделать видео с липсинком за три шага
- 1
Загрузите фото
Четкое фото человека, персонажа или питомца: ваше, из ваших генераций или из сохраненных персонажей. Лучше всего работает одно лицо, которое смотрит примерно в камеру, с хорошо видным ртом.
- 2
Добавьте голос
Загрузите свой MP3 или WAV (запись, песню или фразу, созданную в аудиостудии, в том числе клонированным голосом) или напишите текст и выберите голос. Длина дорожки от 4 секунд до 5 минут.
- 3
Сгенерируйте и скачайте
Выберите 720p или 1080p, при желании добавьте подсказку о жестах или камере и нажмите «Сгенерировать». Цена видна заранее: 0,20 $ за секунду в 720p (4 кредита). Видео длится ровно столько, сколько аудио, и сохраняется в вашей библиотеке.
Что можно сделать
До 5 минут одним дублем
Любая голосовая дорожка от 4 секунд до 5 минут. Видео длится ровно столько же, сколько аудио.
Речь, пение и рэп
Диалоги, закадровый текст, песни и быстрые куплеты. Форма губ, интонация и эмоция следуют за дорожкой.
Люди, персонажи и питомцы
Портреты, персонажи аниме и мультфильмов, 3D-персонажи, фантастические существа и животные.
Любой язык
Модель следует за звуком: русский, украинский, английский или любой другой язык, который есть в вашем аудио.
Режиссура исполнения
До 2 000 символов подсказки: жесты, эмоции, движения камеры.
720p или 1080p
0,20 $ за секунду в 720p (4 кредита); 0,30 $ за секунду в 1080p (6 кредитов).
Хотите, чтобы фото пело? Смотрите, как заставить фото петь. Нарисованный или 3D-персонаж? Для этого есть липсинк для мультфильмов. Нужен ведущий для роликов? Это говорящий аватар с ИИ.
Откуда берется голос
Русский голос из аудиостудии. Напишите фразу в синтезе речи (2 кредита за 1000 символов), выберите русский голос (Dmitri и Nina) и затем выберите эту запись в Lip Sync.
Ваша собственная запись. Запишите себя на телефон, экспортируйте MP3 или WAV и загрузите. Чистый голос без шума дает самое четкое движение губ.
Ваш клонированный голос. Клонируйте свой голос в аудиостудии (клонирование голоса с ИИ), создайте им фразу и выберите ее в Lip Sync.
Голоса на странице Lip Sync. Они англоязычные: подходят, если видео должно говорить по-английски.
Сколько стоит видео с липсинком
Цена за каждую начатую секунду аудио, из того же кода, по которому списывает студия.
За секунду в 720p
0,20 $
4 кредита
За секунду в 1080p
0,30 $
6 кредитов
| Длина аудио | 720p | 1080p |
|---|---|---|
| 4 секунды | 16 кредитов | 24 кредита |
| 10 секунд | 40 кредитов | 60 кредитов |
| 30 секунд | 120 кредитов | 180 кредитов |
| 1 минута | 240 кредитов | 360 кредитов |
| 5 минут | 1 200 кредитов | 1 800 кредитов |
Для Lip Sync нужен платный аккаунт: пробный доступ на 48 ч, пакет кредитов от 8 $ (разовый платеж, без подписки) или тариф от 19 $ за первый месяц на Creator. Кредиты за неудавшееся видео возвращаются автоматически. Все цены на странице цен.
Для чего его используют чаще всего
- Ведущие для презентаций продуктов и рекламы из одного фирменного фото
- Курсы и обучение с одним и тем же ведущим в каждом уроке
- Поздравления и благодарности вашим собственным голосом
- Клипы и виртуальные исполнители из персонажа и вокальной дорожки
- Одно и то же сообщение на русском, английском и других языках из одного фото
- Говорящие питомцы, персонажи и животные для соцсетей
Советы для естественного результата
- Берите четкое фото с одним хорошо видным лицом. Крупный и средний план работают лучше, чем маленькое лицо на общем плане.
- Оставьте рот и подбородок открытыми: без рук, микрофонов и волос на губах.
- Используйте чистое аудио. Фоновый шум и громкая музыка делают движение губ менее точным.
- Пишите подсказку простыми фразами о движении, например «Улыбается и наклоняется к камере, пока говорит».
- Сначала попробуйте короткую фразу в 720p, а потом делайте длинный дубль в 1080p.
Согласие и ответственное использование
Используйте только свои фото или фото людей, которые дали разрешение. Чтобы заставить говорить реального человека, нужно его согласие, и выдавать себя за другого человека нельзя. Голос и музыка тоже должны быть вашими или с правами на использование. Никакого сексуального контента и ничего с несовершеннолетними. Публикуя реалистичное видео с реальным человеком, укажите, что оно создано с ИИ. Полные правила в правилах использования (на английском).
Вопросы о липсинке с ИИ
Что такое липсинк с ИИ?
Это превращение неподвижного фото и аудиодорожки в видео, где человек с фото произносит или поет это аудио. В KreatorFlow за это отвечает OmniHuman 2.0, видеомодель ByteDance, которой управляет звук: губы следуют за каждым словом, а лицо, голова и плечи двигаются в ритме и с эмоцией голоса.
Можно ли синхронизировать губы в уже готовом видео?
Нет. Lip Sync оживляет фото, а не существующее видео: он создает новый ролик из неподвижного изображения и голоса и не меняет рот в записанном клипе. Если у вас есть видео с человеком, возьмите из него четкий кадр, где он смотрит в камеру, и используйте его как фото.
Сколько это стоит?
0,20 $ за секунду в 720p (4 кредита) и 0,30 $ за секунду в 1080p (6 кредитов), за каждую начатую секунду, минимум 4 секунды. Клип на 10 секунд стоит 40 кредитов в 720p, а минута 240 кредитов. Точную цену вы видите до генерации, а если видео не получилось, кредиты возвращаются автоматически.
Нужен ли платный тариф?
Да, Lip Sync платный. Можно начать с пробного доступа на 48 ч или с пакета кредитов от 8 $ без подписки, либо с любого тарифа, от 19 $ за первый месяц на Creator. Оба разрешения доступны на всех платных аккаунтах.
Работает ли липсинк на русском?
Да. Модель следует за звуком, поэтому голос может быть на любом языке и с любым акцентом. Готовые голоса на странице Lip Sync англоязычные; для русской речи создайте фразу в синтезе речи аудиостудии (2 кредита за 1000 символов, русские голоса Dmitri и Nina) или загрузите свою запись.
Какой длины может быть видео?
Как ваше аудио: от 4 секунд до 5 минут за одну генерацию. Этого хватает на презентацию, урок, фрагмент подкаста или целую песню одним дублем.
Может ли фото петь, а не только говорить?
Да. OmniHuman 2.0 следует за песнями и быстрым рэпом, а не только за речью. Загрузите вокальную дорожку: чистый голос с тихой музыкой дает самое точное движение губ.
Можно ли использовать фото другого человека?
Только с его разрешения. Вы должны быть человеком на фото или иметь его согласие, чтобы заставить его говорить, а также права на голос и музыку. Сайт просит подтвердить это для каждого нового фото. Нельзя использовать знаменитостей и публичных людей без разрешения, а также сексуальный контент и любые материалы с несовершеннолетними.
Сделайте первое говорящее видео
Откройте Lip Sync, добавьте фото и голос и посмотрите цену до генерации. Доступно на любом платном тарифе, с пробным доступом на 48 ч или с пакетом кредитов от 8 $.