BytePlus resmi iş ortağıBytePlus, bir ByteDance şirketi
BytePlus resmi iş ortağı · OmniHuman 2.0
Yapay zeka lip sync: fotoğraf ve sesten konuşan video
Bir fotoğraf yükle, bir ses ekle; KreatorFlow Lip Sync fotoğraftaki kişiyi kelime kelime konuşturur ya da şarkı söyletir, mimikleri ve hareketleri de doğal olur. ByteDance'in sese dayalı modeli OmniHuman 2.0 ile çalışır ve tek videoda 5 dakikaya kadar üretir.
- 5 dakikaya kadar
- Konuşma, şarkı, rap
- Kişi, karakter, evcil hayvan
- 720p ya da 1080p
- Saniyesi 4 kredi
Lip Sync ücretli bir araçtır. Az bir tutarla başlamanın iki yolu: $3 karşılığında 48 saatlik deneme (60 kredi, 720p'de yaklaşık 15 saniye; 48 saat içinde iptal etmezsen Creator planı ilk ay $19, sonra aylık $25 ile devam eder) ya da $8 fiyatından başlayan bir kredi paketi (160 kredi, 720p'de yaklaşık 40 saniye, abonelik olmadan tek seferlik ödeme).
Son güncelleme:
Bu sayfada
Yapay zeka lip sync ile neler yapabilirsin
Lip sync yapay zekası, bir kişinin görseli ve söyleyeceği şey olmak üzere iki şeyden, o kişinin konuştuğu bir video üretir. KreatorFlow Lip Sync, ByteDance'in en yeni sese dayalı video modeli OmniHuman 2.0 ile çalışır. KreatorFlow, bir ByteDance şirketi olan BytePlus'ın resmi iş ortağı olarak bu modeli BytePlus üzerinden çalıştırır.
Sese dayalı, videoyu sesin yönettiği anlamına gelir. Çoğu video yapay zekası görüntüyü metinden üretir ve sesi sonradan ekler; burada ise bütün performansı ses şekillendirir. Ağız kelimelere uyar, vurgularda kaşlar ve baş hareket eder, duraklamalar gerçekten duraklama gibi görünür ve şarkılar sadece dudak oynatılarak değil, söylenerek çıkar. Metin notu isteğe bağlıdır; gülümseme, baş sallama ya da yavaş bir kamera yaklaşması gibi sesin anlatamadığı şeyleri ekler.
Tek bir üretimde 5 dakikaya kadar çıkabildiği için bir konuşmayı, dersi, ürün tanıtımını ya da bütün bir şarkıyı, kısa klipleri birleştirmeden, aynı yüzle tek videoda bitirirsin.
3 adımda lip sync videosu
- 1
Fotoğrafı ekle
Bir kişinin, karakterin ya da evcil hayvanın net bir fotoğrafını yükle veya yüklediğin görsellerden, üretimlerinden ya da kaydettiğin karakterlerinden birini seç. Tek bir yüzün olduğu, öne yakın bakan ve ağzı açıkça görünen fotoğraflar en iyi sonucu verir.
- 2
Sesi ekle
Metni yazıp hazır seslerden birini seç ya da bir MP3 veya WAV ekle: kendi kaydın, bir şarkı ya da Ses stüdyosunda ürettiğin bir ses (klonladığın ses dahil). Süre 4 saniye ile 5 dakika arası olabilir.
- 3
Üret ve indir
720p ya da 1080p seç, istersen hareket veya kamera notu ekle ve üret. Fiyat önceden gösterilir (720p'de saniyesi 4 kredi, 1080p'de saniyesi 6 kredi). Video, sesle aynı uzunlukta olur ve kütüphanene kaydedilir.
Öne çıkan özellikler
Tek videoda 5 dakikaya kadar
4 saniye ile 5 dakika arası sesleri destekler; video, sesle tam olarak aynı uzunlukta olur.
Konuşma, şarkı, rap
Sohbet, anlatım, şarkı ve hızlı rap. Ağız şekli, vurgu ve duygu sese göre hareket eder.
Kişi, karakter, evcil hayvan
Portreler, anime ve çizim karakterleri, 3D karakterler, hayali yaratıklar ve hayvanlar.
Her dilde
Model sese göre hareket ettiği için Türkçe, İngilizce ya da başka bir dil ve aksan fark etmez.
Performans notları
En fazla 2.000 karakterle hareketleri, duyguyu, kamera hareketini ve arka planı yönlendir.
720p ya da 1080p
720p'de saniyesi 4 kredi, 1080p'de saniyesi 6 kredi. Üretimden önce gösterilir.
Sesi nasıl hazırlarsın
Hazır sesler: Söyletmek istediğin metni yaz ve Lip Sync ekranındaki İngilizce seslerden birini seç. Önce metin okuma ile ses üretilir (1.000 karakter başına 2 kredi), ardından video.
Kendi kaydın: Telefonunla kaydet, MP3 veya WAV olarak dışa aktar ve yükle. Ses ne kadar net ve gürültüsüz olursa ağız hareketleri o kadar belirgin olur.
Ses stüdyosundaki sesler: Türkçe bir sesi Ses stüdyosunda hazırlayabilirsin. Ürettiğin sesler Lip Sync'in ses seçiminde görünür.
Şarkı: Hakları sende olan bir vokal kaydı yükle. Elinde yalnızca miks edilmiş kayıt varsa müziğin daha geride olduğu bir versiyon daha iyi sonuç verir.
Lip sync video fiyatları
Ses saniyesi başına krediler (yukarı yuvarlanır). Stüdyonun gerçekten harcadığı kredilerle aynı koddan hesaplanır.
| Ses süresi | 720p | 1080p |
|---|---|---|
| 4 saniye | 16 kredi | 24 kredi |
| 10 saniye | 40 kredi | 60 kredi |
| 30 saniye | 120 kredi | 180 kredi |
| 1 dakika | 240 kredi | 360 kredi |
| 5 dakika | 1.200 kredi | 1.800 kredi |
Lip Sync için ücretli bir hesap gerekir. Planlar Creator ile ilk ay $19 fiyatından, kredi paketleri $8 fiyatından başlar. Başarısız bir videonun kredileri otomatik olarak geri gelir. Tüm planlar fiyatlar sayfasında.
Sık kullanılan senaryolar
- Markanın tek bir fotoğrafından ürün tanıtımı ya da reklam anlatıcısı
- Her bölümde aynı eğitmenin göründüğü kurs ve eğitim videoları
- Bir fotoğraf ve kendi sesinle doğum günü ya da teşekkür mesajı
- Bir karakter ve vokal kaydıyla müzik videosu ya da sanal şarkıcı
- Tek bir fotoğraftan, birkaç dilde aynı mesaj
- Yüzü olan sesli kitaplar, podcast'ler ve haber bölümleri
- Sosyal medya paylaşımları için konuşan maskot, evcil hayvan ya da karakter
Doğal sonuç için ipuçları
- Tek bir yüzün net göründüğü, odaklı bir fotoğraf kullan. Yakın çekimler ve bel üstü kadrajlar iyi çalışır.
- Ağzı ve çeneyi kapatma. El, mikrofon ya da saç dudakların önüne gelmesin.
- Net bir ses kullan. Gürültü veya yüksek müzik ağız hareketlerini bozar.
- Notlarda yalnızca hareketi düz bir cümleyle yaz, örneğin “gülümsüyor ve konuşurken kameraya doğru eğiliyor”. Fotoğrafta zaten olanı yazma.
- Uzun bir 1080p video üretmeden önce kısa bir cümleyi 720p'de dene.
Sorumlu kullanım
Yalnızca kendi fotoğrafını ya da izin aldığın kişilerin fotoğraflarını kullan. Gerçek bir kişiyi konuşturmak için onun onayı gerekir ve başkasının kimliğine bürünemezsin. Ses ve müzik de kullanma hakkın olan içerikler olmalı. Yasak içerikler Kabul Edilebilir Kullanım Politikası'nda (İngilizce) yer alır.
Yapay zeka lip sync hakkında sık sorulan sorular
Yapay zeka lip sync nedir?
Durağan bir görsel ve bir ses kaydından, fotoğraftaki kişinin o sesi konuştuğu ya da şarkı olarak söylediği bir video üreten teknoloji. KreatorFlow, ByteDance'in sese dayalı video modeli OmniHuman 2.0 ile çalışır: dudaklar kelime kelime eşleşir, yüz, baş ve üst gövde de sesin ritmine ve duygusuna göre hareket eder.
Ne kadar uzun video üretebilirim?
Video, sesle aynı uzunluktadır ve tek bir üretimde 4 saniye ile 5 dakika arası olabilir. Bir sunumu, bir dersi, bir podcast bölümünü ya da bütün bir şarkıyı tek videoda yapabilirsin.
Ne kadar tutar?
Ses saniyesi başına 720p'de 4 kredi, 1080p'de 6 kredi. Saniyeler yukarı yuvarlanır ve en az 4 saniye üzerinden hesaplanır. 10 saniyelik bir klip 720p'de 40 kredi, bir dakikalık bir video 240 kredi tutar. Kesin fiyat üretimden önce gösterilir ve başarısız bir videonun kredileri geri gelir.
Ücretli bir plan gerekiyor mu?
Evet. Lip Sync tüm ücretli planlarda ve kredi paketlerinde kullanılabilir. Planlar Creator ile ilk ay $19 fiyatından, kredi paketleri $8 (160 kredi) fiyatından başlar. Ücretli her hesap iki çözünürlüğü de kullanır. Fiyatlar ABD doları cinsindendir.
Sadece konuşma değil, şarkı da söyletebilir miyim?
Evet. OmniHuman 2.0 konuşmanın yanında şarkıyı ve hızlı rap'i de destekler; ağız şekli, vurgu ve duygu şarkıya göre değişir. Bir vokal kaydı yükle: altyapısı az, net bir vokal ne kadar temizse ağız hareketleri o kadar doğru olur.
Türkçe sesle de çalışır mı?
Evet. Model sesin kendisine göre hareket ettiği için Türkçe dahil her dildeki sesle çalışır. Lip Sync ekranındaki hazır sesler İngilizce; Türkçe bir ses için kendi kaydını yükle ya da sesi Ses stüdyosunda hazırla.
Anime karakterleri ya da hayvanlarla çalışır mı?
Evet. Gerçek kişilerin fotoğraflarının yanı sıra anime ve çizim karakterleri, 3D karakterler, hayali yaratıklar ve kedi ya da rakun gibi hayvanlar da yüzleri net olduğu sürece konuşturulabilir.
Başka birinin fotoğrafını kullanabilir miyim?
Yalnızca o kişinin izni varsa. Fotoğraftaki kişi sen olmalısın ya da kişinin konuşturulmaya onay vermiş olması gerekir; ses veya müziği kullanma hakkın da olmalı. Her yeni fotoğraf için sitede bir onay istiyoruz. Ünlülerin veya kamuya mal olmuş kişilerin fotoğrafları izinsiz kullanılamaz. Cinsel içerik ve reşit olmayanları içeren içerik de yasaktır.
İlk konuşan videonu üret
Lip Sync'i aç, fotoğrafı ve sesi ekle; fiyatı üretmeden önce gör. Ücretli bir plan ya da kredi paketiyle kullanılır.