Partner resmi BytePlusBytePlus, perusahaan ByteDance
Partner resmi BytePlus · OmniHuman 2.0
AI lip sync: bikin video bicara dari foto dan suara
Unggah foto, tambahkan suara, dan orang di foto akan mengucapkan atau menyanyikan setiap kata dengan ekspresi dan gerakan yang natural. Berjalan dengan OmniHuman 2.0, model berbasis audio dari ByteDance, dengan satu take sampai 5 menit.
- Sampai 5 menit
- Bicara, nyanyi, rap
- Orang, karakter, hewan
- 720p atau 1080p
- 4 kredit per detik
Lip Sync adalah fitur berbayar. Dua cara mulai dengan biaya kecil: trial 48 jam seharga $3 (60 kredit, sekitar 15 detik di 720p; setelah itu paket Creator berlanjut $19 di bulan pertama dan $25/bulan, kecuali kamu membatalkan dalam 48 jam itu) atau paket kredit mulai $8 (160 kredit, sekitar 40 detik di 720p, bayar sekali tanpa langganan).
Terakhir diperbarui:
Di halaman ini
Yang bisa kamu buat dengan AI lip sync
AI lip sync menerima dua hal: foto seseorang dan apa yang akan dia ucapkan. Hasilnya video orang itu benar-benar bicara. Lip sync di KreatorFlow memakai OmniHuman 2.0, model video berbasis audio terbaru dari ByteDance. KreatorFlow adalah partner resmi BytePlus, perusahaan ByteDance, dan menjalankan model ini lewat BytePlus.
Berbasis audio artinya suara yang mengarahkan video. Gerak mulut cocok dengan kata, alis dan kepala bereaksi pada penekanan, jeda terlihat seperti jeda, dan lagu terlihat benar-benar dinyanyikan, bukan cuma mulut yang dicocokkan. Arahan tertulis cukup untuk hal yang tidak dibawa audio, seperti senyum, anggukan, atau kamera yang pelan mendekat.
Sekali generate bisa sampai 5 menit, jadi talk, materi kelas, perkenalan produk, atau satu lagu penuh bisa jadi satu video tanpa putus dengan wajah yang sama, tanpa menyambung klip pendek.
Bikin video lip sync dalam 3 langkah
- 1
Unggah foto
Unggah satu foto yang jelas berisi orang, karakter, atau hewan peliharaan, atau pilih dari file yang sudah diunggah, gambar yang kamu buat, atau karakter tersimpan. Hasil paling bagus dari foto dengan satu wajah yang kurang lebih menghadap kamera dan mulut yang tidak tertutup.
- 2
Tambahkan suara
Ketik naskah lalu pilih suara bawaan, atau masukkan rekamanmu sendiri, lagu, atau file suara dari studio audio (MP3 atau WAV). Panjang audio bisa 4 detik sampai 5 menit.
- 3
Generate dan unduh
Pilih 720p atau 1080p, tambahkan arahan gerakan dan kamera kalau mau, lalu tekan generate. Harga muncul lebih dulu: 4 kredit per detik di 720p dan 6 kredit per detik di 1080p. Durasi video sama dengan audio dan hasilnya tersimpan di library.
Video yang bisa kamu buat
Satu take sampai 5 menit
Audio bisa 4 detik sampai 5 menit, dan durasi video persis sama dengan audionya.
Foto bicara, foto bernyanyi
Obrolan, narasi, lagu, sampai rap cepat. Gerak mulut, intonasi, dan emosi mengikuti audio.
Orang, karakter, hewan
Potret, karakter anime dan kartun, karakter 3D, makhluk fantasi, dan hewan bisa digerakkan.
Bahasa apa pun
Model mengikuti bunyi, jadi bahasa Indonesia dan bahasa atau logat lain bisa dipakai selama ada audionya.
Arahan gerakan
Tulis gerakan, emosi, gerak kamera, dan kejadian di latar sampai 2.000 karakter.
720p atau 1080p
4 kredit per detik di 720p dan 6 kredit per detik di 1080p, tampil sebelum generate.
Suaranya dari mana?
Suara bawaan. Ketik yang ingin diucapkan dan pilih salah satu suara bahasa Inggris di layar lip sync. Dialognya dibuat dulu dengan text to speech (2 kredit per 1.000 karakter), lalu videonya.
Rekamanmu sendiri. Rekam dengan ponsel dan unggah sebagai MP3 atau WAV. Makin bersih suaranya dan makin sedikit noise, makin jelas gerak mulutnya.
Suara dari studio audio. Buat dialog dengan text to speech dalam banyak bahasa dan suara, termasuk bahasa Indonesia, atau kloning suaramu sendiri. File suara yang kamu buat muncul di daftar audio lip sync. Detailnya ada di halaman text to speech bahasa Indonesia.
Lagu. Unggah track vokal yang hak pakainya kamu miliki. Kalau hanya ada mix lengkap, versi dengan musik pengiring yang pelan hasilnya lebih pas.
Harga video lip sync
Kredit dihitung untuk setiap detik audio yang dimulai, dari kode yang sama dengan yang dipakai studio saat memotong kredit.
720p per detik
4
kredit
1080p per detik
6
kredit
| Durasi audio | 720p | 1080p |
|---|---|---|
| 4 detik | 16 kredit | 24 kredit |
| 10 detik | 40 kredit | 60 kredit |
| 30 detik | 120 kredit | 180 kredit |
| 1 menit | 240 kredit | 360 kredit |
| 5 menit | 1.200 kredit | 1.800 kredit |
Durasi minimum yang dihitung 4 detik, dan video terpanjang 5 menit butuh 1.200 kredit di 720p. Lip sync butuh akun berbayar: paket (Creator mulai $19 di bulan pertama) atau paket kredit (mulai $8), salah satu saja cukup. Kredit untuk video yang gagal kembali otomatis. Semua paket ada di halaman harga. Harga dalam dolar AS.
Paling sering dipakai untuk
- Video perkenalan produk dan model iklan dari satu foto brand
- Video kelas dan pelatihan dengan pembawa materi yang sama di setiap sesi
- Ucapan ulang tahun dan terima kasih dari foto dan suaramu sendiri
- Video musik dan penyanyi virtual dari karakter dan track vokal
- Pesan yang sama dalam beberapa bahasa dari satu foto
- Audiobook, podcast, dan video berita dengan wajah
- Maskot, hewan peliharaan, dan karakter kartun yang bicara untuk media sosial
Tips supaya hasilnya natural
- Pakai foto tajam dengan satu wajah yang terlihat jelas. Close-up dan setengah badan paling bagus; foto jarak jauh dengan wajah kecil kurang cocok.
- Jangan tutupi mulut dan dagu. Tangan, mikrofon, atau rambut tidak boleh menutupi bibir.
- Pakai audio yang bersih. Noise dan musik latar yang keras membuat gerak mulut kurang akurat.
- Tulis arahan gerakan saja, dengan kalimat biasa. Misalnya “tersenyum sambil bicara lalu mencondongkan badan ke kamera”. Hal yang sudah ada di foto tidak perlu dijelaskan.
- Sebelum membuat video panjang di 1080p, coba dulu dialog pendek di 720p.
Persetujuan dan pemakaian yang bertanggung jawab
Lip sync membuat orang di foto mengucapkan isi audio apa adanya, jadi aturannya jelas. Saat pertama kali generate dengan foto baru, situs web meminta konfirmasi bahwa itu kamu sendiri atau kamu sudah dapat izin. Foto diperiksa sebelum kredit dipotong, dan foto dengan ketelanjangan atau yang menampilkan anak di bawah umur tidak diproses.
- Pakai fotomu sendiri atau foto orang yang sudah mengizinkan wajahnya dibuat bicara. Karakter buatanmu sendiri, hewan, dan ilustrasi boleh.
- Pakai suara yang memang boleh kamu pakai: suaramu sendiri, suara bawaan, suara kloning dengan persetujuan, atau rekaman yang sudah diizinkan. Musik dan lagu juga begitu.
- Konten seksual, konten yang menampilkan anak di bawah 18 tahun, dan peniruan identitas dilarang. Jangan membuat orang sungguhan seolah mengucapkan hal yang tidak pernah mereka katakan untuk menipu, merundung, atau melakukan penipuan.
- Tokoh publik seperti selebritas dan politisi tidak boleh dipakai tanpa izin mereka dan hak untuk penggunaan tersebut.
- Saat mengunggah video orang sungguhan yang sedang bicara, sebutkan bahwa video itu dibuat dengan AI. Banyak platform mewajibkan label ini.
Daftar lengkap larangannya ada di Kebijakan Penggunaan (bahasa Inggris).
Pertanyaan umum tentang AI lip sync
Apa itu AI lip sync?
Teknologi yang menggabungkan satu foto diam dengan audio, sehingga orang di foto itu terlihat mengucapkan atau menyanyikan audio tersebut. Di KreatorFlow, fitur ini berjalan dengan OmniHuman 2.0, model video berbasis audio dari ByteDance. Gerak mulut cocok dengan setiap kata, dan wajah, kepala, serta badan bagian atas ikut bergerak mengikuti ritme dan emosi suara.
Seberapa panjang videonya bisa dibuat?
Durasi video sama dengan durasi audio, dan sekali generate bisa 4 detik sampai 5 menit. Cukup untuk presentasi, materi kelas, satu segmen podcast, atau satu lagu penuh dalam satu take.
Berapa biaya AI lip sync?
Per detik audio, 4 kredit di 720p dan 6 kredit di 1080p, dihitung per detik yang dimulai dengan minimum 4 detik. Klip 10 detik di 720p butuh 40 kredit, dan 1 menit butuh 240 kredit. Harga pastinya tampil sebelum generate, dan kredit untuk video yang gagal dikembalikan.
Apakah perlu paket berbayar?
Ya. Lip sync bisa dipakai kalau kamu punya paket berbayar atau paket kredit. Paket mulai dari Creator $19 di bulan pertama, dan paket kredit terkecil $8 (160 kredit). Kedua resolusi tersedia untuk semua akun berbayar.
Fotonya bisa bernyanyi, bukan cuma bicara?
Bisa. OmniHuman 2.0 mengikuti bicara, nyanyian, sampai rap cepat. Unggah track vokal: makin sedikit musik pengiring dan makin bersih suaranya, makin pas gerak mulutnya.
Apakah bisa pakai bahasa Indonesia?
Bisa. Model mengikuti bunyi audio, jadi suara dalam bahasa apa pun bisa dipakai. Suara bawaan di layar lip sync berbahasa Inggris, jadi untuk dialog bahasa Indonesia buat suaranya dengan suara bahasa Indonesia di studio audio, atau unggah rekamanmu sendiri.
Apakah karakter kartun atau hewan juga bisa?
Bisa. Selain orang sungguhan, karakter anime dan kartun, karakter 3D, makhluk fantasi, dan hewan seperti kucing atau rakun juga bisa digerakkan dengan OmniHuman 2.0, asalkan wajahnya jelas.
Boleh pakai foto orang lain?
Hanya dengan izin orang tersebut. Orang di foto harus kamu sendiri atau sudah memberi persetujuan, dan kamu harus punya hak atas suara dan musiknya. Situs web meminta konfirmasi ini untuk setiap foto baru. Selebritas dan tokoh publik tanpa izin tidak boleh dipakai, dan konten seksual atau konten yang menampilkan anak di bawah umur juga tidak diizinkan.
Bisa pakai suaraku sendiri atau suara hasil kloning?
Bisa. Unggah rekamanmu sendiri, atau kloning suaramu di studio audio, buat file suara, lalu pilih di lip sync. Kalau memakai suara bawaan, harga text to speech (2 kredit per 1.000 karakter) ditambahkan ke harga video.
Ada API lip sync?
Ada. Developer memanggil /v1/lip-sync dengan foto dan file suara, lalu membayar per detik dengan token prabayar: $0.20 per detik di 720p dan $0.30 per detik di 1080p. Detailnya ada di halaman OmniHuman API (bahasa Inggris).
Bikin video bicara pertamamu
Buka lip sync, masukkan foto dan suara, dan harga tampil sebelum generate. Bisa dipakai dengan paket berbayar atau paket kredit.
Lip Sync adalah fitur berbayar. Dua cara mulai dengan biaya kecil: trial 48 jam seharga $3 (60 kredit, sekitar 15 detik di 720p; setelah itu paket Creator berlanjut $19 di bulan pertama dan $25/bulan, kecuali kamu membatalkan dalam 48 jam itu) atau paket kredit mulai $8 (160 kredit, sekitar 40 detik di 720p, bayar sekali tanpa langganan).