Đối tác chính thức của BytePlusBytePlus, một công ty thuộc ByteDance
Đối tác chính thức của BytePlus · OmniHuman 2.0
Lip sync bằng AI: tạo video biết nói từ ảnh và giọng nói
Tải ảnh lên, thêm giọng nói, và người trong ảnh sẽ nói hoặc hát từng từ với biểu cảm và cử chỉ tự nhiên. Công cụ chạy bằng OmniHuman 2.0, mô hình dựa trên âm thanh của ByteDance, và mỗi lần quay có thể dài tới 5 phút.
- Tối đa 5 phút
- Nói, hát, rap
- Người, nhân vật, thú cưng
- 720p hoặc 1080p
- 4 credit mỗi giây
Lip Sync là công cụ trả phí. Hai cách bắt đầu với chi phí nhỏ: gói dùng thử 48 giờ với giá $3 (60 credit, khoảng 15 giây ở 720p; sau đó gói Creator tiếp tục với giá $19 cho tháng đầu và $25/tháng, trừ khi bạn hủy trong 48 giờ đó) hoặc gói credit từ $8 (160 credit, khoảng 40 giây ở 720p, trả một lần, không cần đăng ký gói).
Cập nhật lần cuối:
Trong trang này
Lip sync bằng AI làm được gì
AI lip sync nhận hai thứ: ảnh của một người và điều người đó sẽ nói. Kết quả là video trong đó người ấy thật sự đang nói. Lip Sync của KreatorFlow dùng OmniHuman 2.0, mô hình video dựa trên âm thanh mới nhất của ByteDance. KreatorFlow là đối tác chính thức của BytePlus, một công ty thuộc ByteDance, và chạy mô hình này qua BytePlus.
Dựa trên âm thanh nghĩa là âm thanh dẫn dắt video. Khẩu hình khớp với từng từ, lông mày và đầu phản ứng theo chỗ nhấn giọng, chỗ ngừng trông như ngừng thật, và khi hát thì trông như đang hát thật chứ không chỉ mấp máy môi. Phần mô tả bằng chữ chỉ cần thêm những gì âm thanh không truyền tải được, như nụ cười, cái gật đầu hay máy quay tiến chậm lại gần.
Mỗi lần có thể dài tới 5 phút, nên bạn ghi được trọn một bài nói, bài giảng, video giới thiệu sản phẩm hay một bài hát với cùng một khuôn mặt, liền mạch, không phải ghép nhiều clip ngắn.
Tạo video lip sync trong 3 bước
- 1
Tải ảnh lên
Tải lên một bức ảnh rõ nét có người, nhân vật hoặc thú cưng, hoặc chọn từ tệp đã tải lên, ảnh đã tạo hay nhân vật đã lưu. Ảnh có một khuôn mặt, nhìn gần về phía máy ảnh và không bị che miệng cho kết quả tốt nhất.
- 2
Thêm giọng nói
Nhập lời thoại và chọn một giọng có sẵn, hoặc thêm giọng bạn tự thu, một bài hát hay tệp giọng nói tạo trong studio âm thanh (MP3 hoặc WAV). Âm thanh có thể dài từ 4 giây đến 5 phút.
- 3
Tạo và tải về
Chọn 720p hoặc 1080p, thêm mô tả cử chỉ và chuyển động máy quay nếu muốn, rồi bấm tạo. Giá hiển thị trước: 720p là 4 credit mỗi giây, 1080p là 6 credit mỗi giây. Video dài đúng bằng đoạn âm thanh và được lưu vào thư viện của bạn.
Những video bạn có thể tạo
Tối đa 5 phút mỗi lần
Âm thanh có thể dài từ 4 giây đến 5 phút, và video dài đúng bằng âm thanh.
Làm ảnh nói, làm ảnh hát
Hội thoại, lời dẫn, bài hát, cả rap nhanh. Khẩu hình, ngữ điệu và cảm xúc đều đi theo âm thanh.
Người, nhân vật, thú cưng
Ảnh chân dung, nhân vật anime và hoạt hình, nhân vật 3D, sinh vật giả tưởng và động vật đều cử động được.
Ngôn ngữ nào cũng được
Mô hình đi theo âm thanh, nên ngôn ngữ và giọng địa phương nào có âm thanh là dùng được, kể cả tiếng Việt.
Chỉ dẫn diễn xuất
Mô tả cử chỉ, cảm xúc, chuyển động máy quay và điều xảy ra ở hậu cảnh, tối đa 2,000 ký tự.
720p hoặc 1080p
720p là 4 credit mỗi giây, 1080p là 6 credit mỗi giây, hiển thị trước khi tạo.
Lấy giọng nói từ đâu
Giọng có sẵn. Nhập điều cần nói và chọn một giọng tiếng Anh trong màn hình lip sync. Lời thoại được tạo bằng chuyển văn bản thành giọng nói (2 credit cho mỗi 1,000 ký tự) trước, rồi mới đến video.
Giọng bạn tự thu. Thu bằng điện thoại rồi tải lên dưới dạng MP3 hoặc WAV. Giọng càng sạch, ít tạp âm thì khẩu hình càng rõ.
Giọng từ studio âm thanh. Dùng chuyển văn bản thành giọng nói với nhiều ngôn ngữ và giọng, gồm cả tiếng Việt, hoặc nhân bản giọng của bạn để tạo lời thoại. Tệp giọng nói bạn tạo sẽ xuất hiện trong danh sách chọn âm thanh của lip sync.
Bài hát. Tải lên bản giọng hát bạn có quyền dùng. Nếu chỉ có bản phối đầy đủ, phiên bản có nhạc đệm nhỏ sẽ khớp tốt hơn.
Giá video lip sync
Credit được tính theo từng giây âm thanh bắt đầu, lấy từ cùng đoạn mã mà studio dùng để trừ credit.
720p mỗi giây
4
credit
1080p mỗi giây
6
credit
| Độ dài âm thanh | 720p | 1080p |
|---|---|---|
| 4 giây | 16 credit | 24 credit |
| 10 giây | 40 credit | 60 credit |
| 30 giây | 120 credit | 180 credit |
| 1 phút | 240 credit | 360 credit |
| 5 phút | 1,200 credit | 1,800 credit |
Thời lượng tính phí tối thiểu là 4 giây, và video dài nhất (5 phút) tốn 1,200 credit ở 720p. Lip sync cần tài khoản trả phí: một gói (từ Creator, tháng đầu $19) hoặc một gói credit (từ $8) là đủ. Credit của video bị lỗi được hoàn tự động. Xem mọi gói trên bảng giá; giá tính bằng đô la Mỹ.
Cách dùng phổ biến
- Video giới thiệu sản phẩm, người mẫu quảng cáo từ một bức ảnh thương hiệu
- Bài giảng, video đào tạo với cùng một người dẫn trong mọi bài
- Lời chúc sinh nhật, lời cảm ơn từ một bức ảnh và giọng của bạn
- Video ca nhạc, ca sĩ ảo từ một nhân vật và một bản giọng hát
- Cùng một thông điệp bằng nhiều ngôn ngữ từ một bức ảnh
- Sách nói, podcast, bản tin có khuôn mặt người dẫn
- Linh vật, thú cưng, nhân vật hoạt hình biết nói cho mạng xã hội
Mẹo để kết quả tự nhiên
- Dùng ảnh rõ nét chỉ có một khuôn mặt hiện rõ. Cận cảnh và nửa người là tốt nhất; ảnh chụp xa với khuôn mặt nhỏ không phù hợp.
- Đừng che miệng và cằm. Tay, micro hay tóc không nên phủ lên môi.
- Dùng âm thanh sạch. Tạp âm và nhạc nền lớn làm khẩu hình kém chính xác hơn.
- Chỉ mô tả chuyển động bằng câu đơn giản, ví dụ “mỉm cười khi nói rồi nghiêng người về phía máy quay”. Không cần mô tả những gì đã có trong ảnh.
- Thử một câu ngắn ở 720p trước khi làm video dài ở 1080p.
Sự đồng ý và sử dụng có trách nhiệm
Lip sync khiến người trong ảnh nói đúng nội dung của đoạn âm thanh, nên có những quy tắc rõ ràng. Lần đầu tạo với một ảnh mới, trang web sẽ hỏi bạn xác nhận đó là bạn hoặc bạn đã được cho phép. Ảnh được kiểm tra trước khi trừ credit, và ảnh có nội dung khỏa thân hoặc có trẻ vị thành niên sẽ không được xử lý.
- Chỉ dùng ảnh của chính bạn hoặc của người đã cho phép bạn làm họ nói. Nhân vật bạn tự tạo, động vật và tranh vẽ đều được.
- Chỉ dùng giọng nói bạn có quyền dùng: giọng của bạn, giọng có sẵn, giọng nhân bản có sự đồng ý hoặc bản thu được phép. Âm nhạc và bài hát cũng vậy.
- Cấm nội dung tình dục, nội dung có người dưới 18 tuổi và mạo danh. Không được làm như thể một người thật đã nói điều họ chưa từng nói để lừa dối, quấy rối hay gian lận.
- Không dùng người nổi tiếng, chính trị gia hay nhân vật công chúng khác khi chưa có sự cho phép của họ và quyền cho mục đích đó.
- Khi đăng video có người thật đang nói, hãy ghi rõ video được tạo bằng AI. Nhiều nền tảng yêu cầu ghi chú này.
Xem đầy đủ các điều bị cấm trong Chính sách sử dụng (tiếng Anh).
Câu hỏi thường gặp về lip sync bằng AI
Lip sync bằng AI là gì?
Đây là công nghệ ghép một bức ảnh tĩnh với một đoạn âm thanh để tạo video trong đó người trong ảnh nói hoặc hát đúng đoạn âm thanh đó. Trên KreatorFlow, công cụ chạy bằng OmniHuman 2.0, mô hình video dựa trên âm thanh của ByteDance. Khẩu hình khớp với từng từ, còn khuôn mặt, đầu và vai chuyển động theo nhịp điệu và cảm xúc của giọng nói.
Video có thể dài bao lâu?
Video dài đúng bằng đoạn âm thanh, và mỗi lần bạn có thể tạo video dài từ 4 giây đến 5 phút. Đủ để ghi trọn một bài thuyết trình, một bài giảng, một đoạn podcast hay cả một bài hát trong một lần quay.
Lip sync bằng AI tốn bao nhiêu?
Mỗi giây âm thanh tốn 4 credit ở 720p và 6 credit ở 1080p, tính theo từng giây bắt đầu, tối thiểu 4 giây. Một clip 10 giây ở 720p tốn 40 credit, một phút tốn 240 credit. Giá chính xác hiển thị trước khi tạo, và credit của video bị lỗi sẽ được hoàn lại.
Tôi có cần gói trả phí không?
Có. Lip sync dùng được khi bạn có gói trả phí hoặc gói credit. Gói Creator có giá $19 cho tháng đầu, còn gói credit nhỏ nhất là $8 (160 credit). Mọi tài khoản trả phí đều dùng được cả hai độ phân giải.
Ảnh có thể hát chứ không chỉ nói không?
Có. OmniHuman 2.0 theo được cả lời nói, tiếng hát lẫn đoạn rap nhanh. Hãy tải lên bản giọng hát: nhạc đệm càng ít và giọng càng rõ thì khẩu hình càng chính xác.
Có dùng được với tiếng Việt không?
Có. Mô hình đi theo âm thanh nên giọng nói bằng ngôn ngữ nào cũng được. Các giọng có sẵn trong màn hình lip sync là tiếng Anh, vì vậy với lời thoại tiếng Việt, hãy tạo bằng giọng tiếng Việt trong studio âm thanh hoặc tải lên tệp bạn tự thu.
Nhân vật hoạt hình hay động vật có làm được không?
Có. Ngoài người thật, OmniHuman 2.0 còn làm chuyển động được nhân vật anime và hoạt hình, nhân vật 3D, sinh vật giả tưởng và cả động vật như mèo hay gấu mèo, miễn là khuôn mặt hiện rõ.
Tôi có được dùng ảnh của người khác không?
Chỉ khi có sự cho phép. Người trong ảnh phải là bạn hoặc đã đồng ý, và bạn cần có quyền dùng giọng nói và âm nhạc. Trang web sẽ hỏi xác nhận điều này với mỗi ảnh mới. Không dùng người nổi tiếng hay nhân vật công chúng khi chưa có sự cho phép, và không cho phép nội dung tình dục hay nội dung có trẻ vị thành niên.
Tôi có thể dùng giọng của mình hoặc giọng đã nhân bản không?
Có. Tải lên tệp bạn tự thu, hoặc nhân bản giọng của bạn trong studio âm thanh để tạo tệp giọng nói rồi chọn nó trong lip sync. Nếu dùng giọng có sẵn, giá chuyển văn bản thành giọng nói (2 credit cho mỗi 1,000 ký tự) được cộng vào giá video.
Có API lip sync không?
Có. Nhà phát triển gọi /v1/lip-sync với một bức ảnh và một tệp giọng nói, trả theo giây bằng token trả trước: $0.20 mỗi giây ở 720p và $0.30 mỗi giây ở 1080p. Chi tiết có trên trang OmniHuman API (tiếng Anh).
Tạo video biết nói đầu tiên của bạn
Mở Lip Sync, thêm ảnh và giọng nói, và giá sẽ hiển thị trước khi tạo. Bạn dùng được khi có gói trả phí hoặc gói credit.
Lip Sync là công cụ trả phí. Hai cách bắt đầu với chi phí nhỏ: gói dùng thử 48 giờ với giá $3 (60 credit, khoảng 15 giây ở 720p; sau đó gói Creator tiếp tục với giá $19 cho tháng đầu và $25/tháng, trừ khi bạn hủy trong 48 giờ đó) hoặc gói credit từ $8 (160 credit, khoảng 40 giây ở 720p, trả một lần, không cần đăng ký gói).