Xiaomi đã ra mắt OmniVoice – mô hình AI mở, có khả năng đọc văn bản gần như mọi ngôn ngữ và sao chép giọng nói.

Xiaomi giới thiệu mô‑đun AI mở OmniVoice

Công ty công bố việc ra mắt mô hình trí tuệ nhân tạo OmniVoice, chuyển đổi văn bản thành giọng nói. Ngoài việc tổng hợp giọng nói trên hàng trăm ngôn ngữ, mô hình còn có khả năng sao chép giọng nói và sinh phát âm với các tùy chỉnh người dùng.

Điều gì mới trong OmniVoice?
Chỉ sốMô tảNgôn ngữHỗ trợ hơn 200 ngôn ngữ, bao gồm những ngôn ngữ hiếm và khó học. Ngay cả khi có ít hơn 10 giờ dữ liệu, mô hình vẫn tạo ra giọng nói “hầu như trên bất kỳ ngôn ngữ nào”.Chất lượngTrong các bài kiểm tra với 102 ngôn ngữ, độ rõ ràng của giọng nói tương đương với con người và trong một số trường hợp còn vượt trội. Trên 24 ngôn ngữ, mô hình đã vượt qua nhiều hệ thống thương mại về sự giống nhau và độ rõ ràng.Kiến trúcMạng transformer hai chiều đơn giản hóa mà không có các mô‑đun dự đoán token trung gian. Điều này giảm thời gian huấn luyện xuống một ngày cho 100 000 giờ dữ liệu và tăng tốc độ suy luận (lên tới 40× thời gian thực trong PyTorch).Công nghệ• “Ẩn ngẫu nhiên mã âm thanh” – tăng tốc huấn luyện.• Kết nối mô hình ngôn ngữ lớn khi tiền huấn luyện cải thiện phát âm và độ rõ ràng.

Khả năng thực tiễn
1. Sao chép giọng nói

- Tạo giọng nói dựa trên các đặc điểm đã mô tả (tuổi, giới tính, tông, giọng điệu, phương ngữ).

- Khả năng tạo tiếng thì thầm và các biến thể phong cách khác mà không cần âm thanh mẫu.

2. Xử lý bản ghi gốc

- Loại bỏ nhiễu và trích xuất đặc điểm giọng nói sạch ngay cả từ các tệp không hoàn hảo.

3. Quản lý ngữ điệu

- Thêm tiếng thở, cười và những chi tiết khác để âm thanh tự nhiên hơn.

4. Điều chỉnh chính xác phát âm

- Cài đặt thủ công các âm khó, ví dụ như ký tự Trung Quốc đa âm hoặc tên riêng tiếng Anh.

Kết quả
OmniVoice là một lựa chọn cạnh tranh với các hệ thống tổng hợp giọng nói thương mại hiện có. Nhờ thiết kế đơn giản, tốc độ huấn luyện và suy luận cao cùng khả năng tùy chỉnh rộng rãi, mô hình đã sẵn sàng để tích hợp vào ứng dụng và dịch vụ tiêu dùng.