AI đã thể hiện thành công trong việc nghiên cứu các ngôn ngữ hiếm và ít phổ biến

Các mô hình ngôn ngữ lớn thu hẹp khoảng cách ngôn ngữ

Phiên bản mới của trí tuệ nhân tạo (AI) cho thấy tiến bộ đáng kể trong việc xử lý các ngôn ngữ hiếm và ít được biết đến, giảm đáng kể “khoảng cách ngôn ngữ” toàn cầu. Điều này được xác nhận bởi nghiên cứu của công ty RWS, được đăng tải trên TechRadar.

1. Những gì nghiên cứu đã chỉ ra
- Google Gemini Pro đạt điểm chất lượng hơn 4,5/5 trong việc hiểu tiếng Kinyarwanda – một ngôn ngữ có khoảng 12 triệu người nói ở Rwanda, Uganda và Cộng hòa Dân chủ Congo.
- Các tác giả giải thích thành công này bằng cách cho rằng các mô hình hiện đại không chỉ dựa vào bộ dữ liệu lớn của một ngôn ngữ cụ thể mà còn sử dụng những quy luật thống kê chung của tất cả ngôn ngữ (cơ chế chuyển giao ngôn ngữ).
- Cải tiến trong các tokenizador – hệ thống phân chia văn bản thành “token” – cũng góp phần làm cho việc xử lý các ngôn ngữ hiếm trở nên chính xác hơn.

2. Hiệu ứng “độ trôi dạt của benchmark”
Các chuyên gia đã phát hiện rằng khi chuyển từ một phiên bản mô hình sang phiên bản tiếp theo, khả năng của nó có thể thay đổi bất ngờ:
- Phiên bản mới nhất của OpenAI GPT lại kém hơn các mô hình cũ trong một số nhiệm vụ tạo nội dung, mặc dù tiền nhiệm hiệu quả hơn.
- Hiệu suất của tokenizador có thể khác nhau tới 3,5 lần giữa các thế hệ; điều này có nghĩa là kết quả thử nghiệm trước đây không luôn áp dụng cho các phiên bản mới.

3. Những gì thay đổi trong ưu tiên của nhà phát triển
- Trước đây, các phòng thí nghiệm AI đặt trọng tâm vào hiệu suất trên tiếng Anh và một vài ngôn ngữ chính.
- Các mô hình hiện đại đã thành công trong những nhiệm vụ này, vì vậy sự chú ý chuyển sang đối tượng rộng hơn: hỗ trợ các ngôn ngữ hiếm trở nên quan trọng hơn.
- Tuy nhiên, điểm 4,5/5 không đảm bảo mức độ thực tế của khả năng sử dụng ngôn ngữ; hỗ trợ đa ngôn ngữ vẫn chưa được coi là thiết yếu.

4. Kết luận
AI tiếp tục phá vỡ rào cản giữa các nền văn hoá và ngôn ngữ. Mặc dù “độ phủ” của các ngôn ngữ hiếm vẫn chưa trở thành yêu cầu bắt buộc, xu hướng mở rộng đối tượng người dùng đã được nhìn thấy và, theo dự đoán của các chuyên gia, sẽ tiếp tục tăng trong những năm tới.