Nvidia đã giới thiệu Nemotron 3 Super 120B – một mô hình ngôn ngữ mở với tốc độ tăng gấp năm lần cho các tác nhân AI.

Mô hình mới của Nvidia – Nemotron 3 Super

Nvidia đã công bố việc ra mắt Nemotron 3 Super, một mô hình AI mở kiểu Mixture‑of‑Experts (MoE).

* 120 tỷ tham số tổng cộng, trong đó có 12 tỷ tham số hoạt động.
* Được thiết kế cho AI đại lý – các hệ thống nơi nhiều “đại lý” tương tác với nhau và với thế giới bên ngoài.

Kiến trúc
Mô hình sử dụng phương pháp kết hợp Mamba‑Transformer (kết hợp lớp Mamba và thành phần Transformer).

Trong Nemotron 3 Super lần đầu tiên áp dụng mô hình LatentMoE, các lớp Multi‑Token Prediction và huấn luyện sơ bộ theo giao thức NVFP4. Theo Nvidia, ngăn xếp này nâng cao độ chính xác và tăng tốc suy luận.

Hiệu suất
* Độ băng thông – nhanh tới 5 lần so với phiên bản Nemotron Super trước đó.
* Độ chính xác – cao tới 2 lần.
* Hỗ trợ cửa sổ ngữ cảnh lên đến 1 triệu token cho phép các đại lý lưu trữ toàn bộ trạng thái công việc, giảm rủi ro lệch mục tiêu.

Ứng dụng thực tiễn
Nemotron 3 Super phù hợp với những nhiệm vụ phức tạp trong hệ thống đa đại lý:

Huấn luyện
Mô hình được huấn luyện trên dữ liệu tổng hợp, tạo ra bằng các mô hình tư duy logic. Nvidia tiết lộ phương pháp đầy đủ:

* Hơn 10 nghìn tỷ token trước và sau khi huấn luyện;
* 15 môi trường để huấn luyện tăng cường;
* Công thức đánh giá.

Các nhà nghiên cứu có thể sử dụng nền tảng Nvidia NeMo để tinh chỉnh thêm hoặc tạo phiên bản mô hình riêng của mình.

Chi tiết kỹ thuật
* Hỗ trợ NVFP4 trên kiến trúc Nvidia Blackwell.
* Giảm yêu cầu bộ nhớ và tăng tốc độ xuất dữ liệu bốn lần so với FP8 trên Nvidia Hopper mà không mất đi độ chính xác.

Khả năng truy cập
Mô hình đã có sẵn:

* Qua build.nvidia.com, Hugging Face, OpenRouter và Perplexity.
* Đối tác đám mây: Google Cloud Vertex AI, Oracle Cloud Infrastructure, CoreWeave, Together AI, Baseten, Cloudflare, DeepInfra, Fireworks AI, Modal.
* Dưới dạng microservice Nvidia NIM, cho phép triển khai mô hình cục bộ hoặc trên đám mây.

Nemotron 3 Super mở ra những khả năng mới cho AI đại lý, kết hợp độ chính xác cao, khả năng mở rộng và tính linh hoạt trong cấu hình.