Nvidia đã ghi nhận rằng nhờ những cải tiến trong kiến trúc Blackwell, chi phí suy luận mạng nơ-ron đã giảm tới mức mười lần, và thành công này không chỉ được gán cho phần cứng.

Giảm chi phí suy luận trên kiến trúc Nvidia Blackwell

Các bộ tăng tốc mới của Nvidia Blackwell cho phép giảm giá thành khởi chạy các hệ thống AI đã được huấn luyện 4–10 lần. Đây là dữ liệu do chính Nvidia công bố. Tuy nhiên, nếu không có những cải tiến phần mềm và hạ tầng đi kèm thì mức tăng trưởng này sẽ khó đạt được.

Cách đạt được sự giảm chi phí đáng kể
Chỉ số | Giúp gì | Kiến trúc Blackwell | Bộ tăng tốc | Mô hình | Mã nguồn mở (MoE, NVFP4 v.v.) | Nền tảng | Baseten, DeepInfra, Fireworks AI, Together AI | Ngăn xếp phần mềm | Chuỗi tối ưu cho độ chính xác thấp
---|---|---|---|---|---|---|---|---
* Chuyển sang Blackwell gấp đôi hiệu quả so với thế hệ trước.
* Sử dụng các định dạng độ chính xác thấp (ví dụ NVFP4) giảm thêm chi phí.

Ví dụ thực tế
Công ty | Nhiệm vụ | Kết quả
---|---|---
Sully.ai | Y tế, mô hình mở trong Baseten | Tiết kiệm suy luận 90 % (giảm 10 lần), giảm thời gian phản hồi 65 %. Tự động hóa mã và hồ sơ y tế tiết kiệm 30 triệu phút công việc.
Latitude (AI Dungeon) | Trò chơi, mô hình MoE trong DeepInfra | Chi phí suy luận cho 1 triệu token giảm từ $0,20 xuống $0,05: đầu tiên với MoE (đến $0,10), sau đó với NVFP4.
Sentient Foundation | Chat agent, Fireworks AI | Hiệu quả kinh tế tăng 25–50 %. Nền tảng xử lý 5,6 triệu yêu cầu mỗi tuần mà không tăng độ trễ.
Decagon | Hỗ trợ khách hàng bằng giọng nói, Together AI | Chi phí yêu cầu giảm sáu lần nhờ ngăn xếp đa mô hình trên Blackwell. Thời gian phản hồi <400 ms ngay cả khi có vài nghìn token.

Tại sao đặc tính của tải công việc quan trọng
* Các mô hình suy luận tạo ra nhiều token hơn, đòi hỏi bộ tăng tốc mạnh hơn.
* Nền tảng sử dụng *dịch vụ phân mảnh*: ngữ cảnh chuẩn bị riêng biệt và sinh token để xử lý chuỗi dài một cách hiệu quả.
* Với khối lượng sinh lớn có thể đạt được tới 10 lần cải thiện hiệu suất; với nhỏ chỉ đến 4 lần.

Các lựa chọn thay thế Blackwell
Chuyển sang các bộ tăng tốc AMD Instinct MI300, Google TPU, Groq hoặc Cerebras cũng giảm chi phí. Điểm quan trọng là phải chọn kết hợp phần cứng, phần mềm và mô hình phù hợp với tải công việc cụ thể, chứ không chỉ dùng Blackwell.

Kết luận:

Giảm chi phí suy luận đạt được bằng cách tiếp cận toàn diện: sức mạnh phần cứng (Blackwell), mô hình mở, ngăn xếp tối ưu và phân bổ nhiệm vụ đúng cách. Điều này cho phép các công ty tiết kiệm tới mười lần trong y tế, trò chơi, AI đại lý và hỗ trợ giọng nói mà không làm giảm chất lượng hay tốc độ.