Ollama hiện hỗ trợ tăng tốc phần cứng trên chip Apple M5 khi có 32 GB RAM được cài đặt

Ollama — ứng dụng để chạy mô hình AI cục bộ giờ đây nhanh hơn trên chip Mac M5

Cách nhìn nhận: Phiên bản mới của Ollama 0.19
Hệ điều hành hỗ trợ: Windows, macOS, Linux
Tăng tốc phần cứng: Chỉ dành cho chip Apple M5 (M5 Pro, M5 Max)
Yêu cầu bộ nhớ: Tối thiểu 32 GB RAM thống nhất

Những thay đổi
Ollama cho phép người dùng tải và chạy các mô hình trí tuệ nhân tạo trực tiếp trên máy tính của mình. Khác với các dịch vụ đám mây như ChatGPT, ở đây không cần kết nối liên tục tới mạng.

Bắt đầu từ phiên bản 0.19, nhà phát triển đã thêm hỗ trợ Apple MLX – một khung học máy, cũng như bộ nhớ thống nhất (Unified Memory Architecture). Điều này giúp tăng tốc độ làm việc của mô hình trên các chip Apple M5 mới, giảm thời gian đến token đầu tiên và nâng cao tốc độ tổng thể của quá trình sinh.

Cách hoạt động
* Bộ tăng tốc thần kinh: Ollama truy cập vào các khối mạng nơ-ron chuyên dụng bên trong chip M5, làm cho việc xuất token nhanh hơn.
* Các mô hình: Nhanh hơn cả các tác nhân AI cá nhân (ví dụ, OpenClaw) lẫn các hệ thống lớn hơn – OpenCode, Anthropic Claude Code, OpenAI Codex và nhiều hơn nữa.

Giới hạn
1. Tăng tốc chỉ khả dụng trên chip Apple M5 (M5 Pro/Max).
2. Máy tính phải có ít nhất 32 GB bộ nhớ thống nhất; nếu không, tăng tốc sẽ không hoạt động.

Vì vậy, nếu bạn có Mac với chip M5 và đủ dung lượng RAM, bạn sẽ thấy đáng kể nâng cao hiệu suất của ứng dụng AI cục bộ Ollama.