Khởi chạy mô hình AI trên PDP-11 cũ: một người hâm mộ đã sử dụng CPU 6 MHz và 64 KB RAM

Cự hạng Microsoft trình diễn hoạt động của mô hình transformer trên máy tính cũ

*Dave Plummer – nhà phát triển Windows nổi tiếng,*

*nhiều chứng minh rằng các mô hình AI hiện đại có thể được huấn luyện ngay cả trên thiết bị đã qua một thập kỷ.*

Những gì đã làm
- Thiết bị: PDP‑11 / 44, máy tính 47 tuổi với bộ xử lý 6 MHz và 64 KB RAM.

- Mô hình: “Attention 11” – mạng transformer được viết bằng ngôn ngữ assembly của PDP‑11 bởi Damien Buret.

- Nhiệm vụ huấn luyện: xây dựng chuỗi đảo ngược từ tám số.

Mô hình không cần ghi nhớ các ví dụ; nó phải học quy tắc “đảo chuỗi”.

Cách hoạt động
1. Khởi tạo – mô hình bắt đầu với trọng số ngẫu nhiên, độ chính xác gần như bằng 0.

2. Huấn luyện – ở mỗi bước thực hiện một lần truyền tiến (định dạng cố định 8-bit) và cập nhật trọng số.

3. Học dần dần mẫu – sau vài trăm vòng lặp, cơ chế chú ý “phát hiện” quy tắc, và mô hình chuyển từ đoán ngẫu nhiên sang kiến thức thực sự.

> “Chúng ta quan sát được cấu trúc đơn giản của quá trình học… cuối cùng máy tính vượt qua ranh giới vô hình — từ đoán đến hiểu biết.” – Plummer

Kết quả
- Độ chính xác: 100 % trong nhiệm vụ chuỗi đảo ngược.

- Tốc độ: khoảng 350 bước huấn luyện, mất ~3,5 phút trên PDP‑11/44 với bộ nhớ cache.

Ý nghĩa đối với AI hiện đại
Plummer nhấn mạnh rằng các nguyên tắc cơ bản của học tập – các phép toán số học lặp đi lặp lại và điều chỉnh lỗi – được thực thi hoàn toàn ngay cả trong một hệ thống đơn giản như vậy.

“Máy cũ này không suy nghĩ theo cách huyền bí; nó chỉ cập nhật vài nghìn con số. Cốt lõi của AI hiện đại là mở rộng quy trình này.”

Như vậy, tác giả đã chứng minh rằng cơ chế cơ bản của transformer vẫn giữ nguyên, bất kể thiết bị chạy trên đó là gì.