Andrey Karpaty đã huấn luyện các tác nhân AI thực hiện hàng trăm thí nghiệm vào ban đêm khi mọi người nghỉ ngơi

Andrej Karpathy mở ra một phương pháp mới cho tự nghiên cứu

Cựu trưởng các dự án AI của Tesla và đồng sáng lập OpenAI, Andrej Karpathy, đã công bố việc khởi động một dự án mã nguồn mở đơn giản nhưng mạnh mẽ. Script chỉ gồm 630 dòng và được đăng trên GitHub. Nó không tuyên bố là mô hình sẵn sàng hay sản phẩm doanh nghiệp lớn; mục tiêu là cho thấy cách các tác nhân AI có thể tự động hoàn toàn phương pháp khoa học mà không cần can thiệp của con người.

> “Nhiệm vụ của chúng ta là xây dựng những tác nhân tiến triển vô hạn nhanh trong nghiên cứu, ngay cả vào ban đêm” – Karpathy viết trên X. Tin tức ngay lập tức trở nên lan truyền và thu hút hơn 8,6 triệu lượt xem trong hai ngày.

Cách hệ thống hoạt động
1. Khởi tạo

Tác nhân nhận script đào tạo và ngân sách tính toán cố định (thường là 5 phút trên GPU).

2. Phân tích mã của chính mình

Đọc lại mã nguồn của bản thân, đề xuất giả thuyết cải tiến (ví dụ như thay đổi tốc độ học hoặc chiều sâu mô hình).

3. Sửa đổi và chạy thử nghiệm

Thực hiện các thay đổi, khởi động thử nghiệm và đánh giá kết quả.

4. Kiểm tra hiệu quả

Nếu chỉ số *val_bpb* (lỗi trên byte khi xác thực) được cải thiện, thay đổi được lưu; nếu không, quay lại và tạo giả thuyết mới.

Trong một đêm, tác nhân đã hoàn thành 126 thử nghiệm, giảm lỗi từ 0,9979 xuống 0,9697. Sau hai ngày điều chỉnh, nó xử lý khoảng 700 thay đổi tự động, phát hiện ~20 cải tiến bổ sung mà thành công chuyển sang các mô hình lớn hơn.

Karpathy lưu ý: “Thấy tác nhân hoàn toàn điều khiển quy trình từ đầu đến cuối là điều tuyệt vời. Nó đã tìm ra những lỗi trong việc mở rộng chú ý và điều chỉnh, những gì tôi bỏ lỡ trong 20 năm làm việc.”

Những chuyên gia nói gì
Tự động hóa phương pháp khoa học được coi là một bước chuyển đổi nền tảng trong phát triển AI. Bằng cách biến học máy thành “quá trình tiến hóa” với tốc độ silicon, Karpathy đã mở ra những chân trời mới cho nghiên cứu không chỉ trong IT mà còn trong marketing, chăm sóc sức khỏe và các lĩnh vực khác.

Ví dụ ứng dụng thực tiễn
| Đối tác | Mô tả thử nghiệm | Kết quả |
|---------|------------------|--------|
| Hyperspace AI (Varun Mathur) | 35 tác nhân tự động làm việc trong mạng ngang hàng, sử dụng CPU laptop. | Trong một đêm họ đã thực hiện 333 thử nghiệm mà không cần người điều khiển, khám phá các chiến lược khởi tạo (Kaiming, Xavier) và chuẩn hóa (RMSNorm). |
| Single Grain (Eric Siu) | Tự động hoá chu trình marketing: tác nhân thay đổi biến trong trang đích, nội dung quảng cáo hoặc email. | Đo “tỷ lệ phản hồi tích cực”, lưu lại những thay đổi thành công và loại bỏ những không hiệu quả. |

Kết luận
Karpathy đã chứng minh cách các script đơn giản có thể trở thành công cụ mạnh mẽ cho việc tự học của tác nhân AI. Chu kỳ tối ưu hoá tự động cho phép thực hiện hàng trăm thử nghiệm trong một đêm, phát hiện cải tiến mà trước đây cần nhiều năm nghiên cứu. Điều này mở đường cho sự phát triển nhanh hơn và khả năng mở rộng mô hình trong nhiều lĩnh vực khác nhau.