Trợ lý AI hiện nay là một loại người dùng mới trên mạng và nguồn lưu lượng truy cập, và các hạn chế không làm cản trở họ

Trí tuệ nhân tạo đã bắt đầu kiểm soát một phần lớn lưu lượng truy cập web

Theo báo cáo mới nhất của công ty Akamai, được đăng trên tạp chí *Wired*, các bot dựa trên AI chiếm tỷ lệ ngày càng tăng trong lượt truy cập trang web. Báo cáo mô tả cách việc chặn dữ liệu từ những bot này và hành động tinh vi của chúng biến thành một “cuộc đua vũ khí” thực sự trên internet.

Những gì đang xảy ra
- Các loại khách truy cập mới

Chuyên gia nhận thấy rằng các bot AI không chỉ sao chép nội dung – họ trở thành một lớp người dùng mới. Chủ sở hữu các cổng thông tin lớn cố gắng hạn chế quyền truy cập vào những tài liệu mà bot có thể thu thập và sử dụng để huấn luyện mô hình của mình.

- Thu thập dữ liệu thời gian thực

Một số bot mở ra thông tin từ mạng ngay lập tức và áp dụng nó để cải thiện dịch vụ riêng: giá hiện tại của hàng hóa, lịch chiếu phim, bản tóm tắt nhanh tin tức v.v.

Thống kê tăng trưởng
| Kỳ hạn | Tỷ lệ lượt truy cập bot |
|--------|--------------------------|
| 1–3 tháng 2025 | 1 trong 200 lượt truy cập |
| Quý IV 2025 | 1 trong 50 khách truy cập |

- Vi phạm robots.txt

Hơn 13 % bot bỏ qua các chỉ thị của tệp *robots.txt*. Từ quý II đến quý IV, hành vi này tăng lên 400 %, trong khi nỗ lực của quản trị viên để chặn chúng chỉ tăng 336 %.

- Che giấu

Một số bot thay đổi tiêu đề và giả lập yêu cầu trình duyệt thông thường để vượt qua bảo vệ.

Dịch vụ và giải pháp
| Công ty | Ghi nhận |
|---------|----------|
| TollBit | Nền tảng kết nối hợp đồng giữa các nhà phát triển AI và nhà xuất bản, cho phép thanh toán cho nội dung. |
| Cloudflare | Công cụ chặn bot được tạo bởi những nhà phát triển không trung thực. |
| Bright Data | Khẳng định rằng bot của họ chỉ thu thập thông tin công khai. |
| ScrapingBee | Nhấn mạnh nguyên tắc mở internet cho con người và máy móc. |
| Oxylabs | Chuyên về thu thập dữ liệu; tuyên bố rằng bảo vệ trang web không phân biệt lưu lượng hợp pháp và độc hại. |

Có nhiều mục đích hợp pháp trong việc thu thập tài liệu: an ninh mạng, điều tra báo chí và các nhiệm vụ khác. Tuy nhiên, hầu hết các cơ chế bảo vệ hiện nay được áp dụng đồng nhất cho mọi kịch bản.

Xu hướng thị trường
- Hơn 40 công ty hiện đang cung cấp bot để thu thập dữ liệu cần thiết cho việc huấn luyện AI.
- Các hệ thống tìm kiếm có AI và các tác nhân như OpenClaw đang trở nên năng động hơn.
- Một số công ty đã giúp doanh nghiệp tìm tài liệu cho các tác nhân AI và phát triển công cụ tối ưu hóa nội dung cho học máy.

Những phát triển này hứa hẹn sự xuất hiện của một “kênh marketing toàn diện”, nơi tìm kiếm, quảng cáo, truyền thông và thương mại được tích hợp vào một hệ sinh thái duy nhất.