Trình tạo robots.txt
Tạo robots.txt với nhiều khối user-agent, Allow/Disallow, tùy chọn Crawl-delay, Host và các dòng Sitemap. Xem trước cập nhật theo thời gian thực khi bạn nhập.
Khối User-agent
Thiết lập chung
Ghi chú:
Host được một số bot tôn trọng (ví dụ: Yandex). Crawl-delay không được Google sử dụng nhưng có thể được các bot khác dùng. Ký tự đại diện * và $ được hỗ trợ rộng rãi (không thuộc RFC lõi).
Xem trước (robots.txt)
Trình kiểm tra URL
Lưu ý:
robots.txt là tệp công khai và chỉ mang tính hướng dẫn cho các bot “biết điều”; nó không phải là cơ chế kiểm soát truy cập.
Asted Cloud
Bình luận (0)
Chia sẻ ý kiến của bạn — vui lòng lịch sự và đúng chủ đề.
Đăng nhập để bình luận