Sitemap robots txt
File sitemap robots txt chuẩn
Robots.txt là một loại tệp đặc biệt không phải là HTML hay bất kỳ đồ vật gì tương tự. Mục đích của tệp robots.txt là để cho các phương tiện tìm biết nội dung nào trên trang web của bạn thường xuyên được các bot thu thập và lập chỉ mục.
File robots txt chuẩn
Một số ví dụ khác về file robots txt chuẩn Chặn bot không tặng chỉ mục toàn bộ phát triển website Bạn nắm tới câu lệnh như là sau: User-agent:* Disallow: / Lệnh này có ý nghĩa: “Không cho phép các bot của phương tiện tìm kiếm log in và đánh chỉ mục trên hầu hết tài nguyên nắm tới trên website của bạn.” Chặn bot chỉ mục vào một thư mục nhất định User-agent:* Disallow: /wp-admin/ Disallow: /wp-includes/ Lệnh này sở hữu nghĩa: “Cho phép bot lập chỉ mục toàn bộ data trừ 2 thư mục /wp-admin/ và /wp-includes/ là không tặng phép.” Chặn một trang hay đường dẫn đến bài viết nào đó User-agent:* Disallow: /gioi-thieu.html Lệnh này nắm tới nghĩa: “Cho phép bot đánh chỉ mục mọi các data trừ đường dẫn /gioi-thieu.html” Chặn một hình ảnh nào đó User-agent:* Disallow: /images/tenhinhanhcanchan.jpg Lệnh này nắm tới nghĩa: “Chặn một hình ảnh nào đó từ trang web của bạn, ngăn không tặng các bot search và lập chỉ mục đưa cho hình ảnh đó.” Chặn một loại bot nào đó User-agent:Spambot Disallow: / Lệnh này nắm tới nghĩa: “Chặn botspam đăng nhập hầu hết dữ liệu trên trang web của bạn”. Trong khi đó các bot khác thì được quyền truy cập” Chặn mọi các dữ liệu trong một thư mục trừ một file nào đó User-agent:* Disallow: /thumucbichan/ Allow: /thumucbichan/filekhongbichan.html Lệnh này có nghĩa: “Chặn bot tìm kiếm hầu hết data trong thư mục /thumucbichan/ nhưng cho phép lập chỉ mục file/filekhongbichan.html”
