File Robots.txt mặc định của WordPress:
User-agent: *Disallow: /wp-admin/Disallow: /wp-includes/
Hoặc Bạn có thể tham khảo lập trình này
User-agent: * Disallow: /wp-admin/ User-agent: * Allow: / Disallow: /*?* Disallow: /*/?* Sitemap: https://web.sieutocviet.com/sitemap.xml
MỘT SỐ VÍ DỤ KHÁC VỀ ROBOTS.TXT
Chặn bot không đưa cho chỉ mục đa số trang web Bạn có câu lệnh như sau: User-agent:* Disallow: / Lệnh này sở hữu ý nghĩa: “Không tặng phép các bot của phương tiện tìm truy cập và đánh chỉ mục trên đa số tài nguyên sở hữu trên website của bạn.” Chặn bot chỉ mục vào một thư mục nhất định User-agent:* Disallow: /wp-admin/ Disallow: /wp-includes/ Lệnh này nắm tới nghĩa: “Cho phép bot lập chỉ mục toàn bộ data trừ 2 thư mục /wp-admin/ và /wp-includes/ là không đưa cho phép.” Chặn một trang hay đường dẫn đến nội dung bài viết nào đó User-agent:* Disallow: /gioi-thieu.html Lệnh này có nghĩa: “Cho phép bot đánh chỉ mục toàn bộ các dữ liệu trừ đường dẫn /gioi-thieu.html” Chặn một hình ảnh nào đó User-agent:* Disallow: /images/tenhinhanhcanchan.jpg Lệnh này nắm tới nghĩa: “Chặn một hình ảnh nào đó từ web site của bạn, ngăn không tặng các bot search và lập chỉ mục đưa cho hình ảnh đó.” Chặn một loại bot nào đó User-agent:Spambot Disallow: / Lệnh này có nghĩa: “Chặn botspam truy cập tất cả dữ liệu trên website của bạn”. Trong khi đó các bot khác thì được quyền truy cập” Chặn tất cả các data trong một thư mục trừ một file nào đó User-agent:* Disallow: /thumucbichan/ Allow: /thumucbichan/filekhongbichan.html Lệnh này nắm tới nghĩa: “Chặn bot tìm kiếm tất cả data trong thư mục /thumucbichan/ nhưng cho phép lập chỉ mục file /filekhongbichan.html”
Tất Vành Cơ (sieutocviet.org)
Với hơn 3 năm thực chiến Laravel 7 năm thực chiến trong quản trị web site tư vấn giải pháp đẩy top, Kinh doanh online tối ưu nhất cho công ty.
Hiện là quản lý kinh doanh tại Siêu Tốc Việt.