File Robots.txt mặc định của Wp:
User-agent: *Disallow: /wp-admin/Disallow: /wp-includes/
Hoặc Bạn thường tham khảo code này
User-agent: * Disallow: /wp-admin/ User-agent: * Allow: / Disallow: /*?* Disallow: /*/?* Sitemap: https://web.sieutocviet.com/sitemap.xml
MỘT SỐ VÍ DỤ KHÁC VỀ ROBOTS.TXT
Chặn bot không cho chỉ mục mọi website Bạn có câu lệnh như sau: User-agent:* Disallow: / Lệnh này nắm tới ý nghĩa: “Không tặng phép các bot của dụng cụ tìm log in và đánh chỉ mục trên mọi tài nguyên sở hữu trên trang web của bạn.” Chặn bot chỉ mục vào một thư mục nhất định User-agent:* Disallow: /wp-admin/ Disallow: /wp-includes/ Lệnh này sở hữu nghĩa: “Cho phép bot lập chỉ mục toàn bộ data trừ 2 thư mục /wp-admin/ và /wp-includes/ là không đưa cho phép.” Chặn một trang hay đường dẫn đến bài viết nào đó User-agent:* Disallow: /gioi-thieu.html Lệnh này có nghĩa: “Cho phép bot đánh chỉ mục tất cả các data trừ đường dẫn /gioi-thieu.html” Chặn một hình ảnh nào đó User-agent:* Disallow: /images/tenhinhanhcanchan.jpg Lệnh này nắm tới nghĩa: “Chặn một hình ảnh nào đó từ web site của bạn, ngăn không đưa cho các bot tìm kiếm và lập chỉ mục đưa cho hình ảnh đó.” Chặn một loại bot nào đó User-agent:Spambot Disallow: / Lệnh này sở hữu nghĩa: “Chặn botspam truy cập đa số data trên web của bạn”. Trong khi đó các bot khác thì được quyền truy cập” Chặn hầu hết các data trong một thư mục trừ một file nào đó User-agent:* Disallow: /thumucbichan/ Allow: /thumucbichan/filekhongbichan.html Lệnh này nắm tới nghĩa: “Chặn bot search toàn bộ dữ liệu trong thư mục /thumucbichan/ nhưng tặng phép lập chỉ mục file /filekhongbichan.html”
Tất Vành Cơ (sieutocviet.org)
Với 6 năm kinh nghiệm Wordpress, asp.net 6 năm kinh nghiệm trong quản lý website tư vấn giải pháp Seo google, Digital marketing tối ưu nhất cho công ty.
Hiện giữ chức vụ quản lý kinh doanh tại Siêu Tốc Việt.