{ Robots.txt là dạng tập tin đặc trưng mới không phải là HTML hay một loại nào khác. Mục đích của việc nắm tới file robots.txt là khai báo tặng chưa công cụ tìm kiếm gần biết rằng những nội dung cả nào trên web site của bạn được tặng sẽ phép các bot tìm kiếm luôn và lập chỉ mục.

MỤC ĐÍCH CỦA FILE ROBOTS.TXT LÀ GÌ?

Khi sở hữu mới một dụng cụ tìm kiếm chẳng tin tức đột nhiên web của bạn, điều đầu tiên mà nó tìm toàn bộ chẳng là file Robots.txt . File này sẽ nói với phương tiện nhất tìm kiếm mới những gì nên phải và không cần lập chỉ mục. Nó cũng thường xuyên mới chỉ ra vị trí website nhỏ của bạn trên XML Sitemap. Sau đó các dụng cụ tìm kiếm nhất sẽ gửi “bot”, “robot” hoặc “spider” để thu thập thông tin web site của bạn theo như là nhất hướng dẫn của file Robots.txt (các phương tiện mới tìm sẽ không gửi nếu file Robot.txt nói với họ là không thể chỉ mục).

FILE ROBOTS.TXT NẰM Ở ĐÂU?

File Robots.txt thường nằm ở thư mục gốc của bạn, bạn thường xuyên mất tiện dụng tạo một file trống và đặt tên là Robots.txt, điều này giúp bạn hạn chế được các lỗi tặng chỉ web song song mới đưa cho phép hầu hết các phương tiện đang tìm kiếm chưa thu thập tin tức xa về website không thể của bạn. Ví dụ web site bạn là sieutocviet.com thì file robots sẽ là sieutocviet.com/robots.txt

|

File Robots.txt mặc định của WordPress:

User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/

Hoặc Bạn thường xuyên mất tham khảo lập trình cả này

User-agent: * Disallow: /wp-admin/ User-agent: * Allow: / Disallow: /*?* Disallow: /*/?* Sitemap: https://web.sieutocviet.com/sitemap.xml

MỘT SỐ VÍ DỤ KHÁC VỀ ROBOTS.TXT

Chặn bot không cho chỉ mục hầu hết web site Bạn nắm tới câu lệnh như là nhất sau: User-agent:* Disallow: / Lệnh này nắm tới ý nghĩa: “Không tặng đột nhiên phép các bot của dụng cụ search log in và đánh chỉ mục trên hầu hết tài nguyên nắm tới trên web site của bạn.” Chặn bot chỉ mục vào một thư mục nhất định User-agent:* Disallow: /wp-người quản trị mới/ Disallow: /wp-includes/ Lệnh này nắm tới nghĩa: “tặng mới phép bot lập chỉ mục tất cả data trừ 2 thư mục /wp-người quản trị mới/ và /wp-includes/ là không tặng hữu ích phép.” Chặn một trang hay đường dẫn đến nội dung bài viết nhất nào đó User-agent:* Disallow: /gioi-thieu.html Lệnh này có nghĩa: “đưa cho phép bot đánh chỉ mục toàn bộ thôi các dữ liệu mới trừ đường dẫn /gioi-thieu.html” Chặn một hình ảnh nào đó User-agent:* Disallow: /images/tenhinhanhcanchan.jpg Lệnh này sở hữu nhất nghĩa: “Chặn một hình ảnh nào đó từ web của bạn, ngăn không đưa cho các bot tìm và lập chỉ mục đưa tặng nhất hình ảnh đó.” Chặn một loại bot nào đó User-agent:Spambot Disallow: / Lệnh này sở hữu chậm nghĩa: “Chặn botspam log in tất cả dữ liệu nên trên website luôn của bạn”. Trong khi đó các bot khác thì được quyền truy cập” Chặn mọi các dữ liệu nhất trong một thư mục trừ một file nào đó User-agent:* Disallow: /thumucbichan/ Allow: /thumucbichan/filekhongbichan.html Lệnh này sở hữu gần nghĩa: “Chặn bot tìm hầu hết data trong thư mục /thumucbichan/ nhưng đưa cho phép lập chỉ mục file /filekhongbichan.html” }