Robots.txt là dạng tập tin đặc trưng không phải là HTML hay một loại nào khác. Mục đích của việc sở hữu file robots.txt là khai báo tặng công cụ tìm biết rằng những content nào trên web site của bạn được đưa cho phép các bot search và lập chỉ mục.

MỤC ĐÍCH CỦA FILE ROBOTS.TXT LÀ GÌ?

Khi có một phương tiện tìm kiếm thông báo trang web của bạn, điều đầu tiên mà nó tìm đa số là file Robots.txt . File này sẽ nói với phương tiện tìm kiếm những gì cần phải và không cần phải lập chỉ mục. Nó cũng thường chỉ ra vị trí website của bạn trên XML Sitemap. Sau đó các dụng cụ search sẽ gửi “bot”, “robot” hoặc “spider” để thu thập thông tin web của bạn theo như là có các hướng dẫn của file Robots.txt (các dụng cụ tìm kiếm sẽ không gửi nếu file Robot.txt nói với họ là không thể chỉ mục).

FILE ROBOTS.TXT NẰM Ở ĐÂU?

File Robots.txt khả năng cao nằm ở thư mục gốc của bạn, bạn khả năng cao lợi ích tạo một file trống và đặt tên là Robots.txt, điều này hỗ trợ bạn tránh được các lỗi tặng web site cùng lúc đưa cho phép mọi các công cụ tìm thu thập tin tức về web của bạn. Ví dụ web bạn là sieutocviet.com thì file robots sẽ là sieutocviet.com/robots.txt