Robots.txt là dạng tập tin đặc thù không phải là HTML hay một loại nào khác. Mục đích của việc nắm tới file robots.txt là khai báo cho dụng cụ tìm kiếm biết rằng những content nào trên web site của bạn được tặng phép các bot tìm và lập chỉ mục.

MỤC ĐÍCH CỦA FILE ROBOTS.TXT LÀ GÌ?

Khi sở hữu một dụng cụ search tin tức website của bạn, điều đầu tiên mà nó tìm kiếm toàn bộ là file Robots.txt . File này sẽ nói với công cụ tìm những gì tốt nhất nên và không tốt nhất nên lập chỉ mục. Nó cũng khả năng cao chỉ ra vị trí website của bạn trên XML Sitemap. Sau đó các dụng cụ tìm sẽ gửi “bot”, “robot” hoặc “spider” để thu thập thông tin website của bạn theo như là có các hướng dẫn của file Robots.txt (các phương tiện tìm sẽ không gửi nếu file Robot.txt nói với họ là không thể chỉ mục).

FILE ROBOTS.TXT NẰM Ở ĐÂU?

File Robots.txt khả năng cao nằm ở thư mục gốc của bạn, bạn có lẽ tiện dụng tạo một file trống và đặt tên là Robots.txt, điều này giúp cho bạn hạn chế được các lỗi đưa cho web site song song tặng phép đa số các công cụ tìm kiếm thu thập thông tin về web của bạn. Ví dụ web site bạn là sieutocviet.com thì file robots sẽ là sieutocviet.com/robots.txt