Robots.txt là dạng tập tin đặc thù không phải là HTML hay một loại nào khác. Mục đích của việc sở hữu file robots.txt là khai báo cho phương tiện tìm biết rằng những content nào trên website của bạn được tặng phép các bot tìm và lập chỉ mục.
MỤC ĐÍCH CỦA FILE ROBOTS.TXT LÀ GÌ?
Khi nắm tới một phương tiện search thông tin website của bạn, điều đầu tiên mà nó tìm kiếm đa số là file Robots.txt . File này sẽ nói với dụng cụ tìm những gì cần và không cần phải lập chỉ mục. Nó cũng khả năng cao chỉ ra vị trí web của bạn trên XML Sitemap. Sau đó các công cụ search sẽ gửi “bot”, “robot” hoặc “spider” để thu thập tin tức trang web của bạn theo như hướng dẫn cụ thể của file Robots.txt (các công cụ tìm sẽ không gửi nếu file Robot.txt nói với họ là không thể chỉ mục). 
FILE ROBOTS.TXT NẰM Ở ĐÂU?
File Robots.txt thường xuyên nằm ở thư mục gốc của bạn, bạn khả năng cao tiện lợi tạo một file trống và đặt tên là Robots.txt, điều này giúp bạn tránh được các lỗi tặng website song song đưa cho phép toàn bộ các công cụ tìm kiếm thu thập thông báo về web của bạn. Ví dụ web bạn là sieutocviet.com thì file robots sẽ là sieutocviet.com/robots.txt
