Trong bài viết này mình sẽ chia sẻ cho các bạn Mã robot.txt chuẩn và cách thêm nó vào Blogspot đúng cách. Giúp index bài viết dễ dàng hơn.

Mã robot.txt chuẩn và cách thêm nó vào Blogspot đúng cách

Vậy file Robots.txt là gì?

Robots.txt là một file dạng text mà khi xây dựng website bạn có thể tạo ra để nói cho những con bọ của bộ máy tìm kiếm rằng, làm thế nào để thu thập thông tin và index các trang trên website đó.

Cách sử dụng

Để sử dụng các bạn cần phải bật tính năng robot.txt tùy chỉnh lên.
Bạn vào BlogCài đặt Tùy chọn tìm kiếm sau đó bật Robots.txt tùy chỉnh lên
Sau đó chèn mã dưới đây.
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://www.themix.vn/sitemap.xml

Giải thích sơ bộ
  • User-agent: * Xác định các công cụ tìm kiếm mà quy tắc được áp dụng.
  • Disallow: / Báo cho công cụ tìm kiếm biết nó không nên "Lục lọi" ở những file này.
  • Allow: / Cho phép công cụ tìm kiếm index đọc tất cả các nội dung.
  • Themix.vn thay thành địa chỉ trang của các Bạn.