Trong bài viết này mình sẽ chia sẻ cho các bạn Mã robot.txt chuẩn và cách thêm nó vào Blogspot đúng cách. Giúp index bài viết dễ dàng hơn.
Vậy file Robots.txt là gì?
Robots.txt là một file dạng text mà khi xây dựng website bạn có thể tạo ra để nói cho những con bọ của bộ máy tìm kiếm rằng, làm thế nào để thu thập thông tin và index các trang trên website đó.Cách sử dụng
Để sử dụng các bạn cần phải bật tính năng robot.txt tùy chỉnh lên.
Bạn vào Blog ➙ Cài đặt ➙ Tùy chọn tìm kiếm sau đó bật Robots.txt tùy chỉnh lên
Sau đó chèn mã dưới đây.
Bạn vào Blog ➙ Cài đặt ➙ Tùy chọn tìm kiếm sau đó bật Robots.txt tùy chỉnh lên
Sau đó chèn mã dưới đây.
User-agent: Mediapartners-GoogleDisallow:User-agent: *Disallow: /searchAllow: /Sitemap: https://www.themix.vn/sitemap.xml
Giải thích sơ bộ
- User-agent: * Xác định các công cụ tìm kiếm mà quy tắc được áp dụng.
- Disallow: / Báo cho công cụ tìm kiếm biết nó không nên "Lục lọi" ở những file này.
- Allow: / Cho phép công cụ tìm kiếm index đọc tất cả các nội dung.
- Themix.vn thay thành địa chỉ trang của các Bạn.
