-->

Thiết lập tệp robot.txt chuẩn cho blogspot

Tệp robot.txt là gì?

Một tập tin robots.txt là một tệp được lưu ở định dạng văn bản cho biết robot công cụ tìm kiếm thu thập dữ liệu web để truy cập blog của bạn.

Những robot này được tự động hóa và trước khi truy cập các trang trên blog của bạn, chúng sẽ kiểm tra nội dung của tệp robots.txt cấm họ truy cập vào một số trang nhất định nào đó.

Tệp robot.txt ở đâu cho blog của bạn?

Nó có đường dẫn là

https://www.giaodienblogbanhang.com/robots.txt

Dưới đây là file robot.txt chuẩn cho blogspot

User-agent: Mediapartners-Google

Disallow:



User-agent: *

Disallow: /search

Allow: /



Sitemap: https://www.giaodienblogbanhang.com/sitemap.xml

Các bạn thay domain của blog các bạn vô bên trên.

Cách cài đặt tệp robot.txt như sau: Cài đặt - Tùy chọn tìm kiếmRobots.txt tùy chỉnh

Các bạn nhấn chỉnh sửa và copy đoạn code trên dán vô đó và lưu lại là xong, các bạn nhớ là phải thay domain của các bạn vô nhé.

Một số blog khác cài đặt sitemap có dạng là:

Sitemap: https://www.tendomaincuablog.com/feeds/posts/default?orderby=UPDATED

Như vậy có đúng và chuẩn không?

Nó cũng là một sitemap với mắt thường thì chúng ta không phân biệt được nó đúng hay sai, và dưới đây là mình check tools kiểm tra so sánh 2 sitemap trên nhé

1. Sitemap.xml : https://www.giaodienblogbanhang.com/sitemap.xml

Thiết lập tệp robot.txt chuẩn cho blogspot

2. Sitemap dạng: https://www.giaodienblogbanhang.com/feeds/posts/default?orderby=UPDATED

Sẽ bị cảnh báo như hình

Thiết lập tệp robot.txt chuẩn cho blogspot

Như vậy thì cái sitemap nào chuẩn, thì mình dùng thôi đúng không nào.

11 Nhận xét

  1. Mỗi chỗ bảo một kiểu nhưng điểm chung là chỗ nào cũng bảo chuẩn, éo biết đâu mà lần :( :))

    Trả lờiXóa
    Trả lời
    1. Chuẩn ở đây là file mặc định của Google đưa ra đó

      Xóa
  2. Của mình đang để là:

    User-agent: Mediapartners-Google
    Disallow:
    User-agent: *
    Allow: /
    Disallow: /search
    Disallow: /*?updated-max=*
    Disallow: *archive.html
    Sitemap: https://www.nguyenanhduy.com/feeds/posts/default?orderby=UPDATED

    Trả lờiXóa
    Trả lời
    1. Sitemap kiểu này sẽ bị cảnh báo (Following sitemaps do not have a valid structure)

      Xóa
    2. Các sơ đồ trang web sau không có cấu trúc hợp lệ

      Xóa
    3. Check: https://1.bp.blogspot.com/-7ge6w7uHT90/XwJ3wu1mHKI/AAAAAAAANv0/-jx1aqTWTOEphSENUqX9TJxYxnaWRvitgCLcBGAsYHQ/s1600/Capture.PNG

      Xóa
    4. Check sitemap.xml : https://1.bp.blogspot.com/-SOAWT2W7jkQ/XwJ4Q7wmcTI/AAAAAAAANv8/pApKUEeB5ycxskOqhLDQUKZ5U6V_595KQCLcBGAsYHQ/s1600/right.PNG

      Xóa
    5. Đã sửa, cảm ơn Hòa. Check như nào vậy? check lại giúp mình vs :D

      Mà thêm emo ảnh vào comment đi :D

      Xóa
    6. User-agent: Mediapartners-Google
      Disallow:
      User-agent: *
      Allow: /
      Disallow: /search
      Disallow: /*?updated-max=*
      Disallow: *archive.html

      Sitemap: https://www.nguyenanhduy.com/sitemap.xml

      Xóa
    7. Check ở trang: https://www.woorank.com

      Xóa
  3. Bạn ơi cho mình hỏi vì sao website mình khi mình vào website, nó lại hiện lên luôn tệp thông tin: User-agent: Mediapartners-Google Disallow: User-agent: * Allow: / Disallow: /*?updated-max=* Disallow: *archive.html Disallow: /search Sitemap: https://bientantrungquoc.blogspot.com/feeds/posts/default?orderby=UPDATED ngày ở trang nhất nhỉ ?

    Trả lờiXóa

Đăng nhận xét

Mới hơn Cũ hơn