×

Sửa lỗi: Đã lập chỉ mục mặc dù bị chặn bởi robots.txt

Trong Google Search Console, nhiều người gặp cảnh báo về vấn đề lập chỉ mục, nguyên văn là: "Đã lập chỉ mục mặc dù bị chặn bởi robots.txt" đặc biệt là đối với các blog sử dụng nền tảng Blogger.

Như chúng ta đã biết robots.txt mặc định của blogger có dạng như sau:

Sửa lỗi: Đã lập chỉ mục mặc dù bị chặn bởi robots.txt

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.domain.com/sitemap.xml

Các tệp robots.txt ở trên cho thấy rằng tất cả các trang Tìm kiếm không được phép thu thập thông tin bot.

Nhưng nghịch lý là các trang tìm kiếm lại được liên kết trong blog tại menu, tiện ích nhãn hoặc thanh điều hướng, nên các trang này vẫn được bot thu thập dữ liệu.

Để khắc phục vấn đề này, chúng ta nên để các trang này(trang label) được phép thu thập thông tin bằng bot và hiển thị trong kết quả tìm kiếm.

Việc cần làm là thay thế tệp robots.txt mặc định bằng mã sau nếu bạn sử dụng tệp robots.txt như trên.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /?m=0 
Disallow: /archive.html
Allow: /
Sitemap: https://www.domain.com/sitemap.xml
Sitemap: https://www.domain.com/feeds/posts/default
Sitemap: https://www.domain.com/sitemap-pages.xml
Sitemap: https://www.domain.com/sitemap_location.xml

Các dòng sitemap chắc các bạn chẳng lạ gì duy có dòng:
Sitemap: https://www.domain.com/sitemap_location.xml
Dòng này muốn nhắc bot google ưu tiên index trên mobile.

Nhớ thay domain của bạn vào.

Sau đó bạn lưu (hoặc sửa nếu mẫu đã có) thẻ meta noindex sau trong phần <head>

Mẫu cũ:

<b:if cond='data:blog.pageType == &quot;archive&quot;'>
      <meta content='noindex,nofollow' name='robots'/>
    </b:if>

Mẫu mới:

<b:if cond='data:view.isArchive'>
<meta content='noindex,nofollow' name='robots'/>
</b:if>

Và lưu ý bạn không được bật tiện ích lưu trữ blog.

Sau đó bạn gửi yêu cầu xác thực và chờ kết quả

Sửa lỗi: Đã lập chỉ mục mặc dù bị chặn bởi robots.txt

2 nhận xét:

  1. Chào bạn! Bạn có thể cho mình địa chỉ facebook hay email để mình liên hệ hợp tác thiết kế template được không? Mình tìm trên trang mà không có phần liên hệ với bạn. Thân.

    Trả lờiXóa
    Trả lời
    1. Đây bạn
      https://www.blogtdb.info/p/lien-he.html

      Xóa

Bạn có thể sử dụng biểu cảm yahoo

Ads in post custom

Ads in post custom1

Ads in post custom2

Ads in post custom3