MỤC LỤC
Bạn có thể ngăn không cho một trang xuất hiện trong kết quả tìm kiếm của Google bằng cách thêm một thẻ meta “noindex” vào trong mã HTML của trang hoặc bằng cách trả về một tiêu đề ‘noindex’ trong phản hồi HTTP. Khi Googlebot thu thập dữ liệu trang đó và nhìn thấy thẻ meta hoặc tiêu đề, Googlebot sẽ tự động loại bỏ trang đó khỏi kết quả tìm kiếm của mình, bất kể các trang web khác có liên kết đến nó hay không.
Lưu ý: Để cho thẻ meta noindex có hiệu quả, bạn không được chặn trang đó trong file robots.txt. Nếu trang đó bị chặn thì trình thu thập thông tin sẽ không bao giờ nhìn thấy thẻ noindex và trang đó vẫn có thể xuất hiện trong kết quả tìm kiếm.
Thực hiện chặn lập chỉ mục với “noindex”
Có hai cách để thực hiện việc này là dưới dạng thẻ meta và dưới dạng tiêu đề HTTP. Hai cách này có hiệu quả tương đương nhau nên bạn có thể lựa chọn một trong hai sao cho phù hợp với quyền kiểm soát của bạn nhất.
Thẻ <meta>
Để ngăn chặn việc lập chỉ mục của Google cho trang web của bạn, thêm thẻ meta sau vào phần <head> trong trang mà bạn muốn chặn:
<meta name="robots" content="noindex">
Để ngăn chặn riêng công cụ tìm kiếm và lập chỉ mục của Google, sử dụng thẻ meta sau:
<meta name="googlebot" content="noindex">
Lưu ý rằng một số trình thu thập thông tin web của công cụ tìm kiếm có thể hiểu các chỉ thị noindex theo những cách khác nhau. Do đó, có thể trang của bạn vẫn có thể xuất hiện trong các kết quả từ các công cụ tìm kiếm khác.
Giúp Google phát hiện thẻ meta của bạn
Google phải thu thập dữ liệu trang của bạn để xem thẻ meta của bạn. Nếu trang của bạn vẫn xuất hiện trong kết quả tìm kiếm thì có thể là vì Google chưa thu thập dữ liệu trang web của bạn từ khi bạn thêm thẻ. Bạn có thể yêu cầu Google thu thập lại thông tin trang của bạn bằng cách sử dụng công cụ Tìm nạp như Google. Một lý do khác là có thể là file robots.txt của bạn đang chặn URL này từ trình thu thập thông tin web của Google, vì vậy Google không thể xem thẻ. Để bỏ chặn trang của bạn từ Google, bạn phải chỉnh sửa file robots.txt của mình. Bạn có thể chỉnh sửa và kiểm tra robots.txt bằng công cụ Kiểm tra robots.txt trong Webmaster Tools.
Tiêu đề phản hồi HTTP
Thay vì sử dụng thẻ meta, bạn cũng có thể sử dụng tiêu đề phản hồi HTTP để ngăn chặn việc lập chỉ mục của Google. Dưới đây là một ví dụ về phản hồi HTTP cho tiêu đề X-Robots-Tag:
HTTP/1.1 200 OK Date: Tue, 25 May 2010 21:42:43 GMT (…) X-Robots-Tag: noindex (…)