Google có các thuật toán tinh vi để xác định tốc độ thu thập dữ liệu tối ưu cho một trang web. Mục tiêu của Google là cố gắng thu thập càng nhiều dữ liệu trong website của bạn trong một lần truy cập mà không quá băng thông của máy chủ.
Nếu Google đang thực hiện quá nhiều yêu cầu tới trang web của bạn và làm chậm máy chủ của bạn, bạn có thể hạn chế tốc độ thu thập thông tin cho các trang web chính của mình, ví dụ như www.example.com và http://subdomain.example.com. Tốc độ thu thập dữ liệu mà bạn đặt là tốc độ thu thập thông tin tối đa mà Googlebot có thể làm. Lưu ý rằng Googlebot không phải lúc nào cũng đạt được tốc độ tối đa này.
Mình khuyên bạn không nên hạn chế tốc độ thu thập dữ liệu trừ khi bạn gặp vấn đề liên quan đến việc tải (load) trên máy chủ mà bạn chắc chắn rằng đó là do quá trình thu thập thông tin của Googlebot gây ra.
Bạn không thể thay đổi tốc độ thu thập thông tin cho các trang web không thuộc về trang web chính của bạn, ví dụ: www.example.com/folder.
Cách thay đổi tốc độ thu thập dữ liệu
Bước 1: Trong bảng điều khiển của Google Webmaster Tools, bạn nhấp chuột vào biểu tượng bánh răng và chọn cài đặt trang web
Bước 2: Trong phần tốc độ thu thập dữ liệu, bạn chọn vào giới hạn tốc độ thu thập dữ liệu tối đa của Google và điều chỉnh theo mức mà bạn muốn
Tốc độ thu thập thông tin mới sẽ có hiệu lực trong 90 ngày. Nếu tốc độ thu thập dữ liệu của bạn được coi là tối ưu, cách duy nhất để giảm tốc độ thu thập dữ liệu là bằng cách gửi yêu cầu đặc biệt còn không thì bạn không thể tăng tốc độ thu thập thông tin dữ liệu.