8 czerwca 2018 | Aktualizacja: 12 października 2019
Search Console

Niektórzy webmasterzy stosują zapis crawl-delay w pliku robots.txt – Google zaś wysyła przez Search Console informację, że to nie ma sensu – dlaczego?

Kiedy wprowadzano crawl-delay serwery nie były tak szybkie jak kiedyś – wyszukiwarki zatem webmasterom ustawianie w pliku robot.txt czasu, po którym roboty mogły odwiedzać po raz kolejny stronę.

Dzisiaj używanie Google automatycznie dostosowuje indeksowanie do szybkości działania serwera – i jeżeli serwer jest wolny to Googlebot nie będzie próbował tak często odwiedzać strony (co automatycznie przełoży się, negatywnie, na indeksowanie nowych treści czy też indeksowanie zmian, nanoszonych w witrynie przez webmastera).

Jeżeli Google znajdzie w pliku robots.txt zapis crawl-delay to w przypadku w Search Console poinformuje właściciela strony o tym, że taki zapis nie ma sensu (dokładniej, że nie jest wspierany przez wyszukiwarkę).

Jeżeli jednak uważasz, że Googlebot za bardzo „panoszy się na stronie” zmniejsz szybkość indeksowania w Search Console – opcję tę znajdziesz w Ustawieniach witryny

gdzie zmienisz domyślną, zalecaną opcję

Google stara się indeksować tak wiele stron Twojej witryny, jak to możliwe, bez spowalniania połączenia z serwerem. Jeśli roboty Google spowalniają działanie witryny, możesz zmienić szybkość indeksowania (szybkość, z jaką Google przesyła żądania). Ta funkcja jest dostępna tylko dla witryn na poziomie domeny głównej lub subdomeny

na własne ustawienia

Więcej informacji odnośnie ograniczania szybkości indeksowania znajdziesz w Pomocy Google. – a jeżeli chcesz zapoznać się z oryginalnym nagraniem zapraszam do zapoznania się z wypowiedzią Johna.

Skomentuj

Twój adres e-mail nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *

Inne wpisy z tej kategorii