Search Console
8 czerwca 2018

Niektórzy webmasterzy stosują zapis crawl-delay w pliku robots.txt – Google zaś wysyła przez Search Console informację, że to nie ma sensu – dlaczego?

Kiedy wprowadzano crawl-delay serwery nie były tak szybkie jak kiedyś – wyszukiwarki zatem webmasterom ustawianie w pliku robot.txt czasu, po którym roboty mogły odwiedzać po raz kolejny stronę.

Dzisiaj używanie Google automatycznie dostosowuje indeksowanie do szybkości działania serwera – i jeżeli serwer jest wolny to Googlebot nie będzie próbował tak często odwiedzać strony (co automatycznie przełoży się, negatywnie, na indeksowanie nowych treści czy też indeksowanie zmian, nanoszonych w witrynie przez webmastera).

Jeżeli Google znajdzie w pliku robots.txt zapis crawl-delay to w przypadku w Search Console poinformuje właściciela strony o tym, że taki zapis nie ma sensu (dokładniej, że nie jest wspierany przez wyszukiwarkę).

Jeżeli jednak uważasz, że Googlebot za bardzo „panoszy się na stronie” zmniejsz szybkość indeksowania w Search Console – opcję tę znajdziesz w Ustawieniach witryny

gdzie zmienisz domyślną, zalecaną opcję

Google stara się indeksować tak wiele stron Twojej witryny, jak to możliwe, bez spowalniania połączenia z serwerem. Jeśli roboty Google spowalniają działanie witryny, możesz zmienić szybkość indeksowania (szybkość, z jaką Google przesyła żądania). Ta funkcja jest dostępna tylko dla witryn na poziomie domeny głównej lub subdomeny

na własne ustawienia

Więcej informacji odnośnie ograniczania szybkości indeksowania znajdziesz w Pomocy Google. – a jeżeli chcesz zapoznać się z oryginalnym nagraniem zapraszam do zapoznania się z wypowiedzią Johna.

GD Star Rating
loading...
Czy Google stosuje się do reguły crawl-delay, Czy Google stosuje się do reguły crawl-delay, 10.0 out of 10 based on 1 rating Czy Google stosuje się do reguły crawl-delay
O autorze
SEBASTIAN
MIŚNIAKIEWICZ
Autor bloga,
specjalista SEO
Jako właściciel firmy SEOProfi pomaga zwiększać sprzedaż w sklepach internetowych oraz ruch na stronach firmowych na rynku polsko-, anglo- oraz niemieckojęzycznym.

Bloga założył w 2010 widząc ogrom problemów, z jakimi mają do czynienia osoby próbujące samodzielnie wypromować stronę w Google. Od 2011 roku jako Product Expert pomaga rozwiązywać te problemy na Forum Pomocy Google dla Webmasterów.


Chcesz zwiększyć widoczność
Twojej strony w Google?

Tak, chcę


Skomentuj

Twój adres e-mail nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *

Inne wpisy z tej kategorii