Search Console
8 czerwca 2018

Niektórzy webmasterzy stosują zapis crawl-delay w pliku robots.txt – Google zaś wysyła przez Search Console informację, że to nie ma sensu – dlaczego?

Kiedy wprowadzano crawl-delay serwery nie były tak szybkie jak kiedyś – wyszukiwarki zatem webmasterom ustawianie w pliku robot.txt czasu, po którym roboty mogły odwiedzać po raz kolejny stronę.

Dzisiaj używanie Google automatycznie dostosowuje indeksowanie do szybkości działania serwera – i jeżeli serwer jest wolny to Googlebot nie będzie próbował tak często odwiedzać strony (co automatycznie przełoży się, negatywnie, na indeksowanie nowych treści czy też indeksowanie zmian, nanoszonych w witrynie przez webmastera).

Jeżeli Google znajdzie w pliku robots.txt zapis crawl-delay to w przypadku w Search Console poinformuje właściciela strony o tym, że taki zapis nie ma sensu (dokładniej, że nie jest wspierany przez wyszukiwarkę).

Jeżeli jednak uważasz, że Googlebot za bardzo „panoszy się na stronie” zmniejsz szybkość indeksowania w Search Console – opcję tę znajdziesz w Ustawieniach witryny

gdzie zmienisz domyślną, zalecaną opcję

Google stara się indeksować tak wiele stron Twojej witryny, jak to możliwe, bez spowalniania połączenia z serwerem. Jeśli roboty Google spowalniają działanie witryny, możesz zmienić szybkość indeksowania (szybkość, z jaką Google przesyła żądania). Ta funkcja jest dostępna tylko dla witryn na poziomie domeny głównej lub subdomeny

na własne ustawienia

Więcej informacji odnośnie ograniczania szybkości indeksowania znajdziesz w Pomocy Google. – a jeżeli chcesz zapoznać się z oryginalnym nagraniem zapraszam do zapoznania się z wypowiedzią Johna.

GD Star Rating
loading...
Czy Google stosuje się do reguły crawl-delay, Czy Google stosuje się do reguły crawl-delay, 10.0 out of 10 based on 1 rating Czy Google stosuje się do reguły crawl-delay
O autorze
SEBASTIAN
MIŚNIAKIEWICZ
Autor bloga,
specjalista SEO
Jako właściciel firmy SEOProfi pomaga zwiększać sprzedaż w sklepach internetowych oraz ruch na stronach firmowych na rynku polsko-, anglo- oraz niemieckojęzycznym.

Bloga założył w 2010 widząc ogrom problemów, z jakimi mają do czynienia osoby próbujące samodzielnie wypromować stronę w Google. Od 2011 roku jako Product Expert pomaga rozwiązywać te problemy na Forum Pomocy Google dla Webmasterów.


Pozycjonowanie to nie magia (jak często słyszę),
tylko ciężka, codzienna praca przy budowaniu marki

Zobacz, jak z Klientem pracujemy przy stronie >


Skomentuj

Twój adres e-mail nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *