Search Console

Czy Google stosuje się do reguły crawl-delay

Niektórzy webmasterzy stosują zapis crawl-delay w pliku robots.txt – Google zaś wysyła przez Search Console informację, że to nie ma sensu – dlaczego?

Kiedy wprowadzano crawl-delay serwery nie były tak szybkie jak kiedyś – wyszukiwarki zatem webmasterom ustawianie w pliku robot.txt czasu, po którym roboty mogły odwiedzać po raz kolejny stronę.

Dzisiaj używanie Google automatycznie dostosowuje indeksowanie do szybkości działania serwera – i jeżeli serwer jest wolny to Googlebot nie będzie próbował tak często odwiedzać strony (co automatycznie przełoży się, negatywnie, na indeksowanie nowych treści czy też indeksowanie zmian, nanoszonych w witrynie przez webmastera).

Jeżeli Google znajdzie w pliku robots.txt zapis crawl-delay to w przypadku w Search Console poinformuje właściciela strony o tym, że taki zapis nie ma sensu (dokładniej, że nie jest wspierany przez wyszukiwarkę).

Jeżeli jednak uważasz, że Googlebot za bardzo „panoszy się na stronie” zmniejsz szybkość indeksowania w Search Console – opcję tę znajdziesz w Ustawieniach witryny

gdzie zmienisz domyślną, zalecaną opcję

Google stara się indeksować tak wiele stron Twojej witryny, jak to możliwe, bez spowalniania połączenia z serwerem. Jeśli roboty Google spowalniają działanie witryny, możesz zmienić szybkość indeksowania (szybkość, z jaką Google przesyła żądania). Ta funkcja jest dostępna tylko dla witryn na poziomie domeny głównej lub subdomeny

na własne ustawienia

Więcej informacji odnośnie ograniczania szybkości indeksowania znajdziesz w Pomocy Google. – a jeżeli chcesz zapoznać się z oryginalnym nagraniem zapraszam do zapoznania się z wypowiedzią Johna.

GD Star Rating
loading...
Czy Google stosuje się do reguły crawl-delay, Czy Google stosuje się do reguły crawl-delay, 10.0 out of 10 based on 1 rating Czy Google stosuje się do reguły crawl-delay

Zobacz inne wpisy z tej kategorii

napisał/a 1379 artykułów na rzecz Bloga SEO

Optymalizacja i pozycjonowanie stron i sklepów internetowych w Google to moja pasja.

Od 2008 roku jako Top Contributor pomagam webmasterom rozwiązywać problemy z widocznością ich stron w Google na Forum Pomocy Google dla Webmasterów, na którym jestem najdłuższym stażem TC w Polsce.

W 2010 roku roku założyłem pierwszego w Polsce bloga SEO skierowanego nie do branży SEO, ale stricte do właścicieli stron, na którym przystępnym językiem przybliżam Wskazówki Google dla Webmasterów, opisuję i komentuję zmiany, jakie zachodzą w algorytmie Google. Publikując wskazówki odnośnie tego, jak rozwijać strony, aby rankowały wysoko w Google, pomagam im zwiększać ruch na stronach z naturalnych wyników wyszukiwania.

SEO to także moje życie zawodowe – firma SEOProfi, której jestem właścicielem, świadczy usługi na rynku polsko, anglo- i niemieckojęzycznym.

Chcesz pozyskiwać więcej Klientów z Google?

Tak, chcę >>

Skomentuj

Twój adres e-mail nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *