Optymalizacja stron

Maksymalna wielkość pliku robots.txt, którą potrafi przeczytać Google

Plik robots.txt wykorzystywany jest do ograniczania dostępu do stron serwisu przez roboty wyszukiwarek. Poprzez odpowiednie zapisy możemy np. wyłączyć z indeksowania te strony, na których nam nie zależy (oczywiście powinniśmy mieć na uwadze to, że jeżeli wyłączymy je z indeksowania, ale w sieci będą znajdowały się odnośniki do tychże stron, to … i tak będą one pojawiały się w Google)

Nie spotkałem się do tej pory z jakimś specjalnie dużym plikiem, te, które wykorzystuję są standardowej postaci, nie są większe niż kilkanaście linijek kodu – jednak czasem przechodziła mi przez głowę myśl, jaka jest graniczna wielkość pliku, do której Goglebot „potrafi sobie poradzić”?

Wczoraj na swoim profilu Google+ John Mueller udzielił odpowiedzi na to pytanie – graniczną wartością jest 500 kB i … należy mieć to mocno na uwadze, ponieważ jeżeli coś ważnego będzie się znajdowało daleko w kodzie, może nie zostać po prostu uwzględnione przez robota – Goglebot „nie czyta” bowiem poza 500 kB.

Jak unikać takich sytuacji? Rozwiązanie jest banalne – nie twórzmy tak bardzo rozbudowanych plików robots.txt :)

The simple solution is to limit your robots.txt files to a reasonable size :-).

Warto zapoznać się przy okazji ze specyfikacją z tego zakresu.

GD Star Rating
loading...
Maksymalna wielkość pliku robots.txt, którą potrafi przeczytać Google, Maksymalna wielkość pliku robots.txt, którą potrafi przeczytać Google, 10.0 out of 10 based on 1 rating Maksymalna wielkość pliku robots.txt, którą potrafi przeczytać Google

Zobacz inne wpisy z tej kategorii

napisał/a 1334 artykułów na rzecz Bloga SEO

Optymalizacja i pozycjonowanie stron i sklepów internetowych w Google to moja pasja.

Od 2008 roku jako Top Contributor pomagam webmasterom rozwiązywać problemy z widocznością ich stron w Google na Forum Pomocy Google dla Webmasterów, na którym jestem najdłuższym stażem TC w Polsce.

W 2010 roku roku założyłem pierwszego w Polsce bloga SEO skierowanego nie do branży SEO, ale stricte do właścicieli stron, na którym przystępnym językiem przybliżam Wskazówki Google dla Webmasterów, opisuję i komentuję zmiany, jakie zachodzą w algorytmie Google. Publikując wskazówki odnośnie tego, jak rozwijać strony, aby rankowały wysoko w Google, pomagam im zwiększać ruch na stronach z naturalnych wyników wyszukiwania.

SEO to także moje życie zawodowe – firma SEOProfi, której jestem właścicielem, świadczy usługi na rynku polsko, anglo- i niemieckojęzycznym.

Opinie i Komentarze

Mati 31 stycznia 2012, 15:08

„te, które wykorzystuję są standardowej postaci”

Tak z ciekawości, jaka postać ? Głównie ciekawi mnie, jakie boty blokujesz ?

Seo-Profi 31 stycznia 2012, 15:46

Miałem na myśli to, że taki typowy plik, nawet sklepu, zawiera owe kilkanaście linijek :)
W Polsce blokować warto wszystko poza … Google, ewentualnie Bingiem.

adam 1 lutego 2012, 15:11

Jesteś pewny, że google zaindeksuje strone mimo, że będzie zablokowana w robots bo w sieci są do niej linki?

„Poprzez odpowiednie zapisy możemy np. wyłączyć z indeksowania te strony, na których nam nie zależy (oczywiście powinniśmy mieć na uwadze to, że jeżeli wyłączymy je z indeksowania, ale w sieci będą znajdowały się odnośniki do tychże stron, to … i tak będą one pojawiały się w Google)”

Seo-Profi 1 lutego 2012, 15:43

Tak, to już stary temat, chyba z rok temu pisałem o tym na blogu – plus wątek kilka razy przewijał się m.in. na Forum Google

Colin 2 lutego 2012, 9:27

@adam: Zablokowane strony są widoczne w wynikach, ale bez tytułu z <title> i opisu.

Skomentuj

Twój adres e-mail nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *