Optymalizacja stron

Maksymalna wielkość pliku robots.txt, którą potrafi przeczytać Google

5 komentarzy

Plik robots.txt wykorzystywany jest do ograniczania dostępu do stron serwisu przez roboty wyszukiwarek. Poprzez odpowiednie zapisy możemy np. wyłączyć z indeksowania te strony, na których nam nie zależy (oczywiście powinniśmy mieć na uwadze to, że jeżeli wyłączymy je z indeksowania, ale w sieci będą znajdowały się odnośniki do tychże stron, to … i tak będą one pojawiały się w Google)

Nie spotkałem się do tej pory z jakimś specjalnie dużym plikiem, te, które wykorzystuję są standardowej postaci, nie są większe niż kilkanaście linijek kodu – jednak czasem przechodziła mi przez głowę myśl, jaka jest graniczna wielkość pliku, do której Goglebot „potrafi sobie poradzić”?

Wczoraj na swoim profilu Google+ John Mueller udzielił odpowiedzi na to pytanie – graniczną wartością jest 500 kB i … należy mieć to mocno na uwadze, ponieważ jeżeli coś ważnego będzie się znajdowało daleko w kodzie, może nie zostać po prostu uwzględnione przez robota – Goglebot „nie czyta” bowiem poza 500 kB.

Jak unikać takich sytuacji? Rozwiązanie jest banalne – nie twórzmy tak bardzo rozbudowanych plików robots.txt :)

The simple solution is to limit your robots.txt files to a reasonable size :-).

Warto zapoznać się przy okazji ze specyfikacją z tego zakresu.

GD Star Rating
loading...
Maksymalna wielkość pliku robots.txt, którą potrafi przeczytać Google, Maksymalna wielkość pliku robots.txt, którą potrafi przeczytać Google, 10.0 out of 10 based on 1 rating Maksymalna wielkość pliku robots.txt, którą potrafi przeczytać Google
autor 1380 artykułów opublikowanych na blogu

Jako właściciel firmy SEOProfi pomaga zwiększać sprzedaż w sklepach internetowych oraz ruch na stronach firmowych na rynku polsko-, anglo- oraz niemieckojęzycznym.

Bloga założył w 2010 widząc ogrom problemów, z jakimi mają do czynienia osoby próbujące samodzielnie wypromować stronę w Google. Od 2011 roku jako Top Contributor pomaga rozwiązywać te problemy na oficjalnym Forum Pomocy Google dla Webmasterów.


Chcesz zwiększyć widoczność Twojej strony w Google?

Tak, chcę >>


Opinie i Komentarze

Mati 31 stycznia 2012, 15:08

„te, które wykorzystuję są standardowej postaci”

Tak z ciekawości, jaka postać ? Głównie ciekawi mnie, jakie boty blokujesz ?

Seo-Profi 31 stycznia 2012, 15:46

Miałem na myśli to, że taki typowy plik, nawet sklepu, zawiera owe kilkanaście linijek :)
W Polsce blokować warto wszystko poza … Google, ewentualnie Bingiem.

adam 1 lutego 2012, 15:11

Jesteś pewny, że google zaindeksuje strone mimo, że będzie zablokowana w robots bo w sieci są do niej linki?

„Poprzez odpowiednie zapisy możemy np. wyłączyć z indeksowania te strony, na których nam nie zależy (oczywiście powinniśmy mieć na uwadze to, że jeżeli wyłączymy je z indeksowania, ale w sieci będą znajdowały się odnośniki do tychże stron, to … i tak będą one pojawiały się w Google)”

Seo-Profi 1 lutego 2012, 15:43

Tak, to już stary temat, chyba z rok temu pisałem o tym na blogu – plus wątek kilka razy przewijał się m.in. na Forum Google

Colin 2 lutego 2012, 9:27

@adam: Zablokowane strony są widoczne w wynikach, ale bez tytułu z <title> i opisu.

Skomentuj

Twój adres e-mail nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *

Inne wpisy z tej kategorii

Więcej w Optymalizacja stron
Co to jest cloaking? Jakie ryzyko niesie za sobą jego stosowanie?

Sporo osób zadaje sobie pytanie: co to takiego jest właściwie "ten cloaking", jak jest on definiowany przez Google - dlaczego ...

Zamknij