Optymalizacja stron
30 stycznia 2012

Plik robots.txt wykorzystywany jest do ograniczania dostępu do stron serwisu przez roboty wyszukiwarek. Poprzez odpowiednie zapisy możemy np. wyłączyć z indeksowania te strony, na których nam nie zależy (oczywiście powinniśmy mieć na uwadze to, że jeżeli wyłączymy je z indeksowania, ale w sieci będą znajdowały się odnośniki do tychże stron, to … i tak będą one pojawiały się w Google)

Nie spotkałem się do tej pory z jakimś specjalnie dużym plikiem, te, które wykorzystuję są standardowej postaci, nie są większe niż kilkanaście linijek kodu – jednak czasem przechodziła mi przez głowę myśl, jaka jest graniczna wielkość pliku, do której Goglebot „potrafi sobie poradzić”?

Wczoraj na swoim profilu Google+ John Mueller udzielił odpowiedzi na to pytanie – graniczną wartością jest 500 kB i … należy mieć to mocno na uwadze, ponieważ jeżeli coś ważnego będzie się znajdowało daleko w kodzie, może nie zostać po prostu uwzględnione przez robota – Goglebot „nie czyta” bowiem poza 500 kB.

Jak unikać takich sytuacji? Rozwiązanie jest banalne – nie twórzmy tak bardzo rozbudowanych plików robots.txt :)

The simple solution is to limit your robots.txt files to a reasonable size :-).

Warto zapoznać się przy okazji ze specyfikacją z tego zakresu.

GD Star Rating
loading...
Maksymalna wielkość pliku robots.txt, którą potrafi przeczytać Google, Maksymalna wielkość pliku robots.txt, którą potrafi przeczytać Google, 10.0 out of 10 based on 1 rating Maksymalna wielkość pliku robots.txt, którą potrafi przeczytać Google
O autorze
SEBASTIAN
MIŚNIAKIEWICZ
Autor bloga,
specjalista SEO
Jako właściciel firmy SEOProfi pomaga zwiększać sprzedaż w sklepach internetowych oraz ruch na stronach firmowych na rynku polsko-, anglo- oraz niemieckojęzycznym.

Bloga założył w 2010 widząc ogrom problemów, z jakimi mają do czynienia osoby próbujące samodzielnie wypromować stronę w Google. Od 2011 roku jako Product Expert pomaga rozwiązywać te problemy na Forum Pomocy Google dla Webmasterów.


Pozycjonowanie to nie magia (jak często słyszę),
tylko ciężka, codzienna praca przy budowaniu marki

Zobacz, jak z Klientem pracujemy przy stronie >


OPINIE I KOMENTARZE

Mati 31 stycznia 2012, 15:08

„te, które wykorzystuję są standardowej postaci”

Tak z ciekawości, jaka postać ? Głównie ciekawi mnie, jakie boty blokujesz ?

Seo-Profi 31 stycznia 2012, 15:46

Miałem na myśli to, że taki typowy plik, nawet sklepu, zawiera owe kilkanaście linijek :)
W Polsce blokować warto wszystko poza … Google, ewentualnie Bingiem.

adam 1 lutego 2012, 15:11

Jesteś pewny, że google zaindeksuje strone mimo, że będzie zablokowana w robots bo w sieci są do niej linki?

„Poprzez odpowiednie zapisy możemy np. wyłączyć z indeksowania te strony, na których nam nie zależy (oczywiście powinniśmy mieć na uwadze to, że jeżeli wyłączymy je z indeksowania, ale w sieci będą znajdowały się odnośniki do tychże stron, to … i tak będą one pojawiały się w Google)”

Seo-Profi 1 lutego 2012, 15:43

Tak, to już stary temat, chyba z rok temu pisałem o tym na blogu – plus wątek kilka razy przewijał się m.in. na Forum Google

Colin 2 lutego 2012, 9:27

@adam: Zablokowane strony są widoczne w wynikach, ale bez tytułu z <title> i opisu.

Skomentuj

Twój adres e-mail nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *