Dosyć często osoby, zwłaszcza początkujący webmasterzy, zadają pytanie, jakie elementy muszą znaleźć się w takim pliku, traktując go jako obowiązkowy element każdej strony internetowej. Czy dobrze robią? Otóż … nie.

Zasada indeksacji w Google jest taka, że domyślnie, przy braku takiego pliku, wszystkie strony są dostępne dla robotów wyszukiwarek – podobnie działa tag <meta name=”robots” content=”index, follow”>. Oznacza to, że zarówno używanie wymienionego tagu (w takiej postaci) czy „pozwalanie” robotom na chodzenie i indeksowanie naszej strony jest bez sensu, ponieważ … one i tak wiedzą, że mogą to robić. Po co więc utrudniać sobie życie i pamiętać o wstawianiu tagu na każdą witrynę, czy też o tworzenie prostego pliku robots.txt? :)

Czasami jednak chcemy coś przyblokować, z różnych powodów. Np. nie chcemy, aby nasza strona była indeksowana w Wirtualnej Polsce, czy też chcemy pozwolić na odwiedziny strony przez robota, ale już nie na jej indeksację.  I właśnie w takiej sytuacji należy użyć wymienionego pliku, wstawiając w nim odpowiednią formułkę. Lub tagu <meta name=”robots” content=”noindex, follow”>.

Skoro pewne czynności nie są wymagane, warto poświęcić zaoszczędzony czas np. na jakiś ciekawy wpis na swoim blogu lub na analizę ruchu przychodzącego zebrana poprzez Google Analytics :).

Podobne wpisy:

• Meta tag revisit-after oraz robots – kiedy używać
• Czy Google indeksuje domeny, gdzie robots.txt zwraca błąd 500?
• Czy robots.txt można wpłynąć na optymalizację zachowań Goglebota
• Co lubi a czego nie lubi Googlebot – warto wiedzieć
• Indeksowanie przez Google stron zablokowanych w robots.txt