Czy zawsze należy używać pliku robots.txt czy tagu

Dosyć często osoby, zwłaszcza początkujący webmasterzy, zadają pytanie, jakie elementy muszą znaleźć się w takim pliku, traktując go jako obowiązkowy element każdej strony internetowej. Czy dobrze robią? Otóż … nie.

Zasada indeksacji w Google jest taka, że domyślnie, przy braku takiego pliku, wszystkie strony są dostępne dla robotów wyszukiwarek – podobnie działa tag <meta name=”robots” content=”index, follow”>. Oznacza to, że zarówno używanie wymienionego tagu (w takiej postaci) czy “pozwalanie” robotom na chodzenie i indeksowanie naszej strony jest bez sensu, ponieważ … one i tak wiedzą, że mogą to robić. Po co więc utrudniać sobie życie i pamiętać o wstawianiu tagu na każdą witrynę, czy też o tworzenie prostego pliku robots.txt? :)

Czasami jednak chcemy coś przyblokować, z różnych powodów. Np. nie chcemy, aby nasza strona była indeksowana w Wirtualnej Polsce, czy też chcemy pozwolić na odwiedziny strony przez robota, ale już nie na jej indeksację.  I właśnie w takiej sytuacji należy użyć wymienionego pliku, wstawiając w nim odpowiednią formułkę. Lub tagu <meta name=”robots” content=”noindex, follow”>.

Skoro pewne czynności nie są wymagane, warto poświęcić zaoszczędzony czas np. na jakiś ciekawy wpis na swoim blogu lub na analizę ruchu przychodzącego zebrana poprzez Google Analytics :).