Wyszukiwarka Google

Czy zawsze należy używać pliku robots.txt czy tagu

Dosyć często osoby, zwłaszcza początkujący webmasterzy, zadają pytanie, jakie elementy muszą znaleźć się w takim pliku, traktując go jako obowiązkowy element każdej strony internetowej. Czy dobrze robią? Otóż … nie.

Zasada indeksacji w Google jest taka, że domyślnie, przy braku takiego pliku, wszystkie strony są dostępne dla robotów wyszukiwarek – podobnie działa tag <meta name=”robots” content=”index, follow”>. Oznacza to, że zarówno używanie wymienionego tagu (w takiej postaci) czy „pozwalanie” robotom na chodzenie i indeksowanie naszej strony jest bez sensu, ponieważ … one i tak wiedzą, że mogą to robić. Po co więc utrudniać sobie życie i pamiętać o wstawianiu tagu na każdą witrynę, czy też o tworzenie prostego pliku robots.txt? :)

Czasami jednak chcemy coś przyblokować, z różnych powodów. Np. nie chcemy, aby nasza strona była indeksowana w Wirtualnej Polsce, czy też chcemy pozwolić na odwiedziny strony przez robota, ale już nie na jej indeksację.  I właśnie w takiej sytuacji należy użyć wymienionego pliku, wstawiając w nim odpowiednią formułkę. Lub tagu <meta name=”robots” content=”noindex, follow”>.

Skoro pewne czynności nie są wymagane, warto poświęcić zaoszczędzony czas np. na jakiś ciekawy wpis na swoim blogu lub na analizę ruchu przychodzącego zebrana poprzez Google Analytics :).

GD Star Rating
loading...

Zobacz inne wpisy z tej kategorii

napisał/a 1334 artykułów na rzecz Bloga SEO

Optymalizacja i pozycjonowanie stron i sklepów internetowych w Google to moja pasja.

Od 2008 roku jako Top Contributor pomagam webmasterom rozwiązywać problemy z widocznością ich stron w Google na Forum Pomocy Google dla Webmasterów, na którym jestem najdłuższym stażem TC w Polsce.

W 2010 roku roku założyłem pierwszego w Polsce bloga SEO skierowanego nie do branży SEO, ale stricte do właścicieli stron, na którym przystępnym językiem przybliżam Wskazówki Google dla Webmasterów, opisuję i komentuję zmiany, jakie zachodzą w algorytmie Google. Publikując wskazówki odnośnie tego, jak rozwijać strony, aby rankowały wysoko w Google, pomagam im zwiększać ruch na stronach z naturalnych wyników wyszukiwania.

SEO to także moje życie zawodowe – firma SEOProfi, której jestem właścicielem, świadczy usługi na rynku polsko, anglo- i niemieckojęzycznym.

Skomentuj

Twój adres e-mail nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *