Czy zawsze należy używać pliku robots.txt czy tagu
Dosyć często osoby, zwłaszcza początkujący webmasterzy, zadają pytanie, jakie elementy muszą znaleźć się w takim pliku, traktując go jako obowiązkowy element każdej strony internetowej. Czy dobrze robią? Otóż … nie.
Zasada indeksacji w Google jest taka, że domyślnie, przy braku takiego pliku, wszystkie strony są dostępne dla robotów wyszukiwarek – podobnie działa tag <meta name=”robots” content=”index, follow”>. Oznacza to, że zarówno używanie wymienionego tagu (w takiej postaci) czy „pozwalanie” robotom na chodzenie i indeksowanie naszej strony jest bez sensu, ponieważ … one i tak wiedzą, że mogą to robić. Po co więc utrudniać sobie życie i pamiętać o wstawianiu tagu na każdą witrynę, czy też o tworzenie prostego pliku robots.txt? :)
Czasami jednak chcemy coś przyblokować, z różnych powodów. Np. nie chcemy, aby nasza strona była indeksowana w Wirtualnej Polsce, czy też chcemy pozwolić na odwiedziny strony przez robota, ale już nie na jej indeksację. I właśnie w takiej sytuacji należy użyć wymienionego pliku, wstawiając w nim odpowiednią formułkę. Lub tagu <meta name=”robots” content=”noindex, follow”>.
Skoro pewne czynności nie są wymagane, warto poświęcić zaoszczędzony czas np. na jakiś ciekawy wpis na swoim blogu lub na analizę ruchu przychodzącego zebrana poprzez Google Analytics :).
loading...
Zobacz inne wpisy z tej kategorii
napisał/a
1378 artykułów na rzecz Bloga SEO
Optymalizacja i pozycjonowanie stron i sklepów internetowych w Google to moja pasja.
Od 2008 roku jako Top Contributor pomagam webmasterom rozwiązywać problemy z widocznością ich stron w Google na Forum Pomocy Google dla Webmasterów, na którym jestem najdłuższym stażem TC w Polsce.
W 2010 roku roku założyłem pierwszego w Polsce bloga SEO skierowanego nie do branży SEO, ale stricte do właścicieli stron, na którym przystępnym językiem przybliżam Wskazówki Google dla Webmasterów, opisuję i komentuję zmiany, jakie zachodzą w algorytmie Google. Publikując wskazówki odnośnie tego, jak rozwijać strony, aby rankowały wysoko w Google, pomagam im zwiększać ruch na stronach z naturalnych wyników wyszukiwania.
SEO to także moje życie zawodowe – firma SEOProfi, której jestem właścicielem, świadczy usługi na rynku polsko, anglo- i niemieckojęzycznym.
SEO to nie pozycje ...
To nie przypadek, że jedne strony idą w górę, gdy inne wypadają z wyników wyszukiwania.
Każdy chce mieć stronę wysoko, ale nie to jest najważniejsze. Tak naprawdę każdemu właścicielowi strony chodzi o wzrost sprzedaży i Klientów, a nie o pozycje.
