Dosyć często osoby, zwłaszcza początkujący webmasterzy, zadają pytanie, jakie elementy muszą znaleźć się w takim pliku, traktując go jako obowiązkowy element każdej strony internetowej. Czy dobrze robią? Otóż … nie.
Zasada indeksacji w Google jest taka, że domyślnie, przy braku takiego pliku, wszystkie strony są dostępne dla robotów wyszukiwarek – podobnie działa tag <meta name=”robots” content=”index, follow”>. Oznacza to, że zarówno używanie wymienionego tagu (w takiej postaci) czy „pozwalanie” robotom na chodzenie i indeksowanie naszej strony jest bez sensu, ponieważ … one i tak wiedzą, że mogą to robić. Po co więc utrudniać sobie życie i pamiętać o wstawianiu tagu na każdą witrynę, czy też o tworzenie prostego pliku robots.txt? :)
Czasami jednak chcemy coś przyblokować, z różnych powodów. Np. nie chcemy, aby nasza strona była indeksowana w Wirtualnej Polsce, czy też chcemy pozwolić na odwiedziny strony przez robota, ale już nie na jej indeksację. I właśnie w takiej sytuacji należy użyć wymienionego pliku, wstawiając w nim odpowiednią formułkę. Lub tagu <meta name=”robots” content=”noindex, follow”>.
Skoro pewne czynności nie są wymagane, warto poświęcić zaoszczędzony czas np. na jakiś ciekawy wpis na swoim blogu lub na analizę ruchu przychodzącego zebrana poprzez Google Analytics :).
MIŚNIAKIEWICZ Autor bloga,
specjalista SEO
Bloga założył w 2010 widząc ogrom problemów, z jakimi mają do czynienia osoby próbujące samodzielnie wypromować stronę w Google. Od 2011 roku jako Product Expert pomaga rozwiązywać te problemy na Forum Google dla Webmasterów.
To nie przypadek, że jedne strony idą w górę, a inne wypadają z Google.
Każdy chce mieć stronę wysoko, ale nie to jest najważniejsze.
Tak naprawdę to każdemu właścicielowi strony chodzi o pozyskanie Klientów, a nie o pozycję w wyszukiwarce.
Chcesz mieć więcej Klientówz Google?
