Wyszukiwarka Google

Czy warto używać robots.txt gdy nie mamy nic do ukrycia przed robotami

Temat poruszany już wielokrotnie na chociażby Forum Pomocy Google dla Webmasterów. Dzisiaj został zadany w końcu samemu Mattowi …

Jakie rozwiązanie jest najlepsze w takiej sytuacji?

a) pusty plik robots.txt

b) plik robots.txt zawierający User-agent: *Disallow

c) nie zakładać w ogóle pliku

Odpowiedź Matta jest interesująca. Otóż rozwiązanie c) jest … ryzykowne. Jego brak stwarza zagrożenie dla naszej strony ponieważ provider może w takiej sytuacji wstawić nam stronę … błędu 404. Jest to marginalna sytuacja – jak mówi Matt może ona wystąpić jedynie w 1% przypadków – no ale nie wiedziałem o tym 1%. Może dlatego, że staram się nie korzystać z usług „dziwnych providerów”, o darmowych już nie wspominając – moim zdaniem to właśnie tam prawdopodobieństwo wystąpienia jakiegoś błędu jest większe.

Dlatego warto zastosować rozwiązanie a) i b) – wymiennie. Dla Google nie ma znaczenia, które rozwiązanie wybierzemy. Bardziej logicznym jest jednak zastosowanie rozwiązania zawartego w punkcie b) – ponieważ w sposób nie budzący żadnych wątpliwości daje znak robotom, co „mogą zrobić ze stroną”.

 

 

GD Star Rating
loading...

Zobacz inne wpisy z tej kategorii

napisał/a 1334 artykułów na rzecz Bloga SEO

Optymalizacja i pozycjonowanie stron i sklepów internetowych w Google to moja pasja.

Od 2008 roku jako Top Contributor pomagam webmasterom rozwiązywać problemy z widocznością ich stron w Google na Forum Pomocy Google dla Webmasterów, na którym jestem najdłuższym stażem TC w Polsce.

W 2010 roku roku założyłem pierwszego w Polsce bloga SEO skierowanego nie do branży SEO, ale stricte do właścicieli stron, na którym przystępnym językiem przybliżam Wskazówki Google dla Webmasterów, opisuję i komentuję zmiany, jakie zachodzą w algorytmie Google. Publikując wskazówki odnośnie tego, jak rozwijać strony, aby rankowały wysoko w Google, pomagam im zwiększać ruch na stronach z naturalnych wyników wyszukiwania.

SEO to także moje życie zawodowe – firma SEOProfi, której jestem właścicielem, świadczy usługi na rynku polsko, anglo- i niemieckojęzycznym.

Skomentuj

Twój adres e-mail nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *