Wyszukiwarka Google

Czy warto używać robots.txt gdy nie mamy nic do ukrycia przed robotami

Brak komentarzy

Temat poruszany już wielokrotnie na chociażby Forum Pomocy Google dla Webmasterów. Dzisiaj został zadany w końcu samemu Mattowi …

Jakie rozwiązanie jest najlepsze w takiej sytuacji?

a) pusty plik robots.txt

b) plik robots.txt zawierający User-agent: *Disallow

c) nie zakładać w ogóle pliku

Odpowiedź Matta jest interesująca. Otóż rozwiązanie c) jest … ryzykowne. Jego brak stwarza zagrożenie dla naszej strony ponieważ provider może w takiej sytuacji wstawić nam stronę … błędu 404. Jest to marginalna sytuacja – jak mówi Matt może ona wystąpić jedynie w 1% przypadków – no ale nie wiedziałem o tym 1%. Może dlatego, że staram się nie korzystać z usług „dziwnych providerów”, o darmowych już nie wspominając – moim zdaniem to właśnie tam prawdopodobieństwo wystąpienia jakiegoś błędu jest większe.

Dlatego warto zastosować rozwiązanie a) i b) – wymiennie. Dla Google nie ma znaczenia, które rozwiązanie wybierzemy. Bardziej logicznym jest jednak zastosowanie rozwiązania zawartego w punkcie b) – ponieważ w sposób nie budzący żadnych wątpliwości daje znak robotom, co „mogą zrobić ze stroną”.

 

 

GD Star Rating
loading...
autor 1380 artykułów opublikowanych na blogu

Jako właściciel firmy SEOProfi pomaga zwiększać sprzedaż w sklepach internetowych oraz ruch na stronach firmowych na rynku polsko-, anglo- oraz niemieckojęzycznym.

Bloga założył w 2010 widząc ogrom problemów, z jakimi mają do czynienia osoby próbujące samodzielnie wypromować stronę w Google. Od 2011 roku jako Top Contributor pomaga rozwiązywać te problemy na oficjalnym Forum Pomocy Google dla Webmasterów.


Chcesz zwiększyć widoczność Twojej strony w Google?

Tak, chcę >>


Skomentuj

Twój adres e-mail nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *

Inne wpisy z tej kategorii

Więcej w Wyszukiwarka Google
Jaką rolę odgrywa DMOZ w wynikach wyszukiwania Google

Pytanie, jakie zostało Mattowi dotyczyło strony, która znajduje się w TOP1 dla danej frazy i jedyne, co  pytający zauważył, porównując...

Zamknij