Wyszukiwarka Google
3 września 2010

O tym, że plik robots.txt służy do blokowania dostępu do wybranych części naszego serwisu robotom, wiemy już od dawna i ten fakt nie podlega wątpliwości. Niekiedy jednak można zauważyć w indeksie także i te strony, które .. jakiś czas temu zablokowaliśmy przed wizytą crawlerów. Dlaczego zatem są one widoczne?

Okazuje się, że nie wszyscy wiedzą, że jest – na pewno w przypadku Google – jeden „myk”, dzięki któremu opisana powyżej sytuacja może mieć miejsce. Są nią … linki prowadzące do stron zablokowanych w robots.txt. Jeżeli robot Google znajdzie odnośniki prowadzące do takiej witryny, to nie pomoże blokada – strona będzie mogła być zaindeksowana.

Objawem takiego stanu jest np. wyświetlanie się strony w wynikach bez description, pomimo faktu, że jest ono dostępne na stronie. Strona też pojawia się i znika w SERPAch, w dodatku z Title, który składa się m.in. z anchorów linków prowadzących do takiej strony.

Co zrobić, aby wyprostować opisaną wyżej sytuację? Otóż najprostszym jest rozwiązanie odwrotne, tzn. usunięcie linków.

GD Star Rating
loading...
Indeksowanie przez Google stron zablokowanych w robots.txt, Indeksowanie przez Google stron zablokowanych w robots.txt, 10.0 out of 10 based on 1 rating Indeksowanie przez Google stron zablokowanych w robots.txt
O autorze
SEBASTIAN
MIŚNIAKIEWICZ
Autor bloga,
specjalista SEO
Jako właściciel firmy SEOProfi pomaga zwiększać sprzedaż w sklepach internetowych oraz ruch na stronach firmowych na rynku polsko-, anglo- oraz niemieckojęzycznym.

Bloga założył w 2010 widząc ogrom problemów, z jakimi mają do czynienia osoby próbujące samodzielnie wypromować stronę w Google. Od 2011 roku jako Product Expert pomaga rozwiązywać te problemy na Forum Pomocy Google dla Webmasterów.


Chcesz zwiększyć widoczność
Twojej strony w Google?

Tak, chcę


OPINIE I KOMENTARZE

Colin 3 września 2010, 11:51

Można jeszcze dopisać Noindex: (o którym Google nie pisze w dokumentacji), tak jak na http://googleads.g.doubleclick.net/robots.txt i żaden odnośnik nie pojawi się w indeksie.

Seo-Profi 4 września 2010, 16:42

User-Agent: *
Disallow: /
Noindex: /

Dzięki Colin za cenną uwagę.

Skomentuj

Twój adres e-mail nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *

Inne wpisy z tej kategorii