Wyszukiwarka Google

Indeksowanie przez Google stron zablokowanych w robots.txt

2 komentarze

O tym, że plik robots.txt służy do blokowania dostępu do wybranych części naszego serwisu robotom, wiemy już od dawna i ten fakt nie podlega wątpliwości. Niekiedy jednak można zauważyć w indeksie także i te strony, które .. jakiś czas temu zablokowaliśmy przed wizytą crawlerów. Dlaczego zatem są one widoczne?

Okazuje się, że nie wszyscy wiedzą, że jest – na pewno w przypadku Google – jeden „myk”, dzięki któremu opisana powyżej sytuacja może mieć miejsce. Są nią … linki prowadzące do stron zablokowanych w robots.txt. Jeżeli robot Google znajdzie odnośniki prowadzące do takiej witryny, to nie pomoże blokada – strona będzie mogła być zaindeksowana.

Objawem takiego stanu jest np. wyświetlanie się strony w wynikach bez description, pomimo faktu, że jest ono dostępne na stronie. Strona też pojawia się i znika w SERPAch, w dodatku z Title, który składa się m.in. z anchorów linków prowadzących do takiej strony.

Co zrobić, aby wyprostować opisaną wyżej sytuację? Otóż najprostszym jest rozwiązanie odwrotne, tzn. usunięcie linków.

GD Star Rating
loading...
Indeksowanie przez Google stron zablokowanych w robots.txt, Indeksowanie przez Google stron zablokowanych w robots.txt, 10.0 out of 10 based on 1 rating Indeksowanie przez Google stron zablokowanych w robots.txt
autor 1380 artykułów opublikowanych na blogu

Jako właściciel firmy SEOProfi pomaga zwiększać sprzedaż w sklepach internetowych oraz ruch na stronach firmowych na rynku polsko-, anglo- oraz niemieckojęzycznym.

Bloga założył w 2010 widząc ogrom problemów, z jakimi mają do czynienia osoby próbujące samodzielnie wypromować stronę w Google. Od 2011 roku jako Top Contributor pomaga rozwiązywać te problemy na oficjalnym Forum Pomocy Google dla Webmasterów.


Chcesz zwiększyć widoczność Twojej strony w Google?

Tak, chcę >>


Opinie i Komentarze

Colin 3 września 2010, 11:51

Można jeszcze dopisać Noindex: (o którym Google nie pisze w dokumentacji), tak jak na http://googleads.g.doubleclick.net/robots.txt i żaden odnośnik nie pojawi się w indeksie.

Seo-Profi 4 września 2010, 16:42

User-Agent: *
Disallow: /
Noindex: /

Dzięki Colin za cenną uwagę.

Skomentuj

Twój adres e-mail nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *

Inne wpisy z tej kategorii

Więcej w Wyszukiwarka Google
Słowo kluczowe w adresie URL czy w nazwie pliku – co jest lepsze

Wyjaśniając to na przykładzie - według Google lepszy z punktu widzenia wyszukiwarki jest adres sklep.pl/sportywodne/windsurfing/deski/dla-dzieci/ czy może sklep.pl/sportywodne-windsurfing-deski-dla-dzieci ? Według...

Zamknij