3 września 2010
Wyszukiwarka Google

O tym, że plik robots.txt służy do blokowania dostępu do wybranych części naszego serwisu robotom, wiemy już od dawna i ten fakt nie podlega wątpliwości. Niekiedy jednak można zauważyć w indeksie także i te strony, które .. jakiś czas temu zablokowaliśmy przed wizytą crawlerów. Dlaczego zatem są one widoczne?

Okazuje się, że nie wszyscy wiedzą, że jest – na pewno w przypadku Google – jeden “myk”, dzięki któremu opisana powyżej sytuacja może mieć miejsce. Są nią … linki prowadzące do stron zablokowanych w robots.txt. Jeżeli robot Google znajdzie odnośniki prowadzące do takiej witryny, to nie pomoże blokada – strona będzie mogła być zaindeksowana.

Objawem takiego stanu jest np. wyświetlanie się strony w wynikach bez description, pomimo faktu, że jest ono dostępne na stronie. Strona też pojawia się i znika w SERPAch, w dodatku z Title, który składa się m.in. z anchorów linków prowadzących do takiej strony.

Co zrobić, aby wyprostować opisaną wyżej sytuację? Otóż najprostszym jest rozwiązanie odwrotne, tzn. usunięcie linków.

System rezerwacji wizyt online dla Twojego gabinetu, salonu, klubuTestuj przez 30 dni !
Chcesz zwiększyć widoczność Twojej strony w Google? Umów się ze mną na 15 minut bezpłatnych konsultacji. Sprawdzę na czym stoimy i co mogę dla Ciebie zrobić





    SEBASTIAN
    MIŚNIAKIEWICZ
    Autor bloga,
    specjalista SEO
    Jako właściciel firmy SEOProfi pomaga zwiększać sprzedaż w sklepach internetowych oraz ruch na stronach firmowych na rynku polsko-, anglo- oraz niemieckojęzycznym.

    Bloga założył w 2010 widząc ogrom problemów, z jakimi mają do czynienia osoby próbujące samodzielnie wypromować stronę w Google. Od 2011 roku jako Product Expert pomaga rozwiązywać te problemy na Forum Pomocy Google dla Webmasterów.

    GD Star Rating
    loading...
    Indeksowanie przez Google stron zablokowanych w robots.txt

    10.0101

    OPINIE I KOMENTARZE

    Colin 3 września 2010, 11:51

    Można jeszcze dopisać Noindex: (o którym Google nie pisze w dokumentacji), tak jak na http://googleads.g.doubleclick.net/robots.txt i żaden odnośnik nie pojawi się w indeksie.

    Seo-Profi 4 września 2010, 16:42

    User-Agent: *
    Disallow: /
    Noindex: /

    Dzięki Colin za cenną uwagę.

    Skomentuj

    Twój adres e-mail nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *

    Inne wpisy z tej kategorii