Wyszukiwarka Google

Czy Google indeksuje domeny, gdzie robots.txt zwraca błąd 500?

4 komentarze

Poproszono mnie dzisiaj o pomoc w sprawie pewnej domeny, która nagle zniknęła z Google. Znając jej adres – widziałem tę stronę parę tygodni temu – wiedziałem, że jest to młoda witryna, bez żadnej złej przeszłości, od pewnego czasu w indeksie Google – zatem przyjąłem, że zapewne właścicielowi chodzi o spadek w SERPach, związany z tzw. FSB (Fresh Site Bonus). Wiedziałem też, że strona nie bierze udziału w żadnych programach wymiany linków, nie ukrywa tekstu itp. Jakie zatem było moje zdziwienie, gdy okazało się, że polecenie site:domena zwraca … brak wyników. Czyli strony nie ma w indeksie!

Zacząłem szybko sprawdzać możliwe przyczyny – meta robots były OK, ale szybko okazało się, że niespodzianka czekała przy pliku robots.txt, który się po prostu mi nie wyświetlał, pokazując jakąś informację o błędzie (niestety, nie zapisałem jej sobie).

Poprosiłem o dostęp do Narzędzi Google dla Webmasterów – nie było żadnego komunikatu. Pamiętając o „dziwnym” zachowaniu się pliku robots.txt sprawdziłem go przez Narzędzia i okazało się, że zwraca błąd 500!

No i winowajca się znalazł – plik został poprawiony, niedługo strona powinna pojawić się znowu w indeksie.

Warto zapamiętać, że Google nie indeksuje żadnych stron z domen, na których robots.txt ma kod 5xx

Czy ktoś z Was spotkał się z podobnym przypadkiem?

GD Star Rating
loading...
Czy Google indeksuje domeny, gdzie robots.txt zwraca błąd 500?, Czy Google indeksuje domeny, gdzie robots.txt zwraca błąd 500?, 10.0 out of 10 based on 1 rating Czy Google indeksuje domeny, gdzie robots.txt zwraca błąd 500?
autor 1378 artykułów opublikowanych na blogu

Jako właściciel firmy SEOProfi pomaga zwiększać sprzedaż w sklepach internetowych oraz ruch na stronach firmowych na rynku polsko-, anglo- oraz niemieckojęzycznym.

Bloga założył w 2010 widząc ogrom problemów, z jakimi mają do czynienia osoby próbujące samodzielnie wypromować stronę w Google. Od 2011 roku jako Top Contributor pomaga rozwiązywać te problemy na oficjalnym Forum Pomocy Google dla Webmasterów.


Chcesz zwiększyć widoczność Twojej strony w Google?

Tak, chcę >>


Opinie i Komentarze

Wojtek 1 marca 2012, 9:08

Spotkałem się z takim przypadkiem, rozwiązania szukałem przez kilka miesięcy [sic]. Problem był taki, ze strony indeksowały się prawidłowo, ale nie indeksowały się materiały video. Serwis dostępny pod adresem strona.pl a materiały video stanowiące zasadniczy content pod domeną v.strona.pl. Obrazki były serwowane przez serwer multimediów, który jak się okazało dla nierozpoznanych adresów zwracał kod 500. Ja sprawdzałem błedy w GWT dla głównej domeny a nie dla v.strona.pl i tam żadnych błedów oczywiście nie było. Wystawione sitemapy video były pobierane i pisało że GWT pisał że wszystko jest ok.

mr_zola 1 marca 2012, 11:09

„niedługo strona powinna pojawić się znowu w indeksie.”
ale gwarancji nie masz to tylko przypuszczenia?

Seo-Profi 1 marca 2012, 12:42

Mam info od osoby, która to testowała, jak ta się pojawi, zaraz napisze :)

Seo-Profi 5 marca 2012, 16:34

@mr_zola: strona wróciła do indeksu :)

Skomentuj

Twój adres e-mail nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *

Inne wpisy z tej kategorii

Więcej w Wyszukiwarka Google
Przyczyny spadku PageRank strony

O tym, ze coraz mniej osób wierzy w ścisłe powiązanie wskaźnika PageRank z pozycją ich strony w Google nie trzeba...

Zamknij