Wyszukiwarka Google

Czy Google indeksuje domeny, gdzie robots.txt zwraca błąd 500?

Poproszono mnie dzisiaj o pomoc w sprawie pewnej domeny, która nagle zniknęła z Google. Znając jej adres – widziałem tę stronę parę tygodni temu – wiedziałem, że jest to młoda witryna, bez żadnej złej przeszłości, od pewnego czasu w indeksie Google – zatem przyjąłem, że zapewne właścicielowi chodzi o spadek w SERPach, związany z tzw. FSB (Fresh Site Bonus). Wiedziałem też, że strona nie bierze udziału w żadnych programach wymiany linków, nie ukrywa tekstu itp. Jakie zatem było moje zdziwienie, gdy okazało się, że polecenie site:domena zwraca … brak wyników. Czyli strony nie ma w indeksie!

Zacząłem szybko sprawdzać możliwe przyczyny – meta robots były OK, ale szybko okazało się, że niespodzianka czekała przy pliku robots.txt, który się po prostu mi nie wyświetlał, pokazując jakąś informację o błędzie (niestety, nie zapisałem jej sobie).

Poprosiłem o dostęp do Narzędzi Google dla Webmasterów – nie było żadnego komunikatu. Pamiętając o „dziwnym” zachowaniu się pliku robots.txt sprawdziłem go przez Narzędzia i okazało się, że zwraca błąd 500!

No i winowajca się znalazł – plik został poprawiony, niedługo strona powinna pojawić się znowu w indeksie.

Warto zapamiętać, że Google nie indeksuje żadnych stron z domen, na których robots.txt ma kod 5xx

Czy ktoś z Was spotkał się z podobnym przypadkiem?

GD Star Rating
loading...
Czy Google indeksuje domeny, gdzie robots.txt zwraca błąd 500?, Czy Google indeksuje domeny, gdzie robots.txt zwraca błąd 500?, 10.0 out of 10 based on 1 rating Czy Google indeksuje domeny, gdzie robots.txt zwraca błąd 500?

Zobacz inne wpisy z tej kategorii

napisał/a 1334 artykułów na rzecz Bloga SEO

Optymalizacja i pozycjonowanie stron i sklepów internetowych w Google to moja pasja.

Od 2008 roku jako Top Contributor pomagam webmasterom rozwiązywać problemy z widocznością ich stron w Google na Forum Pomocy Google dla Webmasterów, na którym jestem najdłuższym stażem TC w Polsce.

W 2010 roku roku założyłem pierwszego w Polsce bloga SEO skierowanego nie do branży SEO, ale stricte do właścicieli stron, na którym przystępnym językiem przybliżam Wskazówki Google dla Webmasterów, opisuję i komentuję zmiany, jakie zachodzą w algorytmie Google. Publikując wskazówki odnośnie tego, jak rozwijać strony, aby rankowały wysoko w Google, pomagam im zwiększać ruch na stronach z naturalnych wyników wyszukiwania.

SEO to także moje życie zawodowe – firma SEOProfi, której jestem właścicielem, świadczy usługi na rynku polsko, anglo- i niemieckojęzycznym.

Opinie i Komentarze

Wojtek 1 marca 2012, 9:08

Spotkałem się z takim przypadkiem, rozwiązania szukałem przez kilka miesięcy [sic]. Problem był taki, ze strony indeksowały się prawidłowo, ale nie indeksowały się materiały video. Serwis dostępny pod adresem strona.pl a materiały video stanowiące zasadniczy content pod domeną v.strona.pl. Obrazki były serwowane przez serwer multimediów, który jak się okazało dla nierozpoznanych adresów zwracał kod 500. Ja sprawdzałem błedy w GWT dla głównej domeny a nie dla v.strona.pl i tam żadnych błedów oczywiście nie było. Wystawione sitemapy video były pobierane i pisało że GWT pisał że wszystko jest ok.

mr_zola 1 marca 2012, 11:09

„niedługo strona powinna pojawić się znowu w indeksie.”
ale gwarancji nie masz to tylko przypuszczenia?

Seo-Profi 1 marca 2012, 12:42

Mam info od osoby, która to testowała, jak ta się pojawi, zaraz napisze :)

Seo-Profi 5 marca 2012, 16:34

@mr_zola: strona wróciła do indeksu :)

Skomentuj

Twój adres e-mail nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *