Googlebot to „bardzo ważna persona”. Od niej zależy, czy strona zostanie zaindeksowana. Niekiedy pozornie błahostka sprawia, że się na nas, a właściwie naszą stronę, może „obrazić”. Jak np. w sytuacji, gdy robots.txt zwraca kod błędu 500 – w takiej sytuacji możemy zapomnieć w przypadku nowej strony o tym, że pojawi się w indeksie – zaś [...]

Poproszono mnie dzisiaj o pomoc w sprawie pewnej domeny, która nagle zniknęła z Google. Znając jej adres – widziałem tę stronę parę tygodni temu – wiedziałem, że jest to młoda witryna, bez żadnej złej przeszłości, od pewnego czasu w indeksie Google – zatem przyjąłem, że zapewne właścicielowi chodzi o spadek w SERPach, związany z tzw. [...]

Do tej pory widziałem już kilka razy sytuacje, w których strona była widoczna w SERPach pomimo faktu, że była ona zablokowana przed robotami – z reguły w WordPressie w ustawieniach była założona systemowa blokada na etapie tworzenia serwisu – i po zakończeniu prac zapominało się ja zwyczajnie wyłączyć. Lub też istniał zapis w robots.txt blokujący stronę przez odwiedzaniem jej przez roboty [...]

Plik robots.txt wykorzystywany jest do ograniczania dostępu do stron serwisu przez roboty wyszukiwarek. Poprzez odpowiednie zapisy możemy np. wyłączyć z indeksowania te strony, na których nam nie zależy (oczywiście powinniśmy mieć na uwadze to, że jeżeli wyłączymy je z indeksowania, ale w sieci będą znajdowały się odnośniki do tychże stron, to … i tak będą [...]

Temat poruszany już wielokrotnie na chociażby Forum Pomocy Google dla Webmasterów. Dzisiaj został zadany w końcu samemu Mattowi … Jakie rozwiązanie jest najlepsze w takiej sytuacji? a) pusty plik robots.txt b) plik robots.txt zawierający User-agent: *Disallow c) nie zakładać w ogóle pliku Odpowiedź Matta jest interesująca. Otóż rozwiązanie c) jest … ryzykowne. Jego brak stwarza [...]

meta tag revisit-after -> <meta name=”revisit-after” content=”…”> Tutaj odpowiedź jest prosta – nie używać. Już w 2007 roku na swoim blogu Google jasno podkreśliło swoje stanowisko w kwestii revisit-after: Occasionally webmasters needlessly include „revisit-after” to encourage a search engine’s crawl schedule, however this meta tag is largely ignored. If you want to give search engines [...]

Jak wiemy, w przypadku zakupu linków, aby być w zgodzie z Wytycznymi Google dla Webmasteró, należy je „zaopatrzyć” w atrybut nofollow. Co w przypadku grafiki? Otóż w przypadku zakupu takich linków od dużych firm specjalizujących się w sprzedaży banerów reklamowych są one w praktycznie każdym przypadku blokowane przed robotami – m.in. po to, aby roboty [...]

Jakiś czas temu pisałem o tym, aby serwer i domenę kupić samemu, nie zostawiać tego firmie pozycjonującej, ponieważ czasami zdarza się, że … mamy później problem z „odzyskaniem” domeny.Firma rejestruje domenę na siebie, zamiast na swojego Klienta, a potem bezczelnie żąda on niego nawet i 20.000 zł za „przekazanie” domeny. No dobrze, ale jeżeli kupimy [...]

Kwestia poruszona tutaj dotyczyła sytuacji, w której np. w celu zablokowanie indeksacji części serwisu, wyłączamy ją z Google, aby po kilku dniach wrócić do status quo (moim zdaniem to trochę bez sensu, no ale zobaczmy co Matt na to). Hm…. Już raz było podobne pytanie i odpowiedź, jak i teraz brzmiała: NIEEEEEEEEEEEEEEEE !!!! :) Plik [...]

O tym, że plik robots.txt służy do blokowania dostępu do wybranych części naszego serwisu robotom, wiemy już od dawna i ten fakt nie podlega wątpliwości. Niekiedy jednak można zauważyć w indeksie także i te strony, które .. jakiś czas temu zablokowaliśmy przed wizytą crawlerów. Dlaczego zatem są one widoczne? Okazuje się, że nie wszyscy wiedzą, [...]

Publikując witrynę w Sieci domyślnie udostępniamy wszystkie jej podstrony robotom. Aby to zmienić, należy posłużyć się plikiem robots.txt lub odpowiednim meta tagiem. Przed pobraniem strony witryny robot sprawdza, czy w głównym katalogu domeny witrynie znajduje się plik robots.txt i jeżeli go nie ma sprawa jest jasna – stawiamy stronę „do dyspozycji pająków” (umieszczenie pliku w [...]

Pytanie zadane Mattowi dotyczyło strony emitującej reklamy (widocznie musiało ich być bardzo dużo) :) Czyli: mamy na stronie treść i reklamy. Chcemy jednak robotowi przedstawiać wersję w 100% identyczną – gdyby nie było na niej reklam… (czyli tekst, nawigacja, obrazki) Odpowiedź brzmi – NIE. Jest to bowiem cloaking, czyli przedstawianie użytkownikowi innej zawartości tej samej [...]

Dosyć często osoby, zwłaszcza początkujący webmasterzy, zadają pytanie, jakie elementy muszą znaleźć się w takim pliku, traktując go jako obowiązkowy element każdej strony internetowej. Czy dobrze robią? Otóż … nie. Zasada indeksacji w Google jest taka, że domyślnie, przy braku takiego pliku, wszystkie strony są dostępne dla robotów wyszukiwarek – podobnie działa tag <meta name=”robots” [...]