Błędna reguła w robots.txt ("Disallow: /") zdarza się przy każdej większej aktualizacji WP lub migracji serwera. Google przestaje indeksować stronę. Klient zauważa to dopiero gdy ruch spadnie o 80%.
Nie czekasz aż klient zgłosi problem. System wyłapuje anomalie i natychmiast powiadamia agencję.
Sprawdzamy czy plik istnieje i zwraca kod 200. Plik robots.txt zwracający 404 lub 500 może być różnie interpretowany przez boty — niektóre traktują go jako "blokuj wszystko".
Analizujemy reguły Allow i Disallow dla głównych botów wyszukiwarek. Wykrywamy niebezpieczne reguły jak "Disallow: /" lub blokadę katalogu /wp-admin/ (pożądane) vs /sklep/ (niepożądane).
robots.txt powinien wskazywać na sitemap.xml dyrektywą Sitemap:. Sprawdzamy czy dyrektywa istnieje i czy wskazany URL sitemapy jest dostępny.
Rejestrujemy każdą zmianę pliku robots.txt z timestampem. Możesz zobaczyć dokładnie co się zmieniło i kiedy — przydatne po aktualizacjach WP.
Zmiana jednej linijki może zablokować Google na tygodnie — a odbudowanie widoczności SEO zajmuje miesiące.
Reguła "Disallow: /" blokuje wszystkie boty. Google przestaje crawlować stronę. Strony znikają z wyników wyszukiwania stopniowo — przez 2-4 tygodnie klient może nie zauważyć.
Każdy dzień z błędnym robots.txt to stracony ruch. Google nie odświeża indeksu natychmiast — przez tygodnie strony mogą "widmowo" pojawiać się w wynikach, ale z nieaktualnymi danymi.
robots.txt często ustawiany na "Disallow: /" podczas migracji i zapominany po jej zakończeniu. Ten klasyczny błąd powtarza się co kilka miesięcy przy pracach na serwerze.
WordPress od wersji 5.3 generuje robots.txt dynamicznie przez API. Wtyczki SEO mogą nadpisywać reguły w sposób nieprzewidywalny po aktualizacji.
Agencje często blokują roboty podczas migracji i zapominają odblokować. Ten błąd kosztuje klientów pozycje SEO na miesiące.
Śledzimy każdą zmianę pliku robots.txt — i alarmujemy gdy wykryjemy niebezpieczne reguły.
Co kilka godzin pobieramy plik robots.txt każdej domeny i analizujemy reguły dla głównych botów.
Porównujemy bieżący plik z poprzednim. Każda zmiana jest rejestrowana — widzisz co dodano i co usunięto.
Natychmiastowy alert gdy wykryjemy "Disallow: /" lub blokadę głównych sekcji strony. Alarmujemy też gdy plik stanie się niedostępny.
Pełna historia pliku robots.txt z diff-em zmian. Możesz zobaczyć jak plik wyglądał przed aktualizacją WP lub migracją.
Cześć,
Wykryto zmianę pliku robots.txt na stronie domainbeast.pl.
Dodano: Disallow: /sklep/ · Usunięto: Sitemap: https://domainbeast.pl/sitemap.xml
Reguła Disallow: /sklep/ blokuje crawlowanie katalogu sklepu przez Googlebot.
Usunięto wskazanie sitemapv — boty mogą wolniej odkrywać nowe strony.
Alarmujemy przy każdej zmianie pliku robots.txt — nie czekamy aż klient straci ruch organiczny.
Każda domena w DomainBeast to kompletny obraz zdrowia, nie tylko jeden wskaźnik.
Dodaj domeny swoich klientów. Pierwsze 10 monitorujesz bezpłatnie, bez karty kredytowej i bez zobowiązań.
Bezpłatny dostęp do 10 domen · Alerty email · Bez instalowania czegokolwiek