Generator Robots.txt
Generuj i waliduj pliki robots.txt, aby kontrolować sposób indeksowania Twojej strony przez wyszukiwarki.
Ustawienia podstawowe
URL mapy strony, host i opóźnienie crawlowania
Predefiniowane reguły
Typowe reguły crawlowania dla Twojego robots.txt
Blocked Paths
Add paths you want to block from crawling
Quick add:
Reguły niestandardowe
Advanced: add any directives manually
Podgląd na żywo
Twój wygenerowany robots.txt
Waliduj Robots.txt
Paste your robots.txt content or enter your domain to fetch it automatically
Rules per User-Agent
Blocked paths ()
Allowed paths ()
No Allow/Disallow rules defined for this agent.
Odniesienia do mapy strony
Warnings
Errors
Czym jest robots.txt?
Wszystko, co musisz wiedzieć o kontrolowaniu crawlerów wyszukiwarek.
Cel robots.txt
Plik robots.txt informuje crawlery wyszukiwarek, które strony lub pliki mogą lub nie mogą pobierać z Twojej witryny. Jest umieszczony w katalogu głównym strony i jest pierwszym plikiem, którego szukają crawlery przed indeksowaniem treści.
Zawsze dodawaj mapę strony
Dodanie dyrektywy Sitemap do robots.txt pomaga wyszukiwarkom odkryć wszystkie strony w Twojej witrynie. URL mapy strony powinien wskazywać na prawidłową mapę XML, co znacznie poprawia efektywność crawlowania i szybkość indeksowania.
Uważaj z Disallow
Blokowanie zbyt wielu ścieżek może uniemożliwić wyszukiwarkom indeksowanie ważnych treści. Blokuj tylko strony, które nie powinny pojawiać się w wynikach wyszukiwania, takie jak panele administracyjne, strony logowania i pliki tymczasowe. Zawsze testuj zmiany przed wdrożeniem.
To nie jest zabezpieczenie
Robots.txt to wytyczna, a nie narzędzie bezpieczeństwa. Złośliwe boty mogą go całkowicie zignorować. Nigdy nie polegaj na robots.txt do ukrywania wrażliwych informacji. Używaj odpowiedniej autoryzacji, kontroli dostępu i meta tagów noindex dla stron, które nie powinny być publicznie dostępne.
Chcesz kompleksową analizę SEO?
Robots.txt to tylko jeden element układanki. Sprawdź wszystkie aspekty SEO swojej strony.
Uruchom pełną analizę SEOInne darmowe narzędzia SEO
Sprawdź pozostałe narzędzia do analizy Twojej strony