Kategoria: Techniczne SEO
robots.txt
Plik sterujący dostępem robotów do witryny.
robots.txt to plik w katalogu głównym domeny, który mówi robotom, których adresów nie powinny odwiedzać (reguły Disallow). Uwaga: blokada w robots.txt nie usuwa strony z indeksu — do tego służy tag noindex. Warto podać tu też adres sitemapy.