Kategoria: Podstawy
Crawl budget
Ile podstron robot odwiedza w danym czasie.
Crawl budget to limit zasobów, jaki wyszukiwarka przeznacza na przeglądanie Twojej witryny. Na dużych serwisach ma znaczenie: jeśli robot marnuje budżet na śmieciowe adresy, ważne podstrony mogą być rzadziej odwiedzane. Pomaga porządny sitemap.xml i blokowanie zbędnych URL-i.