Crawl budget

A crawl budget a Google-bot által egy adott weboldalra szánt erőforrás-keret — hány URL-t és milyen gyakran crawl-ol. A crawl budget korlátos, és különösen fontos nagy weboldalakon (10K+ URL) ahol a teljes oldal indexelése időt igényel.

Crawl budget meghatározó tényezők: (1) Crawl rate limit (a szerver hány kérést bír el sebességcsökkenés nélkül), (2) Crawl demand (mennyire fontos az oldal a Google szerint — popularity + freshness), (3) Server response time (lassú szerver → kevesebb kérés/sec), (4) URL-hibák (404, 5xx, soft 404 — a bot időt veszít hibákon), (5) Duplikált tartalom (a bot ugyanazt crawl-olja többször, ha nem érti hogy duplikáció).

Crawl budget optimalizálási stratégiák: (1) noindex/nofollow felesleges oldalakra (filterek, sort-paraméterek), (2) robots.txt blokkolás (admin, search results, infinite scroll), (3) Canonical tag a duplikációkra, (4) Sitemap.xml frissítve tartani (csak indexelhető URL-eket listázni), (5) Internal linking strategy (a fontos oldalakra több belső link), (6) Server response time javítása (CDN + cache), (7) Hibás URL-ek tisztítása (404 → 301 a relevant alternatívára).

Magyar piaci benchmarkok 2026-ban: 1-1000 URL oldalon a crawl budget gyakorlatilag nem korlát. 1K-10K URL oldalon havonta 1-2× teljes recrawl. 10K-100K URL oldalon kritikus a crawl budget optimalizálás. 100K+ URL oldalon (mint a programmatic SEO oldalak) a crawl budget az egyik legfontosabb SEO-faktor.

Mire jó: a crawl budget megértése segít elkerülni azt a helyzetet, hogy a Google-bot a felesleges, alacsony-értékű URL-eket crawl-olja (pl. faceted search), miközben a fontos cikkeid hetekig nem indexelődnek.