Googlebot — hogyan járja be a Google az oldaladat?
Hogyan jár be egy oldalt?
A folyamat három lépésből áll, és mindhárom külön elakadhat:
- 1. Feltérképezés (crawl). A bot letölti az oldalt. Ha a robots.txt tiltja, vagy a szerver hibát ad, itt megáll.
- 2. Renderelés. Lefuttatja a JavaScriptet, hogy lássa a végleges tartalmat. Ha a tartalom csak JS-ből töltődik és az elhasal, üres oldalt lát.
- 3. Indexelés. Eldönti, bekerüljön-e az indexbe. A noindex, a kanonikus jelölés vagy a gyenge minőség itt szűr ki oldalakat.
Fontos különbség: a feltérképezés nem egyenlő az indexeléssel. Egy oldal lehet bejárva úgy, hogy soha nem kerül be a találatok közé.
Crawl budget — mikor számít?
A crawl budget az az erőforrás, amit a Google egy adott oldalra szán. Kis, néhány száz oldalas weboldalnál gyakorlatilag soha nem szűk keresztmetszet — aki ezzel riogat egy 40 oldalas céges honlapnál, az nem érti a fogalmat.
Ott számít, ahol tíz- vagy százezres nagyságrendű az oldalszám: nagy webshopoknál szűrő-kombinációkkal, paraméteres URL-ekkel, vagy tömegesen generált aloldalaknál. Ilyenkor a bot ideje elmegy értéktelen variánsokra, miközben a fontos oldalak ritkábban frissülnek.
| Oldalszám | Crawl budget probléma? | Mire figyelj |
|---|---|---|
| < 1 000 | Gyakorlatilag nem | Inkább a minőségre |
| 1 000 – 10 000 | Ritkán | Duplikált variánsok |
| > 10 000 | Igen | Paraméterek, szűrők, sitemap-higiénia |
Mit tehetsz a gyorsabb bejárásért?
- Friss, pontos XML sitemap, amelyben csak indexelendő, 200-as választ adó URL-ek vannak.
- Belső linkek. Amire nem mutat link, azt a bot nehezebben találja meg — l. az árva oldal fogalmat.
- Gyors szerverválasz. Ha lassan válaszol az oldal, a bot óvatosabban terheli.
- Ne blokkold a CSS-t és a JS-t a robots.txt-ben — enélkül a renderelés hibás lesz.
- IndexNow vagy Search Console a friss tartalom bejelentésére.
Gyakori hiba
A legdrágább tévedés az, amikor a robots.txt engedélyez, de egy előtte álló védelmi réteg — CDN bot-szűrő, tűzfal — mégis blokkolja a botot. Ilyenkor a beállítás papíron rendben van, a valóság viszont más. Ezt csak élő teszttel lehet kideríteni: kérd le az oldalt a bot azonosítójával, és nézd meg, 200-as választ kapsz-e.