Crawler — mi az a feltérképező robot?
Melyik bot mit csinál?
| Bot | Kié | Mire jó neked |
|---|---|---|
| Googlebot | Klasszikus keresési láthatóság | |
| Bingbot | Microsoft | Bing + részben AI-asszisztensek |
| AI-motorok botjai | Különböző szolgáltatók | Megjelenés az AI-válaszokban |
| SEO-eszközök botjai | Elemző szolgáltatók | Versenytárs-adat — de terhelnek is |
Az AI-botok sora az elmúlt években jelentősen bővült, és ez új döntést hoz: engeded-e őket. Ha kizárod, nem jelenhetsz meg forrásként az AI-válaszokban; ha beengeded, a tartalmadat felhasználhatják. Ez üzleti döntés, nem technikai.
Hogyan szabályozhatod?
- robots.txt — bot-azonosító szerint engedélyezés vagy tiltás. Kérés, nem kényszer: a tisztességes botok betartják.
- Meta robots — oldal-szintű indexelési utasítás.
- Szerver-szintű szabály — valódi blokkolás, ha egy bot nem viselkedik rendesen.
- Bejárási sebesség — ha a bot terheli a szervert.
A leggyakoribb, nehezen észlelhető hiba
Amikor a robots.txt engedélyez egy botot, de egy előtte álló védelmi réteg — CDN bot-szűrő, tűzfal, DDoS-védelem — mégis blokkolja. Ilyenkor papíron minden rendben, a valóságban viszont a bot hibakódot kap, és a tartalmad láthatatlan marad az adott szolgáltatásnál.
Ezt csak élő teszttel lehet kideríteni: kérd le az oldalt az adott bot azonosítójával, és nézd meg, 200-as választ kapsz-e. Ez különösen fontos az AI-botoknál, ahol a hibát semmilyen felület nem jelzi.
A Google saját botjáról részletesen a Googlebot fogalomnál írtunk, az AI-láthatóság üzleti oldaláról pedig a pillércikkünkben.