Robots.txt

A robots.txt egy szöveges fájl a weboldal gyökerében (https://domain.com/robots.txt), amely a "Robots Exclusion Standard" alapján instrukciókat ad a keresőmotor crawl-ereknek (Googlebot, Bingbot, stb.) — mit szabad és mit NEM szabad crawl-olni. **NEM** kötelező megfelelni a robots.txt-nek (technikailag), de a Google + Bing + Yandex tiszteletben tartja.

Alap szintaxis: User-agent (melyik bot-nak szól: `*` mindenkinek vagy konkrét bot pl. "Googlebot"), Disallow (URL pattern amit ne crawl-olj), Allow (kivétel a Disallow alól), Sitemap (sitemap.xml hely-jelzés). Példa: `User-agent: *` `Disallow: /admin/` `Sitemap: https://example.com/sitemap.xml`.

Robots.txt FONTOS félreértései: (1) NEM "noindex" — a robots.txt CSAK CRAWL-ot tilt, a Google indexelheti a URL-t link-alapján is. Ha NE indexelje, a noindex meta-tagot kell használni (de akkor nem szabad robots.txt-szel blokkolni — Google nem látja a noindex-et). (2) Robots.txt felfedezhető — bárki láthatja a tartalmát (ne tegyél bele érzékeny URL-t — mert "rejtett" oldalakat is felfedezhet bárki).

2026-os új szabvány: Content-Signal direktíva (Cloudflare által bevezetve) — `Content-Signal: search=yes,ai-train=no` formátumban szabályozza, hogy a keresőindexelés engedélyezett, de az AI-modell training NEM. Több AI-bot tiszteletben tartja: GPTBot, ClaudeBot, Google-Extended, CCBot, Bytespider.

Robots.txt validátor: Google Search Console > Settings > robots.txt Tester. Hibás robots.txt esetén a Google warning-eket küld.

Mire jó: a robots.txt az első érintkezési pont a Google-bot és az oldalad között. Egy hibás robots.txt esetén az egész weboldalad eltűnhet a Google indexéből — vagy fordítva, érzékeny tartalom indexelődhet.