User agent

A user agent az a rövid szöveg, amit minden böngésző és robot elküld magáról a szervernek: nagyjából annyit mond, hogy „én ez és ez a program vagyok". Ez alapján tudja a kiszolgáló, hogy mobil böngésző, asztali gép vagy épp a Google robotja kopogtat.

Mire használják

Felhasználás	Mit csinál	Mennyire megbízható
Mobil vagy asztali kiszolgálás	Eltérő tartalom vagy elrendezés	Közepes — jobb a képernyőméret
Keresőrobot felismerése	Naplózás, statisztika	Alacsony — hamisítható
Robot beengedése vagy tiltása	Hozzáférés szabályozása	Csak IP-ellenőrzéssel együtt
Hibakeresés	Melyik kliensnél jelentkezik a hiba	Jó

A második és harmadik sor a lényeg SEO-szempontból: a user agent szabadon beállítható. Bárki küldhet olyan kérést, ami a Google robotjának adja ki magát — ezért a komoly rendszerek nem a szövegre hagyatkoznak, hanem visszaellenőrzik a kérés IP-címét is.

Miért számít SEO-ban

Két helyzetben válik gyakorlati kérdéssé.

Ha eltérő tartalmat szolgálsz ki neki. Ha a keresőrobot mást lát, mint a látogató, az álcázásnak (cloaking) minősül, és irányelvsértés. Nem mindegy tehát, hogy a szerver mit kezd a user agenttel.

Ha véletlenül kizárod. Ez a gyakoribb és alattomosabb eset: biztonsági szűrők, tűzfalak és robotvédelmi megoldások gyakran user agent alapján tiltanak. Előfordul, hogy egy keresőrobot vagy AI-robot így kap elutasítást — miközben a robots.txt engedélyezi.

Ez a kettősség tipikus hibaforrás: a robots.txt a webhely szándékát írja le, a tényleges hozzáférést viszont a szerver és az elé kapcsolt rendszerek döntik el. Ha a kettő eltér, a robots.txt mást állít, mint a valóság — és ezt csak méréssel lehet észrevenni.

Hogyan ellenőrizd

Egyszerű, és érdemes időnként megtenni: küldj egy kérést az oldaladra a vizsgált robot azonosítójával, és nézd meg, milyen státuszkódot kapsz. Ha nem 200-at, akkor valami az útvonalon blokkol.

Ha elutasítást kapsz, a következő kérdés, hogy ki utasított el. Erre a válasz szövege és a válasz fejlécei adnak támpontot: a szolgáltató hibaoldala más, mint a védelmi rendszereké. Ez a különbségtétel dönti el, hol kell javítani — és sok idő megspórolható vele, mert enélkül könnyű a rossz helyen keresni a hibát.

Fontos korlát: ha a rendszer IP-alapú hitelesítést végez, akkor a saját géped nem tud „valódi" keresőrobotként viselkedni, hiába állítod be a nevét. Ilyenkor a mérés csak azt mutatja meg, hogy a névre hogyan reagálnak — ami önmagában is hasznos információ.

Gyakori kérdések

Hamisítható a user agent?

Igen, teljesen szabadon. Ezért nem alkalmas hitelesítésre: a nagyobb keresők épp ezért teszik közzé a robotjaik IP-tartományát, hogy a kiszolgáló vissza tudja ellenőrizni a bemutatkozást.

Szabad-e eltérő tartalmat adni robotnak és látogatónak?

Nem. Ha a kereső mást lát, mint a felhasználó, az álcázásnak minősül, és irányelvsértés. Az eszközhöz igazított elrendezés viszont rendben van, amíg a tartalom lényegében ugyanaz.

Honnan tudom, hogy egy robotot blokkol-e a szerverem?

Küldj egy kérést az adott robot azonosítójával, és nézd meg a válasz státuszkódját. Ha nem 200, akkor a válasz szövegéből és fejlécéből derül ki, melyik réteg utasította el — a szolgáltató kiszolgálója vagy egy elé kapcsolt védelmi rendszer.

Miért enged a robots.txt, ha a szerver mégis tilt?

Mert a kettő különböző szinten működik. A robots.txt egy kérés a robot felé, amit az önként betart; a szerver és a védelmi rendszerek viszont fizikailag döntenek a hozzáférésről. Ha a védelem tilt, a robots.txt engedélye nem érvényesül.