robots.txt átnézése és javítása
Soronként végigmegyünk rajta. Kiderül, melyik bot mit lát, és van-e olyan régi tiltás, ami ma már a károdra van.
AI-crawler és llms.txt beállítás
Lehet, hogy a weboldalad ma csendben kitiltja a ChatGPT keresőjét, és erről senki nem szólt neked. Rendbe tesszük, hogy az idéző botok bejussanak, a tanító botokról pedig te döntesz.
49.900Ft egyszeri
48 óraválaszidő
2 rétegrobots.txt és szerver
Minden döntésünk mögött ott a nyilvános tudástárunk: szakmai cikkek, pillér-útmutatók és zenei marketing-útmutatók.
📚 Magyar online marketing tudástár
Röviden
Amit kapszAz AI-botok ma két csoportra válnak: az egyik a modellek tanításához gyűjt, a másik élő keresésnél olvassa és idézi az oldaladat. Ha rossz botot tiltasz, a céged kieshet a ChatGPT-válaszokból. 49 900 Ft egyszeri díjért beállítjuk a robots.txt-t, az llms.txt-t és a szerverszintű szabályokat, megnézzük a Cloudflare vagy a tárhely bot-védelmét is. A végén írásos jelentést kapsz arról, mit találtunk és mit állítottunk át.
Mit kapsz a beállításban?
llms.txt elkészítése
Egy rövid, géppel olvasható összefoglaló a weboldaladról: kik vagytok, mit kínáltok, hol vannak a legfontosabb oldalak. Az AI-eszközök így gyorsabban megtalálják a lényeget.
Tanító és kereső botok szétválasztása
A tanító botok (például a GPTBot) igény szerint tilthatók. A kereső és idéző botokat (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, PerplexityBot) beengedjük, hogy megjelenhess a válaszokban.
Szerverszintű bot-szabályok
A robots.txt csak kérés, nem zár. Szóval megnézzük a szerver vagy a tárhely szabályait is, mert ha ott blokk van, a robots.txt hiába enged.
Cloudflare és tárhely bot-védelem ellenőrzése
A Cloudflare és sok tárhely alapból szűri az AI-botokat, és ilyenkor a tulajdonos sokszor nem is tud róla, mert böngészőből az oldal tökéletesen működik, csak a bot kap hibaoldalt. Megnézzük, nem dob-e vissza a védelem pont olyan botot, amelyiket szeretnéd beengedni.
Írásos jelentés
Leírjuk, mi volt a kiinduló állapot, mit változtattunk és miért. Ha később más nyúl az oldalhoz, ebből látja, mit ne rontson el.
Egy helyzet, amit láttunk
A robots.txt engedte, a szerver mégsem
Volt egy weboldal, ahol papíron minden stimmelt. A robots.txt kifejezetten engedte az AI-keresőbotokat, tisztán, jól olvashatóan.
Mégsem jutottak be. Amikor lekértük az oldalt úgy, ahogy egy ilyen bot jön, kiderült, hogy a szerver vagy a CDN szintjén blokkolva vannak, vagyis a szép, tiszta robots.txt-nek gyakorlatilag nem volt hatása. A robots.txt ugyanis csak kérés a botoknak. Hogy a szerver beengedi-e őket, az egy másik rétegben dől el, és ott egy általános bot-védelmi szabály megfogta őket.
Két helyen kellett rendet tenni: a robots.txt-ben, illetve a szerver vagy a CDN beállításaiban. Azóta nálunk a fájl nem bizonyíték. Lekérjük az oldalt a bot szemével, és a tényleges választ nézzük, nem csak azt, ami le van írva.
Mi derül ki az első héten
- Megtudod, mit mond most a robots.txt-d az egyes AI-botoknak, és van-e benne tiltás, amiről nem is tudtál.
- Kiderül, beengedi-e a szerver, a tárhely vagy a Cloudflare a keresőbotokat, vagy valahol csendben visszadobja őket.
- Megmutatjuk, mi a különbség a tanító és a kereső botok között a te oldaladon. Hogy mit kezdesz velük, azt te döntöd el.
- Átküldjük az llms.txt tervezetét, hogy átnézd, mi kerüljön bele a cégedről.
- Ha minden megvan, beállítjuk, és újra lekérjük az oldalt a botok szemével. A végén leírjuk, mi változott.
Kinek nem ezt ajánljuk
- Ha senkit nem akarsz beengedni a weboldaladra, AI-keresőt sem. Ezt is beállítjuk, persze, csak akkor ez már nem a láthatóságról szól.
- Ha az oldaladon alig van érdemi szöveg arról, mit csinálsz, mennyiért és hogyan. A botok beengedés után is csak azt tudják idézni, ami ott van.
- Ha zárt oldalépítő platformon vagy, ahol se a robots.txt-hez, se a szerverhez nem férsz hozzá. Ott nálunk az első kérdés az, hogy mit enged egyáltalán a platform.
- Ha azt várod, hogy beállítás után a ChatGPT biztosan ajánlani fog. Ez csak kinyitja a kaput. Az ajánlás más dolgokon is múlik, és ezt őszintén szólva senki nem tudja megígérni.
A bot-védelem gyakran magától bekapcsol
Sok magyar weboldal fut Cloudflare mögött vagy menedzselt tárhelyen, beépített bot-védelemmel. A Cloudflare-nek külön kapcsolója van az AI-botok tiltására, és több tárhelyszolgáltató is szűri az ismeretlen vagy túl sűrűn érkező botokat. Csakhogy ezt sokszor nem is a cég kapcsolja be. A fejlesztő teszi meg, a tárhely, vagy egy biztonsági beállítás. A tulajdonos meg közben csak a robots.txt-t látja, ami amúgy egészen mást mond. Ezért mi az ellenőrzést mindig a tényleges szerverválaszig visszük.
Hogyan dolgozunk
Így megy, lépésről lépésre
- 1
Felmérés
Lekérjük a robots.txt-t, a szerver válaszait és a bot-védelmi beállításokat. Kipróbáljuk, mit kap egy-egy AI-bot, amikor az oldaladra jön.
- 2
Döntés veled
Megbeszéljük, a tanító botokat tiltani szeretnéd-e. Ez üzleti döntés, nem technikai: elmondjuk, mivel jár mindkét út, és ha kéred, azt is, én mit választanék.
- 3
Beállítás
Átírjuk a robots.txt-t, elkészítjük az llms.txt-t, és a szerver vagy a Cloudflare szintjén is összehangoljuk a szabályokat.
- 4
Ellenőrzés és jelentés
Újra lekérjük az oldalt a botok szemével, és megnézzük, hogy tényleg az történik, amit beállítottunk. Utána megkapod az írásos jelentést.
Ár
Mennyibe kerül?
AI-crawler és llms.txt beállítás
49.900Ft egyszeri
Egyszeri munka, havidíj nélkül.
- robots.txt átnézése és javítása
- llms.txt elkészítése és feltöltése
- Szerverszintű bot-szabályok összehangolása
- Cloudflare és tárhely bot-védelem ellenőrzése
- Írásos jelentés a változtatásokról
Nézzük meg, mit lát rólad a ChatGPT keresője
Írd meg a weboldalad címét. 48 órán belül válaszolunk, és megírjuk, mit találtunk az első ránézésre.
Gyakori kérdések
Gyakori kérdések
Mi a különbség a tanító és a kereső botok között?
A tanító botok (például a GPTBot) a modellek fejlesztéséhez gyűjtenek szöveget. A kereső és idéző botok (például az OAI-SearchBot vagy a ChatGPT-User) akkor jönnek, amikor valaki épp kérdez valamit, és a válaszhoz forrást keresnek. A szétválásról és arról, hogy egy rossz tiltás kiveheti a céget a ChatGPT-válaszokból, itt olvashatsz bővebben: hartzer.it.com/ai-crawler-directives-and-llms-txt.
Ha tiltom a GPTBotot, eltűnök a ChatGPT-ből?
Nem, legalábbis közvetlenül nem. A GPTBot a tanításhoz gyűjt, a ChatGPT keresése más botokkal dolgozik. Pont ezért fontos, hogy ne egy általános tiltással zárj ki mindent, hanem botonként dönts.
Mi az az llms.txt?
Egy egyszerű szöveges fájl a weboldalad gyökerében, ami röviden leírja, mi van az oldalon és hol. Nem kötelező szabvány, és nem minden AI-eszköz használja. Őszintén szólva azt sem tudni pontosan, melyik mennyire veszi figyelembe. Szerintem ettől még megéri: olcsó elkészíteni, és segíti a gépi olvasást.
Nem elég, ha a robots.txt-ben engedem a botokat?
Sokszor nem. A robots.txt csak kérés a botok felé. Ha a szerver, a tárhely vagy a Cloudflare közben blokkolja őket, a bot be sem jut. Bevallom, nálunk is két rétegben, a robots.txt-ben és a szerveren is rendbe kellett tenni, pedig ez a szakmánk.
Ettől meg fogok jelenni a ChatGPT-válaszokban?
Ez a beállítás azt biztosítja, hogy ne zárd ki magad. Hogy a ChatGPT téged ajánl-e, az már a tartalmadon, az ismertségeden és azon múlik, mit írnak rólad máshol. Erre való az AI-láthatóság audit.
Kell hozzá hozzáférés a tárhelyhez?
Igen, a robots.txt és az llms.txt feltöltéséhez, illetve a Cloudflare vagy a tárhely bot-beállításaihoz. Ha ezt nem tudod megadni, megírjuk pontosan, mit kell átállítania annak, aki kezeli.
Aki mögötte áll
Rácz Dávid
Alapító & stratégaNem sablon — adatból visszaigazolt rendszer, amit én magam is nap mint nap használok.
Mérés-rendbetétel, helyi célzás és heti keresésiszó-munka egy szervizfiókon.
Elolvasom →Ne a weboldalad zárja ki a céged
Egy rossz sor a robots.txt-ben vagy egy túl szigorú bot-védelem elég ahhoz, hogy a ChatGPT ne lássa az oldaladat. Nézzük meg, és rakjuk rendbe egyszer, rendesen.
Kérem →Válaszidő: 48 óra