Token
Miért nem szóban mérik?
A modell nem szavakat lát, hanem darabokra bontott szövegrészeket. Egy gyakori szó jellemzően egyetlen token, egy ritka vagy hosszú, összetett szó viszont több darabra esik. Az írásjelek és a szóközök is számítanak.
Ennek a marketingben egy nagyon konkrét következménye van, amiről ritkán esik szó: a magyar szöveg tokenben drágább, mint az angol. A modellek túlnyomó részt angol szövegen tanultak, ezért az angol szavakat ismerik fel egyben; a magyar ragozott, összetett szavakat viszont több darabra bontják.
Ugyanaz a tartalom magyarul tipikusan érezhetően több tokenből áll, mint angolul. Aki angol árlista alapján tervez magyar nyelvű AI-felhasználást, az alultervez.
Hogyan jön ki a végszámla?
Az árazás két külön tételből áll, és az output jellemzően drágább, mint az input:
- Input token: minden, amit beküldesz — a kérdés, az utasítás, és a háttéranyag is, amit odaadsz a modellnek.
- Output token: amit a modell válaszol.
Ami a legtöbb kalkulációból kimarad: egy beszélgetésben a korábbi üzenetek minden fordulóban újra elmennek input gyanánt. Egy hosszú párbeszéd vége ezért lényegesen drágább, mint az eleje — nem azért, mert a kérdés hosszabb, hanem mert a teljes előzmény újra és újra beszámít.
Mit jelent ez az AI-marketing árazásában?
Ha egy szolgáltató AI-alapú tartalomgyártást vagy chatbotot árazik, a token az a mértékegység, ami alatta van. Három dolgot érdemes ezért megkérdezni, mielőtt ilyen szolgáltatást rendelsz:
- Benne van-e a modellhasználat a díjban, vagy külön számlázódik? A kettő között nagyságrendi különbség lehet nagy mennyiségnél.
- Van-e felső korlát? Egy korlát nélküli chatbot költsége a forgalommal együtt nő — ami épp a sikeres kampány idején a legrosszabb.
- Magyar vagy angol nyelvű a felhasználás? A fenti okból ez érdemben befolyásolja a valós költséget.
Nálunk ezért fix havidíjas a csomagszerkezet: a kiszámíthatóság többet ér, mint a látszólag olcsóbb, de nyitott végű elszámolás.
Hogyan csökkenthető a token-költség?
A legtöbb megtakarítás nem a modell cseréjéből jön, hanem abból, hogy mit és mennyit küldesz be.
Ne küldd be az egész dokumentumot, ha egy bekezdés is elég. Pontosan erre való a RAG: kikeresi a releváns részt, és csak azt adja oda a modellnek. Ez egyszerre olcsóbb és pontosabb.
Vágd a beszélgetés-előzményt. Egy chatbotnál ritkán kell a teljes korábbi párbeszéd — jellemzően az utolsó néhány forduló és egy rövid összefoglaló elég.
Kérj rövidebb választ. Az output drágább, mint az input, tehát a „foglald össze három mondatban” utasítás közvetlen megtakarítás.
Válaszd a feladathoz mért modellt. Egy egyszerű besorolási feladathoz nem kell a legnagyobb modell; a kisebb változatok töredékáron végzik ugyanazt.
Gyakori félreértés
A token nem karakter és nem szó. Aki karakterszámból próbál token-költséget becsülni, jellemzően téved — és magyar szövegnél lefelé. Ha pontos számra van szükséged, a modellszolgáltatók adnak token-számláló eszközt; egy becsléshez viszont érdemes a magyar szövegnél tudatosan felfelé kerekíteni.