Fine-tuning (finomhangolás)
A legtöbb marketinges feladathoz nincs szükség finomhangolásra. Egy jól megírt utasítás és néhány példa a promptban a feladatok nagy részét megoldja. A fine-tuning akkor jön szóba, amikor ugyanazt a dolgot sokszor, nagy mennyiségben és nagyon egyformán kell megcsinálni.
Hogyan működik?
Egy nagy nyelvi modell (LLM) alapból általános tudással rendelkezik. Finomhangoláskor bemenet-kimenet párokat adsz neki: „erre a kérdésre így válaszolj”, „ezt a terméknevet így írd le”. Néhány száz, jó minőségű példa már érezhető változást hoz egy szűk feladatban. A modell súlyai kis mértékben módosulnak, és utána a promptban nem kell újra és újra elmagyarázni a stílust vagy a formátumot.
A nagy AI-szolgáltatók (például az OpenAI és a Google) ezt API-n keresztül kínálják: feltöltöd a példafájlt, a betanítás lefut, és kapsz egy saját modellváltozatot, amelyet ugyanúgy hívsz, mint az eredetit. A díj a betanítási adat méretétől és a használattól függ.
Fine-tuning, prompt vagy RAG?
| Megoldás | Mire jó? | Mikor válaszd? |
|---|---|---|
| Prompt engineering | Utasítás és példák a kérésben | Szinte mindig ezzel kezdj |
| RAG | Friss, saját tudás (árlista, termékadat, GYIK) bevonása | Ha a modellnek tényeket kell tudnia rólad |
| Fine-tuning | Állandó stílus, formátum, osztályozás | Ha a prompt már nem elég következetes, és nagy a volumen |
A legfontosabb szabály: ha azt szeretnéd, hogy az AI ismerje az aktuális áraidat vagy szolgáltatásaidat, az RAG-feladat. A finomhangolt modellbe „beégetett” tény elavul, amint változik az árlista, és a modell magabiztosan fogja a régit mondani.
Szemléltető számpélda
Egy 4 000 termékes magyar webshop termékleírásokat generál. A prompt alapú megoldásnál minden kéréshez hosszú stílusleírást és öt mintaleírást csatol, ami kérésenként sok többlet-tokent jelent, és a kimenet így is ingadozik: a leírások kb. 20%-át kézzel kell javítani.
Finomhangolás után a promptból elhagyható a hosszú stílusleírás, a kézi javítás aránya pedig (feltételezett értékkel) 7%-ra csökken. Ha egy leírás kézi javítása 10 perc, 4 000 terméknél ez 800 helyett 280 javítást, vagyis kb. 133 óra helyett 47 óra munkát jelent. Óránként 6 000 Ft-os belső költséggel számolva ez nagyjából 516 000 Ft megtakarítás, amiből le kell vonni a példák összeállításának idejét és a betanítás díját. A számok szemléltetők; kis volumennél a megtakarítás nem fedezi a ráfordítást.
Gyakori hibák
- Rossz példákon tanítani. A modell pontosan azt veszi át, amit mutatsz, a hibákat is. Száz kiváló példa többet ér ezer közepesnél.
- Tudást akarni belőle. Ahogy fent: tényekhez RAG kell, nem finomhangolás.
- Nincs kontrollkészlet. Tegyél félre 30-50 példát, amelyen nem tanítasz, és ezen hasonlítsd össze az eredeti és a finomhangolt modellt. Enélkül csak benyomásod lesz, nem eredményed.
- Elfelejteni a karbantartást. Ha a szolgáltató új alapmodellt ad ki, a régi finomhangolás nem költözik át automatikusan. Számolj azzal, hogy időnként újra kell tanítani.
Hogyan kezdj hozzá, ha tényleg kell?
Az első lépés nem a betanítás, hanem a példák gyűjtése. Válogasd ki a legjobb, már elkészült kimeneteidet (termékleírásokat, ügyfélszolgálati válaszokat, kategorizált leveleket), és írd mellé, milyen bemenetből születtek. Ha nincs legalább 100-200 olyan példád, amelyre büszke vagy, a finomhangolás még korai. Ezután futtasd le ugyanazt a feladatot a jelenlegi legjobb promptoddal a kontrollkészleten, és értékeld ki: hány kimenet használható javítás nélkül. Ez lesz a viszonyítási pont.
Csak ezután jöhet a betanítás, és utána ugyanaz a kiértékelés. Ha a különbség kicsi, maradj a promptnál: olcsóbb, gyorsabban módosítható, és nem kell karbantartani. A finomhangolás akkor éri meg, ha a javulás jól látható, és a volumen elég nagy ahhoz, hogy a ráfordítás megtérüljön.