Finomhangolás (fine-tuning)

Hogyan működik?

Egy nagy nyelvi modell általános tudással érkezik: rengeteg szövegen tanult, de semmit nem tud a te cégedről. Három úton lehet erre a tudásra rátenni a sajátodat.

Az első a promptolás: minden kérdésnél odaadod a szükséges információt. Olcsó, azonnali, de minden alkalommal fizetsz érte, és korlátozza, mennyi fér bele egy kérésbe.

A második a RAG: a modell kereséssel előszedi a saját dokumentumaidból a releváns részt, és azt használja. A tudás kívül marad, a modell változatlan.

A harmadik a finomhangolás: több száz vagy több ezer példán megmutatod a modellnek, hogyan kell viselkednie, és a modell belső paraméterei módosulnak. Utána külön magyarázat nélkül is úgy fog válaszolni, ahogy megtanítottad.

Finomhangolás vagy RAG? — a gyakorlati döntés

Ez a leggyakoribb kérdés, és a válasz meglepően egyszerű, ha a helyes szempontot nézed: a tudás típusát, nem a mennyiségét.

• Ha TÉNYEKET kell tudnia — árlista, dokumentáció, szerződésfeltételek, termékadatok —, akkor RAG kell. A tények változnak, és egy RAG-rendszerben elég a dokumentumot lecserélni. Finomhangolt modellnél újra kellene tanítani.
• Ha VISELKEDÉST kell tanulnia — a te írásstílusod, egy állandó válaszformátum, egy szakma sajátos szóhasználata —, akkor a finomhangolásnak van értelme. A stílus nem változik hetente.

A gyakorlatban a legtöbb magyar kkv-nak RAG kell, nem finomhangolás — mert amit hiányol a modellből, az szinte mindig tény, nem stílus.

Mennyibe kerül, és mikor éri meg?

A finomhangolás költsége három részből áll, és a legtöbb kalkulációból a második és harmadik kimarad:

1. A tanítóadat előállítása. Ez a legdrágább tétel, és emberi munka: több száz jó minőségű példát kell összeállítani. Ez jellemzően nem gépi feladat.
2. Maga a tanítás. A modellszolgáltatónál tokenben mérve fizeted; kis adathalmaznál ez gyakran a legkisebb tétel.
3. A fenntartás. Ha a modell alap verziója frissül, vagy a stílus változik, újra kell tanítani. Ez visszatérő költség.

Az ökölszabály: ha nem tudod legalább néhány száz jó példával alátámasztani, amit el akarsz érni, akkor még nem finomhangolás kell, hanem jobb prompt. A rosszul összeválogatott tanítóadaton finomhangolt modell magabiztosabban lesz rossz, mint az eredeti — és ez veszélyesebb, mint a nyilvánvaló hiba.

Mire figyelj, ha ajánlatot kapsz rá?

A finomhangolás körül sok a marketingzaj, ezért érdemes néhány konkrét kérdést feltenni annak, aki ajánlja.

Hány tanítópéldából dolgoztok, és ki állítja elő őket? Ha a válasz „majd generáljuk AI-jal", akkor a modell a saját hibáit fogja megtanulni. A tanítóadat minősége határozza meg az eredményt, nem a mennyisége.

Mi történik, ha frissül az alapmodell? A finomhangolt változat egy adott modellverzióhoz kötődik. Ha az elavul, a munka egy részét újra kell végezni — ezt előre tisztázni kell, nem utólag.

Hogyan mérjük, hogy jobb lett? Kell egy előre rögzített, változatlan tesztkészlet, amin a finomhangolás előtti és utáni válaszokat összeveted. Enélkül a „sokkal jobb lett” állítás nem ellenőrizhető.

Ha ezekre nincs világos válasz, jellemzően nem finomhangolásra van szükség, hanem a folyamat tisztázására — és az sokkal olcsóbb.

Gyakori félreértés

Sokan azt hiszik, a finomhangolással a modell „megtanulja a cégüket", és utána mindent tudni fog róluk. Nem így működik. A finomhangolás a hogyan-t tanítja, nem a mit-et. Ha a finomhangolt modellt megkérdezed a tegnapi árlistádról, ugyanúgy nem fogja tudni — legfeljebb magabiztosabban fog kitalálni valamit.