A/B tesztelés (A/B testing)
Hogyan működik egy jó A/B teszt?
A módszer lényege, hogy egyszerre csak egy dolgot változtatsz, és minden más ugyanaz marad: ugyanaz az időszak, ugyanaz a forgalomforrás, ugyanaz a mérés. Így ha a B változat jobban teljesít, nagy biztonsággal a változtatásnak tulajdoníthatod a különbséget, nem a hétvégének vagy egy kampányindulásnak.
- Hipotézis: „Ha a gomb szövegét »Küldés«-ről »Kérem az ajánlatot«-ra cseréljük, több ajánlatkérés jön, mert a gomb megmondja, mi történik.”
- Egy fő mutató: előre döntsd el, mit mérsz (pl. ajánlatkérés / látogató). Ha utólag választasz mutatót, mindig találsz egy „nyertest”.
- Mintaméret és futamidő: előre számold ki, hány látogató kell, és legalább egy-két teljes hétig futtasd, hogy a hét napjainak ingadozása kiegyenlítődjön.
- Kiértékelés: csak akkor hirdess győztest, ha a különbség statisztikailag szignifikáns.
Számpélda: mennyi forgalom kell?
Tegyük fel, hogy egy magyar webshop termékoldalának konverziós aránya 2%. Ha egy relatív 20%-os javulást (2% → 2,4%) szeretnél kimutatni szokásos, 95%-os megbízhatósággal és 80%-os statisztikai erővel, nagyjából 21 000 látogató kell változatonként, vagyis összesen kb. 42 000.
| Napi forgalom a tesztelt oldalon | Szükséges futamidő (kb.) |
|---|---|
| 500 látogató | ~84 nap |
| 2 000 látogató | ~21 nap |
| 5 000 látogató | ~9 nap → de legalább 14 napig futtasd |
Pénzben: ha egy rendelés átlagosan 18 000 Ft, és havi 60 000 látogatód van, a 2% → 2,4% javulás havi 240 többletrendelést, vagyis kb. 4,3 millió Ft többlet-árbevételt jelent. Ezért éri meg türelmesen kivárni a teszt végét – és ezért nem érdemes napi 300 látogatós oldalon apró színváltozásokat tesztelni.
Mit érdemes tesztelni?
Kis forgalomnál a nagy, merész változtatások hoznak mérhető különbséget: új ajánlat-megfogalmazás, más főcím, rövidebb űrlap, árazás megjelenítése. A gombszín és a betűméret jellemzően olyan kis hatású, hogy egy hazai kkv forgalmán sosem lesz belőle értékelhető eredmény. Hirdetéseknél a Google Ads és a Meta saját kísérlet-funkciója is A/B logikával dolgozik – ott a CPA vagy a ROAS a jó fő mutató.
A/B teszt, többváltozós teszt vagy előtte-utána mérés?
Nem minden kérdésre az A/B teszt a jó válasz. A többváltozós teszt (multivariate) egyszerre több elem kombinációit vizsgálja – például három főcímet és két képet, vagyis hat változatot. Ehhez sokszoros forgalom kell, ezért a hazai kkv-k többségénél nem reális. Az előtte-utána mérés (egy hónap a régi oldallal, egy hónap az újjal) olcsó, de a szezon, a kampányok és a versenytársak hatása belekeveredik, így csak irányt mutat, bizonyítékot nem.
Ha kevés a forgalmad, három dolgot tehetsz: a teszt fő mutatójának válassz egy gyakoribb, de még értelmes eseményt (pl. a kosárba tételt a vásárlás helyett), tesztelj nagyobb változtatást, hogy nagyobb legyen a várható különbség, vagy fogadd el, hogy a döntést minőségi adatok – felhasználói felvételek, hőtérkép, ügyfélinterjú – alapján hozod meg, és ezt nem nevezed tesztnek.
A teszt végén rögzítsd írásban a hipotézist, a futamidőt, a mintaméretet és az eredményt. Fél év múlva ez a napló ér a legtöbbet: megmutatja, mely változtatások működtek a te közönségednél, és megóv attól, hogy ugyanazt kétszer teszteld.
Gyakori hibák
- Több változtatás egyszerre: ha a főcím, a kép és a gomb is más, nem tudod, mi okozta az eredményt.
- Szezon keveredése: az A változat októberben, a B novemberben (Black Friday) – ez nem A/B teszt, hanem előtte-utána összehasonlítás.
- Rossz mutató: a több kattintás nem jelent több vásárlást. Mindig az üzleti célhoz legközelebbi mutatót mérd.