Statisztikai szignifikancia (statistical significance)
Definíció: A statisztikai szignifikancia azt méri, mekkora eséllyel jött ki egy A/B-teszt eredménye pusztán a véletlenből. Ha egy különbség szignifikáns, az azt jelenti, hogy nagy valószínűséggel valódi, nem a szerencse műve. A marketingben ez a bizonyíték: enélkül csak találgatsz, hogy melyik változat volt tényleg jobb.
Képzeld el, hogy feldobsz egy érmét tízszer, és hatszor fej lesz. Ez azt jelenti, hogy az érme cinkelt? Nem — simán belefér a véletlenbe. Ugyanez a helyzet az A/B-teszttel: ha a B változat 3 emberrel több konverziót hozott 100-ból, az még nem bizonyíték. A statisztikai szignifikancia segít eldönteni, mikor van elég adatod ahhoz, hogy higgy az eredménynek.
A p-érték közérthetően
A p-érték azt mondja meg, mekkora eséllyel kaptad volna ezt a különbséget akkor is, ha valójában nincs semmi különbség a két változat között. A marketingben elterjedt küszöb a 0,05, ami 95%-os megbízhatóságnak felel meg. Ha a p-érték 0,05 alatt van, azt mondjuk: az eredmény szignifikáns. Egyszerűbben: „5% az esély, hogy csak véletlen — ezt már felvállalom." Fontos, amit a p-érték NEM jelent: nem azt mondja meg, mennyivel jobb a B változat, csak azt, hogy a különbség valószínűleg valódi.
Minta-méret: ökölszabályok
A leggyakoribb kérdés: „hány látogató kell?" A válasz attól függ, milyen a jelenlegi konverziód, és mekkora javulást akarsz kimutatni. Minél kisebb a javulás, annál több adat kell. Néhány durva ökölszabály, konverziónként (nem látogatónként) változatonként:
| Jelenlegi konverzió | Kimutatandó javulás | Kb. konverzió / változat |
|---|---|---|
| 3% | +50% (3% → 4,5%) | ~100 |
| 3% | +20% (3% → 3,6%) | ~650 |
| 5% | +30% (5% → 6,5%) | ~200 |
| 10% | +10% (10% → 11%) | ~1 500 |
Ezek tájékoztató nagyságrendek — pontos számhoz használj minta-méret kalkulátort. A tanulság mégis fontos: ha a havi forgalmad kicsi, egy apró javulást (pl. +5%) hónapokig nem tudsz megbízhatóan kimutatni. Ilyenkor inkább nagyobb, bátrabb változtatásokat tesztelj, amiknél a hatás is nagyobb.
Konkrét példa
Van egy ajánlatkérő oldalad, ami 4%-on konvertál. Kipróbálsz egy új fejlécet. Két hét után: az A (régi) 520 látogatóból 21 konverzió (4,0%), a B (új) 510 látogatóból 28 konverzió (5,5%). Csábító azt mondani, hogy a B nyert. De ennyi adatnál a p-érték nagyjából 0,25 — vagyis 25% az esély, hogy a különbség csak véletlen. Ez messze a 0,05-ös küszöb felett van. Nem állhatsz meg: futtasd tovább, amíg elég konverzió gyűlik össze mindkét oldalon.
A leggyakoribb hiba: túl korai leállítás
A legdrágább tévedés, hogy a teszt közben állandóan nézed az eredményt, és abban a pillanatban leállítod, amikor a kedvenced éppen vezet. Ezt hívják „peeking"-nek. A probléma: a különbség a teszt elején erősen ingadozik, és szinte biztosan lesz egy pillanat, amikor bármelyik változat vezet. Ha akkor állsz le, becsapod magad. A megoldás: előre döntsd el a minta-méretet és a teszt hosszát (legalább egy-két teljes hét, hogy a hétvégi és hétköznapi viselkedés is beleférjen), és csak a végén nézd meg az eredményt.
Gyakorlati tipp: Mielőtt elindítasz egy tesztet, írd le egy mondatban: „Akkor állítom le, ha mindkét változaton összegyűlt X konverció, de legkorábban Y nap múlva." Ha ezt előre rögzíted, nem esel bele a korai leállítás csapdájába, és az eredményedben tényleg megbízhatsz.