Kære Forge-fans,
I den seneste tid har vi modtaget kommentarer vedrørende A/B-tests og hvordan vi har gennemført dem. Især kommentarer om A/B-testene til Forge Plus og Daglige udfordringer-opdateringen. Derfor tænkte vi, at det kunne give jer en større indsigtsfuldt hvis I har mere information om vores tilgang til A/B-tests, og hvorfor disse er en integreret del af udviklingen af Forge of Empires.
Lad os begynde med en definition af en A/B-test. En A/B-test er en industristandardtest, der ofte bruges af udviklere til at overvåge spillerenes reaktion på en funktion. Med sådanne tests udvælges to eller flere grupper tilfældigt. De består af en testgruppe (gruppe 'A'), som vil få adgang til en funktion, og en kontrolgruppe (gruppe 'B'), som ikke gør. Gennem denne sammenligning kan udviklerene direkte overvåge ændringen i spilleradfærd og vurdere virkningen af den testede funktion. Det gør vi via både kvantitativ og kvalitativ feedback. Og vi skal overveje begge dele, men prøv at huske på, at forumfeedback kun er en del af mange områder, som vi modtager feedback fra.
Lad os tage den seneste ændringer i de daglige udfordringersom et eksempel. Med begge grupper i tankerne kan vi sammenligne mange aspekter (inklusive daglig deltagelse, brugerfastholdelse med funktionen, alder på deltagere, osv.). Det hjælper os med at fastslå, om denne ændring var gavnlig og attraktiv for vores spillere som et nyt tilbud. Hvis resultaterne ikke viser en positiv tendens, kan vi grave dybere og tjekke, om der var et problem. I sidste ende kan vi gribe ind og enten justere funktionen eller fjerne den totalt
Derfor er A/B-tests vigtige for os. De giver os adgang til mere meningsfulde data baseret på et live testmiljø. Med disse data kan vi forfine vores funktioner og identificere potentielle problemer.
Desuden giver frigivelse af en ny funktion til en mindre gruppe af brugere os mulighed for at overvåge feedback mere effektivt og forhindre den potentielle stormløb af frustration, der kunne ske, hvis vi skulle frigive funktioner til hele spilpopulationen med det samme.
Forge of Empires er selvfølgelig et stort spil. Det understøttes af hundredtusindvis af spillere på tværs af mange verdener. Men det betyder også, at meget kan gå galt. A/B-tests er et absolut must, hvis man vil mindske den potentielle risiko ved at afsløre en ny funktion til et så stort publikum. Konsekvenserne af at frigive en utestet funktion kan forårsage negative interaktioner med spillet – både for os og for jer.
Det er også vigtigt at understrege, at A/B-tests ikke er selektive. Ingen spillere vil bevare nogen form for langsigtede fordele eller blive forhåndsudvalgt til testgruppen. I vil have bemærket, at der er nogle funktioner, som vi ikke kan A/B-teste, fordi fordelene ville være for store til at være retfærdige, og vi ønsker at bevare retfærdigheden i spillet. Udvælgelse til test er rent tilfældigt, og retfærdighed er ikke den eneste grund til dette; det er også fordi et randomiseret element er en integreret del af kvaliteten af testresultaterne.
Vi håber, at dette tydeliggør, hvorfor A/B-testene er nøglen til vores udviklingsstrategi og vil forblive en fast bestanddel af fremtidige opdateringer.
Med venlig hilsen
jeres Forge-team.
