Optimizely Intelligence Cloud: Sådan bruges statistikmotor til A/B -test smartere og hurtigere

Optimistisk statistik om motor- og A/B -teststrategier

Hvis du ønsker at køre et eksperimentprogram for at hjælpe din virksomhed med at teste og lære, er chancerne stor, at du bruger det Optimalt Intelligence Cloud - eller du har i det mindste set på det. Optimizely er et af de mest kraftfulde værktøjer i spillet, men ligesom ethvert sådant værktøj kan du bruge det forkert, hvis du ikke forstår, hvordan det fungerer. 

Hvad gør Optimizely så kraftfuld? Kernen i dets funktionssæt ligger den mest informerede og intuitive statistikmotor i et tredjepartsværktøj, så du kan fokusere mere på at få vigtige tests live-uden at du behøver bekymre dig om, at du misfortolker dine resultater. 

Ligesom et traditionelt blindstudium i medicin, A / B-test vil tilfældigt vise anderledes behandlinger af dit websted til forskellige brugere for derefter at sammenligne hver behandlings effektivitet. 

Statistik hjælper os derefter med at konkludere, hvor effektiv denne behandling kan være på lang sigt. 

De fleste A/B -testværktøjer er afhængige af en af ​​to typer statistisk inferens: Frequentist eller Bayesian statistik. Hver skole har forskellige fordele og ulemper - Frekvensstatistik kræver, at en stikprøvestørrelse fastsættes forud for et eksperiment, og Bayesiansk statistik bekymrer sig primært om at træffe gode retningsbeslutninger frem for at angive et enkelt tal for indflydelse, for at nævne to eksempler. Optimizelys supermagt er, at det er det eneste værktøj på markedet i dag til at tage en bedste fra begge verdener nærme sig.

Slutresultatet? Optimalt giver brugerne mulighed for at køre eksperimenter hurtigere, mere pålideligt og mere intuitivt.

For at udnytte det fuldt ud er det dog vigtigt at forstå, hvad der sker bag kulisserne. Her er 5 indsigter og strategier, der får dig til at bruge Optimizelys muligheder som en professionel.

Strategi #1: Forstå, at ikke alle metrik er skabt lige

I de fleste testværktøjer er et almindeligt overset problem, at jo flere metrics du tilføjer og sporer som en del af din test, desto mere sandsynligt er det, at du ser nogle forkerte konklusioner på grund af tilfældige tilfældigheder (i statistik kaldes dette "flere testproblemer ”). For at holde sine resultater pålidelige bruger Optimizely en række kontroller og korrektioner for at holde oddsen for, at det sker så lavt som muligt. 

Disse kontroller og rettelser har to konsekvenser, når du går til opsætning af test i Optimizely. For det første den metric, du betegner som din Primær metrisk vil nå statistisk signifikans hurtigst, alle andre ting konstant. For det andet, jo flere metrics du tilføjer til et eksperiment, jo længere tid vil dine senere metrics tage for at nå statistisk signifikans.

Når du planlægger et eksperiment, Sørg for, at du ved, hvilken metric der vil være dit sande nord i din beslutningsproces, gør det til din primære metric. Hold derefter resten af ​​din metriksliste slank ved at fjerne alt, der er for overflødigt eller tangentielt.

Strategi #2: Byg dine egne tilpassede attributter

Optimizely er fantastisk til at give dig flere interessante og nyttige måder at segmentere dine eksperimentresultater på. For eksempel kan du undersøge, om visse behandlinger fungerer bedre på computere end mobiler eller observere forskelle på tværs af trafikkilder. Efterhånden som dit eksperimentprogram modnes, vil du hurtigt ønske dig nye segmenter-disse kan være specifikke for din brugstilfælde, f.eks. Segmenter til engangskøb eller abonnementskøb eller generelt som "nye kontra tilbagevendende besøgende" (hvilket, Helt ærligt, kan vi stadig ikke finde ud af, hvorfor det ikke leveres ud af kassen).

Den gode nyhed er, at via Optimizely's Project Javascript -felt kan ingeniører, der kender Optimizely, bygge et hvilket som helst antal interessante tilpassede attributter, som besøgende kan tildeles og segmenteres efter. Hos Cro Metrics har vi bygget en række lagermoduler (f.eks. “Nye kontra tilbagevendende besøgende”), som vi installerer for alle vores kunder via deres Project Javascript. Udnyttelse af denne evne er en vigtig forskel mellem modne teams, der har de rigtige tekniske ressourcer til at hjælpe dem med at udføre, og teams, der kæmper for at realisere eksperimentets fulde potentiale.

Strategi #3: Udforsk Optimizely's Stats Accelerator

En ofte overhypet testværktøjsfunktion er muligheden for at bruge "flerarmede banditter", en type maskinlæringsalgoritme, der dynamisk ændrer, hvor din trafik er allokeret i løbet af et eksperiment, til at sende så mange besøgende til "vindende" variation som muligt. Problemet med flerarmede banditter er, at deres resultater ikke er pålidelige indikatorer for langsigtet ydeevne, så brugen af ​​sådanne eksperimenter er begrænset til tidssensitive sager som salgsfremmende foranstaltninger.

Optimalt set har en anden type banditalgoritme til rådighed for brugere på højere planer - Stats Accelerator (nu kendt som "Accelerate Learnings" -mulighed inden for Bandits). I denne opsætning fordeler Optimizely dynamisk trafik i stedet for at forsøge dynamisk at allokere trafik til den bedst effektive variant, trafik til de variationer, der mest sandsynligt vil nå statistisk signifikans hurtigst. På denne måde kan du lære hurtigere og bevare replikerbarheden af ​​traditionelle A/B -testresultater.

Strategi #4: Føj emojis til dine metriske navne

Ved første øjekast lyder denne idé sandsynligvis malplaceret, selv inane. Et vigtigt aspekt ved at sikre, at du læser de rigtige eksperimentresultater, starter imidlertid med at sikre, at dit publikum kan forstå spørgsmålet. 

Nogle gange på trods af vores bedste indsats kan metriske navne blive forvirrende (vent - brænder denne metrik, når ordren accepteres, eller når brugeren rammer takkesiden?), Eller et eksperiment har så mange metrics, at der rulles op og ned af resultaterne side fører til total kognitiv overbelastning.

Tilføjelse af emojis til dine metriske navne (mål, grønne markeringer, selv den store pengepose kan fungere) kan resultere i sider, der er langt mere scannbare. 

Stol på os - aflæsning af resultater vil føles meget lettere.

Strategi #5: Overvej dit statistiske signifikansniveau igen

Resultaterne anses for afgørende i forbindelse med et Optimizely -eksperiment, når de er nået statistisk betydning. Statistisk signifikans er en hård matematisk betegnelse, men i det væsentlige er det sandsynligheden for, at dine observationer er resultatet af en reel forskel mellem to populationer og ikke kun tilfældige tilfældigheder. 

Optimizelys rapporterede statistiske signifikansniveauer er "altid gyldige" takket være et matematisk begreb kaldet sekventiel test - dette gør dem faktisk langt mere pålidelige end andre testværktøjer, der er tilbøjelige til alle slags "kigger" -problemer, hvis du læser dem for tidligt.

Det er værd at overveje, hvilket niveau af statistisk signifikans du anser for vigtigt for dit testprogram. Selvom 95% er konventionen i det videnskabelige samfund, tester vi ændringer på webstedet, ikke vacciner. Et andet almindeligt valg i forsøgsverdenen: 90%. Men er du villig til at acceptere lidt mere usikkerhed for at køre eksperimenter hurtigere og teste flere ideer? Kan du bruge 85% eller endda 80% statistisk signifikans? At være forsætlig omkring din risiko-belønningsbalance kan betale eksponentielt udbytte over tid, så tænk dette grundigt igennem.

Læs mere om Optimizely Intelligence Cloud

Disse fem hurtige principper og indsigter vil være utroligt nyttige at huske på, mens du bruger Optimizely. Som med ethvert værktøj går det ud på at sikre, at du har en god forståelse for alle tilpasninger bag kulisserne, så du kan sikre dig, at du bruger værktøjet effektivt og effektivt. Med disse forståelser kan du få de pålidelige resultater, du leder efter, når du har brug for dem. 

Hvad mener du?

Dette websted bruger Akismet til at reducere spam. Lær, hvordan dine kommentardata behandles.