A / B-test - Hvordan man får markedsføringssucces og brugeroptagelse i Dynamics 365

Har du nogensinde spekuleret på, hvordan tech-giganter som Netflix og Twitter ligger foran konkurrencen år til år? Udviklere bag deres A / B-test har meget at svare på.

Oprindeligt postet på https://daveclark.io/

Netflix testede endda A / B-billeder, der bruges til filmtitler, tegner deres blik til nye blockbuster-film, får det første klik, hvilket resulterede i flere minutter set film og giver en bedre brugeroplevelse.

Faktisk siger Netflix, at A / B-test af et titelbillede nogle gange resulterer i 20% til 30% mere visning af den titel. Kilde.

Så hvad er A / B-test? Hvordan kan Dynamics 365 og Power Platform drage fordel af det?

Introduktion

Dette indlæg starter med at forklare, hvad A / B-test er. Derefter ser man på en brugssag og en succeshistorie fra et stort teknologifirma for at hjælpe med at retfærdiggøre, hvorfor vi som Power Platform-konsulenter og -udviklere skal bekymre os om dette værktøj.

Derefter gennemgår vi et eksempel i Dynamics 365, der allerede er tilgængeligt for os, for at hjælpe med at få marketing succes.

Endelig overvejer vi andre måder, A / B-test kan bruges i Dynamics til at engagere slutbrugerne til tidlig brugers vedtagelse og projektsucces og løbende produktivitetsforøgelser.

Hvad er A / B-test?

Konceptet bag A / B-test er at oprette en kontrolgruppe og en eller flere eksperimentelle grupper og give dem forskellige versioner af et produkt. Vi kan derefter spore metrics mod hver gruppe, såsom:

  • Mængde af data udfyldt på en Dynamics 365-formular
  • Det tager tid at åbne og gemme en formular
  • Klik igennem i en e-mail om markedsføring

Enhver nøglemetrik, der hjælper med at bestemme, hvilken version af produktet der er mere vellykket.

Har du nogensinde været på et kravmøde, hvor interessenter er uenige om layout til en formular på en app? Med A / B-test kan vi beslutte produktændringer baseret på data snarere end den højeste interessent.

Virkelighedens succeshistorie

Ubisoft er et videospiludgiver med base i Paris. Du har muligvis hørt om dem eller nogle af deres spil, herunder Assassin's Creed, Far Cry og Tom Clancy's Splinter Cell.

Mens hun frigav et nyt spil, For Honor, oprettede Ubisoft to versioner af spillets 'Køb nu'-side og indsamlede data om hver sides succes i feriesæsonen (oktober - dec. 2017).

Før testfasen:

Hypotesen var, at købsprocessen kunne forenkles ved at reducere behovet for at rulle på denne side. Som billedet ovenfor viser, skal køberen, inden køber skal vælge deres foretrukne spiludgave, rulle ned, vælge deres konsol, rulle ned og derefter placere deres ordre og indtaste deres betalingsoplysninger.

Efter testfasen:

Denne nye version fjerner behovet for at rulle, da alle købsindstillinger kan vælges i en enkelt kolonne. Sammenligning af testdata mellem de to layoutversioner demonstrerede en stigning på 12% i blygenerering.

Du kan læse den fulde casestudie her. Men hold dig rundt for det sjove stykke ved dette indlæg først: A / B-test i Dynamics 365.

A / B-test i Dynamics 365 for marketing succes

Det kan være svært at designe den perfekte marketing-e-mail. Måske har du et par lignende ideer, der svæver rundt om e-mailemnet, billedet eller ordlyden. Du kan være ok ved at beslutte, hvad du skal vælge baseret på intuition eller tidligere erfaring.

Eller du kan muligvis bruge A / B-test for at finde ud af, hvilket af nogle få lignende design der klarer sig bedst i en undergruppe af dit publikum. Send derefter den succesrige kandidat til resten af ​​dit publikum. Som vi har set fra tidligere eksempler, kan basering af designbeslutninger på data snarere end en opsving være det smarte træk for at sikre succes.

Eksempel på gang i Dynamics 365 for Marketing

I dette eksempel opretter vi to versioner af en marketing-e-mail, version A og version B. Vi aktiverer derefter A / B-testfunktionen i Dynamics 365 for Marketing på mine marketing-e-mails. Vi får se, hvad Dynamics 365 kan tilbyde os med hensyn til:

  • Indstillinger for A / B-testkonfiguration
  • Ydelsesmålinger
  • Testresultatdatavisning

For at oprette en e-mail med markedsføring kan du følge denne Microsoft-guide.

Her er en, jeg forberedte tidligere:

Med en marketing-e-mail oprettet, kan vi trykke på knappen Tilføj A / B-test vist til venstre for emnefeltet i skærmbilledet ovenfor. Vælg for at teste mod ændringer i e-mail-kroppen, fra-navnet eller e-mail-emnet.

I mit eksempel ændrer 'version B' ordlyden i e-mail-kroppen:

Yderligere oplysninger om, hvordan du konfigurerer e-mail-skabeloner til A / B-test i Dynamics, henvises til Microsofts dokumentation her.

Nu er vi klar til at teste vores e-mails ved hjælp af en kunderejse. Her bemærker Microsofts dokumentation følgende:

For at producere pålidelige testresultater skal du altid sende hver version (A og B) til mindst 100 modtagere, før systemet tillader at vælge en vinder. En typisk anbefalet opsætning bruger et segment med 1000 medlemmer (eller større) med en testfordeling, der sender version A til 10% af segmentet, version B til yderligere 10%, og sender derefter det vindende design til de resterende 80%.

Min rejse har ganske enkelt to trin: først vælger den en undergruppe af min kontaktbase (deltagere fra de nyeste begivenheder) og derefter sender dem den e-mail om markedsføring, jeg lige har oprettet.

Hvis du vil bruge den marketing-e-mail, der er oprettet tidligere, skal du vælge e-mail-meddelelsesflisen i rejsen og derefter vælge egenskaber til højre og vælge din nye meddelelse i opslagsfeltet 'Marketing-e-mail-meddelelse'.

I egenskabsruden kan du også specificere A / B-testfordeling, vindende metrisk og testvarighed:

Med den konfigurerede kan jeg klikke på 'Go Live' i kommandolinjen. Så spiller jeg det ventende spil! Bemærk, at 1 dag blev specificeret som testvarigheden. I løbet af denne tid kan jeg rulle ned til datapanelets test-

Når testvarigheden er ophørt, skal der være en klar vinder: i dette tilfælde den version af det e-mail-organ, der modtog flest klikk. De resterende 80% af min kontaktbase kan derefter sendes den mere succesrige version af min marketing-e-mail.

Min test-e-mail er kun blevet sendt til en person (mig) som en prøve, ikke de produktionsniveau 100 modtagere, der er anbefalet af Microsoft. Skærmbillede er stadig illustrerende for de oplysninger, vi kan spore: sendt rate, levering rate, unik åbner og klik. Ligner Google Analytics eller ClickDimensions. Bemærk: ClickDimensions understøtter også A / B-test.

Hvad nu ved A / B-test i Dynamics 365?

I skrivende stund er marketing-e-mails i Dynamics 365 det eneste modul, der understøtter A / B-test. Men hvis du har læst så langt, skal du tænke: hvorfor stoppe der?

Idé nr. 1: Dynamics 365-formanalyse med Azure Application Insights

Hypotese: ved at give undergrupper af brugere forskellige versioner af en lignende form (f.eks. En kompleks kundeserviceform), kan vi bruge Azure Application Insights (AAI) til at bestemme, hvilken er den mere produktive form og derfor øge teamets produktivitet. Dette A / B-testscenario fungerer som følger:

  • To undergrupper af kundeserviceteamet vil få en unik sikkerhedsrolle
  • To nye kundeserviceformularer (case) ville blive oprettet; hver lignende, men en med ændringer, vi antager at være mere produktive
  • Hver formular leveres til et separat brugerundersæt ved hjælp af adgang til sikkerhedskontrol
  • AAI og brugsanalyse kan bruges til at måle ydeevne målinger for brugerne og bestemme, hvilken form der er mere vellykket (mere produktiv for vores brugere)
  • Den mere succesrige form rulles derefter ud til alle brugere i kundeserviceteamet

Idé 2: Dynamics Portals med Google Optimize

Google Analytics installeres på de fleste portaler i disse dage. Det hjælper med at spore ydelses- og brugsstatistikker for, hvordan brugere reagerer på vores portaler.

Hvad der ser ud til at være mindre udbredt, er Google Optimize: et værktøj fra Google, der tilbyder en datadrevet tilgang til at forstå, hvordan kontinuerlige UX-forbedringer kan udføres på en portal for at skabe den bedste oplevelse for vores brugere. Google beskriver Optimer som:

Optimize er integreret med Analytics for at hjælpe dig med at identificere, hvilke dele af dit websted der skal forbedres. Brug dine Analytics-steddata til hurtigt og nemt at identificere problemområder, og vend derefter denne indsigt til handling for at levere en online oplevelse, der fungerer bedst for dine kunder.

Optimeringsværktøjer er for ofte forbeholdt forøgelser i markedsføringsydelsen, idet de ofte ignorerer fordelene ved at optimere formularer, som vores slutbrugere bruger. Dynamics-portaler bruges ofte som en markedsplads med en checkout, men nogle gange er de et eksternt vindue i Dynamics 365, der bruges af administratorer.

Google Optimize bruger A / B-test og gør det endnu enklere at få indblik i, hvordan vi kan øge produktiviteten for slutbrugere, der bruger vores portaler. I betragtning af denne nye enkelhed tror jeg, det er på tide, at produktiviteten bliver mere overvejet, når det kommer til optimering, snarere end kun at fokusere på markedsføringsgevinster.

Bevæger sig fremad

Jeg vil gerne undersøge ovennævnte punkter yderligere i fremtidige artikelindlæg, men nu skal de leve som ideer. Måske har du dine egne ideer til, hvordan A / B-test kan bruges til at forbedre brugeroplevelsen af ​​Power Platform-apps og Dynamics 365?

Konklusion

Vi har set, at A / B-test bruges til stor effekt af tech-virksomheder med store nok målgrupper til at dele test imod. Dynamics 365 for Marketing beskæftiger A / B-test for teams med et stort målgruppe af kundeemner eller kontakter er massemails via e-mails. Nye e-mail med marketingkampagne testes først mod undergrupper af modtagere, succesmetrics analyseres og et vindende e-mail-layout valgt at blive sendt til det resterende publikum. Dette tillader, at e-mail-marketingdesignbeslutninger baseres på empirisk bevis frem for intuition.

A / B-test kan bruges til at forbedre brugeroplevelsen af ​​Dynamics 365 under forudsætning af, at der er et stort nok sæt brugere til at teste imod. Google Analytics og Azure Application Insights måler nøgleprestationsindikatorer for Dynamics-produktændringer såsom formlayout og processtrømme. Dette kan danne en evidensbaseret tilgang til at bestemme, hvilke produktændringer der er mere produktive for vores brugere, og bør derfor rulles ud til hele vores brugerbase.