Kuidas viia suletud beetatestid läbi null-eelarvega

1,5 kuud, 100+ ettevõtet, 20 tööstusharu - KeepSolid Sign Story.

Selle postituse eesmärk: näidata järk-järgult, kuidas viisime KeepSolid Signi suletud beetatesti nullist läbi - piiratud aja jooksul ja piiratud ressurssidega. Nii et kui olete alustaja, turundusspetsialist või ettevõtja, kes on huvitatud andma oma MVP või beetatoote esimeste kasutajate kätte, siis püsige natuke aega ja kuulake.

Enda toodet arendades oleks kindlasti lahe teha kõike nagu Hotjar tegi.

Mis saab siis, kui olete ajaliselt piiratud, inimeste, ressursside ja eelarvega piiratud?

Ja kui soovite sellest hoolimata ikkagi lasta arendusjärgus olla, et esimesed kasutajad teie toodet katsetaksid, et neilt väärtuslikku tagasisidet koguda?

See on täpselt olukord, mis meil oli, kui olime oma uue rakenduse, KeepSolid Signi väljatöötamisega põhjalikult tegelenud.

See on lahe (ilmselgelt) teenus lepingute ja muude dokumentide e-allkirjastamiseks. Sel hetkel oli meil kolme platvormi - macOS, iOS ja Android - jaoks pisut rohkem kui MVP, nii et otsustasime, et on aeg viia läbi suletud eksklusiivne beetaversioon.

Selle valmimiseks on meil olnud kuni 2 kuud (tegelikult kulus meil ainult 1,5), kuna septembri lõpuks kavandame 4 beebi jaoks avatud beetaversiooni (kaasa arvatud Windows) ja veebirakendust.

Nii õnnestus meil samm-sammult need tagasihoidlikud, kuid korralikud tulemused saavutada.

Ettevalmistusetapp

Esiteks määratlesime oma eesmärgid selle suletud beetaversiooni jaoks järgmiselt:

  1. Andke toode esimeste kasutajate kätte ja saate tagasisidet toote praeguse väljanägemise, eeliste ja puuduste kohta.
  2. Saate aru, kuidas kasutajad praegu dokumentide ja paberite allkirjastamisega toime tulevad - milliseid lahendusi nad kasutavad, millised on praeguse lahenduse plussid ja miinused jne. Siit saate teada, kuidas me võtame vastu lahenduse, mida nad praegu kasutavad.
  3. Hankige parem pilt tulevasest tootearendusest ja koostage tegevuskava.
  4. Koostage meie toote klientide persoonid.

Pärast eesmärkide seadmist töötasime välja beetatesti plaani või kontseptsiooni. Mõtlesime beetaetapid üle, otsustasime, kuidas osalejaid intervjueerida, lõime maandumislehe ja muu sisu ning arendasime kommunikatsioonisüsteemi. Rohkem üksikasju ees.

Pärast beetakontseptsiooni ja planeerimisetapi algust hakkasime kasutajaid kutsuma. Selleks kasutasime kolme kanalit:

  • Meie oma eelmiste toodete kasutajate e-posti baas (tõi meile ~ 80% osalejatest)
  • Spetsialiseeritud teenused nagu Betabound (~ 18%). Kogusime sellesse Google'i dokumenti täieliku loendi. Võite seda julgelt kasutada, teistele teenuseid lisada või jagada.
  • Reddit (~ 2%)

Selle tulemuseks oli ilmatu 232 beetatesti (üle 62% konversioonimäärast (CR) neilt, kes lõpetasid meie sissejuhatava küsitluse, ja neile, kes kandideerisid).

Ja kuigi kaks esimest allikat on üsna iseenesestmõistetavad, selgitame Redditi osa natuke.

Oluline on tähele panna, et valisime alamkrediidid, mis meelitavad sellist tüüpi vaatajaskonda, keda me otsisime - väikeettevõtete omanikud, maaklerid, rahanduseksperdid jne. professionaalne. Pärast nende administraatorite loa küsimist postitasime kutse meie suletud beetaversiooni.

Siin on näide sellisest postitusest:

Samuti valisime sobivad instrumendid:

  • Beeta sihtlehe loomiseks kasutasime Tilda teenust. Valisime selle, kuna sellel on tasuta kropitud versioon (tellimuse ostsime tegelikult seetõttu, et vajasime täiendavaid funktsioone), ja mis veelgi olulisem - see võimaldab luua ilusaid lehti ja seda kiiresti teha.
  • Uuringu enda jaoks kasutasime Survey Planetit. See on korralik lahendus, ehkki sellel on teatud vigu, mida me võib-olla arutame kunagi mõnes teises artiklis.
  • Kasutasime Calendlyt (tasuta kahenädalase prooviversiooniga) kõnede ajastamiseks testijatega, kes nõudsid seda tüüpi uuringut. Muide, see ei osutunud suurepäraseks, kuid jõuame selle juurde hiljem tagasi. Ja kõnede jaoks kasutasime Skype'i, suur üllatus =)
  • Meilisõnumite saatmiseks kasutasime me vastust.io. Jällegi lihtsalt sellepärast, et sellel on tasuta 2-nädalane prooviversioon. See osutus tõeliselt heaks teenuseks ja kaalume selle tellimist.
  • Veel üks tööriist, mida kasutasime ja mille üle kasutajad eriti rõõmsad olid, oli Zendesk - piletipõhine klienditoe tarkvara. Ilmselt kasutavad meie testijad seda kõige sagedamini meile veateateid ja muud sellist. Kuid nad hindasid ka võimalust meiega rakenduse kaudu ühendust võtta.

Alla äri

Pärast kõigi relvastatud ja ohtlikeks saamist käivitasime beetatesti.

Alguses plaanisime määrata kaks oma meeskonna liiget beetahalduriteks - ühe kõneuuringute ja teise veebiküsitluste jaoks, kuid… Juhtunu kohta lugege edasi.

Alustasime kõigile osalejatele taotlusvormi ja sissejuhatava küsitluse saatmisega. Seal esitasime mõned üldised küsimused, nagu amet ja töökoht. Kõige olulisem küsimus oli siin, milliseid platvorme saab osaleja katsetamiseks kasutada. Kuna toona oli KeepSolid Sign saadaval ainult MacOS-i, iOS-i ja Androidi jaoks, pidime paluma kõigil Windowsi kasutajatel oodata meie eelseisvat avatud beetaversiooni.

Pärast seda, kui kasutajad olid taotluse täitnud, andsime neile KeepSolid Signi üheaastase tasuta tellimuse.

Järgmisena lasime neil rakenduse alla laadida ja seda 1,5 nädalat kasutada.

Pärast seda pakkusime katsetajatele valiku: kas nad soovivad edastada tekstivaatluse veebis või Skype'i kõne kaudu. Ja seal me tegime vea.

Kasutajad olid endiselt liiga külmad, nad ei teadnud meist ega rakendusest palju. Seetõttu, kuigi paljud neist olid kõnes nõus, muutis enamik pärast seda meelt ja kaldus veebiküsitluse poole.

Nii et alates klassikalisest veenmispsühholoogiast, kui teile meeldib, et kasutaja teeb konkreetse toimingu (täitke küsitlus, kui see on teie tegelik eesmärk), siis pakkuge talle halvemat alternatiivi (näiteks teiega helistamine). Kui teil õnnestub panna inimesi teiega kõnele minema, jälgige kindlasti pärast iga kõnet ja tehke kokkuvõte, millest olete rääkinud.

BTW, see on hea mõte salvestada oma kõne kasutajaga (proovige Callnote'i, kui kasutate kõnede jaoks Skype'i), kuid küsige alati, kas saate seda teha. Tavaliselt ei pane inimesed vestluse salvestamist pahaks, oleks viisakas saata see salvestus teie järelmeetmetesse.

Esimene veebiküsitlus (25% CR-st # rakendusele) koosnes mitmesugustest küsimustest osalejate ja meie rakenduse kasutamise viiside kohta - kui sageli ja mis eesmärkidel seda tüüpi asju tehti. Pärast testijate uuringu läbimist lugesime tulemusi nii kiiresti kui võimalik, et saaksime vajadusel nendega täiendava teabe saamiseks ühendust võtta.

Pärast seda lasime neil märki kasutada veel 1,5 nädalat.

Teises ja viimases veebiküsitluses (> 23% CR-st # rakenduse osas) küsisime testijatelt meie toote kohta - mis neile meeldis, mis neile ei meeldinud, tagasiside jne. Samuti palusime hinnata meid spetsiaalse vormi kaudu saidil kuna nad olid Signit juba mõnda aega kasutanud ja see võiks anda tasakaalustatud ülevaate.

Mõlemas uuringus oli meil palju kohustuslikke küsimusi. Oleme teadlikud, et mõned turundusmehed kardavad neid, kuid meie testijad reageerisid jaatavalt. Samuti esitasime mitmesuguseid vorme küsimustele mitu korda, et veenduda, et vastused hõlmavad kõiki meid huvitavaid aspekte. Mõlema uuringu keskmine aeg oli 11–12 minutit.

Pärast beetaversiooni lõppu tegime lühikese armsa tänuvideo, tulistasime beetahalduritelt isiklikult ja saatsime selle kasutajatele üle koos iseloomustuste küsimisega;) See väike kena häkk tekitas kasutajatel positiivse tagasiside laine, mida saame nüüd oma veebisaidi jaoks kasutada.

Õppetunnid

Me järeldame, et beetatest oli edukas ja suutsime oma eesmärgid saavutada.

  1. Oleme palju õppinud selle kohta, kuidas kasutajad tajuvad meie toodet, mis neile meeldib, mida nad mõistavad ja mida nad sooviksid selles näha. Näiteks mõistsime, et kasutajatele meeldis tõsiasi, et Sign on erinevate platvormide loomulik rakendus, mitte ainult brauserilahendus. Ainuüksi see parandas nende kogemusi tänu paremale jõudluse kiirusele ja võrguühenduseta kättesaadavusele.
  2. Oleme saanud palju teavet selle kohta, kuidas kasutajad oma dokumentidele alla kirjutavad. Näiteks üle 30% kõigist vastanutest väidab, et nad kasutavad endiselt käsitsi printimist - skannimist - allkirjastamist - saatmist. Ehkki see sõltub endiselt palju tööstusest ja osariigi / valitsuse määrustest, on USA ja Suurbritannia elektroonilise ja digitaalallkirja aktsepteerimise protsent palju kõrgem kui näiteks Poolas.
  3. Liiga statistilise valimi moodustamiseks ja selle põhjal usaldusväärse tegevuskava koostamiseks ei olnud piisavalt testijaid, nii et ootame selle parandamiseks beetaversiooni avamist. Kuid me saime selgelt aru, mida oma põhifunktsioonidele lisada (näiteks allkirjade tegemiseks ja muutmiseks lisavõimaluste lisamine või digitaalallkirja sertifikaatide lisamine).
  4. Oleme suutnud määratleda ja kirjeldada kolme persooni: väikeettevõtte omanik, IT direktor ja füüsilisest isikust ettevõtja / vabakutseline.

Kuid kõige suurem asi, mille lõpuks (enda kergenduseks) välja selgitasime, on see, et Sign on tegelikult majanduslikult tasuv ja suudab konkurentsile vastu tulla. See on vaieldamatult kõige olulisem õppetund, mida saate beetatesti läbiviimisest õppida!

Väiksemate õppetundide hulgas:

  • Ärge kunagi pakkuge kõneuuringuid liiga vara, see võib teie vaatajaskonna eemale peletada.
  • Kuid samal ajal - ärge jätke tähelepanuta kõneuuringuid. Vaatamata sellele, et meil oli ainult mõni kõne, olid need tõesti abivalmid ja informatiivsed ning soovitame seda meetodit tungivalt kasutada.
  • Ole valmis oma uuringut muutma ka liikvel olles. Kui hakkasime esimesi vastuseid saama, pidime oma küsimusi kohandama pärast seda, kui said aru, et kasutajad ei tajunud neid ootuspäraselt.
  • Mida vähem testijaid teil on, seda vähem peaksite sisaldama kvantitatiivseid küsimusi, kuna vastused ei ole piisavalt esinduslikud.

Üldiselt oli see põnev beeta ja kindlasti abivalmis.

Nagu oleme juba varem maininud, kavandame varsti avatud beetaversiooni (rakenduse käivitamine kõigil platvormidel septembri lõpus, kui saate siin registreeruda meie käivitusloendiga.) Ootame selle kohta veel ühe artikli kirjutamist. kui see beeta on valmis. Nii et pidage seda tükki arendajapäevikute alguseks, kus kirjeldame oma tööd Signiga algusest peale.

Kas teil on beetatestide korraldamise kogemust? Milline osa sellest oli teile kõige keerukam? Ja kui te seda ei tee - kas soovite meie kogemusest rohkem teada saada?

Teie

... ja jagamine julgustaks meid teile rohkem kirjutama. ❤

Jälgige meid ja meie teekonda, et luua Twitteris, Facebookis ja meie ajaveebis ettevõtte jaoks parimaid tootlikkuse ja turvalahendusi.

See lugu on avaldatud keskkonnas The Startup, Medium'i juhtivas väljaandes ettevõtjatele ja idufirmadele.

Parimate lugude saamiseks võite tellida siit.