PoC-V1 Test analyse

PoC-V1: Link
PoC-V1 Testplan: Link

Testresultaten

In deze test analyse worden de resultaten uit de user test van het PoC-V1 uitgewerkt en gebruikt om een verbeter lijst op te zetten voor PoC-V2. Bij elk scenario horen een aantal vragen en/of opdrachten. Per scenario worden de resultaten verwerkt in een tabel. Per persoon wordt er aangegeven of ze het juiste antwoord hebben gegeven. Daarbij wordt er per vraag een slagingspercentage gegeven. Dit is handig om later de prioriteit van de functie te bepalen. Belangrijke feedback/opvallende resultaten worden onder de tabellen vermeld.

Legenda

geslaagd: +
geslaagd maar niet als verwacht (percentage wordt gehalveerd): +-
niet geslaagd: -

Scenario 1:

Scenario 1 is bedoeld als een introductie voor het platform waarbij er kort door de front-end wordt genavigeerd. Dit is zodat de testpersoon een beeld krijgt hoe de data wordt verkregen en hoe het er op de front-end uit ziet. Aangezien de focus van deze test ligt op het CMS zijn deze resultaten verder niet van belang. Alle testpersonen hebben de taken bij dit scenario goed uitgevoerd.

Introductie scenario 2

Opdracht 1: Open de tweede link in het document of gebruik /admin.
Opdracht 2: Login in met de inloggegevens uit het document.

Het is alle testpersonen gelukt om in te loggen met de gegeven inloggegevens in het CMS zonder bijzonderheden.

Scenario 2: Je bent een admin en je wilt zien welke nummers er in het systeem staan.

Opdracht 1: Ga naar de pagina waar je alle nummers kunt zien.
Vraag 2: hoeveel items/nummers staan er in de database?
Opdracht 3: Je wilt in de tabel alleen de nummers zien van 3 artiesten, deze 3 mag je zelf kiezen hoe zou jij dit doen?
Opdracht 4: Je wilt de nummers die het oudst zijn als eerste zien hoe doe je dit?
Opdracht 5: Je wilt terug naar hoe de tabel er oorspronkelijk uitzag, hoe doe je dit?
Opdracht 6: Je wilt alleen het nummer [nummer uit database] zien hoe doe je dit?

	Opdr. 1	Vraag 2	Opdr. 3	Opdr. 4	Opdr. 5	Opdr. 6
Persoon 1	+	+	+	+	-	+
Persoon 2	+	+	+	+	-	+
Persoon 3	+	+	+	+	-	+
Persoon 4	+	+	+	+	+-	+
Geslaagd percentage	100%	100%	100%	100%	12,5%	100%

Notes:

Personen 1, 2 en 3 zagen bij opdracht 5 direct de “verwijder filter” knop en zagen ook dat de tabel nog gesorteerd bleef op “releasedatum”. Ze kregen zonder hint de “reset” knop bovenin niet gevonden.
Personen 1 en 3 gaven aan dat de multiselect omslachtig werkt. Voor elk item dat je er aan wilt toevoegen moet je de filter opnieuw openen.
Personen 2, 3 en 4 hadden verwacht dat de kolom sorteerfunctie 3 opties zou hebben namelijk descending, ascending en reset.
Persoon 3 merkt op dat het zoekveld bij elke letter een query verstuurd om de resultaten op te halen. Hij vraagt zich af of dit goed werkt wanneer er 1000+ items in de tabel staan.
Persoon 4 vond zelf de resetknop nadat hij de filters had gereset en een poging had gedaan om de gesorteerde kolom zelf te resetten.

Scenario 3: Je wilt een de profiel foto van een Artiest aanpassen.

Opdracht 1: Navigeer naar de artiestenpagina.
Opdracht 2: Verander de foto van [artiestennaam] naar de artiestfoto1.jpg, crop hierbij de afbeelding zo dat de vier personen in het kader passen.
Vraag 3: Welke velden kan je aanpassen?

	Opdracht 1	Opdracht 2	Vraag 3
Persoon 1	+	+	+
Persoon 2	+	+	+
Persoon 3	+	+	+
Persoon 4	+	+	+-
Geslaagd percentage	100%	100%	87,5%

Notes:

Persoon 3 merkt op dat het verschil tussen het disabled veld en een normaal veld bijna niet te zien is op zijn scherm.
Persoon 4 had niet direct gezien dat je de “track id” niet kan aanpassen.

Scenario 4: Je ziet dat [artiestennaam] tussen de lijst met artiesten staat, je vindt dit deze artiest niet geschikt voor een jonge doelgroep en wilt hem niet tonen op je website.

Opdracht 1: Verberg de Artiest [artiestennaam].

> Ga terug naar het overzicht met alle artiesten.

Opdracht 2: Verwijder de eerste 10 Artiesten in de lijst uit de database.

	Opdracht 1	Opdracht 2
Persoon 1	+	+
Persoon 2	+	+
Persoon 3	+	+
Persoon 4	+	+
Geslaagd percentage	100%	100%

Notes:

Persoon 3 zou graag een notificatie/melding op het scherm krijgen wanneer er een actie is uitgevoerd zoals het verbergen/tonen van een artiest als bevestiging dat de acties uitgevoerd.

Scenario 5: Je wilt een nieuwe gebruiker aanmaken met de rol bewerker.

Opdracht 1: maak een nieuwe gebruiker aan met de gegevens uit het document, de rol bewerker en geen extra permissie.

	Opdracht 1
Persoon 1	+
Persoon 2	+
Persoon 3	+
Persoon 4	+
Geslaagd percentage	100%

Notes:

Personen 1 en 2 navigeerde eerste naar “Spotify Gebruikers” maar corrigeerde zichzelf en navigeerde naar Authenticatie->Gebruikers.

Scenario 6: Je wilt jouw profiel persoonlijker maken.

Opdracht 1: Pas jouw profiel aan naar de gegevens bij Scenario 6 met foto.

	Opdracht 1
Persoon 1	+
Persoon 2	+
Persoon 3	+-
Persoon 4	+
Geslaagd percentage	100%

Notes:

Persoon 3 had verwacht zijn gegevens in de Authenticatie->gebruikers tabel aan te kunnen passen en/of op beide plaatsen.

Scenario 7: Je wilt snel zien hoeveel nieuwe Spotify gebruikers er in de afgelopen 7 dagen bij zijn gekomen.

Vraag 1: Waar kan je dit zien?
Vraag 2: Vertel wat je in de grafieken ziet.
Vraag 3: Zijn deze grafieken duidelijk?

	Vraag 1	Vraag 2
Persoon 1	+	+
Persoon 2	+	+-
Persoon 3	+-	+
Persoon 4	+-	+
Geslaagd percentage	75%	87,5%

Notes:

Persoon 3 vind de grafiek duidelijk maar zou graag de legenda onder de tabel zien in plaats van er boven.

Vragen:

Vraag 1: Vind je het style overeenkomen met de Spotify uitstraling?

Persoon 1 vind de uitstraling passen bij Spotify.
Persoon 2 vind de styling passen bij Spotify, ze geeft aan dat dit vooral komt door het logo en de groene kleur.
Persoon 3 vind de uitstraling passen bij Spotify.
Persoon 4 vind de styling bij Spotify passen, dit komt voornamelijk door de donkere topnav en de groene accentkleur.

Vraag 2: Wat is je algemene indruk van het CMS?

Persoon 1 geeft aan dat je bij de tabellen op veel verschillende plekken handelingen kan uitvoeren. Zo zitten de filter en zoekfuncties bovenin, twee losse reset knoppen en de bulk delete zit onderin.
Persoon 2 vind het CMS heel clean, ze vindt het een strak cms waarin alles staat wat er in moet staan. Ze geeft aan dat als je hier een keer doorheen loopt je snel weet waar je alles kunt vinden.
Persoon 3 vind het CMS heel clean vergeleken met Larawall. Hij vind dat het dashboard er meer van deze tijd uit zien. Hij vind het een helder en duidelijk CMS.
Persoon 4 vind het CMS makkelijk in gebruik en duidelijk.

Vraag 3: Werkte de functionaliteiten zoals verwacht?

Persoon 1 vind dat alles werkte zoals verwacht behalve de multiselect voor artiesten.
Persoon 2 geeft aan de rest knop niet duidelijk te vinden, en bij gegevens invullen wordt het veld niet overschreven, maar dit kan ook door gewenning komen.
Persoon 3 vind alle acties helder.
Persoon 4 vind dat alles werkte zoals verwacht.

Vraag 4: Zijn er functionaliteiten die je mist?

Persoon 1 geeft aan niet direct functionaliteiten te missen.
Persoon 2 geeft aan een uitgebreid dashboard te willen zien.
Persoon 3 mist geen functionaliteiten.
Persoon 4 geeft aan meer op het dashboard te willen zien, verder mis hij alleen het filteren/zoeken op genre.

Vraag 5: Wat is je indruk van dit CMS vergeleken met het Larawall CMS?

Persoon 1 vindt dit CMS een verbetering ten opzichte van het Larawall CMS.
Persoon 2 vindt dit dashboard een minder zakelijke uitstraling hebben en een betere gebruiksvriendelijkheid. Ze zou dit dashboard fijner vinden omdat minder ingewikkeld aanvoelt en beter navigeert.
Persoon 3 heeft geen duidelijke voorkeur, hij vind dit CMS er wel moderner uit zien.
Persoon 4 zou kiezen voor dit CMS omdat de gebruiksvriendelijkheid beter is.

Opmerkingen:

Bij de usertest met persoon 2 werd de test uitgevoerd op een 13 inch scherm, hierbij klopte de responsiveness niet bij de “mijn account” pagina niet bij profielfoto.

Conclusie

Uit deze user test blijkt dat het Backpack CMS goed wordt ontvangen. De testpersonen navigeren allemaal gemakkelijk door het CMS en ze vinden het er modern en clean uit zien. Doordat de kleuren van de top navigatie, buttons en het logo de huisstijl van Spotify volgen vinden de gebruikers het dashboard bij Spotify passen. De grootste problemen van dit CMS doen zich voor in de tabellen, waarbij de reset knop moeilijk te vinden is en de multiselect omslachtig werkt. In PoC-V2 wordt gekeken of deze functies verbeterd kunnen worden.

Het Backpack CMS komt uit deze test als een modern en gebruiksvriendelijk CMS en op die aspecten een goed alternatief zijn voor het Larawall CMS. In de aanbeveling wordt verder ingegaan op de andere aspecten zoals kosten, development uren en gebruiksgemak.

Problemen/verbeteringen

De multiselect optie moet steeds opnieuw worden aangeklikt om een item aan toe te voegen.
Prioriteit: medium
Mogelijke oplossing: Wanneer de multiselect wordt geopend moeten meerdere items aangevinkt kunnen worden en pas worden toegepast wanneer er op een knop “toepassen” wordt gedrukt.
De reset knop voor het resetten van alle filter, sorteer en zoekfuncties in een tabel is moeilijk te vinden.
Prioriteit: Medium
Mogelijke oplossing 1: De reset knop moet zichtbaarder in de pagina staan waarbij de functie duidelijk is.
Mogelijke oplossing 2: De reset filters knop moet ook de sorteer en zoekopties resetten en daarmee altijd zichtbaar zijn als er wordt gesorteerd, gefilterd of gezocht.
Mogelijke oplossing 3: Er moet een extra functie worden toegevoegd aan de sorteer kolom momenteel is dat “ascend, descend” hier zou reset aan toegevoegd moeten worden.
Het input veld bij “Mijn account” overlapt de afbeelding op een kleiner (13 inch) scherm.
Prioriteit: Medium
Mogelijke oplossing: Maak het input veld responsive zodat het op kleiner schermen onder de afbeelding komt of smaller wordt.
Bug: Notificaties hebben geen achtergrond kleur.
Prioriteit: High
Notificaties toevoegen bij acties zoals het verbergen/tonen van artiesten/nummers.
Prioriteit: Medium
Mogelijk oplossing: Voeg een alert functie toe aan de verberg/toon knop.
Test: Wat gebeurt er als er 1000+ rijen in de database zijn, zoekt het zoekveld dan net zo snel?
Prioriteit: High
Het verschil tussen het disabled field en een normaal field is bijna niet te zien.
Prioriteit: Low
Mogelijk oplossing: Gebruik attribute disabled op input field zodat het veld geen focus krijgt en pas de achtergrondkleur aan naar een donkerdere grijs.
Users navigeren eerst naar Spotify gebruikers i.p.v authenticatie->gebruikers
Prioriteit: niet relevant voor een PoC
Legenda in de grafieken verplaatsen naar onder de grafieken.
Prioriteit: Low
Mogelijke oplossing: Dit probleem is afhankelijk van de gebruikte grafiek in dit geval Chartjs. Bij de andere mogelijke grafieken (Echarts, Frappe charts, Highcharts etc..) staat de legenda op een andere plaats.
Gegevens aanpassen in bij Authenticatie->gebruikers zou dezelfde pagina moeten geven als de profiel pagina.
Prioriteit: Low
Mogelijke oplossing: De belangrijke velden van de profiel pagina toevoegen aan het formulier bij authenticatie->gebruikers->create/update