Als alles 4 of 5 sterren krijgt, is niets echt belangrijk. Rangorde-vragen dwingen respondenten om te kiezen - en dat is waar de echte prioriteiten naar boven komen.
Beoordelingsschalen meten intensiteit. Rangorde meet prioriteit. Als je afwegingen nodig hebt, zullen beoordelingen je die niet geven. Mensen clusteren hun beoordelingen vaak aan de top en je eindigt met tien items die allemaal een 4,2 op 5 scoren. Rangorde laat ze kiezen, en kiezen maakt de data eerlijk.
Wanneer gebruiken
Gebruik rangorde-vragen wanneer je moet weten wat op de eerste plaats komt, niet alleen wat goed is:
- Prioriteer functies - “Welke verbeteringen zijn voor jou het belangrijkst?”
- Test boodschappen - “Welke waardepropositie spreekt het meest aan?”
- Informeer roadmaps - “Rangschik deze problemen op basis van impact op je werk”
- Vergelijk ideeën - “Welke concepten hebben je voorkeur?”
- Wijs middelen toe - “Waar moeten we nu in investeren?”
- Segmenteer doelgroepen - Verschillende groepen rangschikken anders, en dat verschil is het inzicht
Rangschikkingsmethoden
Vier methoden. Elk werkt voor een andere lijstgrootte en context. Het systeem kiest er een op basis van je aantal opties, of je kiest handmatig.
Slepen & Neerzetten (Sorteren)
Respondenten slepen items in hun voorkeursvolgorde. Simpel, bekend, snel.
Gebruik dit voor 5 of minder items. Daarboven plaatsen mensen zorgvuldig de top 2-3, en slepen de rest naar willekeurige plekken om maar klaar te zijn. Het midden van een lange sleep-lijst is ruis, geen signaal.
Paarsgewijze Vergelijking
Twee items tegelijk. Kies de betere. Herhaal.
Dit weerspiegelt hoe mensen van nature beslissingen nemen. Twee opties vergelijken is snel en voelt moeiteloos. Achter de schermen krijgt elke optie een winstpercentage op basis van hoe vaak deze is gekozen, wat een volledige rangschikking oplevert uit eenvoudige binaire keuzes.
Je kiest tussen “volledige” paarsgewijze vergelijking (elk mogelijk paar wordt getoond) of “gedeeltelijk” (elke respondent ziet een steekproef). Met 10 opties zijn er 45 paren; met 20 zijn er 190. Gedeeltelijke vergelijking verdeelt het werk over de respondenten zodat niemand over alle combinaties hoeft te stemmen.
Gebruik dit voor 6-15 opties. Het kan repetitief voelen als je te veel vergelijkingen aan één persoon laat zien - houd het aantal paren per respondent redelijk.
MaxDiff (Best-Slechtst Schaling)
Respondenten zien kleine subsets (3-5 opties tegelijk) en kiezen uit elke set de meest en minst belangrijke. Na verschillende rondes met verschillende combinaties worden de stemmen gescoord tot een volledige rangschikking.
Elk scherm geeft je twee datapunten - een “beste” en een “slechtste” signaal - dus MaxDiff haalt twee keer zoveel informatie uit een scherm in vergelijking met paarsgewijze vergelijking. Het kan omgaan met lange lijsten omdat respondenten nooit de volledige set in één keer zien.
Ruwe scores zijn gebaseerd op de beste en slechtste selecties en worden vervolgens genormaliseerd voor vergelijking.
Gebruik dit voor 8+ opties. Het ideaal ligt tussen 10-30 items waarbij er 3-5 per scherm worden getoond.
Het nadeel: respondenten moeten bekend zijn met alle opties. Het kiezen van de beste vereist alleen het herkennen van één sterke optie. Het kiezen van de slechtste vereist begrip van allemaal. Als de bekendheid varieert, gaan respondenten gokken - en gokken verandert in ruis.
Budgettoewijzing
Geef respondenten een vaste hoeveelheid punten en laat ze die verdelen. Ook bekend als constante som.
Dit is de enige methode die de omvang van het verschil vastlegt. Paarsgewijze vergelijking en MaxDiff vertellen je dat respondenten A boven B verkiezen. Budgettoewijzing vertelt je dat ze 40 punten aan A zouden besteden en 5 aan B - ze geven acht keer meer om A.
De afweging: mensen hebben de neiging om de meeste punten op één item te storten en de rest zonder veel nadenken te verspreiden. Interpreteer kleine verschillen tussen laag scorende items niet te zwaar. Houd de lijst onder de 8 opties - 100 punten verdelen over 15 items is meer rekenwerk dan onderzoek.
Welke methode moet ik kiezen?
| Methode | Beste voor | Opties | Inspanning respondent |
|---|---|---|---|
| Slepen & Neerzetten | Snelle rangschikking van korte lijsten | 2-5 | Laag |
| Paarsgewijs | Middellange lijsten, mobielvriendelijk | 6-15 | Laag per stem |
| MaxDiff | Lange lijsten, onderzoeksprojecten | 8-30+ | Gemiddeld |
| Budget | Wanneer omvang ertoe doet | 3-8 | Hoger |
Simpele regels: minder dan 6 items, gebruik slepen-en-neerzetten. Tussen 6 en 15, gebruik paarsgewijze vergelijking. Daarboven gebruik je MaxDiff - tenzij je moet weten hoeveel meer de ene optie telt dan de andere, gebruik in dat geval budgettoewijzing met een korte lijst.
Configuratie-opties
- Algoritme - Laat op
autostaan tenzij je een reden hebt om dit te overschrijven. Het systeem kiest de methode die past bij je lijstgrootte en vermoeidheid van de respondent minimaliseert - Modus (Paarsgewijs) -
fulltoont elk mogelijk paar aan elke respondent.partialneemt een steekproef en verdeelt de dekking over de respondenten. Standaard ispartial, wat je voor de meeste enquêtes wilt - Items per scherm (MaxDiff) - Hoeveel opties er in elke subset verschijnen, 3-10. Standaard
min(5, lijstgrootte). Lagere waarden zijn makkelijker voor respondenten; hogere waarden halen meer data uit elk scherm - Doelweergaven per item (MaxDiff, Paarsgewijs gedeeltelijk) - Hoe vaak elke optie verschijnt over alle schermen heen, 1-10. Standaard 3. Het systeem verlaagt dit automatisch naar 2 als de resulterende enquête meer dan 20 schermen zou bevatten
Resultaten interpreteren
Rangschikkingen verzamelen is het halve werk. Ze correct lezen is de andere helft.
Alle methoden produceren verschillende ruwe scores - winstpercentages, best-slechtst verschillen, puntotalen, positievolgorde. Om resultaten vergelijkbaar te maken ongeacht de methode, normaliseren we alles naar een schaal van 0-100. Een item dat 85 scoort betekent hetzelfde, of het nu uit paarsgewijze vergelijking, MaxDiff of budgettoewijzing kwam. Hierdoor kun je methoden wisselen tussen enquêtes of resultaten vergelijken over verschillende rangorde-vragen heen zonder opnieuw te kalibreren hoe je de cijfers leest.
- Kleine verschillen tussen items in het midden zijn vaak statistische ruis. Grote gaten aan de top of bodem zijn waar beslissingen op moeten focussen.
- Scores zijn relatief, niet absoluut. Een score van 85 betekent dat die optie hoog scoorde in vergelijking met de anderen in je lijst. Het betekent niet dat 85% van de mensen het wil. Verander de lijst en de scores verschuiven.
- Budgetresultaten tonen omvang, andere niet. Paarsgewijze vergelijking en MaxDiff vertellen je de volgorde. Budget vertelt je hoeveel meer de ene optie telt dan de andere. Een gat van 10 punten tussen twee items in budgettoewijzing is betekenisvol. Hetzelfde gat in genormaliseerde paarsgewijze scores is dat misschien niet.
- Segmenteer voordat je concludeert. Algemene rangschikkingen verbergen vaak het echte verhaal. Je power users en incidentele gebruikers kunnen dezelfde lijst in omgekeerde volgorde rangschikken. Splits resultaten op per doelgroepsegment voordat je beslissingen neemt.
Best Practices
Schrijf vergelijkbare opties
Alle items moeten van hetzelfde type zijn. Het mixen van functies met bugfixes en bedrijfsdoelen geeft je een rangschikking waar niemand iets mee kan. “Sneller zoeken” en “Betere onboarding” zijn vergelijkbaar. “Sneller zoeken” en “Login-bug oplossen” zijn dat niet.
Houd lijsten gefocust
Elke optie die je toevoegt kost aandacht van de respondent en voegt ruis toe aan de resultaten. Voeg alleen items toe waar je daadwerkelijk actie op zou ondernemen. Als een optie als laatste eindigt en je hem nog steeds niet zou schrappen, laat hem dan weg.
Pas op voor positie-bias
Bij slepen-en-neerzetten hebben items bovenaan de neiging daar te blijven. Randomiseer de startvolgorde zodat positie geen verborgen variabele in je data wordt.
Stem de methode af op het apparaat
Paarsgewijze vergelijking en MaxDiff werken goed op telefoons. Slepen-en-neerzetten is lastiger op kleine schermen - slepen op mobiel is priegelig. Budgettoewijzing vereist concentratie die een respondent op de telefoon in de bus je niet zal geven.