Rangorde

Als alles 4 of 5 sterren krijgt, is niets echt belangrijk. Rangorde-vragen dwingen respondenten om te kiezen - en dat is waar de echte prioriteiten naar boven komen.

Beoordelingsschalen meten intensiteit. Rangorde meet prioriteit. Als je afwegingen nodig hebt, zullen beoordelingen je die niet geven. Mensen clusteren hun beoordelingen vaak aan de top en je eindigt met tien items die allemaal een 4,2 op 5 scoren. Rangorde dwingt ze om te kiezen, en bij die keuze wordt de data pas echt eerlijk.

Wanneer gebruiken

Gebruik rangorde-vragen wanneer je moet weten wat op de eerste plaats komt, niet alleen wat goed is:

  • Prioriteer functies - “Welke verbeteringen zijn voor jou het belangrijkst?”
  • Test boodschappen - “Welke waardepropositie spreekt het meest aan?”
  • Geef richting aan roadmaps - “Rangschik deze problemen op basis van de impact op je werk”
  • Vergelijk ideeën - “Welke concepten hebben je voorkeur?”
  • Wijs middelen toe - “Waar moeten we nu in investeren?”
  • Segmenteer doelgroepen - Verschillende groepen rangschikken anders, en dat verschil is het inzicht

Rangschikkingsmethoden

Vier methoden. Elke methode werkt voor een andere lijstgrootte en context. Het systeem kiest er automatisch een op basis van het aantal opties, of je kiest zelf handmatig.

Slepen & Neerzetten (Sorteren)

Respondenten slepen items in hun voorkeursvolgorde. Simpel, bekend, snel.

Gebruik dit voor 5 of minder items. Bij meer items plaatsen mensen zorgvuldig de top 2 of 3, en slepen ze de rest naar willekeurige plekken om maar klaar te zijn. Het midden van een lange drag-and-drop lijst is ruis, geen signaal.

Paarsgewijze Vergelijking

Twee items tegelijk. Kies de betere. Herhaal.

Dit weerspiegelt hoe mensen van nature beslissingen nemen. Twee opties vergelijken is snel en voelt moeiteloos. Achter de schermen krijgt elke optie een winstpercentage op basis van hoe vaak deze is gekozen, wat een volledige rangschikking oplevert uit eenvoudige binaire keuzes.

Je kiest tussen ‘volledig’ paarsgewijs (elk mogelijk paar wordt getoond) of ‘gedeeltelijk’ (elke respondent ziet een steekproef). Met 10 opties zijn er 45 paren; met 20 zijn er 190. Gedeeltelijk paarsgewijs verdeelt het werk over de respondenten, zodat niemand op alle combinaties hoeft te stemmen.

Gebruik dit voor 6-15 opties. Het kan repetitief voelen als je te veel vergelijkingen aan één persoon laat zien - houd het aantal paren per respondent redelijk.

MaxDiff (Best-Slechtst Schaling)

Respondenten zien kleine subsets (3-5 opties tegelijk) en kiezen uit elke set de meest en minst belangrijke. Na verschillende rondes met verschillende combinaties worden de stemmen gescoord tot een volledige rangschikking.

Elk scherm geeft je twee datapunten - een “beste” en een “slechtste” signaal - dus MaxDiff haalt twee keer zoveel informatie uit een scherm in vergelijking met paarsgewijze vergelijking. Het kan omgaan met lange lijsten omdat respondenten nooit de volledige set in één keer zien.

Ruwe scores zijn gebaseerd op de beste en slechtste keuzes, en worden vervolgens genormaliseerd om ze te kunnen vergelijken.

Gebruik dit voor 8 of meer opties. De ‘sweet spot’ ligt tussen de 10 en 30 items, waarbij er 3 tot 5 per scherm worden getoond.

Het addertje onder het gras: respondenten moeten bekend zijn met alle opties. De beste kiezen vereist slechts het herkennen van één sterke optie. De slechtste kiezen vereist dat ze ze allemaal begrijpen. Als de bekendheid varieert, gaan respondenten gokken - en gokken leidt tot ruis.

Budgettoewijzing

Geef respondenten een vaste hoeveelheid punten en laat ze die verdelen. Ook bekend als constante som.

Dit is de enige methode die de grootteorde (magnitude) vastlegt. Paarsgewijs en MaxDiff vertellen je dat respondenten A boven B verkiezen. Budgettoewijzing vertelt je dat ze 40 punten aan A zouden besteden en 5 aan B - ze vinden A acht keer zo belangrijk.

Het nadeel: mensen hebben de neiging om de meeste punten aan één item toe te wijzen en de rest zonder veel nadenken te verspreiden. Trek geen overhaaste conclusies uit kleine verschillen tussen laag scorende items. Houd de lijst onder de 8 opties - 100 punten verdelen over 15 items is meer rekenwerk dan onderzoek.

Welke methode moet ik kiezen?

MethodeBeste voorOptiesInspanning respondent
Slepen & NeerzettenSnelle rangschikking van korte lijsten2-5Laag
PaarsgewijsMiddellange lijsten, mobielvriendelijk6-15Laag per stem
MaxDiffLange lijsten, onderzoeksprojecten8-30+Gemiddeld
BudgetWanneer de grootteorde ertoe doet3-8Hoger

Simpele regels: bij minder dan 6 items gebruik je slepen-en-neerzetten. Tussen de 6 en 15 gebruik je paarsgewijze vergelijking. Daarboven gebruik je MaxDiff - tenzij je moet weten hoeveel zwaarder de ene optie weegt ten opzichte van de andere; gebruik in dat geval budgettoewijzing met een korte lijst.

Configuratie-opties

  • Algoritme - Laat op auto staan, tenzij je een specifieke reden hebt om dit aan te passen. Het systeem kiest de methode die past bij je lijstgrootte en de vermoeidheid van de respondent minimaliseert.
  • Modus (Paarsgewijs) - full toont elk mogelijk paar aan elke respondent. partial neemt een steekproef en verdeelt dit over de respondenten. De standaardinstelling is partial, wat voor de meeste enquêtes de beste keuze is.
  • Items per scherm (MaxDiff) - Hoeveel opties er in elke subset verschijnen (3-10). Standaard is dit min(5, lijstgrootte). Lagere waarden zijn makkelijker voor respondenten; hogere waarden halen meer data uit elk scherm.
  • Doelweergaven per item (MaxDiff, Paarsgewijs gedeeltelijk) - Hoe vaak elke optie in totaal over alle schermen verschijnt (1-10). Standaard is dit 3. Het systeem verlaagt dit automatisch naar 2 als de resulterende enquête meer dan 20 schermen zou bevatten.

Resultaten interpreteren

Rangschikkingen verzamelen is het halve werk. Ze correct lezen is de andere helft.

Alle methoden produceren verschillende ruwe scores - winstpercentages, best-slechtst verschillen, puntentotalen, positievolgorde. Om resultaten vergelijkbaar te maken, ongeacht de methode, normaliseren we alles naar een schaal van 0-100. Een item dat 85 scoort betekent hetzelfde, of het nu voortkomt uit paarsgewijze vergelijking, MaxDiff of budgettoewijzing. Hierdoor kun je methoden afwisselen tussen enquêtes of resultaten van verschillende rangorde-vragen vergelijken, zonder dat je de manier waarop je de cijfers leest opnieuw hoeft te kalibreren.

  • Kleine verschillen tussen items in de middenmoot zijn vaak statistische ruis. Grote verschillen aan de top of onderkant zijn de gebieden waar beslissingen op gebaseerd moeten worden.
  • Scores zijn relatief, niet absoluut. Een score van 85 betekent dat die optie hoog scoorde in vergelijking met de anderen in je lijst. Het betekent niet dat 85% van de mensen het wil. Verander de lijst en de scores verschuiven.
  • Budgetresultaten tonen de grootteorde, de andere methoden niet. Paarsgewijze vergelijking en MaxDiff vertellen je de volgorde. Budgettoewijzing vertelt je hoeveel zwaarder het ene item weegt ten opzichte van het andere. Een verschil van 10 punten tussen twee items bij budgettoewijzing is betekenisvol. Hetzelfde verschil in genormaliseerde paarsgewijze scores is dat misschien niet.
  • Segmenteer voordat je concludeert. Algemene rangschikkingen verbergen vaak het echte verhaal. Je power users en incidentele gebruikers kunnen dezelfde lijst in omgekeerde volgorde rangschikken. Splits resultaten op per doelgroepsegment voordat je beslissingen neemt.

Best Practices

Gebruik vergelijkbare opties

Alle items moeten van hetzelfde type zijn. Het mixen van functies met bugfixes en bedrijfsdoelen geeft je een rangschikking waar niemand iets mee kan. “Sneller zoeken” en “Betere onboarding” zijn vergelijkbaar. “Sneller zoeken” en “Login-bug oplossen” zijn dat niet.

Houd lijsten doelgericht

Elke optie die je toevoegt kost aandacht van de respondent en voegt ruis toe aan de resultaten. Voeg alleen items toe waar je daadwerkelijk actie op zou ondernemen. Als een optie als laatste eindigt en je hem nog steeds niet zou schrappen, laat hem dan weg.

Pas op voor positievooroordelen (positie-bias)

Bij slepen-en-neerzetten hebben items bovenaan de neiging daar te blijven. Randomiseer de startvolgorde zodat positie geen verborgen variabele in je data wordt.

Stem de methode af op het apparaat

Paarsgewijze vergelijking en MaxDiff werken goed op telefoons. Slepen-en-neerzetten is lastiger op kleine schermen - slepen op mobiel is priegelig. Budgettoewijzing vereist concentratie die een respondent op de telefoon in de bus je niet zal geven.

Gerelateerd