Classement

Quand tout obtient 4 ou 5 étoiles, rien n’est vraiment important. Les questions de classement obligent les répondants à choisir, et c’est là que les véritables priorités font surface.

Les échelles d’évaluation mesurent l’intensité. Le classement mesure la priorité. Si vous avez besoin d’arbitrages, les notes ne vous les donneront pas. Les gens ont tendance à regrouper leurs notes vers le haut et vous vous retrouvez avec dix éléments notés 4,2 sur 5. Le classement les oblige à choisir, et c’est dans ce choix que les données deviennent honnêtes.

Quand l’utiliser

Utilisez les questions de classement lorsque vous avez besoin de savoir ce qui vient en premier, et pas seulement ce qui est bien :

• Prioriser les fonctionnalités - “Quelles améliorations comptent le plus pour vous ?”
• Tester les messages - “Quelle proposition de valeur résonne le mieux ?”
• Orienter les feuilles de route - “Classez ces problèmes selon leur impact sur votre travail”
• Comparer des idées - “Quels concepts préférez-vous ?”
• Allouer des ressources - “Où devrions-nous investir ensuite ?”
• Segmenter les audiences - Différents groupes classent différemment, et cette différence constitue l’insight

Méthodes de classement

Quatre méthodes. Chacune fonctionne pour une taille de liste et un contexte différents. Le système en choisit une en fonction de votre nombre d’options, ou vous pouvez choisir manuellement.

Glisser-déposer (Tri)

Les répondants font glisser les éléments dans leur ordre de préférence. Simple, familier, rapide.

Utilisez cette méthode pour 5 éléments ou moins. Au-delà, les gens placent soigneusement les 2 ou 3 premiers, puis font glisser le reste à des endroits aléatoires juste pour finir. Le milieu d’une longue liste de glisser-déposer est du bruit, pas un signal.

Comparaison par paires

Deux éléments à la fois. Choisissez le meilleur. Répétez.

Cela reflète la façon dont les gens prennent naturellement des décisions. Comparer deux options est rapide et semble ne demander aucun effort. En coulisses, chaque option obtient un taux de victoire basé sur la fréquence à laquelle elle a été choisie, produisant un classement complet à partir de simples choix binaires.

Vous choisissez entre une comparaison par paires “complète” (chaque paire possible est montrée) ou “partielle” (chaque répondant voit un échantillon). Avec 10 options, il y a 45 paires ; avec 20, il y en a 190. La méthode partielle répartit le travail entre les répondants afin que personne ne vote sur toutes les combinaisons.

Utilisez cette méthode pour 6 à 15 options. Cela peut sembler répétitif si vous montrez trop de comparaisons à une seule personne - gardez le nombre de paires par répondant raisonnable.

MaxDiff (Échelle Meilleur-Pire)

Les répondants voient de petits sous-ensembles (3 à 5 options à la fois) et choisissent le plus et le moins important de chaque ensemble. Après plusieurs tours avec différentes combinaisons, les votes sont comptabilisés pour obtenir un classement complet.

Chaque écran vous donne deux points de données - un signal “meilleur” et un signal “pire” - donc MaxDiff extrait deux fois plus d’informations par écran que la comparaison par paires. Il gère les longues listes car les répondants ne voient jamais l’ensemble complet en une seule fois.

Les scores bruts sont basés sur les sélections “meilleur” et “pire”, puis normalisés pour la comparaison.

Utilisez cette méthode pour 8 options ou plus. La zone idéale se situe entre 10 et 30 éléments avec 3 à 5 affichés par écran.

Le piège : les répondants doivent être familiers avec toutes les options. Choisir le meilleur ne nécessite que de reconnaître une option forte. Choisir le pire nécessite de toutes les comprendre. Si la notoriété varie, les répondants devinent - et les devinettes se transforment en bruit.

Allocation de budget

Donnez aux répondants une réserve fixe de points et laissez-les la distribuer. Aussi connu sous le nom de somme constante.

C’est la seule méthode qui capture l’ampleur. La comparaison par paires et MaxDiff vous disent que les répondants préfèrent A à B. L’allocation de budget vous dit qu’ils dépenseraient 40 points pour A et 5 pour B - ils tiennent à A huit fois plus.

Le compromis : les gens ont tendance à mettre la plupart des points sur un seul élément et à disperser le reste sans trop y penser. Ne surinterprétez pas les petites différences entre les éléments à faible score. Gardez la liste en dessous de 8 options - diviser 100 points entre 15 éléments relève plus de l’arithmétique que de la recherche.

Quelle méthode choisir ?

Méthode	Idéal pour	Options	Effort du répondant
Glisser-déposer	Classement rapide de listes courtes	2-5	Faible
Par paires	Listes moyennes, adapté au mobile	6-15	Faible par vote
MaxDiff	Longues listes, projets de recherche	8-30+	Modéré
Budget	Lorsque l’ampleur compte	3-8	Plus élevé

Règles simples : moins de 6 éléments, utilisez le glisser-déposer. Entre 6 et 15, utilisez la comparaison par paires. Au-delà, utilisez MaxDiff - sauf si vous avez besoin de savoir à quel point une option compte plus qu’une autre, auquel cas utilisez l’allocation de budget avec une liste courte.

Options de configuration

• Algorithme - Laissez sur auto sauf si vous avez une raison de le modifier. Le système choisit la méthode qui correspond à la taille de votre liste et minimise la fatigue des répondants.
• Mode (Par paires) - full montre chaque paire possible à chaque répondant. partial échantillonne un sous-ensemble et répartit la couverture entre les répondants. La valeur par défaut est partial, ce qui est souhaitable pour la plupart des sondages.
• Éléments par écran (MaxDiff) - Combien d’options apparaissent dans chaque sous-ensemble, 3-10. Par défaut min(5, taille de la liste). Les valeurs inférieures sont plus faciles pour les répondants ; les valeurs supérieures extraient plus de données par écran.
• Vues cibles par élément (MaxDiff, Par paires partiel) - Combien de fois chaque option apparaît sur l’ensemble des écrans, 1-10. Par défaut 3. Le système réduit cela automatiquement à 2 si le sondage résultant dépassait 20 écrans.

Interprétation des résultats

Collecter les classements n’est que la moitié du travail. Les lire correctement est l’autre moitié.

Toutes les méthodes produisent des scores bruts différents - taux de victoire, différences meilleur-pire, totaux de points, ordre de position. Pour rendre les résultats comparables quelle que soit la méthode, nous normalisons tout sur une échelle de 0 à 100. Un élément obtenant un score de 85 signifie la même chose qu’il provienne d’une comparaison par paires, de MaxDiff ou d’une allocation de budget. Cela vous permet de changer de méthode entre les sondages ou de comparer les résultats de différentes questions de classement sans recalibrer votre lecture des chiffres.

• Les petits écarts entre les éléments de milieu de classement sont souvent du bruit statistique. Les décisions doivent se concentrer sur les grands écarts en haut ou en bas.
• Les scores sont relatifs, pas absolus. Un score de 85 signifie que cette option a été très bien classée par rapport aux autres de votre liste. Cela ne signifie pas que 85 % des gens la veulent. Changez la liste et les scores changent.
• Les résultats budgétaires montrent l’ampleur, les autres non. La comparaison par paires et MaxDiff vous donnent l’ordre. Le budget vous dit à quel point un élément compte plus qu’un autre. Un écart de 10 points entre deux éléments dans l’allocation de budget est significatif. Le même écart dans les scores normalisés par paires peut ne pas l’être.
• Segmentez avant de conclure. Les classements globaux cachent souvent la véritable histoire. Vos utilisateurs experts et vos utilisateurs occasionnels peuvent classer la même liste dans un ordre opposé. Décomposez les résultats par segment d’audience avant de prendre des décisions.

Bonnes pratiques

Rédigez des options comparables

Tous les éléments doivent être du même type. Mélanger des fonctionnalités avec des corrections de bugs et des objectifs commerciaux donne un classement sur lequel personne ne peut agir. “Recherche plus rapide” et “Meilleure intégration” sont comparables. “Recherche plus rapide” et “Corriger le bug de connexion” ne le sont pas.

Gardez les listes ciblées

Chaque option que vous ajoutez coûte de l’attention au répondant et ajoute du bruit aux résultats. N’incluez que les éléments sur lesquels vous agiriez réellement. Si une option arrive en dernier et que vous ne la supprimeriez toujours pas, laissez-la de côté.

Surveillez le biais de position

Dans le glisser-déposer, les éléments en haut ont tendance à y rester. Rendez l’ordre de départ aléatoire afin que la position ne devienne pas une variable cachée dans vos données.

Adaptez la méthode à l’appareil

La comparaison par paires et MaxDiff fonctionnent bien sur les téléphones. Le glisser-déposer est plus difficile sur les petits écrans - faire glisser sur mobile est peu pratique. L’allocation de budget nécessite une concentration qu’un répondant sur son téléphone dans le bus ne vous accordera pas.