Ranking

Quando tudo recebe 4 ou 5 estrelas, nada é verdadeiramente importante. Perguntas de ranking forçam os respondentes a escolher - e é aí que as verdadeiras prioridades surgem.

Escalas de avaliação medem intensidade. Ranking mede prioridade. Se você precisa de trade-offs, as avaliações não lhos darão. As pessoas agrupam as suas avaliações no topo e você acaba com dez itens pontuados com 4,2 de 5. O ranking fá-las escolher, e escolher é onde os dados se tornam honestos.

Quando Usar

Use perguntas de ranking quando precisar saber o que vem primeiro, não apenas o que é bom:

• Priorizar funcionalidades - “Quais melhorias são mais importantes para você?”
• Testar mensagens - “Qual proposta de valor ressoa melhor?”
• Informar roadmaps - “Classifique estes problemas pelo impacto no seu trabalho”
• Comparar ideias - “Quais conceitos você prefere?”
• Alocar recursos - “Onde devemos investir a seguir?”
• Segmentar públicos - Grupos diferentes classificam de forma diferente, e essa diferença é o insight

Métodos de Ranking

Quatro métodos. Cada um funciona para um tamanho de lista e contexto diferente. O sistema escolhe um com base na sua contagem de opções, ou você escolhe manualmente.

Arrastar e Soltar (Ordenar)

Os respondentes arrastam os itens para a sua ordem preferida. Simples, familiar, rápido.

Use para 5 ou menos itens. Além disso, as pessoas colocam cuidadosamente os 2-3 primeiros, depois arrastam o resto para lugares aleatórios apenas para terminar. O meio de uma lista longa de arrastar e soltar é ruído, não sinal.

Comparação por Pares

Dois itens de cada vez. Escolha o melhor. Repita.

Isto reflete como as pessoas decidem as coisas naturalmente. Comparar duas opções é rápido e parece fácil. Nos bastidores, cada opção recebe uma taxa de vitória baseada na frequência com que foi escolhida, produzindo um ranking completo a partir de escolhas binárias simples.

Você escolhe entre comparação por pares “completa” (todos os pares possíveis mostrados) ou “parcial” (cada respondente vê uma amostra). Com 10 opções existem 45 pares; com 20 existem 190. A parcial distribui o trabalho entre os respondentes para que ninguém vote em todas as combinações.

Use para 6-15 opções. Pode parecer repetitivo se mostrar muitas comparações a uma pessoa - mantenha o número de pares por respondente razoável.

MaxDiff (Escala de Melhor-Pior)

Os respondentes veem pequenos subconjuntos (3-5 opções de cada vez) e escolhem o mais e o menos importante de cada conjunto. Após várias rodadas com combinações diferentes, os votos são pontuados num ranking completo.

Cada tela dá-lhe dois pontos de dados - um sinal de “melhor” e um de “pior” - então o MaxDiff extrai o dobro da informação por tela em comparação com a comparação por pares. Lida com listas longas porque os respondentes nunca veem o conjunto completo de uma só vez.

As pontuações brutas baseiam-se nas seleções de melhor e pior, depois normalizadas para comparação.

Use para 8+ opções. O ponto ideal é 10-30 itens com 3-5 mostrados por tela.

A ressalva: os respondentes devem estar familiarizados com todas as opções. Escolher o melhor requer apenas reconhecer uma opção forte. Escolher o pior requer entender todas elas. Se o conhecimento variar, os respondentes adivinham - e palpites tornam-se ruído.

Alocação de Orçamento

Dê aos respondentes um conjunto fixo de pontos e deixe-os distribuir. Também conhecido como soma constante.

Este é o único método que captura magnitude. Comparação por pares e MaxDiff dizem que os respondentes preferem A a B. A alocação de orçamento diz que gastariam 40 pontos em A e 5 em B - eles importam-se com A oito vezes mais.

O compromisso: as pessoas tendem a colocar a maioria dos pontos num item e espalhar o resto sem pensar muito. Não interprete excessivamente pequenas diferenças entre itens de baixa pontuação. Mantenha a lista abaixo de 8 opções - dividir 100 pontos por 15 itens é mais aritmética do que pesquisa.

Qual Método Devo Escolher?

Método	Melhor para	Opções	Esforço do respondente
Arrastar e Soltar	Ranking rápido de listas curtas	2-5	Baixo
Pares (Pairwise)	Listas médias, amigável para móvel	6-15	Baixo por voto
MaxDiff	Listas longas, projetos de pesquisa	8-30+	Moderado
Orçamento	Quando a magnitude importa	3-8	Mais alto

Regras simples: menos de 6 itens, use arrastar e soltar. Entre 6 e 15, use comparação por pares. Acima disso, use MaxDiff - a menos que precise saber quanto mais uma opção importa do que outra, nesse caso use orçamento com uma lista curta.

Opções de Configuração

• Algoritmo - Deixe em auto a menos que tenha uma razão para substituir. O sistema escolhe o método que se ajusta ao tamanho da sua lista e minimiza a fadiga do respondente
• Modo (Pares) - full mostra todos os pares possíveis a cada respondente. partial amostra um subconjunto e espalha a cobertura entre os respondentes. O padrão é partial, que é o que você quer para a maioria dos questionários
• Itens por tela (MaxDiff) - Quantas opções aparecem em cada subconjunto, 3-10. O padrão é min(5, tamanho da lista). Valores mais baixos são mais fáceis para os respondentes; valores mais altos extraem mais dados por tela
• Visualizações alvo por item (MaxDiff, Pares parcial) - Quantas vezes cada opção aparece em todas as telas, 1-10. O padrão é 3. O sistema reduz isto para 2 automaticamente se o questionário resultante exceder 20 telas

Interpretando Resultados

Coletar rankings é metade do trabalho. Lê-los corretamente é a outra metade.

Todos os métodos produzem pontuações brutas diferentes - taxas de vitória, diferenças melhor-pior, totais de pontos, ordem de posição. Para tornar os resultados comparáveis independentemente do método, normalizamos tudo para uma escala de 0-100. Um item com pontuação 85 significa a mesma coisa quer venha de comparação por pares, MaxDiff ou alocação de orçamento. Isto permite-lhe trocar métodos entre questionários ou comparar resultados entre diferentes perguntas de ranking sem recalibrar como lê os números.

• Pequenas lacunas entre itens de classificação média são frequentemente ruído estatístico. Grandes lacunas no topo ou na base são onde as decisões devem focar.
• As pontuações são relativas, não absolutas. Uma pontuação de 85 significa que essa opção foi classificada altamente em comparação com as outras na sua lista. Não significa que 85% das pessoas a querem. Mude a lista e as pontuações mudam.
• Resultados de orçamento mostram magnitude, outros não. Comparação por pares e MaxDiff dizem a ordem. Orçamento diz quanto mais um item importa do que outro. Uma lacuna de 10 pontos entre dois itens na alocação de orçamento é significativa. A mesma lacuna em pontuações normalizadas de pares pode não ser.
• Segmente antes de concluir. Rankings gerais frequentemente escondem a verdadeira história. Os seus utilizadores avançados e utilizadores casuais podem classificar a mesma lista em ordem oposta. Divida os resultados por segmento de público antes de tomar decisões.

Melhores Práticas

Escreva Opções Comparáveis

Todos os itens devem ser o mesmo tipo de coisa. Misturar funcionalidades com correções de bugs e objetivos de negócio dá-lhe um ranking no qual ninguém pode agir. “Pesquisa mais rápida” e “Melhor onboarding” são comparáveis. “Pesquisa mais rápida” e “Corrigir bug de login” não são.

Mantenha as Listas Focadas

Cada opção que você adiciona custa atenção do respondente e adiciona ruído aos resultados. Inclua apenas itens sobre os quais você realmente agiria. Se uma opção ficar em último e você ainda assim não a cortaria, deixe-a de fora.

Cuidado com o Viés de Posição

No arrastar e soltar, itens no topo tendem a ficar lá. Randomize a ordem inicial para que a posição não se torne uma variável oculta nos seus dados.

Combine o Método com o Dispositivo

Comparação por pares e MaxDiff funcionam bem em telefones. Arrastar e soltar é mais difícil em telas pequenas - arrastar no móvel é complicado. Alocação de orçamento requer concentração que um respondente ao telefone no transporte público não lhe dará.