Ranking

Quando tudo recebe 4 ou 5 estrelas, nada é verdadeiramente importante. Perguntas de ranking forçam os respondentes a escolher - e é aí que as verdadeiras prioridades surgem.

Escalas de avaliação medem a intensidade. O ranking mede a prioridade. Se você precisa de concessões (trade-offs), as avaliações não vão lhe dar isso. As pessoas concentram suas avaliações no topo e você acaba com dez itens com pontuação de 4,2 de 5. O ranking faz com que elas escolham, e é na escolha que os dados se tornam honestos.

Quando Usar

Use perguntas de ranking quando precisar saber o que vem primeiro, não apenas o que é bom:

  • Priorizar funcionalidades - “Quais melhorias são mais importantes para você?”
  • Testar mensagens - “Qual proposta de valor ressoa melhor?”
  • Orientar roadmaps - “Classifique estes problemas pelo impacto no seu trabalho”
  • Comparar ideias - “Quais conceitos você prefere?”
  • Alocar recursos - “Onde devemos investir a seguir?”
  • Segmentar públicos - Grupos diferentes classificam de forma diferente, e essa diferença é o insight

Métodos de Ranking

Quatro métodos. Cada um funciona para um tamanho de lista e contexto diferente. O sistema escolhe um com base na sua contagem de opções, ou você pode escolher manualmente.

Arrastar e Soltar (Ordenar)

Os respondentes arrastam os itens para a sua ordem de preferência. Simples, familiar, rápido.

Use para 5 itens ou menos. Além disso, as pessoas posicionam cuidadosamente os 2 ou 3 primeiros e depois arrastam o resto para posições aleatórias apenas para terminar. O meio de uma lista longa de arrastar e soltar é ruído, não sinal.

Comparação por Pares

Dois itens de cada vez. Escolha o melhor. Repita.

Isso reflete como as pessoas decidem as coisas naturalmente. Comparar duas opções é rápido e parece não exigir esforço. Nos bastidores, cada opção recebe uma taxa de vitória com base na frequência com que foi escolhida, produzindo um ranking completo a partir de escolhas binárias simples.

Você escolhe entre comparação por pares “completa” (todos os pares possíveis são mostrados) ou “parcial” (cada respondente vê uma amostra). Com 10 opções, existem 45 pares; com 20, existem 190. A comparação parcial distribui o trabalho entre os respondentes para que ninguém vote em todas as combinações.

Use para 6 a 15 opções. Pode parecer repetitivo se você mostrar muitas comparações a uma pessoa - mantenha o número de pares por respondente razoável.

MaxDiff (Escala de Melhor-Pior)

Os respondentes veem pequenos subconjuntos (3 a 5 opções de cada vez) e escolhem o mais e o menos importante de cada conjunto. Após várias rodadas com combinações diferentes, os votos são pontuados em um ranking completo.

Cada tela fornece dois pontos de dados - um sinal de “melhor” e um de “pior” - então o MaxDiff extrai o dobro de informações por tela em comparação com a comparação por pares. Ele lida bem com listas longas porque os respondentes nunca veem o conjunto completo de uma só vez.

As pontuações brutas baseiam-se nas seleções de melhor e pior, sendo depois normalizadas para comparação.

Use para 8 ou mais opções. O ponto ideal é de 10 a 30 itens, com 3 a 5 mostrados por tela.

O detalhe: os respondentes devem estar familiarizados com todas as opções. Escolher a melhor requer apenas reconhecer uma opção forte. Escolher a pior requer entender todas elas. Se o nível de conhecimento variar, os respondentes vão adivinhar - e palpites se transformam em ruído.

Alocação de Orçamento

Dê aos respondentes um conjunto fixo de pontos e deixe-os distribuí-los. Também conhecido como soma constante.

Este é o único método que captura a magnitude. A comparação por pares e o MaxDiff dizem que os respondentes preferem A a B. A alocação de orçamento diz que eles gastariam 40 pontos em A e 5 em B - eles se importam oito vezes mais com A.

O contraponto: as pessoas tendem a colocar a maioria dos pontos em um item e espalhar o resto sem pensar muito. Não interprete excessivamente pequenas diferenças entre itens de baixa pontuação. Mantenha a lista com menos de 8 opções - dividir 100 pontos por 15 itens é mais aritmética do que pesquisa.

Qual Método Devo Escolher?

MétodoMelhor paraOpçõesEsforço do respondente
Arrastar e SoltarRanking rápido de listas curtas2-5Baixo
Comparação por ParesListas médias, amigável para celular6-15Baixo por voto
MaxDiffListas longas, projetos de pesquisa8-30+Moderado
Alocação de OrçamentoQuando a magnitude importa3-8Mais alto

Regras simples: menos de 6 itens, use arrastar e soltar. Entre 6 e 15, use comparação por pares. Acima disso, use MaxDiff - a menos que você precise saber o quanto uma opção importa mais do que a outra; nesse caso, use a alocação de orçamento com uma lista curta.

Opções de Configuração

  • Algoritmo - Deixe em auto a menos que tenha um motivo para alterar. O sistema escolhe o método que se ajusta ao tamanho da sua lista e minimiza a fadiga do respondente.
  • Modo (Comparação por Pares) - full mostra todos os pares possíveis a cada respondente. partial usa uma amostra de um subconjunto e distribui a cobertura entre os respondentes. O padrão é partial, que é o ideal para a maioria dos questionários.
  • Itens por tela (MaxDiff) - Quantas opções aparecem em cada subconjunto, de 3 a 10. O padrão é min(5, tamanho da lista). Valores mais baixos são mais fáceis para os respondentes; valores mais altos extraem mais dados por tela.
  • Visualizações alvo por item (MaxDiff, Comparação por Pares parcial) - Quantas vezes cada opção aparece em todas as telas, de 1 a 10. O padrão é 3. O sistema reduz isso para 2 automaticamente se o questionário resultante exceder 20 telas.

Interpretando Resultados

Coletar rankings é metade do trabalho. Lê-los corretamente é a outra metade.

Todos os métodos produzem pontuações brutas diferentes - taxas de vitória, diferenças entre melhor e pior, totais de pontos, ordem de posição. Para tornar os resultados comparáveis independentemente do método, normalizamos tudo para uma escala de 0 a 100. Um item com pontuação 85 significa a mesma coisa, quer venha de comparação por pares, MaxDiff ou alocação de orçamento. Isso permite que você troque de métodos entre questionários ou compare resultados entre diferentes perguntas de ranking sem precisar recalibrar a forma como lê os números.

  • Pequenas diferenças entre itens de classificação média são frequentemente ruído estatístico. Grandes diferenças no topo ou na base são onde as decisões devem se concentrar.
  • As pontuações são relativas, não absolutas. Uma pontuação de 85 significa que essa opção foi bem classificada em comparação com as outras na sua lista. Não significa que 85% das pessoas a querem. Mude a lista e as pontuações mudam.
  • Resultados de orçamento mostram a magnitude, os outros não. A comparação por pares e o MaxDiff informam a ordem. O orçamento informa o quanto um item importa mais do que outro. Uma diferença de 10 pontos entre dois itens na alocação de orçamento é significativa. A mesma diferença em pontuações normalizadas de comparação por pares pode não ser.
  • Segmente antes de concluir. Rankings gerais frequentemente escondem a verdadeira história. Seus usuários avançados e usuários casuais podem classificar a mesma lista em ordem oposta. Divida os resultados por segmento de público antes de tomar decisões.

Melhores Práticas

Escreva Opções Comparáveis

Todos os itens devem ser do mesmo tipo. Misturar funcionalidades com correções de bugs e objetivos de negócios resulta em um ranking sobre o qual ninguém pode agir. “Pesquisa mais rápida” e “Melhor onboarding” são comparáveis. “Pesquisa mais rápida” e “Corrigir bug de login” não são.

Mantenha as Listas Focadas

Cada opção que você adiciona custa a atenção do respondente e adiciona ruído aos resultados. Inclua apenas itens sobre os quais você realmente agiria. Se uma opção ficar em último lugar e você ainda assim não a cortaria, deixe-a de fora.

Cuidado com o Viés de Posição

No arrastar e soltar, os itens no topo tendem a ficar lá. Randomize a ordem inicial para que a posição não se torne uma variável oculta nos seus dados.

Adequar o Método ao Dispositivo

A comparação por pares e o MaxDiff funcionam bem em celulares. Arrastar e soltar é mais difícil em telas pequenas - arrastar no celular é complicado. A alocação de orçamento requer uma concentração que um respondente usando o celular no ônibus não lhe dará.

Relacionado