Fazendo teste A/B em preços de produtos

Testes A/B, para quem não conhece, são aqueles que direcionam parte da audiência de um site/app para uma solução de interface, e parte da audiência para outra. Depois de alguns dias (ou semanas), compara-se as métricas de cada uma das interfaces para ver qual delas teve melhores resultados.

Leia também: mais posts sobre Teste A/B no blog

Acontece que testes A/B não servem apenas para averiguar o desempenho de uma interface em relação à sua usabilidade e simplicidade de uso.

Uma empresa que vende aparelhos para exercícios abdominais (aquela, que promete uma barriga-tanquinho em apenas 2 meses) resolveu fazer um teste A/B um pouco diferente:

sixpackabs - teste A/B

Ao clicar no banner acima, as pessoas eram direcionadas para um carrinho de compras onde o tal Six Pack Abs já estava adicionado – assim eles poderiam concluir a compra e fazer o pagamento do produto.

Só que para metade das pessoas o produto custava US$19,95. E para a outra metade, US$29,95.

Bom, nós sabemos que quanto mais alto o preço de um produto, maior a taxa de desistência de compra. Isso já é um processo normal em nossos cérebros de consumidores. Mas será que essa relação de “quanto mais caro, menos compradores” é proporcional?

O resultado foi esse abaixo:

Teste A/B - resultado

Dentre o grupo que viu o produto mais barato, 1,1% das pessoas chegou até o fim do processo de compra e finalizou o pagamento do produto.

Dentre o grupo que viu o produto mais caro, 1% das pessoas fez o mesmo.

A conclusão? Estatisticamente, a taxa de conversão foi a mesma nos dois cenários. Os consumidores não sentem a diferença entre US$19,95 e US$29,95. Depois do teste A/B, os lucros dele aumentaram 61%, obviamente.

No fim das contas, ao invés disso aqui:

price-elasticity-traditional

O que aconteceu foi isso aqui:

price-elasticity-ab-tested

Interessante pensar no modelo de Testes A/B direcionado não apenas para soluções de interface, mas também para testar a mensagem que a interface passa, o preço de um produto, o peso de uma imagem, entre outras coisas.

Eyetracking na página de resultados do Google

Para quem não conhece, o eyetracking é um tipo de teste que acompanha a direção do olho do usuário ao interagir com determinada interface. É muito útil para avaliar aquilo que é mais difícil de perceber em testes de usabilidade: se o usuário está olhando para a área da tela que você espera que ele olhe ou não.

O vídeo abaixo veio lá do blog oficial do Google e mostra um exemplo de eyetracking realizado na página de resultados de busca.

O artigo original ainda mostra mais alguns testes com páginas de resultados de busca que contêm links patrocinados na direita.

Leia também:

10 lições aprendidas em pesquisas

Nunca tinha ouvido falar de Cindy Alvarez, mas dei de cara com uma lista publicada por ela que me pareceu interessante.

A lista, chamada “10 coisas que aprendi em pesquisas“, traz um pouco da experiência de Cindy em seu trabalho como gerente de produto que acredita que entender o consumidor é uma importante vantagem competitiva em seu ramo.

  1. Se as pessoas dizem que pagariam por algo, provavelmente elas não pagariam.
  2. Se alguém diz “eu particularmente não usaria, mas aposto que outras pessoas usariam”, é porque ninguém usaria.
  3. A resposta para qualquer pergunta que comece com “Você gostaria de…” ou “Você se preocupa com…” será sempre “sim”.
  4. Se alguém diz “talvez seja apenas eu, mas…” – não é apenas essa pessoa.
  5. Se você vai cobrar pelo seu produto, evite falar com pessoas que tentam conseguir tudo de graça. (Eles podem eventualmente se tornarem consumidoras de seu produto, mas não enquanto ele não se popularizar mais e se tornar algo inevitável.)
  6. Descobrir quais features seus consumidores querem nunca é tão interessante quanto descobrir o porquê de eles a quererem.
  7. Quase todo mundo vai fazer o que você pede desde que: o pedido seja curto, você esteja entusiasmado, eles não tenham que fazer escolhas que exijam mais de 1 minuto pensando.
  8. Os dois principais direcionadores do comportamento de compra e uso são: a apatia e o desejo de evitar parecer/se sentir estúpido.
  9. Você não consegue construir um bom produto se você não gostar das pessoas que irão usá-lo. Você não precisa ser igual a elas, mas precisa gostar delas.
  10. Quando você começar a pensar “isso é bem mais complicado do que eu pensava”, pare e tente pegar a opinião de uma outra pessoa. Provavelmente você está “overthinking”.

E você? Já viveu na pele alguns desses itens durante a aplicação de testes ou pesquisas com o consumidor?

Por que a página de Nova Aba do Firefox está vazia

Página de "Nova Aba" em diferentes navegadores

Conta o blog da Mozilla que a decisão de deixar a página de Nova Aba do Firefox em branco foi feita após muita pesquisa com os usuários. Quando você abre uma nova aba em outros navegadores (como o Chrome e o Safari), eles mostram uma página especial de Nova Aba que apresenta links para os websites que você mais acessa – ou que acessou recentemente.

A iniciativa partiu da suspeita que muita informação naquela página acabaria distraindo os usuários de chegarem no destino que eles pretendiam ao abrirem a nova aba. A partir de análise das métricas do navegador (em um programa piloto chamado Test Pilot, que eles realizam com cerca de 3 milhões de usuários), eles perceberam alguns dados interessantes que mais para frente ajudarão a comprovar -ou não- a suspeita.

Diariamente, um usuário médio do Firefox:

  • Abre 11 novas abas
  • Carrega 7 páginas
  • Visita 2 domínios únicos
  • Visita 2 páginas em uma mesma aba antes de fechá-la

O bacana é que eles conseguem medir COMO as pessoas acessam um site ao abrirem uma nova aba – seja digitando a URL na barra de endereços, usando o autocomplete, usando o dropdown com os endereços mais recentes ou mesmo digitando algo no campo de busca que fica logo à direita da barra. Veja abaixo:

Métodos de navegação mais usados

A pesquisa ainda está em andamento e o próximo passo consiste em testar diferentes variações para a página de Nova Aba, que por enquanto está em branco.

Se você quiser acompanhar o andamento dessa história, vale seguir o blog do projeto Test Pilot da Mozilla. É nesse teste que eles vão descobrir se o excesso de informação na nova aba pode realmente atrapalhar o usuário ou não. E quem sabe daqui a algumas semanas essa página não estará mais vazia :)

Teste de usabilidade, protótipos de papel e crianças

(Se você estiver lendo este post por RSS e o vídeo não abrir, assista-o no blog)

Um vídeo com teste de usabilidade, protótipos de papel e crianças. Dá pra não gostar?

Brincadeiras à parte, bem legais as dicas que o autor do vídeo dá em alguns momentos.

Para quem ainda tem receio de fazer testes com protótipos de papel: funcionam muito bem, especialmente quando o projeto ainda está em sua fase inicial. Tem gente que prefere imprimir os wireframes, tem gente que prefere fazer rabiscoframes com lápis e canetinha – em todos os casos esse tipo de teste é uma solução bastante rápida e acessível.

Talvez você queira ler também:

Frustração catalogável

A caixa de buscas do Google é um universo à parte no que tange ao comportamento do usuário. Há algum tempo ela deixou de ser apenas um campo texto e passou a representar o ponto de partida de grande parte das tarefas realizadas na web. Com o tempo, passou a corrigir erros ortográficos, sugerir buscas relacionadas e – com o recente Google Instant – inclusive prever o que você está digitando.

Ainda assim, a busca do Google não está isenta de causar frustração nos usuários.

Usuária loucamente frustrada.

Agora imagine um mecanismo de busca que detecte essa frustação em tempo real e já sugira uma solução para o problema. É isso que o time de User Experience do Google vem tentando fazer e compartilha em seu blog.

“We gave users search tasks, some of which we knew to be difficult. The first couple of searches always looked pretty much the same independent of task difficulty: users formulated a query, quickly scanned the results and either clicked on a result or refined the query. However, after a couple of unsuccessful searches, we started noticing interesting changes in behavior. In addition to many of them sighing or starting to bite their nails, users sometimes started to type their searches as natural language questions, they sometimes spent a very long time simply staring at the results page, and they sometimes completely changed their approach to the task.”

Segundo o Google, além de mudanças faciais e corporais nos usuários que estão com dificuldades, ocorrem mudanças também na navegação.

“…those signals were: use of question queries, use of advanced operators, spending more time on the search results page, formulating the longest query in the middle of the session, and spending a larger proportion of the time on the search results page.”

Esses são os primeiros sinais de que sim, é possível que, no futuro, o computador identifique que o usuário está tendo dificuldades. É como se a frustração pudesse ser “catalogada” e identificada por uma inteligência artificial.

Sabemos que esse tipo de pesquisa monitorada (ou teste de usabilidade) é fundamental para que uma empresa tente entender melhor como as pessoas se comportam ao utilizar determinado serviço. Mas para o Google esse tipo de resultado deve ter um sabor especial.

Afinal, como ser inovador em um serviço que já está bem estabelecido e que as pessoas já sabem utilizar? Como evoluir a busca, que já é um processo tão simples, sem torná-lo complicado demais?

Não tem momento melhor para extrair esses insights do que ao observar pessoas.

Vai lá, Google!

Relacionados:
Testes de usabilidade custam basicamente nada
Frases de teste de usabilidade

No teste de usabilidade

O importante é manter a classe.


via @gaiba

Tamanho é documento

Muita gente afirma que uma tela maior é sinônimo de uma experiência mais confortável para o usuário. E pouca gente se lembra que uma tela maior significa também uma experiência mais ágil, na maioria dos casos.

Foi isso que o pessoal da Bolt Peters, uma empresa de pesquisas de San Francisco, resolveu calcular: quanto tempo o usuário ganha interagindo no iPad em relação ao iPhone? O resultado você confere no vídeo abaixo:

(Se você está lendo este post via RSS, veja o vídeo aqui)

O que você precisa saber sobre eye-tracking

Apresentação de Harry Brignull no UXLX’10 em Lisboa. Vale a pena dar uma olhada rápida, principalmente na parte dos “common misconceptions”:

Google+