Handbook Usability Testing - Capitulo 9

Capítulo 9

Conduzir as sessões de teste

Handbook of Usability Testing de J. Rubin

Pós-Graduação em Ergodesign de Interfaces: Usabilidade e Arquitetura de Informação

Professor: Luiz AgnerAlunos: Cinthia Ruiz e Rodrigo Marins

Introdução

Finalizado o trabalho de base, iniciam-se os testes.

O clássico método ‘‘one-on-one’’:

• De 4 a 10 participantes são observado e questionado individualmente por um moderador sentado na mesma sala.

• Funciona para os 4 tipos de teste: exploratório, avaliação, validação e comparação. Esses tipos se diferem de acordo com o objetivo proposto e a quantidade de interação entre participante e moderador.

O produto deve ser testado em conjunto, e não seus componentes em separado. Testar em separado não garante a usabilidade do produto final e reforça a falta de integração.

O teste de componentes em separado é indicado quando ele é desenvolvido no ciclo de vida do produto, contanto que eventualmente sejam testados juntos.

Diretrizes para moderar sessões de testesEsse é um ponto crucial no processo de teste pois as reações dos participantes podemser mal interpretadas pelo moderador, e este também pode afetar o resultado comsuas interferências.

Dicas:

• Praticar até se sentir confortável para moderar um teste

• Iniciar assistindo alguém com mais experiência

Moderando Sessão Imparcialmente

O moderador deve:

• Agir como se não tivesse nenhum interesse em determinado resultado.

• Apresentar o produto de forma neutra (sem demonstrar preferências).

• Nunca aprovar ou reprovar qualquer ação ou observação do participante.

• Nunca fazer o participante se sentir estúpido.

• Caso um participante esteja tendo problemas, lembrar que a culpa é do produto.

• Lembrar ao participante do valor que suas dificuldades têm na compreensão do funcionamento do produto.

• Incentivar o participante a explorar livremente as áreas.

• Incentivar o participante a se concentrar em suas próprias experiências e não se preocupar com o que outras pessoas pensariam.

Esteja ciente dos efeitos de sua voze linguagem corporal

• Aproximar-se indica aceitação x afastar-se indica rejeição

• Levantar o tom da voz indica acordo x reduzir, indica desacordo

Para evitar estes efeitos de polarização, deve-se estar atento a sua voz e linguagem corporal.

Aconselha-se rever as fitas da sessão.

Trate cada novo participante como um Indivíduo

Há uma tendência de ser influenciado pela última pessoa observada, mas cada participante deve ser tratado como um novo caso.

Dicas:• Programar uma pausa entre cada sessão.• Agendar menos participantes para não se apressar com muitos.• Evitar uma grande seqüência de sessões consecutivas pois isso impacta na perda

de memória útil, afetando a análise dos dados.

Técnica ''Thinking Aloud"

Captura o que os participantes estão pensando, através de seus comentários (descrição das ações e impressões), enquanto executam as tarefas do teste.

Eficaz para a realização de pesquisa exploratória inicial (como a avaliação do modelo mental do participante), pois expõe preconceitos do participante e expectativas do funcionamento do produto.


Vantagens:

• Capacidade de capturar simultaneamente informações sobre o desempenho e preferências.

• Ajuda à alguns participantes a se concentrarem.

• Oferece pistas sobre os primeiros equívocos e confusão antes que eles se manifestem como comportamentos incorretos, ajudando a prever e rastrear a fonte dos problema.

• Os participantes podem revelar como eles pensam para executar uma tarefa e porque as coisas funcionam ou não para eles.


Desvantagens:

• Alguns participantes não acham a técnica natural e se distraem.

• Pensar em voz alta retarda o processo do pensamento, aumentando a consciência, podendo assim, evitar erros que ocorreriam no local de trabalho real.

• É esgotante verbalizar o processo de pensamento por muito tempo.


Como aumentar a eficácia da Técnica:

• Evitar usá-la para testes muito curtos, onde o aspecto incomum da técnica não tem tempo de se desgastar.

• Demonstrar a técnica antes, para que os participantes se sintam menos autoconscientes.

• Não forçar a técnica se encontrar uma forte resistência.

• Atentar para as pausas do participante, podem indicar os problemas.

• Demonstrar ao participante que ele está sendo ouvido e anotar suas observações.

• Aguardar pacientemente em silêncio (20-30 segundos).

Interagir com os participantes adequadamente

- Interação: ao conduzindo uma experiência verdadeira, ou um teste de validação.

+ Interação: em um teste que ocorrem mais cedo, ou no meio do ciclo de desenvolvimento.

Uma simples ação na hora errada pode influenciar os resultados e inutilizá-los.

Dicas:

• Em um projeto com um cronograma apertado, é importante explorar todas as ações e situações ambíguas. Nesse caso é necessária bastante intervenção.

• Sentir a evolução praticando e aprender com os erros.

• Se acidentalmente divulgar informações, basta seguir, observando o ponto onde ocorreu.

Interagir com os participantes adequadamente

Moderando:

• Não mostrar surpresa com erros para não colocar o participante na defensiva.

• Concentrar-se no que é esperado acontecer

• Ajudar aos participantes a expressar seus pensamentos de forma útil, sem falar muito e voluntariamente.

• Nem sempre fazer perguntas diretas.

• Limitar interrupções para curtas discussões (afetam o desempenho).

• Atenção aos sinais verbais e não verbais dos participantes

• Procurar oportunidades para compreender a razão de um determinado comportamento ou preferência

• Não resolver problemas durante o teste, pois o participante pode dar sugestões mas não é a pessoa indicada para definir a solução.

Seja objetivo, mas mantenha o tom descontraído

Muita formalidade inibe as pessoas e limita a quantidade e qualidade das informações a serem coletadas.

Humor pode neutralizar a sua auto-consciência e ajudá-los a relaxar, baixando suas defesas e expressando realmente o que está em suas mentes.

Não resgate os participantes quando estão se esforçando

Nota-se uma tendência em ajudar os participantes quando estes ficam confusos ou perdidos. Mas deve-se simplesmente estimular os participantes a verbalizar seus sentimentos.

Pode-se, ao final da sessão, corrigir ou ensinar algo ao participante, especialmente se lhe for útil em sua vida real.

Se você cometer um erro, continue

Não demonstre se você inadvertidamente revelar informações ou cometer algum erro. Na pior das hipóteses, invalidará apenas uma pequena parte do ensaio. Seu comentário ou ação pode até passar despercebido pelo participante.

Dica: para evitar esses erros, deve-se seguir um roteiro.

Antes de prosseguir, certifique-se de que os participantes concluíram as

tarefas Deve-se esperar que o participante indique a conclusão da tarefa, para não correr o

risco de ele estar em um momento de indecisão e receber a confirmação de você.

Ajudar os participantes apenas como último recurso

Considerando que a sondagem é o ato de solicitar informações aos participantes e

é muitas vezes parte integrante do de teste, ajudar os participantes a completar

uma tarefa é invasivo e deve ser evitado, pois afeta os resultados do teste.

Quando prestar assistência:

• Quando um participante está muito perdidos ou muito confuso (extrapolado tempo de referência para a tarefa)

• Quando uma tarefa solicitada faz o participante se sentir desconfortável

• Quando um participante se frustra e pode desistir

• Quando o produto está na fase final e você precisa fornecer aos participantes informações que se perderam

• Quando um erro ou ações de um participante causa um mau funcionamento que requer reparos (retirar o participante da sala)

Ajudar os participantes apenas como último recurso

Como ajudar:

• NUNCA culpar os participantes de um problema. Os erros são sempre culpa do produto.

• Esclarecer as preocupações dos participantes. Deixar que se expressem.

• Fornecer sugestões gradualmente aos participantes para ultrapassarem obstáculos. Não indicar o caminho.

• Estar ciente das tarefas para ver o efeito que seus comentários podem ter sobre o desempenho dos participantes. Cuidado para uma ajuda não influenciar em outra tarefa.

Listas de verificação para Preparação

Ajudam a organizar o processo.

São indicados alguns modelos, e com base neles, podem-se fazer listas personalizadas específicas para cada teste.

Checklist 1, a ser utilizado ao menos uma semana antes do teste.

Checklist 2, para ser usado um dia antes do teste.

Checklist 3, para ser usado no dia do teste.

Checklist 1, a ser utilizado ao menos uma semana antes do teste

[ ] Fazer o teste você mesmo

[ ] Realizar um teste de piloto

[ ] Rever o produto

[ ] Conferir todos os equipamentos e os testes de ambiente

[ ] Pedir que, se possível, o produto não seja alterado durante o período de teste


[ ] Fazer o teste você mesmoFaça o seu próprio teste de usabilidade e procure falhas de projeto. Tente se colocar

no lugar dos potenciais utilizadores. Cronometre para validar o tempo previsto. Leia seu questionário com cuidado. Revise o teste antes de continuar.

[ ] Realizar um teste de pilotoIdealmente, deve-se usar um participante ''real", mas é comum utilizar outras

funcionários da empresa que se assemelhem ao usuário final. Deve-se realizar o teste completo, desde a leitura do script até o desfecho. Permite ao moderador praticar e refinar o plano de teste.

[ ] Rever o produtoIdentificar as áreas do produto que exigem alteração já com o resultado do piloto,

sem a necessidade de confirmação pelo teste real, e aplicar as correções antes dos testes de usabilidade, desde que não comprometam o produto e o cronograma.


[ ] Conferir todos os equipamentos e os testes de ambiente

Verificar o estado e a disponibilidade da sala e do equipamento.

[ ] Pedir que, se possível, o produto não seja alterado durante o período de teste

Todas as alterações podem afetar a tarefas ou os cenários de teste. Caso não seja possível, pode-se trabalhar com uma versão do produto.

Checklist 2, para ser usado um dia antes do teste

[ ] Verificar se o equipamento de vídeo está configurado e pronto

[ ] Verificar se o produto, software ou hardware, está funcionando

[ ] Reunir todos os materiais de teste escrito

[ ] Verificar o status de seus participantes

[ ] Verificar novamente o ambiente de teste e equipamentos


[ ] Verificar se o equipamento de vídeo está configurado e pronto

Se o equipamento de vídeo não permite identificar a gravação, pode-se utilizar uma claquete para registrar o número do participante e a date.

Verifique se você tem mídia suficientes para armazenar as gravações e utilize etiquetas.

Se você estiver armazenando áudio e vídeo digital, determinar a nomeação de arquivos a ser utilizada.

Verifique se há fontes de energia na sala, ou baterias, e se os cabos elétricos são suficiente.


[ ] Verificar se o produto, software ou hardware, está funcionando

Certifique-se que ele está instalado ou disponíveis como planejado.

[ ] Reunir todos os materiais de teste escrito

Reúna todos os materiais escritos de teste: scripts, cenários de testes, questionários, e formas de coleta de dados. Crie um sistema de arquivamento para si mesmo.

[ ] Verificar o status de seus participantes

Confirmar presença.

[ ] Verificar novamente o ambiente de teste e equipamentos

Teste e faça os ajustes finais.

Checklist 3, para ser usado no dia do teste

[ ] Repassar sua lista personalizada[ ] Preparar-se mentalmente[ ] Cumprimentar os participantes[ ] Fazer o participante preencher e assinar quaisquer documentos preliminares[ ] Ler o roteiro de orientações[ ] Fazer o participante preencher qualquer questionário de pré-teste[ ] Deslocar-se para a área de testes e preparar-se para o início[ ] Iniciar as gravações[ ] Estabelecer protocolo para os observadores na sala[ ] Informar sobre pré-requisitos, se houver[ ] Distribuir ou ler o cenário / a tarefa escrita para o participante[ ] Anotar a hora de início, observar os participantes, e recolher todos os dados

críticos[ ] Fazer o participante completar todos os questionários pós-teste

Checklist 3, para ser usado no dia do teste (continuação)

[ ] Discutir com o participante

[ ] Encerrar a sessão

[ ] Organizar as folhas com dados e observação

[ ] Discutir com os observadores

[ ] Marcar tempo suficiente entre as sessões de teste

[ ] Preparar-se para o próximo participante


[ ] Preparar-se mentalmente

A preparação mental ajudará a abrir e conduzir o teste.

Deixe de lado todas as expectativas sobre os resultados do teste.

Não assuma uma postura soberba de perito.

• Reveja as descrições dos problemas e objetivos do teste

• Com os preparativos finalizados, prepare sua atitude

• Criar um ambiente aberto e imparcial

• Seja curioso sobre o que os participantes fazem e porquê

• Espere o inesperado


[ ] Cumprimentar os participantes

Conheça o participante fora da sala de testes, em uma área privada e cômoda. Relaxe, apresente-se, converse e deixe-o à vontade. Mostre apreço por sua colaboração.

Sempre começar pedindo ao participante para contar o que foi dito a ele sobre o teste, assim você pode contornar alguma informação errada ou algo que afete o resultado.

[ ] Fazer o participante preencher e assinar quaisquer documentos preliminares

• Questionário de base

• Permissão para gravar

• Documento de Confidencialidade


[ ] Ler o roteiro de orientações

Leia o roteiro de orientações em voz alta para cada participante no início de cada sessão. Explicar e demonstrar todas as técnicas utilizadas. Esclarecer dúvidas e enfatizar que podem ocorrer erros.

[ ] Fazer o participante preencher qualquer questionário de pré-teste

Destinados a recolher informações relacionadas com o produto e não apenas dados demográficos sobre os participantes. Pode ser preenchido na sala de espera


[ ] Deslocar-se para a área de testes e preparar-se para o início

Apresentar os observadores caso estejam na sala.

Explicar a configuração do local para o participante e deixá-lo ver o equipamento.

Nunca abstrair o fato de que o participante será observados e registrados, pois não seria ético.

Acomode o participante no local determinado para ele e posicione-se, de maneira que ele sinta a sua presença a uma relativa distância, sem poder ver vocês, para não criar ansiedade.


[ ] Iniciar as gravaçõesLembre de iniciar o software de gravação e / ou outros equipamentos.

[ ] Estabelecer protocolo para os observadores na salaPlanejar com antecedência como observadores devem se comportar.O moderador deve se sentir confortável e capaz de controlar o processo.

• Apresente todos aos participantes• Durante os testes, os observadores devem ser o mais discreto possível, fora do

campo de visão do participante, para não afetarem o teste• Durante a sessão, os observadores não devem fazer qualquer comentário ou

perguntas• Durante o interrogatório, o observador pode ser convidado a participar na

discussão• O moderador tem a palavra final sobre os observadores na sala


[ ] Informar sobre pré-requisitos, se houver

Caso seja necessário, o participante deve ter um tempo para familiarizar-se com o objeto de estudo, antes do teste.

[ ] Distribuir ou ler o cenário / a tarefa escrita para o participante

Dependendo da interação entre moderador e participante, os cenários / as tarefas devem ser apresentados por escrito ou lidos para ele. Podem ser apresentados em fases, já que uma longa lista poderia intimidá-lo.

[ ] Anotar a hora de início, observar os participantes, e recolher todos os dados críticos

Usando seus instrumentos de coleta de dados, comece a moderar e anote os eventos.


[ ] Fazer o participante completar todos os questionários pós-testeTendo concluído o teste, faça uma pausa curta e sem uma discussão mais

aprofundada solicite ao participante que preencha todos os questionários escritos.

[ ] Discutir com o participanteExamine os questionários do participante e verifique se há outros problemas a

abordar. Percorra suas notas para identificar pontos que você queria perguntar.

[ ] Encerrar a sessãoAgradeça ao participante, forneça qualquer remuneração ou brinde, e mostre ao

participante a saída.

Solicite aos observadores para apontarem fazer 3 observações do que julgaram mais importante.


[ ] Organizar as folhas com dados e observaçãoReúna todos os formulários de coleta de dados, comentários e assim por diante, com

os outros observadores.

[ ] Discutir com os observadoresPeça que cada observador leia suas anotações e registre essas informações.

[ ] Marcar tempo suficiente entre as sessões de testeNão se apresse, é necessário um tempo entre cada participante para limpar a mente.

[ ] Preparar-se para o próximo participanteVolte ao início da lista.

Quando intervir

Não se apresse, você precisa de um tempo entre cada participante para limpar sua mente.

Para desviar-se do Plano de Teste

O rigor experimental exigir que você mantenha as mesmas condições em todas as sessões. No entanto, em algumas situações vale a pena sair do planejado para enriquecer a coleta de dados:

• Se os participantes não entendem ou não são capazes de se identificar com cenários de sua tarefa.

• Se você descobrir outras áreas que precisam ser investigadas, mas que originalmente não foram incluída no seu plano de teste

• Se seus questionários estão fazendo as perguntas erradas

• Se o tempo planejado não foi suficiente

O que não dizer aos participantes

Não se apresse, você precisa de um tempo entre cada participante para limpar sua mente.

10. Mais de três vezes: "Lembre-se, não estamos testando você''.

9. Não se preocupe, o último participante também não conseguiu fazê-lo.

8. Ninguém nunca fez isso antes.

7. HA! HA! HA!

6. Isso é impossível! Eu não sabia que poderia ficar de cabeça para baixo!

5. Poderíamos parar por algum tempo? Assistir você lutando está me cansado.

4. Eu não disse que você poderia pressionar qualquer botão.

3. Sim, é muito natural para os observadores chorar durante um teste.

2. Não se sinta mal, muitas pessoas precisam de 15 ou 16 tentativas.

1. Tem certeza que você usou computadores antes?

Obrigado!

Handbook Usability Testing - Capitulo 9

Design

Transcript of Handbook Usability Testing - Capitulo 9