Teste de UsabilidadePós-graduação lato-sensu - CCE - PUC Rio

Ergodesign, Usabilidade e Arquitetura da Informação

Leonardo Caetano | Luciana Albuquerque

Identifying Web Usability Problems from Eye-Tracking Data

Apresentação do artigo

de Claudia Ehmke e Stephanie WilsonCentre for HCI Design - City Universe - London UK

Introdução

O uso frequente da internet na rotina das pessoas faz com que elas esperem uma evolução constante das interfaces, e qualquer experiência de navegação tem que ser positiva.

Poor usability is not tolerated by users who simply choose to go elsewhere“Por consequência, analisar a usabilidade dos sites e realizar alguns testes têm se

tornado muito comum. Entre as diversas formas de avaliar uma interface, existe o eye-tracking.

Introdução

Os olhos nunca se mantém em uma mesma posição por muito tempo, se movem muitas vezes por segundo, em movimentos curtos passando por alguns pixels ou em movimentos longos.

O eye-tracker é um aparelho captura os movimentos dos olhos.

Resultado: um gráfico indicando o caminho que os olhos dos usuários seguiram, onde ele passou mais ou menos tempo olhando, tentando entender a tomada de decisão do usuário, seu modelo mental e estímulos. Comparando-se mais de um usuário, tenta-se encontrar comportamento padrão.

Um estudo feito Just e Carpenter assume que o local para onde você está olhando indica onde está prestando atenção ou no que está pensando sobre.

O artigo relaciona o resultado do eye-tracking com a existência de problemas de usabilidade.

IntroduçãoEye Tracker

IntroduçãoGaze plot Mapa de calor

Fixations: Olhar fixoSaccades: Movimentos rápidos (involuntários)Gaze plot: O gráfico de resultados do eye-tracker

Dados

Histórico:

Apesar de ser uma nova técnica na área de Usabilidade, o eye-tracking já é utilizado em outras displinas como a Psicologia há pelo menos 60 anos.

Sobre o Eye-Tracking e a Usabilidade:

Entre referências estudadas, uma pesquisa realizada por Amitage em 2006 propõe algumas interpretações básicas sobre o movimento dos olhos:

- long fixations (confusão ou interesse)- back-track saccade (possivel confusão)- back and forth between two objects (escolha/comparação ou distração)- reading headings and subheadings but no more (desinteresse)entre outras...

Dados

Pesquisas relacionadas:No artigo são citadas rapidamente outras pesquisas relacionadas a esta que serviram de background para a formulação do artigo:

Dados

Pesquisas relacionadas (continuação):

Dados

Pesquisas relacionadas (continuação):

Dados

Jacob e Karn fizeram um overview dos estudos sobre eye-tracking e métricas em HCI. Foram analisados 24 estudos entre 1950 e 2002. Identificando 6 métricas mais comuns:

- Total de pontos de fixação (11 estudos)- Gaze em cada área de interesse (7 estudos)- Média de duração das fixações (6 estudos)- Fixação em cada área de interesse (6 estudos)- Duração média do gaze em cada área de interesse (5 estudos)- Taxa de fixação - em geral (5 estudos)

Eles também ressaltam que essas métricas às vezes não são as mais adequadas e indicam algumas outras, incluindo Scan Path (caminho que os olhos seguem pela página) e Probabilidade de transições entre áreas de interesse para avaliar organização dos elementos no layout.

Vários estudos comparam os resultados da avaliação de usabilidade tradicional a diferentes métricas de eye-tracking. A maior referência é o estudo feito por Goldberg e Kotval que continuamente vem sendo acrescido de novas métricas.

No entanto, avaliações de especialistas e medidas de desempenho só podem dar uma visão geral do problema, não estabelecendo ligações diretas entre métricas e problemas de usabilidade.

O artigo investiga a correlação entre os padrões de usuários definidos pelo eye-tracking e os problemas de usabilidade específicos de diferentes contextos.

Conclusão Quanto aos Dados

Eye-Tracking: Método

- O moderador deve ter as tarefas para ser realizadas em um ou dois sites diferentes.

- O usuário deve falar enquanto faz as tarefas (think-aloud)

- Pode-se fazer perguntas sobre a percepção do usuário depois da realização das tarefas, (retrospective protocols)

- O moderador deve observar o usuário realizando as tarefas.

- O eye-tracker vai capturar o movimento dos olhos

- Depois deve-se analizar todos os dados e fazer uma correlação entre eles.

Método do Teste

Foram analisados dois sites – BBC e The Train Line com uma tarefa específica para cada um dos sites. Todos os participantes deveriam testar os dois sites se o tempo disponível permitisse.

Alguns usuários seriam incentivados a falar enquanto realizavam a tarefa e outros não.

Outros usuários participariam de uma entrevista pós-teste analisando as filmagens e explicando o que estava vendo ou pensando naquele momento.

Foram coletados protocolos verbais (think-aloud), dados de observação e das entrevistas pós-teste para identificar problemas de usabilidade, bem como dados de rastreamento ocular fornecidos pelo eye-tracker.

As correlações entre os dois foram então analisados.

Tarefas

BBC (bbc.com)

- Encontrar as condições para o surfe no País de Gales

Para avaliar os elementos de navegação e o escaneamento das imagens, textos e outros elementos na tela.

The Train Line (thetrainline.com)

- Encontrar uma jornada específica de um trem

Para avaliar inserção de texto e o escaneamento das informações.

Participantes

19 participantes (9 mulheres e 10 homens)

- Alguns usavam lentes ou óculos mas isso não foi um impedimento.

- 9 deles tinham algum conhecimento em HCI, mas nenhum tinha participado de testes antes

- Idade entre 22 e 55 anos, sabendo que só dois tinham mais que 36.

- Inglês era língua nativa de menos da metade, mas todos vivem em londres e falam inglês fluentemente.

- Todos lidam com internet diariamente

- Todos conheciam o site da BBC

- Somente dois conheciam o site thetrainline.com

Procedimentos do Teste

1. Breve questionário quanto a dados demográficos.

3. Eye-tracker calibrado para o participante, as tarefas foram explicadas e inicia-se o teste.- Realizar as tarefas para os dois sites dependia de limitações de tempo dos participantes

4. Alguns participantes foram incentivados a pensar em voz alta (think-aloud) e outros não – um dos objetivos do teste era correlacionar este dado também.

6. Após o teste, alguns participantes tiveram suas gravações mostradas a eles mesmos e foram solicitados a descrever porque tinham feito determinada coisa ou o que estava chamando sua atenção.

Extração dos Problemas de Usabilidade

1- Foram extraídos problemas de usabilidade dos dados brutos (raw data) das observações, do think-aloud e da conversa depois da tarefa (retroscpective protocol)

2- Procurou-se comportamentos comuns a todos os usuários (onde mais de um usuário teve o mesmo problema)

3- Comparou-se os problemas entre os sites para identificar problemas únicos em cada site / tarefa.

Extração dos Problemas de Usabilidade

No total, foram identificados 74 ocorrência de problemas de usabilidade no BBC, e 75 no The Train Line (alguns duplicados, obviamente).

Estes problemas foram divididos entre “site problem” e “page problem”.

Depois esse número foi compilado:

Correlação entre Problemas de Usabilidade e os Padrões do Eye-Tracking

Problemas que ocorreram com mais frequência:

Limitações do Método

- Um único moderador torna a compilação mais consistente, porém, fica restrito a UMA única interpretação.

- O eye-tracker identifica onde pode estar um problema, mas não o explica.

- Não havia métricas anteriores para fazer comparações.

- O software e suas limitações e o tempo de realização da pesquisa.

Problemas com o Esquema de Correlação

- Tratamento e harmonização de padrões para os diferentes participantes.

- Limitações das métricas para a combinação de resultados, pois não eram suficientemente claras.

- A identificação de amplos padrões de rastreamento ocular e limitações de tempo não permitiram verificar se o padrão era confiável.

- Alguns padrões só foram identificados com o think-aloud e não pela ferramenta.

Conclusão

- Foi provada a correlação dos problemas de usabilidade com os padrões identificados pelo eye-tracking.

- Foram criadas novas métricas que enriquecem a literatura sobre o assunto.

- Comprovado que é possível usar o eye-tracking como uma fonte segura de dados, porém seus padões devem ser estudados com mais profundidade.

- Sérios problemas técnicos foram experimentados com a configuração do eye-tracker que afetou o estudo. É necessária uma análise mais abrangente dos dados com outra abordagem para investigar essas e outras correlações.