testes de usabilidade festock -...
TRANSCRIPT
http://www.festock.com
Índice
Testes de usabilidadeUsabilidadeHuman-Conputer Interaction (HCI)Teste de usabilidadeAvaliadorCaracterísticas de um avaliadorMétodos de avaliação e técnicas de recolha de dadosPer�l de utilizadorNúmero de utilizadoresPer�l ideal do utilizadorLista de tarefas (guião)Questionário pré-testeQuestionário pós-testeAnálise/avaliação dos testes realizados Avaliação quantitativa do teste Análise dos resultadosObservações
0405060708091012121314151617171719
http://www.festock.com
Testes de usabilidade
A necessidade de interacção com computadores está cada vez mais presente no nosso quotidiano.
A realização dos testes de usabilidade é parte do processo de desenvolvimento de um produto e traz melhorias signi�cati-vas à qualidade de qualquer produto. A preocupação com os teste [de usabilidade] é crescente, pois os utilizadores estão cada vez mais exigentes. A ênfase deste trabalho está na apresentação de procedimentos e materiais que envolvem a condução do teste de usabilidade e análise dos resultados.
Testes de Usabilidade / Festock | 04
http://www.festock.com
Usabilidade
Usabilidade é o conceito utilizado para descrever a qualidade da interacção de uma interface diante de seus utilizadores.
Esta qualidade está associada, segundo Shneiderman, com os seguintes princípios: - facilidade de aprendizagem - facilidade de memorização de tarefas no caso de uso intermitente - produtividade dos utilizadores na execução de tarefas - prevenção, por forma a reduzir os erros por parte do utilizadores - satisfação subjectiva dos utilizadores
A usabilidade é relacionada à e�cácia e e�ciência da interface diante dos utilizadores e pela reacção destes diante a inter-face.
A usabilidade está directamente relacionada com a e�cácia e e�ciência da aplicação diante do publico-alvo, tanto a nível grá�co como técnico.
Testes de Usabilidade / Festock | 05
http://www.festock.com
Human-Conputer Interaction (HCI)
O comportamento humano é repleto de “surpresas”, o que di�culta o estabelecimento de “simples verdades” sobre o que esperar das pessoas em determinadas situações.Este facto levou ao estudo do HCI - Human-Computer Interaction (Interação Homem-Computador) que procura desen-volver um modelo teórico de performance humana, bem como criar ferramentas capazes de medir a facilidade de uso. O HCI constitui um campo multidisciplinar que envolve aspectos de psicologia, ergonomia, informática, entre outros, com o objectivo de facilitar o projecto, a execução e a avaliação de ambientes computacionais.
A interface de um sistema é o meio responsável por assegurar o dialogo entre o programa e o ser humano. Quando factores humanos são considerados, este diálogo acontece em harmonia. Assim, a interface é considerada a “embalagem do soft-ware de um computador”, portanto, se ela for fácil de aprender, simples de usar, directa e “amigável”, o utilizador terá facili-dade em fazer bom uso da mesma. Se essas características forem negligenciadas, possivelmente irão surgir problemas de usabilidade.
Os problemas de usabilidade ocorrem quando um utilizador encontra di�culdades ao executar uma dada tarefa mediante uma interface. Tais di�culdades podem ter origens variadas e ocasionar perda de dados, diminuição da produtividade, podendo chegar à rejeição total do software por parte dos utilizadores.
Testes de Usabilidade / Festock | 06
http://www.festock.com
Teste de usabilidade
O teste de usabilidade é um processo no qual alguns participantes representativos avaliam o grau que um produto se encontra em relação a critérios especí�cos de usabilidade.O referido teste pode servir para diferentes propósitos que envolvem variados tipos de tarefas, medidas de performance e disposição de escalas, entrevistas ou inspecções a serem aplicadas, sempre em “busca” de problemas de usabilidade e de fazer recomendações no sentido de eliminar os problemas e melhorar a usabilidade do produto.
Os testes de usabilidade são mais e�cientes quando implementados como parte do processo de desenvolvimento de um produto. Portanto, uma forma interessante de determinar os tipos de testes é através do “ciclo de vida” de desenvolvimento de um produto.
Testes de Usabilidade / Festock | 07
http://www.festock.com
Avaliador
O avaliador é o responsável por tudo o que ocorre durante uma sessão de “teste de usabilidade”. A sua função passa por interagir com o(s) participante(s), “reter” informações, compilar e partilhar os resultados dos testes com os membros que compõem a equipa de desenvolvimento.O avaliador é também responsável por toda a preparação dos testes, “arranjo” de todo o material a utilizar nos mesmos e, ainda, a coordenação de esforços por forma a tornar os testes reais e �dedignos.
O avaliador pode ser um especialista em factores humanos (psicólogos, engenheiros industriais), especialistas de mercado (clientes, utilizadores), comunicadores (escritores, especialistas em preparação), colegas de outros projectos ou consultores externos.
O avaliador não deve ser o “dono do produto” que está em avaliação, pois, se tal acontecer, correndo o risco de conduzir os participantes na direcção que deseja em vez de continuar neutro no processo in�uenciando assim os resultados.
Testes de Usabilidade / Festock | 08
http://www.festock.com
Características de um avaliador
- conhecimento dos fundamentos básicos de engenharia de usabilidade; - capacidade de absorver novos conceitos a �m de entender melhor as acções e comentários dos utilizadores participantes; - ter boa memória de modo a se lembrar dos acontecimentos ocorridos durante o teste; - absorver a subtileza do tom da fala e a ênfase dos comentários dos utilizadores participantes; - sentir-se confortável diante de variações e observações con�ituantes, como por exemplo, quando o participante “descobre” outra forma de realizar uma determinada tarefa; - ter �exibilidade para lidar com o participante, bem como para dar o feedback ao grupo responsável pele concep-ção do produto; - manter o nível de atenção em todos os momentos do teste; - ser bom comunicador com todos os integrantes do teste (participantes e membros da equipa de teste); - ser bom organizador e coordenador, pois mesmo um simples teste de usabilidade requer uma organização bem elaborada acerca dos eventos, materiais e membros. - ter um comportamento neutro por forma a utilizar, apenas, sugestões subtis acerca do teste.
Testes de Usabilidade / Festock | 09
http://www.festock.com
Métodos de avaliação e técnicas de recolha de dados
Para avaliarmos a usabilidade da plataforma Festock recorremos a várias técnicas de recolha de dados (nestes participaram utilizadores reais):
Avaliação heurística - envolve especialistas com o intuito de avaliarem o design, com base num conjunto de critérios de usabilidade ou heurísticas. O design é “examinado” por forma a encontrar instâncias que violem esses critérios. Os critérios são relacionados a princípios e guidelines e podem ser seleccionados ou derivados deles. Um conjunto de crité-rios, conforme proposto por Nielsen e Molich (1990) inclui:
o ter diálogo simples e natural; o falar a língua do utilizador; o minimizar a carga cognitiva do utilizador; o ter consistência; o manter feedback; o prevenir erros; o elaborar documentação de apoio/ajuda; o elaborar mensagens de erros precisas e construtivas; o marcar” as saídas e retrocessos de forma clara; o de�nir bem os atalhos a implementar.
Observação - feita num laboratório, pode ser directa, mas aí pode ocorrer o efeito de Hawthorne, ou indirecta, utilizando-se para o efeito câmaras de vídeo de modo a captar a interacção do utilizador com o software ou possibilitando ao observador uma situação de “observação sem ser visto”. Essa interacção do utilizador pode ser registada de modo
Testes de Usabilidade / Festock | 10
http://www.festock.com
automático através de um software de logging e que é acoplado ao software multimédia. Pode-se, ainda, solicitar ao utilizador que verbalize o que pensa em determinadas instancias através da técnica think aloud. Esta verbalização pode ser pedida a um utilizador, mas é pouco natural, ou a pares de utilizadores enquanto interagem. Ao utilizar o método de observação, é impre-scindível que o observador use um guião/lista de tarefas, assim, sabe o que vai observar e o que se pretende que seja observado em particular.
- Sondagem - neste processo (“survey”) podem ser utilizadas, basicamente, duas técnicas de recolha de dados: question-ários ou entrevistas.
Testes de Usabilidade / Festock | 11
http://www.festock.com
Considerações na criação do per�l de utilizador
Segunda a especialista Dana Chisnell, da UsabilityWorks, co-autora do livro Handbook of Usability deve-se evitar o uso de dados demográ�cos como descrição de per�l de utilizador; até porque a idade não é necessariamente um indicador de comporta-mento, desempenho ou especialização. Se quisermos saber como os diferentes comportamentos e experiências afectam a maneira como as pessoas irão utilizar uma determinada aplicação, precisamos olhar para além da idade. Ao de�nir o per�l, deve-se considerar a experiência do utilizador com uma determinada funcionalidade ou actividade, frequência de uso de uma plataforma, software ou internet de acordo com os objectivos do estudo. Em síntese, deve-se ter em consideração os seguintes aspectos: de�nir com clareza o per�l adequado para o teste a realizar; não restringir a de�nição de per�l a dados demográ�cos.
Número de utilizadores
Segundo Jackob Nilson, devemos fazer os testes de usabilidade com pelo menos 5 utilizadores por per�l. Segundo Nilson, com esses números de utilizadores é possível encontrar pelo menos 75% dos problemas. Sendo assim, e seguindo as “recomendações” de Jackob Nilson, o nosso estudo seguirá o seu modelo, utilizando uma amostra de 5 utilizadores por per�l de�nido.
Testes de Usabilidade / Festock | 12
http://www.festock.com
Per�l ideal do utilizador
Os participantes deste teste devem compreender alguns requisitos no que respeita às suas competências, tais como: (1) experiência em informática na óptica do utilizador, nomeadamente no uso da WEB 2.0 e na gestão e partilha de �cheiros (imagens, dados, e vídeos, etc.). (2) ter alguma ligação com o “mundo cinematográ�co” para que seja capaz de apresentar criticas/sugestões naquilo que seriam as suas expectativas de uso da plataforma numa situação dita normal.
Para o nosso estudo (teste de usabilidade sobre o site festock.com), procuramos albergar um grupo, fundamental, de utilizadores: alunos. Nesse sentido, e em consonância com os teóricos, referidos anteriormente, solicitamos a colaboração de 5 utilizadores tipo - 5 alunos.
Re�ra-se que, além dos testes de usabilidade, os utilizadores participaram dois questionários -questionário pré-teste e questionário pós-teste (estes estarão disponíveis mais à frente).
Testes de Usabilidade / Festock | 13
http://www.festock.com
Lista de tarefas (guião)
No presente teste de usabilidade deves executar a lista de tarefas a seguir exposta. Se possível, expressa-te (em voz alta) sobre todos os teus passos durante a utilização da plataforma festock (comentários sobre uma determinada página, antes e depois de a visitares).Este teste é composto por três momentos, sendo que deves executa-los pela seguinte ordem.
Nota: após efectuares o login será disponibilizado um menu adicional a partir do qual terás acesso a novas funcionalidades.
Momento 1 - efectua um registo (utiliza o teu mail); - valida o teu registo (com recurso ao teu mail); - efectua o login; - insere um �lme (utiliza um dos �lmes e respectivos dados que estão no ambiente de trabalho); - visualiza o �lme que submeteste.
Momento 2 - inscreve o �lme que acabaste de inserir num festival; - cria um festival (utiliza os dados que estão no ambiente de trabalho e valida a criação do festival no teu email de registo);
Momento 3 - faz um “tour” pelo site e explora todas as funcionalidades disponíveis; - efectua o logout; - efectua um novo “tour” pelo site e confere as opções disponíveis.
Testes de Usabilidade / Festock | 14
http://www.festock.com
Testes de Usabilidade / Festock | 15
Questionário pré-teste
Pro�ssão _____________
Frequência de uso da internet: - pouco frequente ___ - frequente ___ - muito frequente ___
http://www.festock.com
Testes de Usabilidade / Festock | 16
Questionário pós-teste
Impressão geral sobre o sistema (1 a 5*) ___Grau de clareza dos textos e imagens apresentados (1 a 5*) ___Grau de facilidade para execução de cada tarefa (1 a 5*) ___
Funcionalidades que mais e menos gostaste (1 a 5*) - Menu de utilizador (mascote) ___ - Float menu ___ - Look do site (gra�smo no geral) ___ - Interação do site (interação no geral) ___ - Outra(s). Qual(ais)? ________________________
Di�culdades que encontraste (assinala com um ‘X’) - Registo ___ - Login ___ - Inserir �lme ___ - Associar �lme a festival ___ - Criar festival ___ - Logout ___ - Navegar no site ___ - Outro(s). Qual(ais)? ________________________
Sugestões para melhoria__________________________________________________________________________________________________
*Tabela referencial1 - Incompreensível2 - Não satisfaz3 - Satisfaz4 - Bom5 - Muito bom
http://www.festock.com
Testes de Usabilidade / Festock | 17
Análise/avaliação dos testes realizados
Avaliação quantitativa dos testes - Tempo de execução de cada passo (média) - Número de erros cometidos por tarefa e por momento de avaliação (média) - Número de tarefas completas e incompletas com respectivo total e sub-total para cada momento de avaliação (média)
Análise dos resultadosCom o término dos testes de usabilidade foi possível detectar algumas lacunas e/ou falhas mas, também, virtudes que o site festock.com detém até ao momento.
Veja-se, então, os seguintes resultados (média):Os testes, no geral, decorreram de uma forma “paci�ca” e bem sucedida. Durante os mesmos, nenhum dos utilizadores precisou de recorrer a ajuda externa para “conseguir” executar as tarefas que foram delineadas.Respeitante aos tempos, estes foram +- uniformes, sendo que, a variação nos diferentes “momentos de avaliação” foi visível. Médias dos momentos: 1º momento – 3,096 minutos 2º momento – 6,282 minutos 3º momento – 3,024 minutos
http://www.festock.com
Testes de Usabilidade / Festock | 18
Veri�que-se, que no total, os utilizadores demoraram, em média, 12,402 minutos a efectuar todos o “percurso” pelo site. Saliente-se que este percurso envolver algumas acções demoradas, bem como um “tour” livre pelo site, pelo que é “um pouco redondante”.
Quanto à satisfação, obtemos, em média, nota 4 (Bom), sendo que as notas andaram entre o 4 e o 5 (Bom e Muito bom). Esta que nos incentiva a continuar este desa�o que ainda temos pela frante.
Quanto a di�culdades, as referencias foram, mais uma vez, unânimes, sendo que os utilizadores “sentiram” di�culdades em encontrar os locais de “upload de �lme” e logout, isto porque, segundo eles, não estavam, ainda, ambientados ao “design” do site. No entanto, após “afeição”, não sentiram di�culdades.
Por último, os utilizadores sugeriram que continuasse-mos com o site, pois, apesar de estar com algumas funcionalidades por acabar, já apresenta com um look arrojado e adequado aos seus “requisitos”.
Realce-se que, apesar de as tarefas terem corrido “bem”, não signi�ca que o site esteja bom, no seu todo, no entanto dá-nos boas perspectivas para desenvolvimentos futuros.
[Dados recolhidos presentes em anexo - Anexo1]
http://www.festock.com
Testes de Usabilidade / Festock | 19
Referências
Portfólio de ICPMhttp://portal.acm.org/citation.cfm?id=355549http://www.useit.com/http://www.intuitive.com/blog/jakob_nielsen_on_web_usability_problems_again.html