caracterização das adaptações em métodos de avaliação para ... · artigos. os autores...
TRANSCRIPT
Caracterização das Adaptações em Métodos de Avaliação
para Aplicações Colaborativas
Natália Sales Santos, Lidia Silva Ferreira e Raquel Oliveira Prates
Departamento de Ciência da Computação (DCC), Universidade Federal de Minas Gerais (UFMG)
Av. Antônio Carlos, 6627 – Pampulha, Belo Horizonte/MG, Brasil.
{nataliasales, lidiaferreira, rprates}@dcc.ufmg.br
ABSTRACT
Although the development and use of collaborative systems
has increased lately, evaluate them is not a simple task.
Most of the HCI evaluation methods that are consolidated
are aimed at single-user systems and require adaptation in
order to be applied to collaborative systems. The goal of
this paper is to present an initial characterization of the
adaptations that have been proposed in order to allow
single-user evaluation methods to be applied to different
collaborative systems and contexts.
Categories and Subject Descriptors
H.5.3 [INFORMATION INTERFACES AND
PRESENTATION]: Group and Organization Interfaces
General Terms
Measurement, Human Factors.
Keywords
Groupware, evaluation, collaborative systems evaluation,
cooperative system evaluation.
INTRODUÇÃO
Os sistemas colaborativos estão cada vez mais presentes na
sociedade. Este fato torna evidente a necessidade de avaliá-
los para verificar a adequação desses sistemas aos seus
usuários. Entretanto, apesar das pesquisas na área, ainda
não existe consenso sobre o que avaliar, que método utilizar
e quando avaliar [15]. Essa situação tem levado ao uso de
métodos adaptados para a avaliação de aplicações
colaborativas.
Este artigo trabalha com enfoque sobre estes métodos,
investigando (1) a motivação para a adaptação, (2) em quais
aspectos foi necessária alteração da aplicação padrão do
método e (3) qual a distribuição desse fenômeno no tempo.
O objetivo é caracterizar e analisar qualitativamente essas
adaptações, a fim de verificar como o desafio de avaliar
sistemas colaborativos tem sido tratado nos últimos anos.
TRABALHOS RELACIONADOS
Durante uma revisão na literatura, não foram encontrados
trabalhos que façam uma caracterização de métodos de
avaliação de sistemas colaborativos. Relacionado a esse
tema, foi identificado o trabalho realizado por [11], em que
os autores apresentam uma classificação dos métodos, a
partir de uma revisão de trabalhos que avaliaram sistemas
colaborativos da conferência ACM CSCW de 1990-1998.
Nesse estudo foram analisados todos os artigos que
introduziram ou avaliaram aplicações de sistemas
colaborativos presentes na conferência, num total de 45
artigos. Os autores propuseram uma forma de classificar os
trabalhos dividindo-os em cinco áreas: tipo de avaliação,
características da avaliação, coleta de dados e técnicas,
avaliação do ciclo de desenvolvimento de software e tipo
de conclusões tiradas a partir da avaliação. Embora esse
trabalho apresente revisões sobre avaliação de sistemas
colaborativos, ele analisou os métodos de forma geral, não
se aprofundando na natureza dos métodos apresentados.
No trabalho desenvolvido por [16] realizou-se uma revisão
sistemática da literatura, a fim de apresentar um panorama
de como os sistemas colaborativos estão sendo avaliados. O
trabalho mostra que nos últimos doze anos grande parte dos
métodos apresentados são adaptados (onde é utilizado um
método que já existe, mas com modificações em sua
aplicação). Motivados por esse trabalho propusemos a
caracterização do que tem sido adaptado nesses métodos,
buscando informações sobre o que se tem feito para avaliar
sistemas colaborativos.
ANÁLISE
O objetivo deste trabalho é apresentar uma análise
aprofundada sobre os métodos que em [16] foram
classificados como adaptados, a fim de caracterizar que
tipos de adaptações foram feitas e com quais objetivos.
Para este estudo, foram utilizados 13 artigos dos 29 que
foram retornados pela SLR apresentada em [16]. O nosso
foco foi sobre métodos voltados para avaliação de
interfaces/qualidade de uso.
Classificamos os métodos de avaliação em estudo de
acordo com o tipo de avaliação que realiza, sendo eles:
avaliação por inspeção, coleta de dados dos usuários e
avaliações com usuários, que foi dividido em avaliações
feitas em ambiente real e em ambiente controlado. Tal
classificação foi necessária para possibilitar a visualização
dos tipos de avaliações que estão sendo adaptadas. Assim,
posteriormente, é possível analisar quais os métodos foram
LEAVE BLANK THE LAST 2.5 cm (1”) OF THE LEFT
COLUMN ON THE FIRST PAGE FOR THE
COPYRIGHT NOTICE.
297
usados dentro de cada tipo de avaliação.
Analisando a Erro! Fonte de referência não encontrada.
percebemos que o tipo de avaliação mais utilizado foi a
inspeção, sendo que os métodos que a usaram foram os que
mais sofreram adaptações para se avaliar sistemas
colaborativos.
Tipo de avaliação
Número de
estudos que
utilizaram a
avaliação
Estudos
Ambiente real 2 [3];[5]
Ambiente controlado 3 [9];[1];[10]
Inspeção 8 [15];[6];[4];[2];
[13];[12];[8];[14]
Coleta de dados do
usuário 1 [1]
Tabela 1. Tipos de avaliação e estudos que os utilizaram
Durante a análise dos métodos de avaliação foi possível
classificar duas diferentes motivações para as adaptações:
Caso 1: Adaptação do método para possibilitar a
avaliação da parte colaborativa do sistema, antes não
abrangida pela avaliação;
Caso 2: Adaptação do método para enquadrar à avaliação
de características peculiares de uma aplicação ou
domínio colaborativo em estudo.
Também definimos diferentes focos dos estudos em análise:
Foco no sistema: o artigo apresenta uma aplicação
colaborativa e realiza uma avaliação da mesma;
Foco no método: o artigo tem por objetivo estudar o
método de avaliação para groupware e faz a avaliação de
um sistema colaborativo para exemplifica-lo.
Como mostra a 0, a maior parte dos artigos que apresentam
métodos adaptados e estão enquadrados no Caso 1 têm
maior incidência de foco no método. Isso se dá porque
esses artigos muitas vezes tratam da adaptação de um
método de avaliação originalmente de sistema monousuário
para avaliação de sistemas colaborativos. O mesmo
acontece nos estudos com foco no método que se
enquadram no Caso 2, porém, neste caso a adaptação do
método é feita para a avaliação de um sistema colaborativo
específico em estudo.
A fim de traçar paralelos de comparação e análise entre os
métodos de avaliação estudados, eles foram divididos pelo
tipo de adaptação, ou seja, Caso 1 e Caso 2. Essa estratégia
foi adotada por permitir uma fácil visualização dos padrões
e comparação dos motivos dessas decisões, possibilitando o
traçado do perfil de adaptações.
Caso 1: adaptação para abranger a parte colaborativa
No trabalho apresentado por [2] foram propostos um
conjunto de heurísticas específicas para contemplar a parte
colaborativa de sistemas de apoio a equipes (pequenos
grupos). A proposta é utilizar o método de Avaliação
Heurística com este conjunto para se conseguir aplicar uma
avaliação a um baixo custo.
Figura 1. Relação entre tipo de adaptação e foco do estudo
O método SWIMs apresentado em [8], une o método
Scenario Walkthrough, Método de Inspeção e entrevistas.
Esta abordagem é centrada na captação, agregação e análise
de reflexões sobre o apoio dos usuários do sistema para
cenários específicos. Para isso, adaptaram-se as etapas de
avaliação de forma que o avaliador tenha um maior
conhecimento sobre o contexto do sistema antes de entrar
em campo. Nas demais etapas são aplicadas entrevistas para
validar as informações colhidas no primeiro momento e
enfim, analisar as consequências do uso destes cenários e as
reivindicações dos usuários sobre o mesmo.
O método apresentado em [9] foi adaptado da abordagem
Ciclo de Vida, que consiste em um processo iterativo para a
análise, codificação, desenvolvimento, testes e manutenção
do projeto. É empregado para avaliação formativa. Porém,
o Ciclo de Vida para um sistema colaborativo deve se
derivar de uma sequência que inclui a análise das
necessidades dos usuários, elaboração de instrumentos para
avaliação dos requisitos, além de utilizar o feedback dos
usuários para modificar o que não estiver adequado. Foi
incluída na abordagem entrevistas com perguntas abertas,
para captar a opinião dos usuários.
O estudo [10] descreve uma proposta para estender o
Método de Avaliação de Comunicabilidade (MAC), a fim
de permitir a avaliação de sistemas colaborativos. As etapas
de análise (interpretação, etiquetagem e perfil semiótico) do
método estendido são as mesmas do método original, pois
são necessárias para permitir a identificação dos sistemas
de interação do usuário. A adaptação é feita na metodologia
da etiquetagem, que apresenta uma nova maneira de
identificar os enunciados, e na interpretação, que trabalha
com uma nova ontologia de problemas relevantes.
O trabalho em [12], apresenta o método Groupware
Walkthrough que adapta o método Cognitive Walkthrough,
incluindo um modelo de tarefas colaborativas que
298
descrevem as tarefas que os membros do grupo deveriam
inspecionar posteriormente. Assim, os avaliadores
determinaram o quão bem a interface suporta o trabalho em
grupo dos usuários. Com isso foi possível desenvolver uma
técnica de baixo custo que revela problemas na colaboração
antes não identificados.
No artigo [15] fez-se a inspeção do sistema para possibilitar
a criação das tarefas para a realização do teste com usuário.
A inspeção foi adaptada para que ocorresse de forma
informal, pois embora tenha sido detalhada, foi guiada pela
experiência dos avaliadores. No entanto, a inspeção
independente se mostrou inviável, pois o sistema consistia
em uma ferramenta de comunicação síncrona que dependia
da comunicação por conferência para possibilitar a
avaliação. Por tais motivos, a inspeção foi feita em conjunto
pelos avaliadores.
Em [1] é proposto um framework para avaliar um sistema
colaborativo em desenvolvimento ou aquisição, além de
diretrizes para selecionar a técnica de avaliação apropriada.
O trabalho assume que avaliação é um processo evolutivo,
durante o ciclo de vida do sistema. Mesmo o estudo tendo
um objetivo diferente do nosso trabalho, ele apresenta dois
estudos de casos que utilizaram métodos distintos em
diferentes momentos do desenvolvimento de um software
colaborativo. O primeiro estudo de caso adapta o método
Keystroke-Level Model. O tempo investido na avaliação foi
baixo, pois foi utilizada uma abordagem analítica, onde os
resultados obtidos contribuíram para a percepção do valor
atribuído pela ferramenta para a organização.
Caso 2: adaptação para enquadrar a um estudo de caso
O segundo estudo de caso do estudo [1], adapta o método
Cooperation Scenarios (COS), que utilizou uma abordagem
de estudo piloto, fornecendo informações preliminares úteis
para compreender o possível impacto da ferramenta no
cenário de inspeção em construção. A principal limitação
apresentada pelo método é o nível de realismo dos
resultados obtidos; se o cenário de teste é semelhante ao
cenário real, então os resultados são representativos. Caso
contrário o esforço para a avaliação é muito alto. O método
baseado no SPADA apresentado em [3] também sofreu
mudanças. Ele foi modificado de modo a obter as
características de design colaborativo e melhorar o processo
de avaliação. Como o método SPADA trabalha com
dimensões, essa definição foi modificada para levar em
conta a natureza da tarefa de criação e as características das
tecnologias de mediação.
O estudo em [4] centra na avaliação dos aspectos relativos à
usabilidade e apoio da consciência. A ideia principal é
comparar um sistema de modelagem de colaboração com
uma ferramenta de monousuário existente que é
compartilhada por meio de um sistema. O estudo
desenvolveu o Framework for Evaluating Groupware
Systems que consiste no uso de três métodos de avaliação:
Heurísticas de Baker, Cognitive Walkthrough e testes com
usuário.
O trabalho [5] apresenta questões metodológicas na
avaliação relacionada com o processo de concepção do
sistema a ser avaliado. Considera-se que é importante
construir configurações de avaliação que implique em
diversas variáveis relacionada com a complexidade inerente
às situações colaborativas, a fim de melhor compreender e
interpretar comportamentos dos usuários.
Em [6] é apresentado um framework para a concepção e
avaliação distribuída de Collaborative Virtual
Environments (CVEs) focado em aplicações médicas. Este
estudo dividiu a avaliação em três seções, onde foi em cada
seção foi aplicado um diferente método de avaliação: a
primeira seção consistiu em um teste de usabilidade; a
segunda em observação em ambiente real; a terceira em
questionários. Através da junção dos resultados desses
métodos foi possível formular orientações adicionais para a
implementação de sistemas CVEs.
O trabalho apresentado em [13] sugeriu o novo método
Table-Collaboration Usability Analysis (T-CUA) a partir
do método Collaboration Usability Analysis (CUA). O
método CUA é útil na realização de avaliações formativas
de usabilidade de sistemas colaborativos de tabletop e seus
mecanismos de colaboração podem ser aplicados para uma
vasta gama de situações colaborativas. Porém, ele não é um
método concreto e não descreve ações específicas, tornando
difícil operacionalizar a concepção e avaliação de
sistemas colaborativos. Por isso foi desenvolvido T-CUA,
uma técnica formativa de usabilidade para tabletop
groupware, com modificação nas ações prevista pelo CUA.
Assim, operações específicas são utilizadas para a
colaboração no trabalho de tabletop. As ações foram
desenvolvidas a partir de estudos de observação de
atividades em grupo em tabletop regulares. As ações do
tabletop fornecem uma maneira para os avaliadores
explorarem as possíveis situações de colaboração que
podem surgir quando um sistema é implantado e pode
ajudar a identificar casos em que um projeto de groupware
não fornece uma consideração adequada para os padrões
comuns de interação em tabletop.
Em [14] é apresentado um novo conjunto de heurísticas
para avaliar a usabilidade de jogo multiplayer: Networked
Game Heuristics (NGH). O objetivo é determinar se
avaliadores experientes conseguem entender e
operacionalizar as heurísticas propostas e se elas são úteis
na identificação de problemas de usabilidade. A avaliação
mostrou que as heurísticas foram eficazes no processo de
avaliação para jogos multiplayer em rede.
Por fim, consolidamos a análise constatando que vários
aspectos foram avaliados com o uso dos métodos de
avaliação adaptados. A Figura 2 mostra que ao longo dos
últimos doze anos o aspecto recorrente nas avaliações é a
usabilidade, o que demonstra uma constante preocupação
em garantir que os sistemas proporcionem uma interação
mínima com os usuários.
299
Figura 2. Aspectos avaliados nos métodos por ano
CONCLUSÃO E TRABALHOS FUTUROS
Os estudos feitos com os trabalhos que trataram de métodos
adaptados para avaliar sistemas colaborativos foram
importantes para caracterizar como as adaptações estão
sendo realizadas. Observou-se que a maioria das adaptações
foram feitas a partir de métodos originalmente criados para
analisar sistemas monousuários. Alguns fatores que podem
ter levado a isso é o fato de não haver ainda métodos
consolidados para avaliação de sistemas colaborativos [1] e
também o amplo conjunto de aspectos que pode se querer
avaliar nesses sistemas. O desafio de se avaliar sistemas
colaborativos continua a existir, mas para contornar essa
dificuldade a alternativa mais utilizada tem sido a
adaptação de métodos de avaliação para sistemas
monousuários.
A caracterização dos métodos aqui apresentada é
importante para que as pessoas tenham um conhecimento
geral do que existe e os diferentes focos. Este trabalho é um
primeiro passo para uma caracterização completa. Os
próximos passos envolvem fazer uma análise mais
aprofundada dos métodos de avaliação identificados em
[16], assim como dos métodos novos identificados no
trabalho.
REFERÊNCIAS
1. Antunes, P., Herskovic, V., Ochoa, S. F., Pino, J. A.
(2012) Structuring dimensions for collaborative systems
evaluation. In ACM Comput. Surv. 44, 2, Article 8
(March 2012), 28 pages.
2. Baker, K., Greenberg S., Gutwin C. (2002) Empirical
development of a heuristic evaluation methodology for
shared workspace groupware. In Proc. of CSCW '02.
3. Burkhardt, J. M., Détienne, F., Hébert, A. M., Perron,
L., Safin, S., Leclercq, P. (2009) An approach to assess
the quality of collaboration in technology-mediated
design situations. In Conf. of ECCE '09.
4. Gallardo, J., Molina, A. I. , Bravo, C., Redondo M. Á.,
Collazos, C. A. Empirical and Heuristic-Based
Evaluation of Collaborative Modeling Systems: An
Evaluation Framework. In Group Decision and
Negotiation, 2011, Volume 20, Number 5, Pages 535-
562.
5. Gauducheau, N.; Soulier, E.; Lewkowicz, M. (2005)
Design and evaluation of activity model- based
groupware: methodological issues. In Proc. of 14th
IEEE WETICE’05.
6. Goebbels, G., Lalioti, V.i, Göbel M. (2003) Design and
evaluation of team work in distributed collaborative
virtual environments. In Proc. of VRST '03.
7. Grudin, J. (1988). Why groupware applications fail:
Problems in design and evaluation. Office: Technology
and People, 4(3), 245-264.
8. Haynes, S. R., Purao, S., Skattebo, A.L. (2009)
Scenario-Based Methods for Evaluating Collaborative
Systems. In CSCW, Volume 18, Number 4, 331-356.
9. Huang, J.P.H. (2004) An enhanced approach to support
collaborative systems evaluation. In Proc. of IEEE 13th
WETICE 2004.
10. Mattos, B.A.M.; Prates, R.O.; An Overview of the
Communicability Evaluation Method for Collaborative
Systems. In: IADIS International Conference
WWW/Internet 2011, 2011, Rio de Janeiro.
Proceedings of WWW/Internet 2011, 2011. p. 129-136.
11. Pinelle, D. Gutwin, C. (2000) A review of groupware
evaluations. In Proc. of 9th IEEE WETICE 2000.
12. Pinelle, D., Gutwin C. (2002) Groupware walkthrough:
adding context to groupware usability evaluation.
In Proc. of CHI '02.
13. Pinelle, D., Gutwin C. (2008) Evaluating teamwork
support in tabletop groupware applications using
collaboration usability analysis. In Personal Ubiquitous
Comput. 12, 3 (January 2008), 237-254.
14. Pinelle, D., Wong, N., Stach, T., Gutwin, C. (2009).
Usability heuristics for networked multiplayer games.
In Proc. of GROUP '09.
15. Prates, R. O. ; Raposo, A. B.. Desafios para Testes de
Usuários em Sistemas Colaborativos - Lições de um
Estudo de Caso. In: Anais Estendidos do IHC'2006.
16. Santos, N.S., Ferreira, L.S., Prates, R.O. (2012) Um
Panorama sobre Métodos de Avaliação de Sistemas
Colaborativos. In: Anais do Simpósio Brasileiro de
Sistemas colaborativos (SBSC 2012).
300