avaliação de artigos científicos
Post on 13-Dec-2014
9.955 Views
Preview:
DESCRIPTION
TRANSCRIPT
Avaliação de Artigos
Científicos
UNIVERSIDADE DE AVEIRO - 20 de Maio de 2011 Seminários de Investigação em Didáctica Programa Doutoral em Didáctica e Formação
2. BOAS PRÁTICAS DA AVALIAÇÃO 3. GRELHAS DE AVALIAÇÃO
4. O RELATÓRIO DO REVISOR
1. O PROCESSO DA AVALIAÇÃO
5. TIPOS DE ARTIGOS
6. NOVAS TENDÊNCIAS
2. BOAS PRÁTICAS DA AVALIAÇÃO 3. GRELHAS DE AVALIAÇÃO
4. O RELATÓRIO DO REVISOR
1. O PROCESSO DA AVALIAÇÃO
5. TIPOS DE ARTIGOS
6. NOVAS TENDÊNCIAS
1. O PROCESSO DA AVALIAÇÃO
revisor
editor
revisor revisor
ed. assoc.
editor
revisor revisor revisor
ed. assoc.
revisor revisor revisor
Esta é a terminologia para revistas (journals). No caso das conferências, o papel do editor
é exercido pelo presidente da comissão de programa (ou comissão científica).
Os restantes membros da comissão de programa actuam como editores associados
revisor = avaliador = árbitro (reviewer = referee)
1. O PROCESSO DA AVALIAÇÃO
NÍVEIS DE ANONIMATO:
Revisão duplamente anónima (double-blind review) –
Revisores não sabem quem são os autores e autores não
sabem quem são os revisores.
Revisão anónima (single-blind review) – Revisores
sabem quem são os autores, mas autores não sabem quem
são os revisores.
Revisão aberta. Vários níveis de anonimato:
• As identidades das duas partes são conhecidas.
• As avaliações, assinadas, são enviadas aos autores.
• São colocadas on-line versões preliminares dos artigos e pedem-se revisões e comentários.
1. O PROCESSO DA AVALIAÇÃO
COMPENSAÇÕES:
• Tipicamente, o esforço de revisão não é remunerado.
• A principal “remuneração” é o prestígio, quer seja reconhecido em
privado, quer seja tornado público em listas de revisores.
• Nas revistas, pode oferecer-se uma assinatura ou uma autorização de acesso gratuito por tempo limitado.
• Nas conferências, oferece-se às vezes a participação na conferência ou no programa social.
• Apesar de não haver pagamentos, o custo estimado da revisão de artigos de revista é da ordem de 25% dos custos totais de publicação e disseminação.
• Nas conferências, por vezes convidam-se os revisores para as
comissões de programa, para que o destaque possa ser mais evidente.
2. BOAS PRÁTICAS DA AVALIAÇÃO 3. GRELHAS DE AVALIAÇÃO
4. O RELATÓRIO DO REVISOR
1. O PROCESSO DA AVALIAÇÃO
5. TIPOS DE ARTIGOS
6. NOVAS TENDÊNCIAS
2. BOAS PRÁTICAS DA AVALIAÇÃO
• A avaliação de artigos científicos deve ser encarada como uma actividade cívica do cientista na sua contribuição para
melhorar o eco-sistema de produção científica
• O revisor deve auxiliar o editor a defender os interesses do leitor na obtenção de trabalhos de melhor qualidade e utilidade, mas respeitar o
autor, ajudando-o a melhorar o seu trabalho e a progredir como autor
• Nesse sentido, um avaliador que se limite a preencher grelhas, sem comentar nem justificar os seus julgamentos,
deve ser excluído e remetido para lista negra
• A decisão de aceitar ou rejeitar um artigo cabe ao editor. O papel do revisor é fornecer ao editor elementos que sustentem a sua decisão, bem como
propor recomendações que ajudem o autor a melhorar o seu trabalho
2. BOAS PRÁTICAS DA AVALIAÇÃO
• As avaliações devem ser sempre justificadas, eventualmente com referências que as apoiem (o revisor deve abster-se de
sugerir referências da sua própria autoria, que poderão denunciar arrogância ou parcialidade da sua parte)
• Na maior parte dos casos, a contribuição do revisor é importante, por representar experiência e competência no domínio, mas por vezes é útil que, como advogado
do diabo, assuma um papel exterior ao domínio
• O papel do revisor não é dar largas à sua vaidade e mostrar como é competente e superior, mas sim
oferecer, discretamente, uma avaliação útil e objectiva
2. BOAS PRÁTICAS DA AVALIAÇÃO
• Um revisor que não seja suficientemente crítico está a prestar um mau serviço à comunidade, encorajando investigação de má qualidade,
iludindo autores inexperientes, incentivando a progressão de autores incompetentes, degradando a qualidade do conhecimento tornado
público, incentivando a proliferação de trabalhos que tornam os processos de revisão insustentáveis. Poderá estar, assim, a contribuir
para um mundo mais ignorante do que aquele em que vivemos
• Um revisor que seja demasiado crítico pode bloquear o progresso da investigação, matar à nascença ideias promissoras, prejudicar
carreiras, deixar as revistas e conferências sem nada que publicar. Em particular, não deverá rejeitar, sem boas razões, trabalhos que
se oponham às ideias correntes e que, por esse motivo, poderão vir a ser embriões de novos e valiosos desenvolvimentos
2. BOAS PRÁTICAS DA AVALIAÇÃO
• Deve-se usar um tom civilizado e não insultuoso nas avaliações. As críticas devem ser dirigidas ao artigo e não ao autor
• Um revisor deverá evitar, em absoluto, actuar em situação de conflito de interesses, nomeadamente se for parte
interessada na aprovação ou rejeição de um artigo
• Um artigo submetido a avaliação é confidencial, pelo que, uma vez avaliado, deverá ser esquecido. Não poderá ser copiado nem
divulgado. A apropriação, mesmo que subconsciente, de ideias alheias é uma falta grave, e, neste caso, um abuso de um privilégio
• Se um revisor não estiver à vontade num tópico em avaliação, não tiver tempo para avaliar um artigo, ou tiver conflito de
interesses, deverá comunicá-lo de imediato ao editor
2. BOAS PRÁTICAS DA AVALIAÇÃO
• É frequente os autores de artigos para conferências serem convidados a actuar também como
revisores. Deverão aceitar, a bem do sucesso da conferência, entendida como evento de partilha
• Quando um artigo é definitivamente mau e irrecuperável, não se deve perder tempo a dar sugestões que tentem
melhorá-lo. O papel do revisor é auxiliar o autor, mas não escrever o artigo por ele. Nesses casos, deve apontar duas
ou três falhas graves e passar ao trabalho seguinte
2. BOAS PRÁTICAS DA AVALIAÇÃO 3. GRELHAS DE AVALIAÇÃO
4. O RELATÓRIO DO REVISOR
1. O PROCESSO DA AVALIAÇÃO
5. TIPOS DE ARTIGOS
6. NOVAS TENDÊNCIAS
3. GRELHAS DE AVALIAÇÃO
Classificar artigo numa escala de 1 (fraco) a 5 (excelente), para os sucessivos itens:
Relevância. É relevante para a conferência ou revista? Resolve problemas efectivos? De quem? Permite que o leitor passe a utilizar as propostas? Ou, pelo contrário,
é uma acrobacia intelectual, sem utilidade?
Significado. Altera de forma significativa a visão que temos da realidade estudada? Ou, pelo contrário, limita-se a retomar formulações cujo significado está mais do que esclarecido?
Originalidade. Representa um avanço sensível relativamente ao que já existe? Abre novas perspectivas para a compreensão do tema?
3. GRELHAS DE AVALIAÇÃO
Adequação dos métodos de investigação. Em que medida é que os métodos de investigação adoptados se adequam ao trabalho
realizado? Há inovações na exploração desses métodos?
Adequação dos processos de investigação. O processo usado para chegar às propostas é cientificamente sólido? Fundamentou-se em teorias
e dados experimentais credíveis? Justificou essa fundamentação?
Análise e interpretação dos dados. Em que medida é que a análise e interpretação dos dados são adequadas e rigorosas?
Classificar artigo numa escala de 1 (fraco) a 5 (excelente), para os sucessivos itens:
3. GRELHAS DE AVALIAÇÃO
Lógica da argumentação. Em que medida é que a lógica da argumentação é rigorosa, fluente e acessível aos leitores?
Adequação do título, resumo, introdução e conclusões. O título é esclarecedor? O resumo satisfaz os requisitos de um resumo? A introdução dá o enquadramento adequado? As conclusões são objectivas e esclarecedoras?
Completude e coerência. Há aspectos importantes que deviam ter sido incluídos? Há aspectos desnecessários que deviam ter sido omitidos?
Profundidade. Explora a temática em profundidades, ou fica-se por generalidades? Deixa em aberto aspectos de
aplicação ou operacionalização das propostas?
Classificar artigo numa escala de 1 (fraco) a 5 (excelente), para os sucessivos itens:
2. BOAS PRÁTICAS DA AVALIAÇÃO 3. GRELHAS DE AVALIAÇÃO
4. O RELATÓRIO DO REVISOR
1. O PROCESSO DA AVALIAÇÃO
5. TIPOS DE ARTIGOS
6. NOVAS TENDÊNCIAS
4. O RELATÓRIO DO REVISOR
1. Sumário do artigo. Uma a cinco frases. Útil para o editor, mas também para o próprio revisor.
2. Relevância, significado e originalidade.
3. Qualidade do trabalho. Adequação dos métodos, processos e e análise, lógica da argumentação, adequação do título, resumo, introdução e conclusão, profundidade, completude e coerência
4. Recomendação. Aprovação, rejeição, aprovação com reservas. Incluir justificação da recomendação, para que o editor possa decidir.
5. Sugestões de melhoramentos. Apenas em caso de aprovação ou se a decisão de rejeição for acompanhada da sugestão de
posterior re-submissão ou de submissão noutro local.
2. BOAS PRÁTICAS DA AVALIAÇÃO 3. GRELHAS DE AVALIAÇÃO
4. O RELATÓRIO DO REVISOR
1. O PROCESSO DA AVALIAÇÃO
5. TIPOS DE ARTIGOS
6. NOVAS TENDÊNCIAS
5. TIPOS DE ARTIGOS
• Criação de teoria (empírica) • Verificação de teoria (empírica)
• Estudo conceptual-analítico • Proposta de criação de inovação
• Proposta de avaliação de inovação • Artigo de opinião
• Levantamento do estado da arte
(Jarvinen, 2004; Smith, 1990; Wiering, 2006)
• Tutorial
2. BOAS PRÁTICAS DA AVALIAÇÃO 3. GRELHAS DE AVALIAÇÃO
4. O RELATÓRIO DO REVISOR
1. O PROCESSO DA AVALIAÇÃO
5. TIPOS DE ARTIGOS
6. NOVAS TENDÊNCIAS
6. NOVAS TENDÊNCIAS
• Introduz atrasos excessivos
• Nem sempre detecta negligência e más condutas (falsificação, plágio, encobrimento de conflitos de interesses)
• É prejudicada pela parcialidade dos revisores
CRÍTICAS À AVALIAÇÃO PELOS PARES:
• Pode ser subjectiva e incoerente
• Incentiva conservadorismo e reprime inovação
• Prejudica investigação interdisciplinar
• Sobrecarrega os avaliadores (muitas submissões de má qualidade)
6. NOVAS TENDÊNCIAS
• Circulação dos artigos on-line, em pré-versões, antes da publicação formal, para recolha aberta dos comentários de uma
população alargada de investigadores (Exemplo: arXiv)
EMERGÊNCIA DA “SCHOLARSHIP 2.0”:
• Avaliações pós-publicação, eventualmente complementadas com comentários informais em blogs, redes sociais e plataformas de
recomendação (recommender systems), quer sociais, quer algorítmicas.
• Avaliação mista: formal, expedita mas rigorosa na pré-publicação, seguida, na pós-publicação, por avaliações formais
ou informais com base em comentários e/ou classificações • Recurso a variantes de crowdsourcing e contagens de
downloads em vez de avaliações formais pelos pares.
Avaliação de Artigos
Científicos
UNIVERSIDADE DE AVEIRO - 20 de Maio de 2011 Seminários de Investigação em Didáctica Programa Doutoral em Didáctica e Formação
FIM
top related