11/09/2015
1
REVISÕES SISTEMÁTICAS DE LITERATURA
Joyce de Andrade RuizReymard Sávio Sampaio de Melo
Ariovaldo Denis Granja
ESTRUTURA DA APRESENTAÇÃO
1. Paradigma baseado em evidências
2. Mapeamento Sistemático de Literatura (MSL)
3. Revisão Sistemática de Literatura (RSL)
PARADIGMA BASEADO EM EVIDÊNCIAS
Paradigma baseado em evidências: Origem
Professor Archibald Leman Cochrane é um dos pioneiros e
fundadores da medicina baseada em evidências.
"Eu sabia que o que eu tinha para oferecer contra a tuberculose não tinha efeito e nem evidência real de resultados e estava com medo de estar encurtando a vida de alguns dos meus amigos com intervenções desnecessárias."
11/09/2015
2
Paradigma baseado em evidências
• Crise no campo da medicina provocada por três fatores:
1. Custos assistenciais;
2. Métodos obsoletos;
3. Grande volume e heterogeneidade
de produção científica.
com base em evidências...
• Abordagem para estudos empíricos
• Identificar as melhores evidências de pesquisa em um dado domínio do conhecimento
• Para orientar a prática e para formular políticas
• Instrumento: revisões sistemáticas
(KITCHENHAM, 2007)
Paradigma baseado em evidências - medicina
Mecanismos para identificar e agregar as melhores
evidências: RSL
MEDICINA BASEADA
EM EVIDÊNCIAS
Experiência clínica
Melhores evidências científicas existentes
Valores do paciente
Paradigma baseado em evidências
“Evidence-based Medicine” “Evidence-based Design”
“Evidence-based Software Engineering”“Evidence-based Management”
11/09/2015
3
Revisões Sistemáticas – Por que?
• Aumentar conhecimento (com base no que outros já fizeram)
• Contribuição original (não reinventar a roda!)
• Quem são os principais autores no assunto?
• Quais as lacunas de conhecimento?
• Ajuda a formular questões relevantes de pesquisa
http://beckerguides.wustl.edu/SystematicReviews
(LIMA, 2014)
Tradicional, MSL e RSL
Busca aleatória
(risco de viés?)
Revisão Narrativa
Tradicional
Pergunta AMPLA
POUCAS evidências
Mapeamento sistemático
de literatura (MSL)
Pergunta RESTRITA
MUITAS evidências
Revisão sistemática de
literature (RSL)
Estratégia de pesquisa
bem definida
Estratégia de pesquisa
bem definida
MAPEAMENTO SISTEMÁTICO DE LITERATURA (MSL)
O QUE É UM MSL?OU REVISÃO DE ESCOPO (SCOPING REVIEW)
11/09/2015
4
MSL(pergunta ampla, poucas evidências)
• Uma forma de estudo secundário para:
– Identificar e classificar um conjunto de estudos primários relevantes sobre um assunto
–Descobrir lacunas de conhecimento (evidence gaps) – onde mais estudos primários são necessários
– Se muitas evidências disponíveis => RSL
RAZÕES PARA UM MSL?
Hoje em dia: muita publicação e fácil acesso (digital)
Qualidade e Abrangência
Formular/Refinar questão de Pesquisa
Encontrar correlações e contrapontos no tema
Sistematização/Replicação
Assertividade (foco)
Menor custo em comparação a novos estudos primários
Evitar viés (muitas vezes sem intenção)Evitar desconhecimento sobre a literatura em dado tópico
ONDE SE CHEGA COM UM MSL?
11/09/2015
5
* Textos selecionados e aderentes ao tema de pesquisa
* Publicações de Qualidade (crivo dos periódicos)
* Fazer uma análise bibliométrica da amostra de textos
obtidos
* Identificar:
- Lacunas de conhecimentos
- Pesquisadores
- Pesquisas correlatas
- Contrapontos
COMO FAZER UM MSL?
“COLLABORATION TO EXTEND TARGET COSTING TO NON-MULTI-PARTY CONTRACTED PROJECTS: EVIDENCE FROM
LITERATURE”
REYMARD SAVIO SAMPAIO DE MELO ET AL.
EXEMPLO MSL
Questão de pesquisa(MSL => questão ampla, poucas evidências)
“Which research topics have been covered for promoting collaboration among key project stakeholders (owner, designers, general contractor and trade partners) when their incentives are not aligned through contractual arrangements?”
11/09/2015
6
Método
Definição dos termos de busca
Seleção e Compreensão das
bases de dados
Formulação da string de busca
Critérios de seleção dos
artigos
“Amostragem em Bola de Neve”
Extraçãosistematizada de
dados
Codificação de dados
Análise de dados
Síntese de dados
* Questão de pesquisa
* Tema a ser investigado para refinar
questão
* Idioma palavras da busca
* Possíveis variações das palavras-chave
Definição dos termos de busca
Quais são
as suas
palavras-
chaves??
Definição dos termos de busca
“Which research topics have been covered for promoting
collaboration among key project stakeholders (owner,
architect, engineers, contractor and subcontractors) when
their incentives are not aligned through multi-party
contracts?”
*construction
Seleção e compreensão das bases de dados
Compendex Scopus
Web of Science
Google Acadêmico
IGLC Proceedings
Revista Ambiente Construído
11/09/2015
7
Formulação da string de busca
collaborati* OR partner* AND incentive AND construction
11/09/2015
8
Resultado da busca (2002 – 2012)
133 artigos
Construction
Incentives Collaboration
Critérios de seleção de artigos
133
40
Teórico ou empírico
Colaboração ou temas
correlacionados
non-English languages
BIM or relational
contracts
Ricardo Codinhoto, Patricia Tzortzopoulos, Mike Kagioglou, Ghassan Aouad
HaCIRIC, University of Salford, UK
Exemplo de critérios de avaliação de qualidade
Critérios de avaliação de qualidade
11/09/2015
9
Critérios de avaliação de qualidadeAmostragem em Bola de Neve
+7
* Organizar dados em planilha eletrônica que
possibilite a análise e classificação dos dados
* Alinhar:
- Títulos (importante p/ remover duplicidades)
- Autores
- Ano de publicação
- Veículo de publicação
- Colunas com classificações complementares (a
critério e necessidade de cada pesquisador)
Codificação de Dados Extração sistematizada de dados
Autores
Título
Periódico
Ano de publicação
Objetivo da pesquisa
11/09/2015
10
Análise e Síntese de Dados
14
9
4
6
3 3
Project
Partnering
Incentive
Systems
Public-
private
partnership
Cooperative
procurement
Social
network
analysis
Trust
Project
alliancing
9
Evidence clusters
Scarce Evidence
• A realização do MSL possibilitou ao pesquisador:
Identificar e classificar um conjunto de publicações
no assunto
Identificar temáticas estudadas e lacunas
As lacunas identificadas ajustaram o foco e a futura
contribuição da pesquisa
Temáticas mais estudadas podem motivar uma RSL
Conclusão
11/09/2015
11
REVISÃO SISTEMÁTICA DE LITERATURA (RSL)
O QUE É UMA RSL?
RSL(questão restrita, amplas evidências)
• Uma forma de estudo secundário para:
–Encontrar estudos primários relevantes sobre um assunto, de forma objetiva e sem viés
–Extrair e agregar dados destes estudos
–RSL
– Se poucas evidências disponíveis => MSLCOMO FAZER UMA RSL?
11/09/2015
12
DESVIOS DE CUSTOS E PRAZOS EM
EMPREENDIMENTOS DA CONSTRUÇÃO CIVIL:
CATEGORIZAÇÃO E FATORES DE INFLUÊNCIA
ELISA ATÁLIA DANIEL MUIANGA ET AL.
EXEMPLO RSL
Questão de pesquisa(RSL => questão restrita, amplas evidências)
“Quais são os fatores responsáveis por desviosde custos e prazos em empreendimentos da construção civil”
Motivação para o Artigo
Realizar uma Revisão Sistemática de Literatura (RSL) (estudo secundário) como pré-requisito para a
Pesquisa Principal (estudo primário) que é:
APLICAÇÃO DO QUESTIONÁRIO EM AGENTES DE MOÇAMBIQUE P/ DETERMINAR OS FATORES MAIS
RELEVANTES NA OCORRÊNCIA DE DESVIOS DE CUSTOS E PRAZOS
Objetivo do Artigo
RSL sobre desvios de prazos e custos p/determinar uma estrutura de categorização e
fatores responsáveis por esses desvios
CATEGORIZAÇÃO:• Auxiliar a diagnosticar os fatores mais relevantes• Servir de base para a adoção de estratégias de
tomada de decisão• Visar à maior conformidade dos custos e prazos
inicialmente planejados
11/09/2015
13
RSL
Primeiro Estágio – Planejamento da revisão
Identificação das necessidades da pesquisa
Preparação da proposta para a revisão
Desenvolvimento do protocolo da revisão
Segundo Estágio – Condução da revisão
Identificação da pesquisa
Seleção dos estudos
Avaliação da qualidade dos estudos
Extração de dados
Síntese de dados
Terceiro Estágio – Disseminação e relatório
Relatório e recomendações
Uso das evidências na prática
Fonte: Kitchenham et al. (2009)
Estágios e etapas para condução da RSL
MSL
RSL
RSLQuestão a ser respondida:
“quais são os fatores responsáveis por desvios de custos e prazos em empreendimentos da construção civil?”
1º Palavras-chave (inglês e português)2º String de busca: “atraso”, “desvios de prazo”, “time overrun”, “desvios de custos” e “cost overrun” + “construction”3º Bases de dados (Web Of Knowledge, Science Direct, Scopus e Scielo)4º Filtros:- Análise dos temas- Duplicidades- Leitura dos resumos (e objetivos, resultados, principais
conclusões)- “Amostragem bola de neve” (Snowball Sampling)
Condução da RSLAnálise da distribuição global do
percentual de quantidade de pesquisas
publicadas sobre desvios de custos e
prazos
46 diferentes
periódicos
RSL[em quantidade de textos]+7.218 (sem filtros)
-6.015 (não relacionados à construção civil, prazos, custos e gerenciamento)
- 524 (duplicados)
- 603 (em desacordo com a pergunta proposta)
+ 16 (Snowball sampling)
= 92 textos aderentes à pergunta proposta
Dentre os 92 textos, 06 apresentavam propostas de categorizações com os principais fatores causadores de desvios de prazos e custos:1. (LONG et al., 2004) = 7 determinantes2. (ASSAF; AL-KHALIL; AL-HAZMI, 1995) = 7 determinantes3. (LE-HOAI et al., 2008) = 6 determinantes4. (NUTAKOR, 2007) = 5 determinantes5. (GONZÁLEZ et al., 2013) = 6 determinantes6. (SUGIHARTO; HAMPSON, 2003) = 6 determinantes
11/09/2015
14
1. RELAÇÕES GOVERNAMENTAIS – 7 agrupamentos de 14
fatores citados
1. Alteração de regras governamentais. (P) - 4
2. Aprovação dos requisitos impostos pelo governo para o
empreendimento. (P/C) - 1
3. Burocracia no processo de licitação. (C) - 1
4. Insegurança política. (P/C) - 2
5. Pressão do governo local, situação política, obtenção de
permissões governamentais legais para a construção. (P/C) - 4
6. Alterações de câmbio da moeda. (C) - 1
7. Força maior. (C) - 1
RESULTADOS PROPOSTAS 9 CATEGORIAS E
IDENTIFICADOS
95 FATORES DE INFLUÊNCIA
95 fatores
de influência
foram
identificados
e
distribuídos
nas
categorias,
dos
inicialmente
697 fatores
encontrados
1. Relações governamentais
2. Contratos
3. Organização
4. Gerenciamento
5. Financiamento
6. Projeto e documentação
7. Alterações de escopo
8. Aspectos ambientais e econômicos
9. Atividades e equipamentos
14
28
35
257
78
71
43
69
102
7
13
5
26
6
7
4
14
13
69795
Resultados – Dados Bibliométricos
ARTIGOS POR ANO DE PUBLICAÇÃO
Análise das pesquisas aderentes de
acordo com a respectiva base de dados
RESULTADOS PROPOSTAS 9 CATEGORIAS E
IDENTIFICADOS
95 FATORES DE INFLUÊNCIA
95 fatores
de influência
foram
identificados
e
distribuídos
nas
categorias,
dos
inicialmente
697 fatores
encontrados
1. Relações governamentais
2. Contratos
3. Organização
4. Gerenciamento
5. Financiamento
6. Projeto e documentação
7. Alterações de escopo
8. Aspectos ambientais e econômicos
9. Atividades e equipamentos
14
28
35
257
78
71
43
69
102
7
13
5
26
6
7
4
14
13
69795
RESULTADOS Quantidade (%) de fatores responsáveis
por desvios de custos e prazos em cada
uma das categorias
Prazo e Custo (P/C)60%Prazo (P)
18%
Custo (C )16%
Não classificados (N/C)
6%
RESUMO FATORES
11/09/2015
15
SÍNTESE NA RSL
Processo de combinar sistematicamente diferentes fontes de dados (evidências) para responder à questão de pesquisa (EBSE – evidence-based software engineering)
Síntese Narrativa Meta-análise
• Identificar o que já foi escrito em um assunto ou tópico
• Permitir novos desdobramentos a partir dos estudos primários publicados, que não estão aparentes nestes estudos isoladamente
• Associar dados (evidências) a partir de estudos individuais com o uso de métodos estatísticos
• Muito usada em Medicina; pouco usada em Gerenciamento
(TRANFIELD; DENYER; SMART, 2003)
Scienceplus GroupInstitute for Health ResearchLancaster University, UK
• Principal contribuição da pesquisa:– Síntese de 92 estudos primários no tema desvios de custos e prazos em
empreendimentos da construção civil– Proposta de 09 categorias– Distribuição dos 95 fatores que influenciam os desvios em
empreendimentos da construção civil dentre as 09 categorias– Alinhamento da terminologia dentro do tema– Fatores relacionados à categoria “Gerenciamento” foram os mais
recorrentes (no geral)
• Contexto brasileiro: Evidências contrastantes
– A categoria “Contratos” apresentada com menor relevância
• Limitações: * Relacionadas à condução da RSL, * julgamento da
qualidade dos estudos e * os critérios de inclusão e exclusão das fontes (dificuldade para a tomada de decisões)
Síntese da RSL
Eliz Ayadin
Algumas referências, para começar
Capítulo 6 sobre RSL
ReferênciasENGSTRÖM, E.; RUNESON, P.. Software product line testing: a systematic mapping study. Department
of Computer Science, Lund University, SE-221 00 Lund, Sweden. Information and Software Technology
53 (2011) 2–13.
KITCHENHAM, B. A. Guidelines for performing Systematic Literature Reviews in Software Engineering.
Version 2.3, EBSE Technical Report, Keele University and University of Durham, UK, 2007.
KONDA, B.M. AND MANDAVA K. K. A systematic mapping study on software reuse. MS thesis:
Blekinge Institute of Technology, Sweden, 2010, 85p.
MELO, R.S.S.D. , GRANJA, A.D. & BALLARD, G. Collaboration to extend target costing to non-multi-
party contracted projects: evidence from literature. In:, Formoso, C.T. & Tzortzopoulos, P., 21th Annual
Conference of the International Group for Lean Construction. Proceedings. Fortaleza, Brazil, 31-2 Aug
2013. pp 237-246
MUIANGA, E. A. D.; GRANJA, A. D.; RUIZ, J. de A. Desvios de custos e prazos em empreendimentos
da construção civil: categorização e fatores de influência. Ambiente Construído, Porto Alegre, v. 15, n.
1, p. 79-97, jan./mar. 2015.
PETERSEN, K; FELDT; R.; MUJTABA, S.; MATTSSON, M.. Systematic mapping studies in software
engineering. School of Engineering, Blekinge Institute of Technology. University of Bari, Italy, 26 - 27
June, 2008.
PETTICREW, M. Systematic reviews from astronomy to zoology: myths and misconceptions. British
Medical Journal, 322 (13) 98-101, 2001.
TRANFIELD, D.; DENYER, D.; SMART, P. Towards a Methodology for Developing Evidence-Informed
Management Knowledge by Means of Systematic Review. British Journal of Management, v. 14, n. 3, p.
207–222, 2003.
11/09/2015
16
Obrigado!