03 jaime cury
Post on 02-Feb-2016
249 Views
Preview:
DESCRIPTION
TRANSCRIPT
METODOLOGIA CIENTÍFICA I
PG-Odontologia
FOP-UNICAMP
ORIGENS da CIÊNCIA MODERNACiência antiga baseada na autoridade e uso da lógica
Ciência moderna -século 17 baseada na OBSERVAÇÃO EXPERIMENTAÇÃO
•Princípios filosóficos básicos da ciência moderna se firmaram nos séculos 18 e 19. A lógica passa a ser associada ao método cientifico
O QUE É CIÊNCIA ?
É a aquisição sistemática do conhecimento sobre a natureza
Utiliza métodos objetivos e confiáveis de se chegar a “verdade”
O QUE É CIÊNCIA ?
A “verdade” em ciência nunca é absoluta ou final, pode sempre ser modificada ou substituída
• Descreve a natureza através de “modelos”, que podem ser quantitativos ou qualitativos
COMO SE FAZ CIÊNCIA
OBSERVAÇÃO: Aquisição do conhecimento em que o pesquisador não interfere no objeto de estudo
EXPERIMETAÇÃO: O pesquisador fixa, manipula e introduz variáveis no objeto de estudo
CIÊNCIA e MÉTODO
A Ciência só aceita como verdadeiro
o que é confirmável mediante
comprovação com o método
científico.
“Kit de Detecção de Mentiras”
Carl Sagan
MÉTODO CIENTÍFICO
É um conjunto de abordagens, técnicas e processos utilizados pela Ciência, de forma sistemática, para formular e resolver problemas de aquisição objetiva do conhecimento.
• A Ciência só pode estudar temas que se possa provar que o conhecimento adquirido é possivelmente falso
METODOLOGIA CIENTIFICA
“Conjunto de etapas ordenadamente dispostas a serem vencidas na investigação de um fenômeno”
METODOLOGIA CIENTÍFICA
Escolha do tema
Planejamento da Investigação (Pesquisa)
Desenvolvimento metodológico
Coleta e armazenamento de informações (observação e experimentação)
Análise dos resultados
Elaboração das conclusões
Divulgação dos resultados
METODOLOGIA CIENTÍFICA
MÉTODO CIENTIFICO: RECEITA? PROTOCOLOS ? EXPERIÊNCIA ?
“ Descobertas são feitas por indivíduos cientistas, que freqüentemente tem seu meio
próprio, original e distinto de pensar e que não necessariamente seguem qualquer protocolo
rígido de método científico”
“BOM SENSO ORGANIZADO”
MÉTODO CIENTÍFICO
“MEIOS (PROCEDIMENTOS) INDISPENSÁVEIS ASSEGURANDO
QUE OS RESULTADOS DE UMA PESQUISA SEJAM OS MAIS
CONFIÁVEIS POSSÍVEIS”
PESQUISA CIENTÍFICA
1-INICIA: Escolha do Problema (tema)
??????????????????????????????
2-TERMINA : Publicação dos Resultados
PUBLICAÇÃO
1-“The goal of scientific research is publication”
2-Reconhecimento em Ciência;
3-Pesquisa Original Deve Ser Publicada
4-PUBLICAÇÃO: O que foi feito ? Pq foi feito ? Como foi feito ? Contribuição ?
5- REPRODUTIBILIDADE
PUBLICAÇÕES
1- PRIMÁRIA: Artigos (papers) em Revistas Científicas
2- SECUNDÁRIA: Revisões
SISTEMÁTICA? META-ANÁLISE
3- TERCIÁRIA: Livros; Capítulos
4- ?????????? : Resumos (Abstracts
QUALIDADE DAS REVISTAS
1- CORPO EDITORIAL: Papel – Função
2- INDEPENDÊNCIA EDITORIAL
3- INDEXAÇÃO:
WebofScience (ISI) Medline SciELO LILACS
CAPES = ISI > Medline > SciELO > LILACS
PALAVRAS 1966 a 1997
1998 a 2000
2001 a 2003
dentistry AND brazil 210 213 758
... AND federal 35 43 127
...AND sao paulo* 92 106 351
...AND aracatuba 6 9 31
...AND araraquara 45 27 62
...AND bauru 23 14 54
...AND piracicaba 21 37 153
...AND ribeirao preto 16 17 76
...AND sao jose dos campos
7 7 14
Busca no Medline – Limites: affiliation e períodos
EVOLUÇÃO da PUBLICAÇÃO ODONTOLÓGICA BRASILEIRA na Base Medline
1966 a 2003
*Estado
1 = 1966 a 1997; 2 = 1998 a 2000 e 3 = 2001 a 2003
Evolução da Publicação Odontológica Brasileira Base Medline
0
100
200
300
400
500
600
700
800
1 2 3Periodos
Nu
mer
o
Brazil FederalSP AraçatubaAraraquara BauruPiracicaba Ribeirão PretoS. José dos Campos
PALAVRAS 1966 a
1997
1998 a 2000
2001a 2003
AD=(dent* AND brazil*) 519 335 898
... AND fed*) 77 83 216
...AND sao paulo*) 316 187 483
...AND aracatuba*) 21 7 14
...AND araraquara*) 87 35 94
...AND bauru*) 85 31 94
...AND piracicaba*) 53 52 203
...AND ribeirao preto*) 90 41 119
...AND sao jose dos campos*)
3 6 21
Busca no ISI Web of Science – Limites: address, article e período
EVOLUÇÃO da PUBLICAÇÃO ODONTOLÓGICA BRASILEIRA na Base ISI Web of Science
1966-2003
Evolução da Publicação Odontológica Brasileira - Base ISI
0
100
200
300
400
500
600
700
800
900
1 2 3Periodos
Num
ero
Brazil FederalSP AraçatubaAraraquara BauruPiracicaba Ribeirão PretoS. José dos Campos
1 = 1966 a 1997; 2 = 1998 a 2000 e 3 = 2001 a 2003
http://genos.cnpq.br:12010/dwlattes/owa/prc_imp_cv_int?f_cod=K4787007T0
http://www.lattes.cnpq.brhttp://www.cnpq.br
Quem é Quem em Ciência e Tecnologia no Brasil
Numero de Publicações - Base de Dados
0102030405060708090
100110120130140150
1974-1983 1984-1993 1994-2003 TotalPeriodos e Total
Nu
mer
o
ISI Medline LILACS
Outros Total
ISI > Medline > SciELO > LILACS
Pesquisadores do CNPq por Instituição Área de Odontologia, 2003
0
5
10
15
20
25
30
35
40
45
50
UNESP (3 Faculdades) USP (3 Faculdades) UNICAMP (FOP) FEDERAIS DEMAIS
Num
ero
23%
6.0
12.8
1.5
22.6
12.8
9.8
4.1
8.2
1.8
20.2
7.1
10.0
1.6
10.5
2.3
22.6
10.5
13.3
0.0
5.0
10.0
15.0
20.0
25.0
UNESP/Araçatuba UNESP/Araraquara UNESP/S. José UNICAMP USP/Bauru USP/Rib Preto
% PQ % Medline % ISI
Porcentagens de Bolsistas PQ e da publicação Medline e ISI, Área Odontologia, 2001-2003
6
7
4
1
2
6
4
2
1
2
3
1
6
7
10
11
12
10
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
2 3 4 5 6 7
Federais Estaduais Não SP UNESP UNICAMP USP Particulares
Odontologia
2001-2003
NOTAS
6 e 7 = Excelência
Número de Programas de PG, Docentes, Total de Publicações Int. AB e % de das Pub. por IES, Área
Odontologia, 2001-2003
173 3 5 2 7 7 4
1322
245
28
4661
37
96
5850
127
306
219
2641
66
29
308
76
102
147
211
2.18.3
17.225.1
17.9 12.05.4 2.43.3 6.2
0
50
100
150
200
250
300
350No. Programas do IESNRDNo. Pub. Int. AB do IES% Pub. Do Total (1225)
Int AB / NRD6
0.0
1.0
2.0
3.0
4.0
5.0
6.0
7.0
8.0
PG Odontologia
2001-2003
1- INDEXAÇÃO: Nacional; Internacional
QUALIDADE DAS REVISTAS
2- IF = Impact Factor: Número de artigos citados em determinado ano e publicados nos 2 anos anteriores, dividido pelo numero de artigos publicados nestes 2 anos. B = Numero citados em 2000 e publicados em 1998-1999
C = Numero de artigos publicados em 1998-1999
D = B/C = IF2000
QUALIDADE DAS REVISTAS
INTERNACIONAL
1. ISI (IA e IB)
2. Medline (IC)
NACIONAL
1. Scielo (NA)
2. LILACS (NB)
3. DEMAIS (NC) Não consideradas
IA > IB > IC > NA > NB
Nome Abreviado I F2002
J DENT RES 2.956
CRIT REV ORAL BIOL M 2.649
PERIODONTOL 2000 2.493
DENT MATER 1.912
ORAL ONCOL 1.873
J PERIODONTOL 1.854
J PERIODONTAL RES 1.776
J CLIN PERIODONTOL 1.736
CLIN ORAL IMPLAN RES 1.503
J ORAL PATHOL MED 1.468
ORAL MICROBIOL IMMUN 1.441
INT J ORAL MAX IMPL 1.42
J OROFAC PAIN 1.34
CARIES RES 1.31
ENDOD DENT TRAUMATOL 1.306
COMMUNITY DENT ORAL 1.295J DENT 1.257
EUR J ORAL SCI 1.218
OPER DENT 1.168
J AM DENT ASSOC 1.157
DENT TRAUMATOL 1.064
ARCH ORAL BIOL 1.047
ORAL DIS 1.019
ORAL SURG ORAL MED O 0.983
INT ENDOD J 0.974
AM J DENT 0.961
ACTA ODONTOL SCAND 0.94
J ORAL MAXIL SURG 0.891
INT J PERIODONT REST 0.81
J PUBLIC HEALTH DENT 0.809
DENTOMAXILLOFAC RAD 0.779
INT J PROSTHODONT 0.768
BRIT DENT J 0.766
INT J ORAL MAX SURG 0.754
J CRANIO MAXILL SURG 0.75
J ENDODONT 0.748
BRIT J ORAL MAX SURG 0.745
QUINTESSENCE INT 0.736
AM J ORTHOD DENTOFAC 0.732
EUR J ORTHODONT 0.72
SWED DENT J 0.711CRANIO 0.697
ANGLE ORTHOD 0.656
INT DENT J 0.644
J PROSTHET DENT 0.568
COMMUNITY DENT HLTH 0.532
J ORAL REHABIL 0.527
CLEFT PALATE-CRAN J 0.523
AUST DENT J 0.45
1.1310.9740.561
*ARTIGOS de AUTORIA ou CO-AUTORIA de Professores da FOP na Base ISI e **CITADOS de 10 a mais vezes, ISI Web of Science, 07/04/04
*CITED REFERENCE **TIMES CITED
Some histophysiological aspects of paneths cells …….. studies. Merzel J. Acta Anatomica 66 (4): 603-& 1967
15
Integrated actions of masticatory muscles ….. Vitti M, BASMAJIAN JV. Anatomical Record. 187 (2): 173-190, 1977 59
A murine nephritogenic…….. SABBAGA J, Line SRP, POTOCNJAK P, MADAIO MP. European Journal of
Immunology. 19 (1): 137-143, 1989 69
Fluoride release from some dental materials in ... Carvalho AS, Cury JA. Operative Dentistry. 24 (1): 14-19, 1999
18
Total = 64 1980
Média 31
Metodologia Científica I e II
PG-odontologia, FOP-UNICAMP
Jcury@fop.unicamp.br
CIÊNCIA e MÉTODO CIENTÍFICO
A Ciência só aceita como verdadeiro
o que é confirmável mediante
comprovação com o método
científico.
“Ferramentas para o pensamento cético”
MÉTODO CIENTÍFICO
1- Que questões devem ser respondidas ou merecem ser “ autoridade em Ciência”2- Reunir/organizar as informações relativas ao
problema
3- Formular hipótese de trabalho que represente a mais provável resposta à questão
4- Fazer observação para testar a hipótese
MÉTODO CIENTÍFICO
5- Resultados contradizem a hipótese formulada, esta é modificada6- Resultados de acordo com a hipótese: outros testes “ provar que o pesquisador não está errado”
7- Se testes subseqüentes confirmam a hipótese, ela é aceita, os resultados são publicados e são expostos a testes por outros
8- Repetições sucessivas – CONSENSO - Contribuição significativa a ciência.
• O princípio da “revisão pelos pares” é um dos pilares da ciência.
• Ele determina que um trabalho feito por determinado pesquisador só adquire caráter científico quando outros estudiosos atestam seu valor
Utiliza métodos objetivos e confiáveis de se chegar a “verdade”
A “verdade” em ciência nunca é absoluta ou final, pode sempre ser
modificada ou substituída
“REVISÃO pelos PARES”
1. Ciência não é uma “ação entre amigos”
2. As regras (“armas, ferramentas”) devem ser as mesmas
3. O rigor cientifico usado no julgamento do meu trabalho deve ser o mesmo que uso ao julgar o do meu “amigo”
SISTEMA AUT0-VALIDADO
“REVISÃO pelos PARES”
DESCRÉDITO - DESQUALIFICAÇÃO
1. Análise de estrutura de CV
Trabalhos enviados para publicação
2- MANDA para..; ENVIA para....
SUBMETE a.....
3- Notificação ? Protocolo ?? Fila???
AVALIAÇÃO
1. UNICAMP (17 anos)
2. CNPq – Assessor de Área
3. CNPq, FAPESP, CAPES, FAEP – ad hoc
4. Revistas
- Braz Dent J; Braz Oral Res; J App Oral Sci; RPG
- Caries Res; Am J Dent; Environ Toxicol Pharmacol; Arch Oral Biol; JDR (pré-sel.)
ESTRUTURA DO ARTIGO CIENTÍFICO
1- Título: Informativo, Conciso e “Atrativo”
2- Autores:?; Endereço Autor Correspondente
3- Data submissão/Aceitação
4- Resumo: Porquê foi feito? O quê ? O quê foi encontrado? Qual foi a Conclusão?
Espelho ! Impressão a 1a vista
5- Introdução: Estabelece o problema e seu atual estado de conhecimento, justificando a razão da pesquisa
ESTRUTURA DO ARTIGO CIENTÍFICO
6- Material e Método: Informações( Medidas; estratégia da pesquisa; delineamento) suficientes para reprodução do trabalho.
7- Resultados: O quê foi obtido, freqüentemente na ordem/forma que a pesquisa foi delineada. Convencer o leitor da verdade das conclusões do trabalho.
8- Discussão: Argumentos lógicos ligando os dados da seção de resultados, assim como o de outros pesquisadores, às conclusões
QUALIDADE DE UM ARTIGO CIENTÍFICO
1- É novo? Original????? (Pergunta-problema; Met.; Del;Interp)
2- É verdadeiro? Os dados são consistentes?
Suportados por mais de um dado? Fechado!
3- É importante?
Traz contribuição ao conhecimento
Peer Review I: Funções
• Avaliar a originalidade do trabalho, sua
qualidade científica e importância clinica
• Fornecer ao autor uma critica construtiva
do trabalho e sugerir meios de aperfeiçoar
o manuscrito
• Julgar se o manuscrito apresenta o
estudo de maneira clara e concisa
Shellis P. ORCA Summer School, Marburg, Alemanha, 2004
• Submissão ao Editor• Editor decide se o paper é adequado a revista• Se adequado, o editor seleciona 2 especialistas
para revisar o paper• Revisores se reportam ao Editor• Editor toma decisão com base nos comentários
dos revisores e na sua leitura do paper• Editor escreve aos autores
Peer Review II: O Processo, parte 1
• Possíveis decisões após 1a revisão a) Aceito sem mudanças (extremamente raro!)
b) Rejeitado c) Autores são solicitados a revisar o paper de
acordo com os comentários dos revisoresCaries Res: ~ 55% (b), ~ 45% (c)
• Decisão (c) geralmente resulta em aceitação da versão revisada, mas pode exigir uma 2a revisão, em casos de dúvidas
Peer Review II: O Processo, parte 2
Shellis P. ORCA Summer School, Marburg, Alemanha, 2004
Escolhendo a Revista Certa I
• São os resultados interessantes somente ao seu próprio país?
- Sim: Revista local
- Não: Revista Internacional
• Algumas vezes há casos para publicação em ambos
• Campo e abrangência da revista
- Geral ou especializada
- Seu paper se encaixa?
Fator de Impacto
- Importante mas não primário
- Deve ser balanceado contra em que revista se encaixa o paper
Escolhendo a Revista Certa II
• Restrições de tamanho e U$
• Velocidade de Publicação
- Reputação
- “Publicação acelerada”
Escolhendo a Revista Certa III
Teses e Papers
• Uma tese é diferente de um Artigo
- Revisão da Literatura: Exaustiva vs. Representativa
- Métodos: Detalhado vs. Inteligível
- Resultados: Compreensivo vs. Seletivo
- Discussão: Compreensiva vs. Focalizada
• ASSIM:
- Não tente converter uma tese em paper
- Escreva o artigo “de novo”
Estratégia de Publicação
• Acerte com co-autores e sponsor como os resultados da pesquisa poderiam ser divididos
- Um paper ou +?
- Quem são os autores?
- Qual será a ordem dos autores em cada paper?• Tente dividir o trabalho em papers que não
excedam a restrição de paginas MAS• Evite ‘salami publishing’
RESUMO I
• Deve ser conciso, não um miniatura do artigo. Lembre que ele é uma “propaganda” do artigo
• Estrutura (se requerido ou não) - Objetivo (razão?) - Métodos - Resultados (Principais!) - Conclusões
• Não revise a literatura• Não cite referencias• Objetive sumarizar dados numéricos e relate
somente os resultados mais importantes• Ao relatar o desfecho de estudo clinico, é
melhor dar o intervalo de confiança (95%) que o valor de ‘P’ para a diferença entre controle e experimental
RESUMO II
INTRODUÇÃO
• Dê a sustentação ao problema que justificou o artigo
• Evite revisar todo o assunto: focalize o problema
• Evite descrever o experimento por antecipação
Estudos com Humanos
• Declaração de Helsink requer
- Aprovação por CEP institucional
- Assinatura – declaração de participação livre e esclarecida
METODOS
• Assuma que o leitor é competente no campo• Descreva os procedimentos de tal modo que o
leitor possa entender claramente o que foi feito e poderia repetir o trabalho a partir da descrição dada
• Para métodos padrões se refira ao artigo publicado, mas nomeie o método e descreva as modificações feitas
Results 1
• Descreva os resultados e dê atenção a diferenças importantes
• O texto não deve simplesmente repetir os dados numéricos das tabelas e figuras
• Não apresente os mesmos dados em tabelas e figuras
Results 2
• Não se fixe apenas nos valores de ‘P’ para caracterizar diferenças entre grupos
• A diferença pode ser estatisticamente significante, mas não clinicamente
• No contexto clinico é geralmente mais útil descrever as diferenças em termos de 95% do intervalo de confiança
• Este é especialmente valioso para reportar o desfecho de estudo clínicos
DISCUSSÃO
• Não repita a seção precedente – não esqueça que o leitor acabou de ler os resultados!
• Se focalize nas implicações do estudo• Não tente explicar tudo (especulativo!)• Sumarize brevemente as conclusões
(mesmo se formalmente a seção “Conclusões” não seja requerida)
ESTILO
• PRIMÁRIO
- Clareza
- Precisão
- Conciso
• SECUNDÁRIO
- “Estilo”
CRITÉRIOS NA REVISÃO
• RELEVÂNCIA
- Contribuição ao conhecimento
• MÉRITO
- Delineamento experimental
Princípios Básicos em Princípios Básicos em PesquisaPesquisa
1.1. RandomizaçãoRandomização
2.2. Cegamento ou Cegamento ou
mascaramentomascaramento
3.3. CalibraçãoCalibração
4.4. Controle de viesesControle de vieses
5.5. Uso de grupos de Uso de grupos de
comparaçãocomparação
6.6. Representatividade da Representatividade da
amostraamostra
CASUALIZAÇÃO
“Técnica onde cada sujeito ou objeto a ser medido tem a mesma probabilidade de estar
incluindo em dado grupo da pesquisa”
“ Grupos a serem comparados deveriam estatisticamente serem os mesmos no início do experimento, de tal modo que
qualquer diferença ao final do experimento deva ser atribuída ao
resultado do tratamento”
6- VIÉS
“Embora a casualização possa prevenir o viés humano
na seleção da amostra e distribuição das unidades
experimentais, o experimento ainda corre risco grave
do perigo de distorções psicológicas estarem sempre
presentes”
BIAS IS EVER-PRESENT
Va) VIÉIS NOS VOLUNTÁRIOS (unidades experimentais)- Cego: Vit. C; Plax “
b) VIÉS no PESQUISADOR“Nenhum homem está totalmente livre de
influências subjetivas”
“Somente o ingênuo ou o desonesto afirma que sua objetividade própria é a segurança suficiente”
Blindfold test”: Sejam voluntários, animais, bactérias ou compostos químicos, eles não podem saber se estão sendo usados como controle ou não
• NEGATIVO: Grupos controle e experimental
diferem em somente um fator, i.e., o tratamento
•POSITIVO: Verificar capacidade de resposta do
sistema observado
•ATIVO (“padrão”): Solucionar problema ético
•PAREAMENTO de CONTROLES
• CASUALIZAÇÃO: Total ou pareada
CONTROLES
Estudo cruzado DuploCego
• Controle negativo: H2O
• Controle Positivo: Sacarose 1,5%
• Controle Ativo: Lactose 1,5%
• Experimental: Zero CalR
• Controle negativo:
• Controle Ativo: MFP/SiO2
• Experimental: MFP/CaCO3
The aim of this study was to evaluate if it is possible to reduce the concentration of fluoride (F) in professional acidulated fluoride gel without jeopardize its anticariogenic potential, what would increase the safety of clinical use considering the acute side-effect due F ingestion. For this purpose it was evaluated F uptake and its effect on enamel resistance to further demineralisation. The idea is relevant, however:
1. Similar study evaluating F uptake was conducted by Dijkman et al. (Caries Res 16:197-200, 1982), missed by the authors
2. The protocol used by the authors to evaluate F uptake was not the same used to evaluate resistance to demineralisation, since in the first test were made 3 applications of gel, but in the 2nd only one. Moreover, for the first test 200 m of enamel was removed from the tooth surface, but 10 times less for the 2nd test.
3. Although the authors have used different protocol to evaluate enamel F uptake and resistance to demineralisation, this is not clear in the abstract
4. The experimental design of this study considered that the effect of professional F gel is only to increase the resistance of a carious enamel to further demineralisation, but F is also important conferring resistance to demineralisation to sound enamel. Thus, considering the relevance of this study an additional test should be conducted
5. The pH 5.0 of the gels used is not usual and lower pHs are recommended. Furthermore, the author introduces another variable in this study since the concentration of H3PO4 was not kept
constant when they prepared gels with different F concentration
6. Furthermore, to justify this publication is cited in the Introduction (page 3, lane 13th) that 1.23 F gel is not recommended in children up to 6 years due toxicological risks, and this opinion is not universal
7. Additionally, the authors suggest in the introduction (2nd paragraph, first phrase) that fluoride gel is involved with dental fluorosis, but this is not epidemiological supported
8. The authors showed that the effect of F concentration in the gel is important but they conclude that fluoride gels less concentrated should be recommended to children (see, Clinical relevance item). It seems me incongruent
General Comments
The aim of this study was to evaluate if F would increase the nephrotoxicity of gentamicin, but surprising the data suggest that it increased the cellular sensitivity to the antibiotic. Although the authors tried to explain the findings, it is very difficult to support them, considering that:
•1. There is no control group of rats not receiving either F or gentamicin. This group would be fundamental to check if the increase of NAG in the control group not treated with the antibiotic, happened between the 7th and 9th day, was not fortuity
•2. Furthermore, the difference between the control groups was statistically significant only on the 7 and 8th day and there is no explanation for this peak effect
•3. Also, if F there was a trend increasing the cellular sensitivity to gentamicin, a dose-response effect should be found. However, an opposite result was found since figure 1 shows low NAG activity in urine of the rats treated with the lower NaF concentration.
Specific Comments
Abstract
1- In the 1st phrase on the 2nd paragraph is described that the urine volume and NAG isoenzymes in NaF treated groups did not change during the 10 months, but the data were not shown
2- The conclusion is not supported by the results since the difference between the NaF groups in comparison with the control was not consistent overtime
Results
1- The statement on the 8th lane that the results of urine volume of the NaF groups are markedly different from the control group is not statistically supported
2- The reversal of oliguria for the control group on the 10th day, described on lane 16th, is also not statistically supported
Discussion
The authors should explain the reason for the peak effect of F found around the 8th day of gentamicin administration, but suddenly lost on the day after
Re: Manuscript No. 103/02: Remineralization of enamel surface lesions ………
The results are clear, but confirmatory with regard to data already published using CPP-ACP in chewing gum (Shen et al., 2001). Furthermore, in my opinion the scientific value of this manuscript for publication in Caries Res is not high, considering that the data are not new; the only difference being in the vehicle used to carry the CPP-ACP. In addition:
Re: Manuscript No. 75/03: Enamel demineralization in situ with varying amount ..........
The main concern with this manuscript is about the model used to evaluate enamel resistance to demineralization because.
•1. Mandibular appliances are more appropriate to evaluate enamel remineralization since demineralization is limited by the permanent salivary action
•2. The enamel slabs were placed in the buccal flange impairing plaque accumulation due the mechanical attrition forces involved with the oral mucosa.
•3. Dental plaque was formed on the gauze and not directly on the enamel surface
4. 4. Dental plaque was acquired in conditions not favoring the formation of a cariogenic biofilm because the appliances were worn for two days, in the absence of sugar exposure, before commencing the test regimen.
5. The study did not follow a true cross-over design because first the volunteers used the fluoride toothpaste and in the second time the fluoride free. Considering the long 10 phases of this study the volunteers accomplishment could interfere in the results found during the second time when non-fluoridated dentifrice was used or the volunteers motivation could explain the results when in the first steps fluoride dentifrice was used.
My concern about this manuscript is the same with regard to the paper published by the same authors in 2001 in J Dent Res. The conclusions should consider the limitations of the model used following the principles of the science.
In addition:
Manuscript No. 75/03
Dear ???
I have now received reviews of your paper. As you will see, both reviewers agree that the paper contains interesting data. However, both have identified defects in the study design and neither of them believe that the clinical relevance is very high. Because of the effort that has gone into running this trial, and because such trials are conducted only infrequently, I believe that publication would be appropriate. However, it is essential that the paper is revised in such a way that it discusses explicitly the defects in the study design and that the conclusions are appropriately cautious and circumscribed.
If I may synthesise and amplify the reviews, the main defects in the study design are as follows:
Re: Manuscript No. 151/02: Inhibition of dentine demineralization by zinc oxide ..........
It is very difficult to understand how zinc oxide (ZnO) could inhibit dentine demineralization if it is practically insoluble in water; concentration of soluble zinc ions should be showed because the results suggest a simple physical effect on surface. Furthermore, the link between the studies in vitro and in situ is not clear. Thus, the minimal concentration of ZnO used in the in vitro study1 was 1%, but in the studies in vitro2 and in situ, the toothpaste containing 1% of ZnO was diluted 4x (final concentration is approximately 0.25%, 4x lower than the minimal tested). The other relevant point is that in the in situ study, almost 50% of the samples were lost and this could have influenced the results obtained. In addition, the manuscript should be extensively revised as described below:
Re: Manuscript No. 151/02: Inhibition of dentine demineralization by zinc oxide ..........
The authors improved the understanding of the manuscript, but some questions remain, because:
1. The study in vitro1 showed that the effect of 1% ZnO suspension on dentine demineralization was not statistically different than that compared with the control treatment (water). In addition, this study also showed that only the treatments with 5% ZnO suspension or 0.2% NaF solution were statistically effective on enamel demineralization reduction in comparison with the control. Thus, in the study in vitro2 if would expect that the authors had used a concentration of ZnO in the toothpaste around 5%. However, in the study in vitro2 it was used an experimental toothpaste containing 1% of ZnO, showing incoherence between the studies. Furthermore, in study in vitro2 it used a slurry of toothpaste, so that the final concentration of ZnO would be 0.25%. This concentration was 4x lower than the minimal concentration tested (1%) in study in vitro1, which was ineffective to reduce enamel demineralization. The surprise was that …………….
2.
METODO CIENTIFICO“Livro de Estórias”
•Os pesquisadores devem primeiro decidir que questão pode ser resolvida e se os problemas são merecedores de resposta;
•Eles então reúnem e organizam a informação pertinente ao problema;
•Eles elaboram a hipótese de trabalho que representa a mais provável resposta a pergunta;
•Eles então fazem observações que testam a hipótese. Este estágio envolve a escolha de estratégias e técnicas;
•Se os resultados contradizem a predição da hipótese esta é modificada;
•Se os resultados concordam com a hipótese, os investigadores idealizam outros testes da hipótese na tentativa de mostrar que eles estão errados;
ESCOLHA do PROBLEMA
“ Muitos cientistas são gratos não a sua capacidade de solucionar problemas mas sim a sabedoria
na sua escolha”
TIPOS DE CIÊNCIA: Ciência Pura? Ciência Aplicada?
PROJETO de PESQUISA
“What makes a research project outstanding?
1- O estudo será bem conduzido!
2- Serão usadas as mais modernas das tecnologias!!
3- Os resultados serão cuidadosamente analisados!!!
4- Os dados serão reportados com exatidão!!!!
5- A pesquisa será eticamente conduzida!!!!!
??????????
“Outstanding”PROJETO de PESQUISA
1. Há uma pergunta importante para ser respondida?
2. O projeto pode gerar uma observação fértil (“seminal”)??
Leddy PD. Practical research – Planning and Design, 6th ed., 1997
3- Será gerado novo conhecimento ???
O PROBLEMA = ???
The heart of the research project!!!
1. O Problema ou Pergunta é o Centro Axial em torno do qual gira a pesquisa como um todo
2. O estabelecimento do problema deve ser expresso com a mais precisa das expressões verbais
3. Ele é (?) então dividido em subproblemas4. Sendo claramente estabelecido, o objetivo e direção da pesquisa como um todo não deixa dúvidas
1- CIÊNCIA PURA
“O ASSUNTO FASCINA O PESQUISADOR ???”
CARACTERISTICA: Originalidade e criatividade
Sensibilidade: Estado Psicológico do Pesquisador
ESCOLHA: a)Novas Idéias – Área Estudada
b)Campo Novo
“CIÊNCIA pela CIÊNCIA”
“EXPERIMENTOS BEM DELINEADOS PARA TESTAR HIPÓTESES BEM FORMULADAS”
Porque tenho que ser eu entre outros tantos a fazer tal trabalho ????
a)Experiência(Teórica- Experimental
b)Equipamentos;c) Equipe/Grupo
Idéia Original Nova- Equipamento Satisfatório- Experiência
CONDIÇÃO BÁSICA: “O tempo todo mais problemas”
REFLEXÃO: Desistindo (abandonando o problema)
“Jovem vs. Sênior” “Fracasso vs Sabedoria”
2 - CIÊNCIA APLICADA
a) Definição do Problema Relevante vs. Trivial Sem Aplicação
Problema Gerado vs. EncomendadoComo ele surgiu ? Pq ele é importante ?
Destino dos resultados? b) SEGREDO Ciência não Progride Necessário: Psicologia (desmotivação)
c) TRABALHO FUNDAMENTAL Prioridades d) REAVALIAÇÃO
3- CUSTO do EXPERIMENTO
“Ciência não tem Preço”
a) Equipamentos/materiais (compra/desgaste)
b) Salários
c) “Overhead”
d) Mau Uso/Economia
4-PRIORIDADES E QUESTÕES SIMILARES
a) “Dono”
b) Publicações
c) Atitudes Imorais
. Visitar laboratórios
“Roubar Idéias e Por em Prática”
“ “ “ Esconder e ......”
. OBTER INFORMAÇÕES Conversas, cartas, Visitas, Parecerista Solicitar Permissão por escrito
“Ferir sensibilidade”d) Pesquisa com Base em Publicações
5- CONSIDERAÇÕES MORAIS
a) Ciência Pura
b) Aplicada
BUSCA NA LITERATURA
“SEIS HORAS NA BIBLIOTECA PODE SALVAR SEIS MESES DE TRABALHO PERDIDO NO LABORATÓRIO OU ...”
http://www.bireme.br ((LILACS)
http://www.ncbi.nlm.nih.gov/PubMed/
PESQUISA??
1- Coleta de Informações: “ Ir á biblioteca”
2-Transporte de fatos:“Interpretação de dados??”
3-Busca por informação: “Pesquisa de preços”
O QUÊ É PESQUISA?
Processo pelo qual se tenta sistematicamente e com apoio de dados:
a- responder a uma pergunta;
b- resolução de um problema;
c- o melhor entendimento de um fenômeno
Princípios Básicos em Princípios Básicos em PesquisaPesquisa
1.1. RandomizaçãoRandomização
2.2. Cegamento ou Cegamento ou
mascaramentomascaramento
3.3. CalibragemCalibragem
4.4. Controle de viesesControle de vieses
5.5. Uso de grupos de Uso de grupos de
comparaçãocomparação
6.6. Representatividade da Representatividade da
amostraamostra
PESQUISA EXPERIMENTAL
• GRUPO CONTROLE
• DUPLO CEGO
???????????
“Avaliação da Pílula contra Enjôo de Viagens Marítimas”
METODOLOGIA DE PESQUISA
X
MÉTODO CIENTÍFICO
MÉTODO CIENTÍFICO
1- Que questões devem ser respondidas ou merecem ser “ autoridade em Ciência”2- Reunir/organizar as informações relativas ao
problema
3- Formular hipótese de trabalho que represente a mais provável resposta à questão
4- Fazer observação para testar a hipótese
MÉTODO CIENTÍFICO
5- Resultados contradizem a hipótese formulada, esta é modificada6- Resultados de acordo com a hipótese: outros testes “ provar que o pesquisador não está errado”
7- Se testes subseqüentes confirmam a hipótese, ela é aceita, os resultados são publicados e são expostos a testes por outros
8- Repetições sucessivas – CONSENSO - Contribuição significativa a ciência.
METODOLOGIA DE PESQUISA
1- PESQUISA SE ORIGINA COM UMA QUESTÃO OU PROBLEMA
a- O quê não sabemos ou não entendemos
b- Porquê? Qual é a causa? O que significa?
2- PESQUISA EXIGE UMA ARTICULAÇÃO CLARA DE OBJETIVO(METAS)
“ O que precisamente se pretende fazer?”
3- PESQUISA REQUER UM PLANO ESPECÍFICO DE PROCEDIMENTOS
“Como se propõe a atingir o objetivo?”
METODOLOGIA DE PESQUISA
4- PESQUISA GERALMENTE DIVIDE O PROBLEMA PRINCIPAL EM SUB-PROBLEMAS
“ O todo é composto da soma das partes”
5-PESQUISA É GUIADA POR UM PROBLEMA ESPECÍFICO, QUESTÃO OU HIPÓTESE
“Suposições lógicas” Fundamentação Teórica
6- PESQUISA ACEITA CERTAS SUPOSIÇÕES CRÍTICAS
a- Válidas para justificar a pesquisa
b- Podem ser explicitadas ou não
METODOLOGIA DE PESQUISA
7- PESQUISA REQUER A COLETA E INTERPRETAÇÃO DOS DADOS PARA RESOLVER O PROBLEMA QUE GEROU A PESQUISA
a- Isolado o problema- dividido em partes- levantadas questões razoáveis ou hipóteses- reconhecidas as suposições
b- Coleta- organização- interpretação de dados
c- Interpretação Mente lógica Habilidade para razão indutiva Objetividade do pesquisador
METODOLOGIA DE PESQUISA8- PESQUISA É POR NATUREZA CÍCLICA
a- Porquê? O que causa aquilo? Como?b-Levantado o problemac- Dados reunidos que parecem justificar o problemad- É proposta uma tentativa de solução para o problema Hipótesee- Continua a busca por mais dadosf- Conjunto de dados é processado e interpretadog- Descoberta é feita
h- A hipótese tentativa é aceita ou rejeitada: a questão é parcial/completa/ e respondida ou NÂO
i- O ciclo é completo
“ Pesquisa gera Pesquisa
DELINEAMENTO DA PESQUISAArquiteto vs Pesquisador
1-Problema Corretamente Formulado2- Tipos de Pesquisa:
Não Experimental – Descrição cuidadosa de um fenômeno observado e/ou explorar as possíveis relações entre diferentes fenômenos
Estudo transversal – Medir as características de uma amostra a um ponto no tempo
Estudo Longitudinal – Investigar mudanças de uma amostra em certo tempo
2- Tipos de Pesquisa:
Estudos Correlacionais – Aumenta o conhecimento obtido de estudos descritivos explorando potenciais relações entre fenômenos.
Pesquisa Causal-Comparativa(Ex post facto)
Descreve relações entre alguma coisa que ocorreu no passado(após o fato) e a resposta subseqüente
Estudo Experimental -
• O Método Experimental
• o Método da Causa e Efeito
• Delineamento Grupo Controle Pré-teste Pós-teste
• O Método Laboratorial.
2- Tipos de Pesquisa:
DELINEAMENTO EXPERIMENTAL
a) Tratamentos: O interesse da pesquisa que motivou o experimento.
b) Unidade Experimental: dente,boca, animais, etc
c) População/Amostra: Definição do grupo sobre o qual os investigadores querem generalizar e a partir dos quais eles farão amostragens
N = ?
DELINEAMENTO EXPERIMENTAL
d) Distribuição: Como as unidades experimentais são alocadas aos tratamentos (Processo específico de casualização)
e) Mensuração dos Resultados: Contagens ou medidas a serem feitas nas unidades experimentais
4- CONCEITOS
a) Muitos iniciantes ficam entusiasmados com o glamour do problema que eles falham em considerar as conseqüências dos detalhes da disponibilidade, coleta e interpretação dos dados.
b) O objetivo básico do delineamento experimental é minimizar os efeitos dos erros
c) O sucesso será função direta do conhecimento dos passos seguintes da pesquisa.
COMO MINIMIZAR OS ERROS
a) Evitar
b) Distribuir
c) Medir
d) Torná-lo pequeno
TIPOS DE DELINEAMENTOS EXPERIMENTAIOS
1-Experimentos inteiramente ao acaso Ensaio controle casualizado
“Grupos de unidades experimentais são casualmente distribuídos em dois ou mais
grupos”
a) Grupo Experimental
b) Grupo Controle: Negativo (Placebo)Positivo(Padrão) Ativo (Convencional)
VIÉS
“Qualquer influência, condição ou estabelecimento de condições que isoladamente ou em conjunto distorcem os dados que devem ter sido obtidos por pura chance”
Viés pode/deve ser minimizado não tendo nem o voluntário nem o pesquisador
conhecimento de qual grupo recebe o tratamento, caracterizando o estudo
duplo-cego
CASUALIZAÇÃO
“Técnica onde cada sujeito ou objeto a ser medido tem a mesma probabilidade de estar
incluindo em dado grupo da pesquisa”
“ Grupos a serem comparados deveriam estatisticamente serem os mesmos no início do experimento, de tal modo que
qualquer diferença ao final do experimento deva ser atribuída ao
resultado do tratamento”
DELINEAMENTO DE GRUPOS PAREADOS
“ Quando o número de unidades experimentais é pequena e a variação de característica pode não gerar grupos equivalentes”
PAR: Metade para controle/metade para tratado
BLOCOS: Sexo, Dentes, Ninhada de ratos....Casualizado
CONTROLE COMPENSADO
1 DELINEAMENTO FATORIAL
“ Possibilidade de estudar o efeito de fatores isolados e sua associação”
DOGMA: O único meio legitimo de fazer experimentos é variar um fator a cada tempo
14- DELINEAMENTO CONTRABALANÇADO “Cruzado – Crossover”
a) Reduzir problema de variação individual
b)Voluntários são submetidos a todos os tratamentos,
mas numa seqüência: Um grupo é tratado numa sequência de condições, enquanto que o outro numa sequencia diferente
c) Cruzado: Grupos trocam os tratamentos
d) Pode ser melhorado se forem feitas análises antes dos cruzamentos
e) Vantagem: cada voluntário é controle de si próprio, facilitando detectar pequenas diferenças
14- DELINEAMENTO CONTRABALANÇADO
f) Desvantagem: Interação entre tratamentos (carry-over effect)
Crossoveritis
g) Washout
5- SPLIT MOUTH
a) Vantagem: Diminuir variabilidade
b) Desvantagem: Tratamento de um lado pode afetar o outro (“carry-across effect”)
c) Há ganho de eficiência quando a doença é simetricamente distribuida e um número suficiente de sítios está disponível
METODO CIENTIFICO“Livro de Estórias”
•Os pesquisadores devem primeiro decidir que questão pode ser resolvida e se os problemas são merecedores de resposta;
•Eles então reúnem e organizam a informação pertinente ao problema;
•Eles elaboram a hipótese de trabalho que representa a mais provável resposta a pergunta;
•Eles então fazem observações que testam a hipótese. Este estágio envolve a escolha de estratégias e técnicas;
•Se os resultados contradizem a predição da hipótese esta é modificada;
•Se os resultados concordam com a hipótese, os investigadores idealizam outros testes da hipótese na tentativa de mostrar que eles estão errados;
“Os pesquisadores testam a hipótese tentando
desmenti-la”
“As pessoas tentam provar para si mesmas que elas estão certas”
“Os cientistas tentam provar para si mesmos que eles estão errados”
“Outras explanações plausíveis alternativas para os dados são consideradas, tentando
mostrar que estas hipóteses alternativas são incorretas”
•Se testes subseqüentes reforçam a hipótese, então os pesquisadores aceitam a hipótese e publicam os resultados permitindo que outros
pesquisadores tentem replicar os dados;
•O sucesso de outras replicações como também de outros testes da hipótese eventualmente leva
a um consenso, e deste modo outra peça de
informação é adicionada ao corpo da ciência.
•E ..........................
DELINEAMENTO DE EXPERIMENTOS
1- PRINCIPIOS PRIMÁRIOS
• Conhecimento do problema/teoria
• Hipótese;
• Dividir o problema
• Objetivo: Porque estou eu fazendo determinado
experimento ? Ele realmente me dirá o que eu quero saber ?
2- VARIÁVEIS•“Eventos semelhantes ocorrem em condições
semelhantes”
•“Condições essenciais que fixadas permitem a
ocorrência de determinado evento” .......
Variáveis -
INDEPENDENTE: fator, tratamento ou variável
que é controlada/manipulada pelo investigador -
DEPENDENTE: atributo particular que é medido
em resposta a mudança na variável independente
Dente + Microbiota + Dieta ......... Cárie
3- MEDIDAS ABSOLUTAS ou COMPARATIVAS
4- ESCOLHA da AMOSTRA
“O experimento fácil pode não
responder corretamente a questão”
5- CONTROLES E PADRÕES
“O experimento ideal é aquele no qual todas as variáveis relevantes (independentes) são
mantidas constantes, exceto aquela em estudo (dependente)”
“Pesquisa sem controle não é considerada experimental”
ANTES e DEPOIS
“ Um bom experimento tem controles adequados que não são substituídos por sofisticações técnicas ou conceituais”
• NEGATIVO: Grupos controle e experimental
diferem em somente um fator, i.e., o tratamento
•POSITIVO: Verificar capacidade de resposta do
sistema observado
•ATIVO (“padrão”): Solucionar problema ético
•PAREAMENTO de CONTROLES
• CASUALIZAÇÃO: Total ou pareada
CONTROLES
6- VIÉS
“Embora a casualização possa prevenir o viés humano
na seleção da amostra e distribuição das unidades
experimentais, o experimento ainda corre risco grave
do perigo de distorções psicológicas estarem sempre
presentes”
BIAS IS EVER-PRESENT
Va) VIÉIS NOS VOLUNTÁRIOS (unidades experimentais)- Cego: Vit. C; Plax “
b) VIÉS no PESQUISADOR“Nenhum homem está totalmente livre de
influências subjetivas”
“Somente o ingênuo ou o desonesto afirma que sua objetividade própria é a segurança suficiente”
Blindfold test”: Sejam voluntários, animais, bactérias ou compostos químicos, eles não podem saber se estão sendo usados como controle ou não
C c) VIÉS nos INSTRUMENTOSInstrumentos raramente medem o que eles afirmam
medir- Conhecer o fundamento- Calibrações- Casualização das medidas
d) VIÉS nos PADRÕES- Menor: Superestima Maior: Subestima
7) REPLICAÇÃO (REPETIÇÃO): Número ?
- Magnitude da diferença esperada
- Uniformidade do material
- Precisão da técnica de observação
8) DELINEAMNTO FATORIAL
“Avaliar diferentes variáveis (fatores) no experimento”
EXECUÇÃO de EXPERIMENTOS
1- SUGESTÕES GERAIS• Leva vantagem quem detém o conhecimento
“Knob twirlers”• Nunca tente mais de uma alternativa de cada vez• Teste antes• Tente prever problemas“Que falhas tem ocorrido em experimentos anteriores de natureza similar e como eles foram prevenidos ou
solucionados se elas ocorrerem ? “
e) Check list- Aparelhos- Materiais- Etc- Planejamento para amanhã (sonhar)- Passo a passo
f) Calibração
“Não acredite em ninguém”
“An experimenter experience would as soon
use calibrations carried out by others as he
would use a stranger’s toothbrush”
- Aparelhos
- Soluções
g) ANALISE DE DADOS “O pesquisador de sucesso tem habilidade
observacional apurada”
“Tendo expectativas dos resultados permite ao pesquisador avaliar rapidamente quando um resultado
interessante e não esperado ocorre”
“Muitas linhas de pesquisa surgem da observação durante o experimento”
“Experimento realmente interessante é aquele que produz resultados inesperados”
“Interprete os dados assim que observados”
“O sucesso de uma pesquisa exige o uso da mente como também das mãos e olhos”
2- NOTEBOOKS e REGISTROS (Anotações)
•Um bom registro do trabalho feito é o principal
segredo da eficiência
•Tudo deve ser anotado – variáveis independentes
•Todas as condições da pesquisa devem estar
descritas
•Resultados devem ser anotados diretamente no
notebook no momento da observação“É intolerável confiar na memória ou usar pedaços de papel”
• O pesquisador jamais deve estar sem seu notebook quando em ação
• O notebook não deve ser retirado do laboratório e é uma propriedade deste
• Rotulações- Soluções, - Aparelhos
3) QUESTÕES PSICOLÓGICAS
“Entusiasmo e Autoconfiança”
Equipe (Grupo)
Começar nova pesquisa antes de terminar outra
“It is hard to suggest any cure for this disease”
Começar outra pesquisa sem submeter a publicação a terminada
ÉTICA EM CIÊNCIAVALIDADE DAS DESCOBERTAS CIENTIFICAS
a) Futuros trabalhos serão feitos com base nos dados atuais, portanto é essencial que nossos resultados estejam corretos
a) Precisão das conclusões requer:•- Experimentos tenham sido adequadamente realizados- Os dados tenham sido adequadamente registrados e analisados- A precisão dos dados seja aceitável e explicitamente estabelecida- Que os resultados sejam reprodutíveis- Que materiais e métodos usados nos experimentos sejam suficientemente entendidos para permitir conclusões razoáveis sobre os resultados do experimento
c) Trabalho cientifico necessita ser rigorosamente
documentado
d) Artefatos podem ocorrer e provados posteriormente.
Documentação apropriada será o principal testemunha
de fraude em ciênciae) Exatidão é assegurada pela repetição do
experimento por outros em outros laboratórios
- Detalhes
- Reagentes secretos ??
“VOCE DEVE ENCONTRAR A VERDADE E NÃO
PROVAR QUE VOCE ESTÁ CERTO OU EVITAR
SENDO ERRADO”
INTERAÇÕES ÉTICAS COM A COMUNIDADE CIENTÍFICA
1- Bando curioso “They believe that they should receive credits for
their accomplishments, but should not receive (nor desire) credit for the work of others”
2- Reconhecimento pelas realizações é considerada ser mais importante que o cheque mensal
“$ evapora, mas o trabalho é perene”
3- Progresso depende do reconhecimento apropriado4- Intellectual Property: Idéias e realizações- A falha em não reconhecer a propriedade intelectual dos outros é essencialmente ROUBO
5- TRABALHO DE GRUPO“Co-autoria requer que uma pessoa tenha
contribuído para o trabalho de um meio direto e essencial”
- Formulou a hipótese- Delineou o experimento- Analisou os dados
“Contribuição cientifica essencial ao trabalho”“Co-responsável por todos os resultados e conclusões
apresentados no paper”
6- Divulgação: dados devem ser divulgados “Esconder dados para vantagem pessoal em termos de estudos futuros retarda o progresso da ciência e é antiético”
CIENTISTA COMO MEMBRO DA SOCIEDADE
LABORATORIOa) Condições de risco a outrosb) Alertar outros de condições que podem afetar seu experimento: Instrumentos, reagentesSOCIEDADEc) Resíduos tóxicosd) Experimentos em humanose) Uso de animaisCONFLITO de INTERÊSSESf) Nossas opiniões cientificas são baseadas no nosso julgamento cientifico;g) Qualquer conflito de interesse deve ser abertamente estabelecido em publicações cientificas e apresentaçõesh) Conflitos de interesse estão presentes quando os resultados de um estudo cientifico promove o material de interesse do investigador
top related