survey na pesquisa em sistemas de informaÇÃo · apresentação dos resultados. palavras-chave:...
TRANSCRIPT
SURVEY NA PESQUISA EM SISTEMAS
DE INFORMAÇÃO
Renato de Oliveira Moraes
Hugo Martinelli Watanuki
Este artigo apresenta recomendações para realização de survey
(levantamentos) nas pesquisas em Sistemas de Informação (SI). Seu
foco é nos erros metodológicos mais comuns que os autores
observaram nos artigos publicados nos principais congressos
nacionais de Engenharia de Produção. As orientações fornecidas são
apresentadas na mesma sequência das etapas de execução de uma
pesquisa quantitativa: (i) identificação do problema de pesquisa, (ii)
formulação das hipóteses, (iii) construção do instrumento de coleta de
dados, (iv) procedimentos de coleta de dados e (v) análise dos dados e
apresentação dos resultados.
Palavras-chave: Palavras chave: Pesquisa quantitativa, survey,
sistemas de informação
XXXVIII ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO “A Engenharia de Produção e suas contribuições para o desenvolvimento do Brasil”
Maceió, Alagoas, Brasil, 16 a 19 de outubro de 2018.
XXXVIII ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO “A Engenharia de Produção e suas contribuições para o desenvolvimento do Brasil”
Maceió, Alagoas, Brasil, 16 a 19 de outubro de 2018. .
2
1. Introdução
Abordagens quantitativas são muito comuns na pesquisa em Engenharia de Produção. Isto
inclui simulação numérica, experimentos e survey (levantamento). Este último é o método
mais frequentemente utilizado na pesquisa em Sistemas de Informação (SI) (PALVIA et al.,
2004). Ele se baseia no conceito de inferência estatística, ou seja, na possibilidade de fazer
algum tipo de afirmação sobre uma população com base na análise da amostra – uma parcela
da população de tamanho muito menor do que a população original. Contudo, é relativamente
comum observar trabalhos com erros metodológicos no uso desse método nos anais dos
principais congressos nacionais de Engenharia de Produção, tais como o Enegep, o Simpep, o
Emepro e o Conbrepro.
A fim de contribuir para a redução da incidência de tais equívocos, o objetivo deste artigo é
apresentar orientações para a realização de um survey na pesquisa em SI. As questões tratadas
aqui se dividem de forma congruente com as etapas de uma pesquisa quantitativa: (i)
identificação do problema de pesquisa, (ii) formulação das hipóteses, (iii) construção do
instrumento de coleta de dados, (iv) procedimentos de coleta de dados e (v) análise dos dados
e apresentação dos resultados.
2. Identificação do problema de pesquisa
Um survey é um método de pesquisa geralmente usado em estudos de natureza positivista,
uma vez que o mesmo está baseado na convicção de que os conceitos e os objetos envolvidos
no estudo podem ser definidos, medidos e avaliados de forma objetiva. Ele pode ser usado
tanto para estudos descritivos, exploratórios e confirmatórios, mas é nesta última categoria em
que ele se destaca. Em estudos confirmatórios, uma pergunta (ou várias) é elaborada antes do
levantamento de campo, normalmente baseada na revisão da literatura ou em estudo ou etapa
de pesquisa anterior, a qual pode ter sido desenvolvida tanto de forma qualitativa como
quantitativa. Alguns tipos de pergunta são melhor respondidos através de um survey.
Questões do tipo “quais” e “quantos” são muito mais adequadas a esta abordagem do que “por
que” e “como”, que são melhores respondidas com abordagens qualitativas de pesquisa.
É preciso ter em mente que a importância do trabalho está relacionada tanto com a relevância
da pergunta de pesquisa como com o rigor aplicado para responde-la. Por isto, ao formular a
pergunta de pesquisa, o pesquisador deve ser capaz de justificar a importância de responde-la,
discorrer sobre a lacuna conceitual que se pretende preencher ao responde-la e o motivo pelo
XXXVIII ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO “A Engenharia de Produção e suas contribuições para o desenvolvimento do Brasil”
Maceió, Alagoas, Brasil, 16 a 19 de outubro de 2018. .
3
qual esta lacuna deve ser preenchida, bem como a contribuição conceitual e eventualmente
prática que esse processo traz. A discussão sobre estes temas pode ser encontrada com mais
detalhes e maior profundidade em Rai (2107).
3. Formulação das hipóteses
Com base na revisão de literatura, a potencial resposta (uma ou mais) para a pergunta de
pesquisa é elaborada na forma de hipótese (ou hipóteses), a qual será testada com base nos
dados coletados em campo. Na hipótese estão os conceitos ou construtos de interesse do
estudo, tais como, por exemplo, satisfação, qualidade, desempenho, produtividade,
lucratividade, maturidade, etc.
Para elaboração das hipóteses, deve-se ter em mente que um teste de hipóteses envolve duas
situações mutuamente excludentes: a hipótese nula (H0) e a hipótese alternativa (H1). Estas
hipóteses são construídas de forma tal que apenas uma delas seja verdadeira, ou seja, não é
possível que as duas sejam verdadeiras e tampouco que as duas sejam falsas. Para isso, em
geral, usam-se frases complementares na elaboração das hipóteses, do tipo “A afeta B” e “A
NÃO afeta B”, onde “A” e “B” representam os conceitos ou construtos do estudo. Escolhe-se
então como hipótese alternativa (H1) aquela cuja expectativa é a de que seja a verdadeira (“A
afeta B”), uma vez que é relativamente fácil avaliar a probabilidade de se cometer um erro
quando se afirma que tal hipótese é verdadeira. Quando H0 é rejeitada, o que equivale a
afirmar que H1 é verdadeira, assume-se a possibilidade de um erro (tipo I) cuja probabilidade
de ocorrência é chamada de significância do teste. Quando H0 não é rejeitada, o que equivale
a aceitar que H0 pode ser verdadeira, está-se sujeito a um outro tipo de erro (tipo II), cuja
probabilidade de ocorrência é chamada de poder do teste. É importante frisar que o fato de H0
não ser rejeitada não implica na aceitação da mesma como verdadeira. Neste caso, há apenas
ausência de evidência estatística para rejeitá-la (FORZA, 2002).
As hipóteses devem ser escritas de maneira simples. Deve-se evitar coisas do tipo “A afeta B
tendo como ação mediadora o comportamento de C”. Isto deve ser substituído por duas
hipóteses que serão testadas separadamente, ou seja: “A afeta B” e “C é o moderador da
relação entre A e B”
4. Construção do instrumento de coleta de dados
XXXVIII ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO “A Engenharia de Produção e suas contribuições para o desenvolvimento do Brasil”
Maceió, Alagoas, Brasil, 16 a 19 de outubro de 2018. .
4
Normalmente, para realização de um survey utiliza-se um questionário com perguntas
fechadas e de múltipla escolha. As perguntas do questionário devem ser utilizadas para
mensurar quantitativamente os conceitos ou construtos do estudo e, por isso, devem ser
cuidadosamente elaboradas com base na revisão da literatura.
A mensuração de um conceito é simples quando ele pode ser representado por uma única
variável mensurável. Eventualmente, um conceito como lucratividade, por exemplo, pode ser
medido por meio de uma variável como faturamento, lucro ou margem de contribuição. Isto
se deve às características definidoras do conceito de lucratividade. Entretanto,
frequentemente, os conceitos empregados em survey não são passíveis de observação direta e
sua mensuração envolve o uso de um conjunto de indicadores observáveis (escalas) cujo
comportamento comum gera uma medida do construto em estudo. O processo de conversão
dos construtos em escalas é denominado operacionalização.
A construção de uma escala para um determinado construto não é um trabalho trivial e,
sempre que possível, deve-se optar por fazer uso de escalas já testadas e validadas
empiricamente em outros trabalhos de pesquisa. Ao fazer isso, tenha certeza de que você está
usando a mesma definição conceitual do autor da escala, e que a mesma possua qualidade
aceitável. Caso seja inevitável o desenvolvimento de uma, Straub (1989), MacKenzie et al.
(2011) e Polites et al. (2012) oferecem orientações valiosas para esta tarefa.
A medida mais usual para avaliação da qualidade de uma escala é o índice de confiabilidade
denominado Alpha de Cronbach (CRONBACH, 1951), e o seu valor mínimo aceitável varia
conforme o campo da ciência em que o estudo se enquadra. Na pesquisa em SI, usualmente,
se considera 0,70 como valor mínimo para esse indicador (MACKENZIE et al., 2011).
Por fim, a definição das escalas deve ser feita de maneira alinhada com a técnica de análise de
dados que se pretende empregar. É uma prática muito comum entre pesquisadores iniciantes
colher os dados e depois tentar encontrar a melhor forma de analisa-los. Isso representa um
erro crítico, pois invariavelmente a forma como os dados são colhidos determinam em grande
parte as possibilidades de aplicação de técnicas de análise. Por exemplo, considere uma
determinada variável que pode ser mensurada de forma binária (sim/não, presente/ausente) ou
ordinal (inexistente, pouco, regular, muito, completamente). Caso o objetivo do pesquisador
seja utilizá-la como variável independente em uma análise de variância, a mensuração dessa
variável pode ser binária; mas se o objetivo é utiliza-la em uma análise de regressão, então
deve-se optar pela forma ordinal de mensuração. Assim, o conhecimento das premissas e das
XXXVIII ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO “A Engenharia de Produção e suas contribuições para o desenvolvimento do Brasil”
Maceió, Alagoas, Brasil, 16 a 19 de outubro de 2018. .
5
caraterísticas das técnicas de análise de dados é fundamental para construção de um
questionário de qualidade. De forma complementar à discussão apresentada aqui, o trabalho
de Forza (2002) traz direcionamentos importantes sobre os cuidados a serem tomados pelo
pesquisador durante a construção de um questionário.
5. Procedimentos de coleta de dados
Nessa etapa o foco principal deve ser a obtenção de uma amostra representativa da população
para realização das inferências estatísticas pretendidas. Uma amostra representativa da
população é, idealmente, obtida através de uma amostragem probabilística. Contudo, isto
pode representar um problema de ordem prática bastante complexo. Por exemplo, muitas
vezes a população do estudo é composta de organizações com um determinado perfil e não
existe um cadastro destas empresas que possa ser utilizado no processo de amostragem. Uma
forma de contornar esse tipo de problema consiste em, após a coleta de dados, usar estatística
descritiva para demonstrar que o perfil da amostra é compatível com o perfil da população -
supondo que exista uma fonte confiável do perfil da população em estudo (SEDDON;
SCHEEPERS, 2012).
O tamanho mínimo necessário da amostra está intimamente relacionado às técnicas
estatísticas que serão empregadas na análise dos dados. Um erro muito comum é utilizar a
fórmula de dimensionamento da amostra para estimativa da média populacional ou a fórmula
para estimativa de uma proporção da população quando nenhuma média ou fração
populacional será estimada. Estas fórmulas, que aparecem em quase todos os livros de
estatística, são adequadas apenas a estas situações bastante específicas.
Para determinadas técnicas de análise de dados, tais como análise fatorial ou modelagem de
equações estruturais, existem recomendações sobre o dimensionamento correto da amostra.
Para outras, tais como o coeficiente de correlação linear de Pearson ou comparação de duas
médias, não há orientação a priori sobre o tamanho da amostra. Nesses casos, o pesquisador
deve ter em mente que encontrar evidência estatística de correlação entre duas variáveis ou de
diferença entre duas médias torna-se muito mais desafiador em amostras pequenas (menor
que 10 elementos, por exemplo).
6. Análise dos dados e apresentação dos resultados
XXXVIII ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO “A Engenharia de Produção e suas contribuições para o desenvolvimento do Brasil”
Maceió, Alagoas, Brasil, 16 a 19 de outubro de 2018. .
6
O uso de técnicas estatísticas permite que o pesquisador dimensione a probabilidade de suas
afirmações/conclusões estarem equivocadas e é de fundamental importância que o valor desta
probabilidade (significância estatística das técnicas utilizadas) seja sempre apresentado de
forma clara no texto.
A comparação de médias é o teste mais comum e suporta a grande maioria das análises mais
simples. O MS Excel, que está à disposição de todos os pesquisadores, realizar todos os testes
t para comparação de duas médias populacionais e ANOVA com um e dois fatores. O método
de regressão linear também está relativamente bem suportado no MS Excel. Porém, o
emprego de técnicas multivariadas mais refinadas de análise de dados, tais como análise
fatorial, de conglomerados, discriminante e equações estruturais – consultar Hair et al. (2009)
para maiores detalhes, ainda dependem de softwares especializados. Os softwares R e
SmartPLS2.0, por exemplo, são abertos e gratuitos, tornando-se as opções de muitos
pesquisadores em SI. Os produtos comerciais, tais como o Minitab, PASW, SAS e Statistica
têm interface gráfica mais amigável e são mais utilizados por quem trabalha com pesquisa
aplicada. Contudo, a facilidade de uso destes softwares não exime o pesquisador de conhecer
as premissas das técnicas de análise. O esforço na manipulação dos dados colhidos é
executado pelo software utilizado, mas cabe ao pesquisador a escolha da técnica adequada ao
projeto de pesquisa e a interpretação dos resultados à luz da literatura da área.
Nesse sentido, a análise de dados baseada somente em gráficos de estatística descritiva, por
exemplo, pode ser um problema. Apesar dos gráficos serem ferramentas importantes para
visualizar relações e diferenças entre variáveis, eles também podem iludir e levar a
intepretações incorretas. Assim, uma survey deve sempre associar o teste de hipótese
adequado a algum comentário sobre um gráfico.
Observe os dois gráficos da Figura 1. Eles mostram o valor médio da variável de interesse em
três grupos distintos – A, B e C. O primeiro gráfico (Figura 1a) sugere visualmente que as
médias dos grupos são bem diferentes, e no segundo gráfico (Figura 1b), as diferenças, se é
que existem, seriam bem menores. Esta impressão se deve ao eixo das ordenadas (eixo y), já
que os dados originais utilizados nos dois gráficos são exatamente os mesmos. No primeiro
gráfico o eixo começa no valor 12, e no segundo gráfico começa em zero. Na verdade, não
existe evidência estatística de diferenças entre as médias, pois a significância foi de 21% no
teste de análise de variância, que representa o teste estatístico adequado para verificar a
diferença entre a média de diferentes grupos populacionais.
XXXVIII ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO “A Engenharia de Produção e suas contribuições para o desenvolvimento do Brasil”
Maceió, Alagoas, Brasil, 16 a 19 de outubro de 2018. .
7
Figura 1 – Valor médio de uma variável em três grupos diferentes A, B e C
(a)
(b)
Outro erro comum é o uso de gráficos de barras para tentar identificar uma entre duas
variáveis. Suponha que duas variáveis – A e B – são medidas através de uma escala tipo
Likert. A Figura 2a mostra s distribuição das respostas observadas para as duas variáveis.
Alguém poderia sugerir que as variáveis A e B estão correlacionadas já que o perfil das
respostas é quase o mesmo. Na verdade, ao afirmar que elas estão correlacionadas a
probabilidade de estar cometendo um erro é de 58%. Esta falta de correlação é mais evidente
quando se observa a Figura 2b.
Figura 2 – Comportamento comum entre as variáveis A e B
(a)
(b)
A correlação entre duas variáveis deve ser analisada pela significância estatística do
coeficiente de correlação (Pearson ou Speraman) e não pela inspeção visual do diagrama de
dispersão (scater plot) ou outro gráfico qualquer.
A Figura 3 mostra dois diagramas de dispersão. Visualmente ele sugere que a correlação
entre as variáveis é mais clara no diagrama (a) do que no (b). Contudo, não há evidência
estatística de correlação no primeiro caso (significância de 8,6%), mas há no segundo
(significância de 3,6%).
Figura 3 – Correlação entre duas variáveis numéricas
XXXVIII ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO “A Engenharia de Produção e suas contribuições para o desenvolvimento do Brasil”
Maceió, Alagoas, Brasil, 16 a 19 de outubro de 2018. .
8
(a)
(b)
7. Recomendações para realização de um survey em SI
O sucesso de um survey na pesquisa em SI depende do rigor com o qual o projeto de pesquisa
é desenvolvido e executado. Com intuito de oferecer uma referência para a condução de
estudos desta natureza, é apresentado a seguir um modelo com seis etapas (ver Figura 4).
Trata-se das etapas do projeto de estudo e sua definição muitas vezes demanda a revisão de
etapas anteriores para que se possa avançar em etapas posteriores. O importante é que as
escolhas destas etapas sejam consistentes e convergentes.
Figura 4 – Etapas de uma survey
A primeira etapa é a definição do problema, objetivos e hipóteses da pesquisa. Neste ponto o
autor deve justificar porque o estudo deve ser feito e deve apresentar também a relevância do
XXXVIII ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO “A Engenharia de Produção e suas contribuições para o desenvolvimento do Brasil”
Maceió, Alagoas, Brasil, 16 a 19 de outubro de 2018. .
9
estudo. Isto muitas vezes depende de uma revisão bibliográfica que identifica uma lacuna
conceitual a ser preenchida.
Na revisão da literatura, os conceitos chave do estudo devem ser apresentados, assim como as
relações entre eles. É aqui onde a construção das hipóteses do estudo se torna clara para o
leitor. Deve-se também identificar na literatura a operacionalização dos construtos que serão
manipulados no trabalho. Sempre que possível, convém utilizar estalas já testadas e validadas.
Caso isto não seja possível, um trabalho anterior de desenvolvimento de escalas deve ser
feito.
A terceira etapa é a da construção do instrumento de coleta de dados. É preciso que as
perguntas estejam relacionadas com o problema/objetivos/hipóteses da pesquisa e com a
revisão da literatura (Figura 5). Este é um ponto interessante para avaliação da consistência
interna do projeto de pesquisa através da identificação de eventuais elementos desnecessários
e elementos faltantes no estudo. Todas as perguntas do instrumento de coleta de dados devem
estar relacionadas com algum elemento da revisão da literatura e com o problema de pesquisa.
Figura 5 – Construção do instrumento de coleta de dados
Caso, alguma pergunta não esteja relacionada é porque talvez ela seja desnecessária. Por outro
lado, um elemento da revisão da literatura que não esteja relacionado com o problema indica
que ele talvez seja impertinente ao estudo e um elemento que não encontra contrapartida no
questionário sugere que o questionário esteja incompleto. Elementos do problema de pesquisa
(pergunta, objetivo ou hipótese) que não tem relação com partes do questionário e ou da
revisão da literatura sugerem que a pesquisa não será capaz de atingir seus objetivos, e,
XXXVIII ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO “A Engenharia de Produção e suas contribuições para o desenvolvimento do Brasil”
Maceió, Alagoas, Brasil, 16 a 19 de outubro de 2018. .
10
portanto, deve ser revista. O desenvolvimento do questionário inclui, ainda, seu envio para
especialistas da área que irão avaliar a clareza das perguntas e de sua estrutura (pré teste). As
sugestões e comentários desses especialistas irão contribuir para a versão final do
instrumento.
A quarta etapa refere-se à coleta dos dados. Isso depende da definição da população do estudo
e da forma como uma amostra será gerada. Muitas vezes, não se tem acesso a todos os
elementos da população, o que torna muito difícil a geração de uma amostra probabilística. O
tamanho da amostra depende dos procedimentos de análise que serão utilizados. Caso seja
empregada mais de uma técnica estatística de análise, é preciso verificar qual o tamanho
mínimo da amostra necessária para cada técnica, e escolher o maior destes valores.
Os elementos da amostra devem ser educadamente convidados a participar. Caso os convites
não sejam respondidos, convém reforçar o convite mais uma ou duas vezes em intervalos de
uma ou duas semanas entre eles. Caso alguém diga que não gostaria de participar, sua vontade
deve ser respeitada – não se deve insistir com quem já se negou a participar da pesquisa.
Depois de dois ou três convites sem resposta, deve-se assumir que não houve disposição em
participar. As respostas obtidas devem ser registradas e codificadas em uma planilha. Existem
vários serviços na Internet que auxiliam nesta tarefa.
A quinta etapa é a da análise dos dados. Normalmente é a mais prazerosa para o pesquisador,
pelo menos para os da Engenharia de Produção. Os dados foram colhidos e o pesquisador
aplica as técnicas estatísticas adequadas para atingir os objetivos do estudo. Infelizmente,
costuma ser neste ponto que ele descobre falhas do seu projeto de pesquisa, as quais podem
impossibilitar que os dados coletados sejam úteis aos objetivos do estudo. Por esse motivo o
pesquisador deve definir como os dados serão analisados antes de ir a campo. A escolha das
técnicas depende das hipóteses a serem testadas e das variáveis escolhidas. O pesquisador
deve estar certo que as suas escolhas são aqui também consistentes.
Este processo – a análise dos dados através do emprego de técnicas estatísticas – pode ser
longo e envolver vários estágios. Por isso é conveniente apresentar um quadro síntese das
principais conclusões da análise dos dados.
A última etapa do modelo é a análise dos resultados, quando o pesquisador discute os
resultados observados na etapa anterior em função do problema de pesquisa e à luz da teoria.
Ele deve destacar as implicações de seus resultados/achados para teoria e para a prática
profissional. Tradicionalmente, a contribuição teórica de uma pesquisa é um dos elementos
XXXVIII ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO “A Engenharia de Produção e suas contribuições para o desenvolvimento do Brasil”
Maceió, Alagoas, Brasil, 16 a 19 de outubro de 2018. .
11
mais valorizados pelos periódicos científicos. Ela está mais relacionada com a relevância do
problema em estudo e do rigor metodológico e conceitual da pesquisa do que com os
resultados observados. Talvez seja neste momento do estudo em que se revela com maior
clareza a capacidade crítica do pesquisador, ao expor para o leitor o que se aprende com a
leitura de seu texto. Além disto, mais recentemente, vários periódicos têm solicitado
submissões de trabalhos com significativa contribuição prática pois entendem que este é o
elemento da pesquisa científica com maior potencial transformador da sociedade. Assim, é
importante destacar as contribuições do estudo tanto em termos teóricos como práticos.
8. Considerações Finais
Este artigo apresentou orientações para condução de survey em pesquisa em SI e, dessa
forma, busca contribuir para a redução dos principais erros metodológicos encontrados em
anais de eventos nacionais de Engenharia de Produção. De forma geral, as causas dos erros
estão na construção do projeto de pesquisa, mas eles tendem a se materializar apenas mais
tarde, na análise dos dados colhidos ou na redação do relatório ou artigo. Por este motivo é
importante um conhecimento formal do método para a concepção de projetos consistentes. Os
pesquisadores em SI iniciantes que se decidirem pelo método, antes de ir a campo, devem
submeter seus projetos para discussão com outros pesquisadores no intuito de identificar
eventuais falhas. Isto pode ser feito em reuniões de grupos de pesquisa, bancas de
qualificação e consórcios doutorais. Alguns congressos também aceitam a submissão de
trabalhos em desenvolvimento, onde estas questões podem ser discutidas com a audiência
adequada.
REFERÊNCIAS
CRONBACH, L. J. Coefficient alpha and the internal structure of tests. Psychometrika, v. 16, n. 3, p. 297-334,
1951
FORZA, C. Survey research in operations management: a process-based perspective. International journal of
operations & production management, v. 22, n. 2, p. 152-194, 2002.
HAIR JR., J. F. et al. Análise multivariada de dados. 6. ed. Porto Alegre: Bookman, 2009. 688 p.
MACKENZIE, S. B.; PODSAKOFF, P. M.; PODSAKOFF, N. P. Construct Measurement and Validation
Procedures in MIS and Behavioral Research: Integrating New and Existing Techniques. MIS Quarterly, v. 35, n.
2, p. 293-334, 2011.
PALVIA, P. et al.Research Methodologies in MIS: An Update. Communications of the Association for
Information Systems, v. 14, p. 526-542, 2004.
POLITES, G. L.; ROBERTS, N.; THATCHER, J. Conceptualizing models using multidimensional constructs: a
review and guidelines for their use. European Journal of Information Systems, v. 21, n. 1, p 22–48, 2012.
RAI, A. Formulating IS Research Problems that Matter. MIS Quarterly, v. 41, n. 2, p. 3-6, 2017
XXXVIII ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO “A Engenharia de Produção e suas contribuições para o desenvolvimento do Brasil”
Maceió, Alagoas, Brasil, 16 a 19 de outubro de 2018. .
12
SEDDON, P. B.; SCHEEPERS, R. Towards the improved treatment of generalization of knowledge claims in IS
research: drawing general conclusions from samples. European Journal of Information Systems, v. 21, n. 1,p. 6–
21, 2012.
STRAUB, D. W. Validating instruments in MIS research. MIS Quarterly, v. 13, n. 2, p.147–169, 1989.