avaliaÇÃo da qualidade do ensino numa...
TRANSCRIPT
UNIVERSIDADE DE LISBOA
INSTITUTO DE EDUCAÇÃO
AVALIAÇÃO DA QUALIDADE DO ENSINO NUMA UNIDADE ORGÂNICA DA
UNIVERSIDADE NOVA DE LISBOA
Maria Dias Ferreira Gomes
MESTRADO EM CIÊNCIAS DA EDUCAÇÃO
Área de Especialidade em Avaliação em Educação
Relatório de estágio orientado
pelo Prof. Doutor Domingos Fernandes
2015
i
Resumo
O presente relatório resultou do trabalho desenvolvido durante o estágio que foi
organizado a partir do seguinte propósito geral: compreender como se relacionam as
práticas de gestão de qualidade numa unidade orgânica da Universidade NOVA de
Lisboa com o Sistema de Garantia da Qualidade do Ensino (SGQE-UNL) em vigor
nesta universidade. O trabalho realizado constitui uma contribuição para a avaliação do
SGQE numa unidade orgânica, procurando sinalizar pontos positivos, aspetos a
melhorar e apontar sugestões.
Recorreu-se à recolha de informações através de entrevistas semidiretivas e à análise de
conteúdo dessas mesmas entrevistas e de documentos.
Apesar de algumas divergências entre o que é preconizado no SGQE-UNL e o que é
posto em prática pela unidade orgânica, pode dizer-se que, no essencial, há consistência
entre os procedimentos desta e o Sistema geral proposto pela universidade.
Palavras-chave: ensino; avaliação da qualidade; garantia da qualidade do ensino;
sistema interno de garantia da qualidade; avaliação interna.
ii
Abstract
This report resulted from work done during the internship and it was organized from the
following general purpose: to understand how quality management practices in an
academic unit of University NOVA of Lisbon relates to the Education Quality
Assurance System (SGQE-UNL) in force in this university. This paper is a contribution
to the evaluation of SGQE in an academic unit searching for strengths, improvement
needs and suggestions.
The information was collected through semi-directive interviews and analysis of content
of those interviews and other documents.
Despite some differences between what is recommended in SGQE -UNL and what is
implemented by the academic unit it can be said that in essence there is consistency
between the procedures in this and the overall system proposed by the university.
Key words: education; quality evaluation; quality assurance in education; internal
system of quality assurance; internal evaluation.
iii
Agradecimentos
Ao Professor Doutor Domingos Fernandes, por ter aceite orientar este estágio, pelo
acompanhamento e sugestões que fez ao longo do trabalho contribuindo para que este se
tornasse mais completo.
À Professora Patrícia Rosado Pinto, por ter proporcionado esta experiência, pela sua
disponibilidade, pela abertura para que o trabalho realizado fosse ao encontro dos meus
interesses e pelos contactos estabelecidos.
À professora Joana Marques, pela sua disponibilidade, pelo apoio, pela orientação do
trabalho e pelas sugestões dadas.
A todos os entrevistados pela disponibilidade e interesse em fornecerem importantes
informações para que este relatório fosse desenvolvido.
Às minhas colegas de estágio, pelo acompanhamento e partilha de ideias.
À minha família e amigos pelo apoio extra e motivação.
ÍNDICE
CAPÍTULO I – INTRODUÇÃO ............................................................................................ 4
Breve caracterização do contexto .......................................................................................... 5
O Sistema de Garantia da Qualidade do Ensino da Universidade NOVA de Lisboa (SGQE-
UNL) ...................................................................................................................................... 6
Tarefas de estágio ................................................................................................................. 18
CAPÍTULO II – ENQUADRAMENTO TEÓRICO .......................................................... 19
O conceito de avaliação: definição, fundamentos e propósitos ........................................... 19
Avaliação e qualidade .......................................................................................................... 23
Qualidade e educação no ensino superior ............................................................................ 26
A qualidade da educação na legislação portuguesa e nas orientações europeias ................. 28
CAPÍTULO III – ENQUADRAMENTO METODOLÓGICO ......................................... 32
Planear uma avaliação.......................................................................................................... 32
Problema, questão e matriz .................................................................................................. 33
Metodologia ......................................................................................................................... 35
Seleção e caracterização dos entrevistados ...................................................................... 37
Entrevista semidiretiva..................................................................................................... 41
Análise de conteúdo ......................................................................................................... 41
CAPÍTULO IV – APRESENTAÇÃO E DISCUSSÃO DOS RESULTADOS .................. 44
Garantia da qualidade do ensino no IHMT – entrevista ao responsável .............................. 44
Qualidade no IHMT ......................................................................................................... 44
Implementação do SGQE ................................................................................................ 45
Instrumentos, procedimentos e envolvido. ...................................................................... 46
Divulgação e utilização dos resultado.............................................................................. 48
Constrangimentos. ........................................................................................................... 49
Aspetos positivos e perspetivas futura. ............................................................................ 50
Mecanismos de avaliação da qualidade nos cursos de 3.º Ciclo - NOVA Escola Doutoral . 51
NOVA Escola Doutoral .................................................................................................... 51
Entrevista às profissionais não docentes da NOVA Escola Doutoral .............................. 51
Entrevista a uma estudante de doutoramento da UNL..................................................... 53
CAPÍTULO V – CONCLUSÕES E REFLEXÕES ............................................................ 54
Conclusões ........................................................................................................................... 54
Pontos positivos ................................................................................................................... 59
Pontos negativos .................................................................................................................. 60
Propostas de melhoria .......................................................................................................... 60
Reflexões.............................................................................................................................. 60
REFERÊNCIAS ..................................................................................................................... 62
ANEXOS ................................................................................................................................. 65
FIGURAS
Figura 1. Órgãos centrais do SGQE-UNL…………………………………………...……….11
Figura 2. Órgãos locais do SGQE-UNL………………………………………….....………..12
Figura 3.Processamento da informação recolhida através dos instrumentos do SGQE-
UNL…………………………………………………………………………………………..15
Figura 4. Instrumentos de avaliação da qualidade do ensino do SGQE-UNL…………..…...16
Figura 5. Recolha da informação para o relatório de estágio…………...……………………37
Figura 6. Funções ocupadas pelos entrevistados…………………...………………………...39
QUADROS
Quadro 1. SGQE-UNL: objetos, instrumentos e envolvidos………………………………...14
Quadro 2. Matriz de avaliação……………………………………………………………….35
Quadro 3. Cronograma das tarefas do estágio curricular…………………………………….43
Quadro 4. Comparação entre o que é preconizado pelo SGQE-UNL e o que é implementado
pelo IHMT, segundo as dimensões da matriz de avaliação…………………………………..57
4
CAPÍTULO I – INTRODUÇÃO
O presente relatório apresenta o trabalho desenvolvido no âmbito do estágio
curricular do 2.º ano do Mestrado em Ciências da Educação – Especialização em Avaliação
em Educação, realizado ao longo do ano letivo de 2014/2015. O estágio curricular teve lugar
no Gabinete de Apoio à Qualidade do Ensino da Universidade NOVA de Lisboa. A razão para
a realização do estágio nesta instituição prendeu-se com a possibilidade de contactar com a
temática da Avaliação da Qualidade, uma área que tive a oportunidade de estudar ao longo do
Mestrado e que pude aprofundar com a realização do estágio. Estas razões, aliadas à
disponibilidade da instituição, tornaram possível a realização do estágio.
O trabalho desenvolvido durante o estágio partiu do seguinte propósito geral:
compreender como se relacionam as práticas de gestão de qualidade do Instituto de Higiene e
Medicina Tropical (IHMT) com o Sistema de Garantia da Qualidade do Ensino da
Universidade NOVA de Lisboa (SGQE-UNL). Este problema surgiu da necessidade de
conhecer o SGQE-UNL e a seu funcionamento numa unidade orgânica.
O relatório constitui uma contribuição para a avaliação do SGQE-UNL1 numa
unidade orgânica da Universidade NOVA de Lisboa, procurando sinalizar pontos positivos,
aspetos a melhorar e apontar sugestões/melhorias.
Este relatório foi organizado em cinco capítulos. O primeiro capítulo diz respeito à
introdução e caracterização do contexto do estágio, o segundo ao enquadramento teórico,
onde se discutem os temas que se relacionam com o propósito deste relatório e que apoiaram
o seu desenvolvimento, o terceiro ao enquadramento metodológico, que se refere ao
problema, à questão, à matriz de avaliação e à metodologia utilizada, o quarto à apresentação
1 Será também adotada a designação de Sistema
5
e discussão dos resultados e o último capítulo remete para as conclusões e reflexões.
Apresentam-se também as referências utilizadas para a realização do trabalho e os anexos que
o suportam.
Breve caracterização do contexto
A Universidade NOVA de Lisboa (UNL) é uma instituição de ensino superior
público com nove unidades orgânicas. A missão da UNL desenvolve-se em torno da
persecução de ideias tais como a de realizar “uma investigação competitiva no plano
internacional”, de atingir “um ensino de excelência”, de prosseguir uma “participação
interinstitucional, voltada para a integração das diferentes culturas científicas” e de
concretizar “uma prestação de serviços de qualidade” (artigo 2.º dos Estatutos da
Universidade NOVA de Lisboa, 2008).
A UNL integra mais de 19 mil estudantes, dos quais cerca de 2 mil são
internacionais. Tem 42 unidades de investigação, 25 cursos de 1.º ciclo, 12 de mestrado
integrado, 106 de 2.º ciclo e 77 de 3.º ciclo, dados de 20132.
Da UNL fazem parte as seguintes unidades orgânicas: Faculdade de Ciências e
Tecnologia, Faculdade de Ciências Sociais e Humanas, NOVA School of Business and
Economics, Faculdade de Ciências Médicas, Faculdade de Direito, Instituto de Higiene e
Medicina Tropical, NOVA Information and Management School, Instituto de Tecnologia
Química e Biológica António Xavier e a Escola Nacional de Saúde Pública.
O Instituto de Higiene e Medicina Tropical (IHMT), cujo SGQE foi objeto de estudo
para este relatório, é uma das unidades orgânicas da UNL que, em linha com a missão da
Universidade, desenvolve grande parte da sua atividade precisamente na investigação, mas
também no ensino. Foi fundado em 1902, seguindo a tendência europeia na época com vista a
2 Informação disponibilizada pela Brochura de cursos 2014/2015 da Universidade NOVA de Lisboa (2014)
6
melhorar e prestar atenção às condições de vida nos países tropicais (Anexo P). Após o 25 de
Abril a missão do IHMT voltou-se para a saúde global, integrou-se no Ministério da Saúde e
posteriormente constituiu-se uma unidade orgânica da UNL. O IHMT faz trabalho de
investigação na saúde do viajante/migrante, no âmbito das endemias e doenças infeciosas, do
HIV, da tuberculose e da parasitologia. Assim, os seus programas de mestrado e doutoramento
estão focados na área das doenças tropicais. Fornece também consultoria e apoio técnico aos
ministérios da saúde de vários países3. Pode dizer-se que o IHMT se orienta para o
estudo/investigação e apoio/parcerias das doenças tropicais com o objetivo de apoiar a resolução de
problemas nesta área4.
É composto por 56 docentes repartidos por 4 áreas: Parasitologia Médica,
Microbiologia Médica, Saúde e Desenvolvimento e Clínica das Doenças Tropicais5. Tem
cerca de quatrocentos alunos todos em cursos de pós-graduação sendo que, metade
frequentam mestrados e outra metade doutoramentos. Sensivelmente metade dos estudantes
são de origem estrangeira, provenientes de países da Comunidade dos Países de Língua
Portuguesa6.
O Sistema de Garantia da Qualidade do Ensino da Universidade NOVA de Lisboa
(SGQE-UNL)
De seguida procura-se apresentar, o mais detalhadamente possível, as características
do SGQE-UNL pretendendo caracterizá-lo e compreendê-lo, isto é, apresentar a teoria do
programa. De acordo com Fernandes, Borralho, Vale, Gaspar e Pepo Dias (2011) a teoria do
programa permite ainda “conhecer e compreender as relações entre os seus diferentes
elementos, os processos utilizados e os respetivos efeitos nos resultados que se pretendem
3 Site do IHMT (www.ihmt.unl.pt) 4 Site do IHMT (www.ihmt.unl.pt) 5 Informação recolhida em entrevista ao Responsável pela Garantia da Qualidade do Ensino do IHMT 6 Informação recolhida em entrevista ao Responsável pela Garantia da Qualidade do Ensino do IHMT
7
obter” (p.2). A elaboração da teoria do programa
“desempenha um papel relevante nos estudos de avaliação porque ajuda a
concretizar atividades tais como: a) definir as questões mais apropriadas; b)
selecionar os procedimentos mais adequados para recolher a informação necessária;
e c) identificar os objetos e as dimensões do que se pretende avaliar e que devem
merecer particular atenção” (Fernandes, Borralho, Vale, Gaspar e Pepo Dias, 2011,
p.2).
A síntese que realizei sobre a conceção da teoria do programa do Sistema de
Garantia da Qualidade do Ensino da Universidade NOVA de Lisboa (SGQE-UNL) contou
com a análise de conteúdo às Bases Gerais do SGQE-UNL (2013) (Anexos A e B) e das
entrevistas realizadas para conseguir caracterizar e compreender o SGQE-UNL (Anexos F, I e
M). Essas entrevistas foram realizadas a pessoas que desempenharam um papel de destaque
na criação do SGQE-UNL e a pessoas que trabalham atualmente no SGQE-UNL.
O SGQE-UNL surge na sequência, e como “consequência dos compromissos
assumidos pelo governo português no âmbito da União Europeia, quanto à construção do
Espaço Europeu de Ensino Superior, e da legislação nacional entretanto publicada (Lei n.º
38/2007, de 16 de Agosto)” (Bases Gerais do SGQE-UNL, 2013, p.3, Anexos A e B). A
criação e implementação de um sistema interno de garantia da qualidade representa para a
UNL a criação de “bases para o reconhecimento nacional e internacional da qualidade do
ensino da NOVA” (Bases Gerais do SGQE-UNL, 2013, p.3, Anexos A e B).
O SGQE-UNL tem como principal objetivo “contribuir para a melhoria contínua da
qualidade do ensino da NOVA” (Bases Gerais do SGQE-UNL, 2013, p.4) estabelecendo,
assim, uma ligação com a missão da UNL. Na mesma lógica de alinhamento com a missão da
instituição o SGQE-UNL “abrange o ensino e a aprendizagem, e as relações entre estas duas
dimensões, a investigação e outras atividades da Universidade” (Bases Gerais do SGQE-
8
UNL, 2013, p.4, Anexos A e B). O SGQE-UNL procura estar de acordo com os European
Standards and Guidelines (inicialmente publicados em 2005) da European Association for
Quality Assurance in Higher Education (ENQA) coincidentes, igualmente, com a Lei
n.º38/2007. O SGQE-UNL apresenta-se como o reconhecimento da qualidade do ensino na
UNL, já que permite medir e avaliar a qualidade do ensino, contribuir para a sua melhoria e
apoiar a atuação da Universidade. A “adequação das estruturas organizacionais, dos seus
processos e atividades à consecução dos objetivos da instituição (fit for purpose)” (Bases
Gerais do SGQE, 2013) é a definição de qualidade assumida pelo SGQE-UNL.
O SGQE-UNL teve início em 2010 com reuniões entre o então Pró-Reitor
Responsável pela Qualidade do Ensino e os representantes das unidades orgânicas. As
origens da inspiração do SGQE-UNL e dos instrumentos construídos são essencialmente o
sistema implementado pela Universidade de Dublin e as boas práticas estabelecidas neste
domínio noutras instituições, tendo sido também, inicialmente, o local onde decorreram os
trabalhos.
Na fase de construção dos instrumentos, e após a discussão dos indicadores a ter em
conta no SGQE-UNL, foram elaborados os relatórios, que mais à frente se abordarão, e o
questionário aos estudantes. As principais preocupações iniciais da construção do SGQE-
UNL foi assegurar o trabalho em conjunto entre a Reitoria e as unidades orgânicas e construir
uma base igual e unificadora de todas as unidades orgânicas, visto que antes da
implementação do Sistema existiam subsistemas em algumas unidades orgânicas.
O SGQE-UNL começou a ser implementado a 15 de Julho de 2011 (ano letivo de
2011/2012), num período experimental a uma amostra de cursos. Nesta fase inicial, a
implementação do SGQE-UNL foi gradual e opcional. Este ano experimental visou, no
fundo, entender como funcionava o SGQE-UNL, testar os instrumentos criados para o
SGQE-UNL e perceber que informação era recolhida pelos mesmos, assim como que
9
alterações seriam necessárias efetuar. Este ano experimental existiu por forma a não forçar a
implementação do SGQE-UNL em todas as unidades curriculares e em todas as unidades
orgânicas, tendo-se optado pela implementação em pelo menos um ciclo de estudos em cada
unidade orgânica. A partir de 2012/2013, após o ano experimental, procederam-se a algumas
alterações: adaptação do SGQE-UNL à unidade orgânica (cultura, características,
necessidades, etc.); avaliação de todas as unidades curriculares, envolvimento de todos os
diretamente relacionados com os objetos de avaliação (estudantes, docentes e coordenadores
de ciclos de estudos); comunicação dos resultados de forma homogénea na UNL; elaboração
de um relatório semestral com dados das unidades curriculares; relatório anual que contém
informação do primeiro e segundo semestre; relatório final da UNL (que resulta dos relatórios
das 9 unidades orgânicas) aprovado pelo Conselho da Qualidade do Ensino, pelo Reitor e
pelo Conselho Geral da UNL.
Pode considerar-se que o SGQE-UNL é um sistema integrante, igual para todos e
descentralizado, não se considerando que exista uma hierarquia vertical muito demarcada
devido à autonomia que é atribuída às unidades orgânicas.
O SGQE-UNL serve como ferramenta de auscultação dos envolvidos no processo, para a
deteção de boas práticas e de problemas, mas também de mecanismos de identificação de
problemas. A monitorização, a identificação de problemas e a melhoria das situações
identificadas são alguns dos propósitos do SGQE-UNL. Acresce também a adequação do
ensino à missão da UNL e ao ensino das competências profissionais, à qualificação dos
estudantes e à reflexão como outros propósitos do SGQE-UNL. No que respeita à resolução
de problemas, quando estes não podem ser resolvidos a nível local, são reportados ao
Conselho da Qualidade onde se coordena a resolução dessas situações. Permite ainda a
comparação dos indicadores a nível nacional e a nível internacional e facilita a avaliação
externa realizada pela A3ES.
10
O SGQE-UNL é aplicado ao 1.º e 2.º Ciclos, sendo que o 3.º Ciclo tem um processo
paralelo ao mesmo. Este SGQE-UNL está assente nos valores de justiça, de apoio à tomada
de decisão, de precisão, de fiabilidade e credibilidade, de transparência, anonimato, de
auscultação dos estudantes, no feedback e na confiança.
A fiabilidade procura-se através da análise dos resultados, da definição de
procedimentos comuns, da uniformização das definições e das reuniões com os responsáveis
pela qualidade nas unidades orgânicas, por forma a garantir que os procedimentos utilizados
soa consistentes.
Para a implementação do SGQE-UNL foi necessária a criação de órgãos que
assegurem o seu funcionamento, à semelhança do que é prescrito na Lei n.º38/2007. Os
órgãos centrais (Figura 1) que compõem os SGQE-UNL são o Conselho da Qualidade do
Ensino e o Gabinete de Apoio à Qualidade do Ensino. O Conselho é um órgão de governação
e é responsável, essencialmente, por “assegurar o funcionamento” do SGQE-UNL no seu
conjunto (Bases Gerais do SGQE-UNL, 2013, Anexos A e B). É ainda responsável pela
elaboração e análise dos relatórios, pela criação de órgãos de apoio ao SGQE-UNL e redação
de documentos gerais e de monitorização do SGQE-UNL (Bases Gerais do SGQE-UNL,
2013, Anexos A e B). O Presidente do Conselho é o responsável máximo pelo funcionamento
do SGQE-UNL e uma pessoa de referência em questões da qualidade e, sendo um membro
externo, permite-lhe um afastamento do olhar sobre o SGQE-UNL.
11
O Conselho é ainda composto pelos representantes das unidades orgânicas, por estudantes e
por membros da equipa reitoral. É este órgão que valida o relatório final da Universidade
NOVA de Lisboa, bem como os resultados do SGQE-UNL. Este órgão assegura a relação
entre a Reitoria e as unidades orgânicas e supervisiona o Gabinete de Apoio à Qualidade do
Ensino (GAQE) e o Núcleo de Inovação Pedagógica e Desenvolvimento Profissional
Docente (NIP/DPD).
Figura 1. Órgãos centrais do SGQE-UNL. Fonte: UNL
O GAQE é um órgão executivo que é responsável pelo apoio e monitorização da
implementação e funcionamento do SGQE-UNL nas unidades orgânicas e assim, também
responsável por monitorizar a qualidade do ensino na UNL. O GAQE efetua, essencialmente,
trabalho de help desk. É o órgão que redige o “relatório anual sobre o funcionamento do
SGQE-UNL e sobre a qualidade do ensino” (Bases Gerais do SGQE-UNL, 2013, p.8, Anexos
A e B) na UNL. Este órgão estabelece a relação entre a Universidade e a A3ES. O GAQE e a
Pró-Reitora responsável pela Qualidade do Ensino são os órgãos que coordenam o
12
funcionamento do SGQE-UNL. Paralelamente, foi criado o NIP/DPD que é responsável pelo
desenvolvimento profissional docente e também por apoiar a avaliação do desempenho
docente nas unidades orgânicas e na avaliação dos ciclos de estudos e unidades curriculares
(Bases Gerais do SGQE-UNL, 2013, Anexos A e B).
Acima destes órgãos mais nucleares (CQE e GAQE), no que diz respeito à
implementação e funcionamento do SGQE-UNL, estão membros da Equipa Reitoral e o
Colégio de Diretores que apoiam o trabalho do Conselho e GAQE mas também prestam
assistência ao Reitor, que sendo o responsável máximo ao nível central, dá a sua aprovação
aos principais documentos do SGQE-UNL, entre os quais o Relatório sobre a Qualidade do
Ensino da Universidade NOVA de Lisboa.
Em cada unidade orgânica (Figura 2) existe um Responsável pela garantia da
qualidade do ensino. Este Responsável é um docente na unidade orgânica, nomeado pelo
Diretor, e tem como funções estabelecer a relação entre a unidade orgânica e a Reitoria,
procurando articular o SGQE-UNL com outros sistemas ou mecanismos de avaliação da
Figura 2. Órgãos locais do SGQE-UNL. Fonte: UNL
13
unidade orgânica. Dependendo da dimensão da unidade orgânica poderá existir um Gabinete
da Qualidade do Ensino, que é um órgão executivo, dirigido pelo Responsável pela qualidade
na unidade orgânica. Este órgão é o responsável pela elaboração do relatório anual sobre o
funcionamento do SGQE-UNL e dos relatórios de monitorização dos ciclos de estudos e das
unidades curriculares. Outro órgão local é a Comissão da Qualidade do Ensino, um órgão de
governação, nomeado pelo Diretor da unidade orgânica. É o órgão responsável,
essencialmente, pelo funcionamento do SGQE-UNL na unidade orgânica mas também pela
análise dos relatórios de autoavaliação e da aprovação do relatório sobre o funcionamento do
Sistema e da qualidade do ensino na unidade orgânica (Bases Gerais do SGQE-UNL, 2013).
É este órgão que valida e acompanha os resultados do SGQE-UNL. Em cada unidade
orgânica existe também uma Comissão de Ciclo de Estudos, como é claro, para cada ciclo de
estudos, e é responsável por redigir o respetivo relatório anual de monitorização do ciclo de
estudos e o relatório de autoavaliação do ciclo de estudos.
As unidades curriculares, os ciclos de estudos e as unidades orgânicas são objetos de
avaliação, mas a avaliação de todos eles em simultâneo não é obrigatória. Existem cinco
instrumentos de avaliação provenientes do SGQE-UNL (Quadro 1), dos quais o questionário
de satisfação aos estudantes e o relatório da unidade orgânica são de regime obrigatório. Os
questionários de satisfação das unidades curriculares são compostos por 9 questões fechadas
acerca dos objetivos das unidades curriculares, do feedback, dos recursos humanos e
materiais, das metodologias utilizadas, dos critérios de avaliação e da satisfação global. As
perguntas do questionário estão organizadas numa escala de seis pontos (1 a 6). Assim,
considera-se como situação a melhorar uma média, em cada questão, igual ou inferior a 3.
Nas Bases Gerais do SGQE-UNL (2013) é referido que, para a avaliação da qualidade das
unidades curriculares, é obrigatória a auscultação dos estudantes através deste questionário de
satisfação com 9 questões comuns a toda a UNL, sendo que em cada unidade orgânica
14
poderão ser adicionadas ao questionário base as questões que considerarem relevantes. Em
relação à unidade orgânica é realizado um relatório que agrega a informação (Bases Gerais do
SGQE-UNL, 2013, Anexos A e B). A forma de aplicação do questionário aos estudantes é da
escolha das unidades orgânicas, podendo ser em papel ou através de plataforma informática.
No Quadro 1 sintetizam-se os objetos, os instrumentos utilizados e os envolvidos no
processo de recolha de informação e/ou tratamento.
Quadro 1. SGQE-UNL: objetos, instrumentos e envolvidos
A Figura 3 ilustra de forma simplificada o processo de síntese da informação
recolhida através dos questionários administrados aos estudantes. Assim, numa primeira fase
e a partir dos dados recolhidos pelos questionários aos estudantes, os docentes das unidades
curriculares elaboram um relatório onde interpretam as informações recolhidas e efetuam
propostas de melhoria e eventuais reflexões. O relatório da unidade orgânica é redigido pelo
Responsável pela Qualidade do Ensino em cada unidade orgânica onde reúne as informações
do 1.º e 2.º semestre, e faz um balanço anual. A recolha e processamento dos dados é feita em
cadeia, isto é, primeiro recolhem-se as informações fornecidas pelos estudantes através dos
questionários que, ao serem integradas nos Relatórios dos Docentes e nos Relatórios dos
Objeto Instrumento Envolvidos
Unidades curriculares
Questionário de Satisfação
(obrigatório) Estudantes
Relatório dos Docentes Docente(s)
Relatório do Regente Regente da unidade curricular
Ciclo de estudos Relatório do Coordenador
do Ciclo de Estudos
Coordenador do ciclo de
estudos
Unidade orgânica Relatório da Unidade
Orgânica (obrigatório)
Responsável da Qualidade do
Ensino na unidade orgânica
15
Regentes das Unidades Curriculares, essas informações iniciais estão a ser trabalhadas e
alimentam, por assim dizer, a fase seguinte. Deste mesmo modo se processa a elaboração do
Relatório do Ciclo de Estudos pois este agrega as informações dos Relatórios dos Docentes e
dos Regentes das Unidades Curriculares desse ciclo de estudos. Por fim, é elaborado o
Relatório da Unidade Orgânica que reúne as informações dos Relatórios dos Ciclos de
Estudos. Estes instrumentos que fazem parte do SGQE-UNL vão sendo alimentados pelas
informações agregadas pelos instrumentos das “fases” anteriores por forma a contribuírem
com informações para os Relatórios das Unidades Orgânicas que por fim resultam no
Relatório da Universidade NOVA de Lisboa.
A Figura 4 ilustra o mesmo processo de recolha de informação e de elaboração dos
produtos do SGQE-UNL, sendo possível observar a periodicidade dos mesmos e de que
forma a informação recolhida pelos instrumentos e procedimentos é agregada em produtos
mais complexos, ao nível do volume de informação. Isto é, numa primeira fase, as
informações recolhidas semestralmente, através dos questionários administrados aos alunos,
são integradas nos relatórios dos docentes e/ou no relatório do Responsável da unidade
curricular. Posteriormente a informação destes relatórios é transportada para o relatório da
comissão de ciclos de estudos, onde que se efetua anualmente, a avaliação de cada curso. O
relatório de ciclo de estudos, por sua vez, fornece informação ao Responsável da garantia da
qualidade do ensino na unidade orgânica para a elaboração do relatório sobre a qualidade do
Figura 3. Processamento da informação recolhida através dos instrumentos e
procedimentos do SGQE-UNL.
Questionário aos estudantes
Relatório do Docente/
e/ou Regente
Relatório do Ciclo de Estudos
Relatório da Unidade Orgância
16
ensino na unidade orgânica. Por último, é redigido o relatório sobre a qualidade do ensino em
toda a Universidade, elaborado anualmente pelo Gabinete de Apoio à Qualidade do Ensino.
Este é o único momento de recolha e tratamento de informação que não é realizado
diretamente por um dos órgãos locais do SGQE-UNL.
Figura 4. Processo de construção dos relatórios a partir dos resultados dos questionários aos
alunos. Fonte: UNL
A utilização dos dados é feita internamente e elabora-se a partir daí medidas a
implementar no relatório da unidade curricular e no relatório do ciclo de estudos. A
implementação dessas medidas é analisada pela Pró-Reitora responsável pelo pelouro da
qualidade.
Consta nas Bases Gerais do SGQE-UNL de 2013 (Anexos A e B) que é um direito
de todos os envolvidos o conhecimento dos resultados da avaliação das unidades curriculares
e ciclos de estudos. As respostas às questões abertas dos questionários aos estudantes são
consultadas pelos docentes, responsável pela unidade curricular e responsável do
17
departamento. Relativamente à divulgação dos resultados cabe ao Diretor da unidade
orgânica decidir como é feita e quem terá acesso. As Bases Gerais do SGQE-UNL, no seu
anexo da Adenda ao documento das Bases Gerais do Sistema de Garantia da Qualidade do
Ensino da UNL, sobre o acesso à informação da avaliação das unidades curriculares, referem
que “os membros da comunidade académica (…) têm o direito a serem informados (...) pelo
menos quanto à questão que mede a satisfação geral com as unidades curriculares” (Bases
Gerais do SGQE-UNL, 2013). Este é o único documento a nível central que define os graus
de divulgação dos resultados. A divulgação dos dados é interna, sendo que as informações
que constam nos relatórios são de interesse interno da instituição. Contudo, é definido que
devem ser as unidades orgânicas a decidir sobre a divulgação de informação genérica.
Em resumo, o SGQE-UNL tem como propósito assegurar a melhoria contínua do
ensino UNL e, assim, contribuir um ensino de excelência, como consta na missão da
instituição. Disponibiliza cinco instrumentos e procedimentos para a avaliação dos seguintes
objetos: unidades curriculares, ciclos de estudos e unidades orgânicas. Desses cinco
instrumentos e procedimentos dois deles são de carácter obrigatório a implementar pelas
unidades orgânicas: questionário aos estudantes e relatório da unidade orgânica. Existem
relatórios preenchidos pelos docentes e regentes das unidades curriculares onde se indicam
possíveis medidas de melhoria para as situações menos positivas apontadas pelos estudantes
nos questionários. É um Sistema composto por vários níveis de tratamento das informações
recolhidas desde o “primeiro nível” dos questionários aos estudantes até ao último nível que
será o Relatório da UNL.
O SGQE-UNL é suportado por vários órgãos a nível local e a nível central que
permitem acompanhar o funcionamento deste Sistema e envolver os principais participantes –
estudantes e docentes. É um Sistema descentralizado que permite adaptações aos
18
instrumentos e procedimentos propostos a nível central e à própria criação dos órgãos locais
que as unidades curriculares julgarem adequados às suas características.
Tarefas de estágio
As principais tarefas realizadas ao longo do estágio curricular foram:
aprofundar o conhecimento sobre os sistemas internos de garantia da qualidade e
sobre a qualidade no ensino superior através da consulta de documentação de
entidades internacionais e da legislação portuguesa;
conhecer o funcionamento do SGQE-UNL através da consulta de documentos das
Bases Gerais;
conceber e aplicar guiões de entrevista com a finalidade de compreender o
funcionamento do SGQE-UNL, em geral, e no caso particular de uma unidade
orgânica;
analisar e sintetizar as informações recolhidas.
No capítulo seguinte apresenta-se o enquadramento teórico que integra o problema
de partida do presente trabalho, a questão e a matriz de avaliação, bem como a descrição do
desenho da avaliação e da recolha de informações.
19
CAPÍTULO II – ENQUADRAMENTO TEÓRICO
Neste capítulo abordou-se os principais temas, conceitos e definições que se
consideraram mais relevantes para a apresentação e para a sustentação do trabalho
desenvolvido. É incontornável falar da avaliação, da avaliação da qualidade, da avaliação da
qualidade no ensino superior e das orientações internacionais e da legislação existente em
Portugal nesta área.
O conceito de avaliação: definição, fundamentos e propósitos
A avaliação e a investigação têm características próprias que as separam. Por um
lado – o processo de investigação, numa tradução livre, “termina com conclusões acerca de
como ocorrem os factos, alimenta a teoria e o corpo de conhecimentos sobre o segmento do
saber” (Nirenberg, Brawerman e Ruiz, 2000, p.37 cit in Lukas e Santiago, 2004, p.48),
enquanto a avaliação é um processo que “termina” com a emissão de juízos e a tomada de
decisão – e por outro, partilham de algumas características. São ambas, numa tradução livre,
um “processo sistemático, rigoroso, controlado e nos dois casos utilizamos técnicas de
recolha e análise de dados” (Lukas e Santiago, 2004, p.48). A investigação e a avaliação não
se distinguem pelos métodos que cada uma utiliza, mas antes pelos propósitos e objetivos que
assumem (Lukas e Santiago, 2004).
A avaliação apoia-se, de acordo com Fernandes (2010) em opções ontológicas,
epistemológicas e metodológicas, ou seja, as conceções e valores sobre a realidade, sobre a
relação com o conhecimento e sobre os métodos a utilizar. Para Guba & Lincoln (1994) a
resposta a estas três questões, que se relacionam entre si, apoiam a construção dos
paradigmas na investigação qualitativa. A questão ontológica refere-se a “qual é a forma e
20
natureza da realidade e (…) o que é que existe que possa ser conhecido?”7 (Guba e Lincoln,
1994, p.108). Outra questão é a epistemológica que se refere a “qual a natureza da relação
entre quem quer conhecer (…) e aquilo que pode ser conhecido?”8 (Guba e Lincoln, 1994,
p.108). A questão metodológica, para Guba e Lincoln (1994) deve responder ao “como pode
o investigador ir descobrindo aquilo que acredita que pode ser conhecido?”9 (p.108) e “não
deve ser reduzida a uma questão de métodos; os métodos devem estar de acordo com uma
metodologia pré-definida”10 (p.108). Estas questões influenciam a teoria e a prática da
avaliação resultando em adaptações ao contexto da avaliação (Fernandes, 2010). No entanto,
as abordagens de avaliação que se adotam, segundo essas opções ontológicas,
epistemológicas e metodológicas, não se podem resumir apenas a questões metodológicas ou
de instrumentos (Fernandes, 2010).
As diferentes respostas às questões ontológicas, epistemológicas e metodológicas
contribuem para a existência de diferentes formas de fazer avaliação. Podem agrupar-se as
abordagens de avaliação segundo os pressupostos que as influenciam. No entanto, esta
“distinção” das abordagens de avaliação pelos pressupostos não significa que as abordagens
sigam puramente os pressupostos que as influenciam. Assim, existem abordagens de
avaliação que se suportam em pressupostos empírico-racionalistas, que tendem a privilegiar a
objetividade e dados quantitativos, em que o avaliador se assume como neutro e em que a
participação dos stakeholders é secundarizada, assim como o contexto (Fernandes, 2010). Por
outro lado, existem abordagens baseadas em pressupostos interpretativos que tendem a
privilegiar a subjetividade e os dados qualitativos, e onde o avaliador é mais próximo do
contexto e dos stakeholders (Fernandes, 2010). Nesta perspetiva é de extrema importância a
valorização da experiência de vida dos participantes para o processo de avaliação. A
7 Tradução livre 8 Tradução livre 9 Tradução livre 10 Tradução livre
21
compreensão dos significados que atribuem às situações vividas é particularmente relevante.
Interessa aqui saber “como é que, num dado contexto social, os stakeholders atribuem
significado e dão sentido ao que os rodeia (e.g. objetos, pessoas, acontecimentos,
experiências) para que se possa reconstruir e interpretar a sua compreensão acerca das coisas”
(Fernandes, 2010, p.32). Os significados são construídos intersubjetivamente (Fernandes,
2010), ou seja, implicam nomeadamente interação social entre os participantes.
Entende-se que a avaliação é uma prática social, já que depende da partilha de
significados pelos intervenientes no processo, depende da interacção social, é um domínio
científico, pois obedece a uma lógica, metodologias e conceitos próprios, que apoia a
resolução de problemas, é um processo de recolha de informação e é um processo complexo,
rigoroso e diversificado (Fernandes, 2010).
Quando se transporta o conceito de avaliação para a área da Educação este pode
entender-se, numa tradução livre, como o “processo de identificação, recolha e análise de
informação relevante, que poderá ser quantitativa ou qualitativa – de forma sistemática,
rigorosa, planificada, dirigida, objetiva, credível, fiável e válida – para emitir juízos de valor
e o mérito do objeto educativo em questão, a fim de tomar decisões que ajudem a melhorar o
mencionado objeto” (Lukas e Santiago, 2004, p.45). É neste sentido da melhoria que a
UNESCO orienta o seu conceito de avaliação no ensino superior como um “processo de
análise sistemática e crítica com vista à emissão de juízos e recomendações sobre a qualidade
de uma instituição de ensino superior ou de um ciclo de estudos” (UNESCO/CEPES, 2007,
cit in Glossário A3ES, s.d.).
A avaliação, numa conceção mais ampla refere-se, numa tradução livre, à
“apreciação sistemática do valor e do mérito de um objeto”, segundo o Joint Committee
(1994, cit in Stufflebeam e Shinkfield, p.3). É importante realçar que a avaliação é um
processo que está voltado para, numa tradução livre, “a melhoria da ação e implica
22
essencialmente um juízo de valor” (Nirenberg, Brawerman e Ruiz, 2000, p.37 cit in Lukas e
Santiago, 2004, p.48). A avaliação é, numa conceção mais ampla, a emissão de juízos em
relação ao valor – refere-se a algo extrínseco ao objeto, traduzindo livremente, em geral
“afere a qualidade e valor ou importância de um objeto num dado contexto” (Stufflebeam e
Shinkfield, 2007, p.10) – e mérito – refere-se a algo intrínseco ao objeto, traduzindo
livremente, este afere a qualidade do objeto, ou seja o seu nível de excelência (Stufflebeam e
Shinkfield, 2007) – de um dado objeto (Fernandes, 2013). Uma definição que estende este
conceito principal considera a avaliação, numa definição que se traduz livremente, como “um
processo sistemático de delinear, obter, relatar e de aplicar informações descritivas e de juízos
sobre o mérito, o valor, probidade, viabilidade, segurança, significado e/ou equidade de um
objeto” (Stufflebeam e Shinkfield, 2007, p.16). Nesta definição sublinham-se os aspetos da
viabilidade, probidade, equidade e significância que o processo de avaliação deve assegurar.
A conceção da avaliação associada à accountability, de acordo com Abrantes (2010),
contribui para que o seu papel na Educação apoie “a tomada de decisões mais eficazes,
equitativas e democráticas, através de um controlo permanente de diversos indicadores
sociais, económicos e culturais” (p.28). A accountability é composta por três dimensões: a
avaliação, a prestação de contas e a responsabilização. Schedler (1999, cit in Afonso, 2009b)
divide a accountability em outras três dimensões, sendo elas a informação, a justificação e a
imposição. Às duas primeiras correspondem à prestação de contas, na designação de Afonso
(2009b), pois remetem para “o direito de pedir informações e de exigir justificações”
(Afonso, 2009b, p.59). A prestação de contas é, como se viu, uma forma de justificação e de
explicação e, por isso, deve assentar em processos de avaliação e autoavaliação (Afonso,
2009a). A accountability deve estar fundada nos valores da justiça, de transparência, do
direito à informação, da participação e cidadania para que esteja ao serviço dos cidadãos,
livre de instrumentalização e do controlo (Afonso, 2009a).
23
Segundo Afonso (2009a) a avaliação é um processo que deve ocorrer antes da
prestação de contas e antes da responsabilização, devendo fornecer bases rigorosas e
credíveis aos processos posteriores de accountability. A combinação entre estas três
dimensões, ou processos de accountability, concorrem para a participação democrática e de
empowerment das sociedades (Afonso, 2009a). De acordo com Abrantes (2010) os modelos
de avaliação que seguem a lógica da accountability são, em geral, flexíveis e dinâmicos por
forma a potenciar o uso da avaliação para a “tomada de decisões, participações e formação
dos atores educativos, e transparência e accountability dos sistemas” (p.28).
Como se mencionou anteriormente o conceito de avaliação remete para a emissão de
juízos e para o apoio à tomada de decisões. Existem, contudo, outros propósitos para a
avaliação ou finalidades para a sua utilização, segundo Stufflebeam e Shinkfield (2007):
a avaliação para a melhoria – de cariz formativo permite orientar o processo
de tomada de decisão;
a avaliação para a prestação de contas – de cariz sumativo, prende-se com a
emissão de um juízo global;
a avaliação para disseminar informação – pretende divulgar informação
para apoiar a tomada de decisão dos cidadãos;
e, a avaliação para promover o esclarecimento – que se aproxima mais da
investigação, embora não torne o processo de avaliação numa investigação.
Para Fernandes (2013) um outro propósito da avaliação é o discernimento da
qualidade do objeto avaliado.
Avaliação e Qualidade
A avaliação é, também, o discernimento da qualidade do objeto avaliado, isto é, “a
24
avaliação, na sua essência tem que ver com a identificação e o reconhecimento da qualidade
com base numa diversidade de evidências que permitem comprovar essa mesma qualidade
perante outrem” (Fernandes, 2013, p.18). Ao discernimento da qualidade está associada a
comparação do objeto avaliado face a critérios, nuns casos mais definidos do que noutros.
Traduzindo livremente as ideias de Stake e Schwandt (2006) também a avaliação da
qualidade está associada à comparação: “discernir qualidade é uma questão de expectativa e
comparação” (p.1). Como se viu, ao discernimento da qualidade está associada a comparação
do objeto avaliado face a critérios, nuns casos mais definidos do que noutros. Essa
comparação com critérios faz sentido, pois, da mesma forma que a avaliação diz respeito ao
mérito e valor de um objeto, a qualidade também compreende a presença desses dois fatores
(Stake e Schwandt, 2006). Ou seja, “a avaliação [da qualidade] tem a ver fundamentalmente
com a identificação e o reconhecimento da qualidade com base numa diversidade de
evidências que permitem comprovar essa mesma qualidade perante outrem” (Fernandes,
2009, p.2).
O conceito de qualidade é, numa definição que à partida pouco esclarece, um
conceito “complexo, dinâmico, historicamente construído e multifacetado (...)” (Unesco,
2003, cit in Bertolin, 2009, p.145). A qualidade pode referir-se, num sentido abrangente, ao
“conjunto de propriedades, atributos e condições inerentes a um objeto e que são capazes de
distingui-lo de outros similares, classificando-o como igual, melhor ou pior; ou então, como o
atributo que permite aprovar, aceitar ou refutar o objeto com base em um padrão de
referência” (Davok, 2007, p.506). Para este autor a qualidade está associada à comparação de
um objeto face a outro objeto, ou face a critérios.
A avaliação da qualidade pode ser entendida como medida onde se “produzem
medidas da qualidade, isto é, a qualidade é determinada através da comparação entre as
evidências obtidas no processo de avaliação e os critérios definidos de acordo com uma
25
variedade de processos” (Fernandes, 2009, p.3). Neste caso, existem critérios que servem de
base para a aferição da presença ou não da qualidade; é em relação a esses critérios que se
compara o objeto. De acordo com alguns autores (Scriven, 1991; Schwartz e Mayne, 2005,
cit in Fernandes, 2013) a lógica associada à qualidade como medida e que, no fundo, está
subordinada à lógica da avaliação, segue as seguintes etapas “a) definir critérios que
caracterizem o mérito; b) definir standards; c) medir o desempenho e compará-lo com os
standards; e d) sintetizar e integrar os resultados de forma a que se produza um juízo acerca
do mérito, valor ou significado do objeto” (p.21). A qualidade como medida “é determinada
através da comparação entre as evidências obtidas no processo de avaliação e os critérios
definidos de acordo com uma variedade de processos” (Fernandes, 2013) e a qualidade como
experiência, em que “a interpretação das experiências pessoais dos intervenientes será um dos
elementos essenciais na determinação da qualidade do que quer que esteja sob avaliação e,
por isso, é dada relevância ao seu conhecimento prático” (Fernandes, 2013, p.21). A
qualidade como experiência, como se abordou anteriormente, é outra forma de conceber a
qualidade e centra-se “na descrição, análise e discussão das perceções que os intervenientes
no processo têm dessa mesma qualidade, isto é, a qualidade é construída socialmente e é
reconhecida quando se vê e quando se sente” (Fernandes, 2013, p.19).
A principal distinção na avaliação da qualidade como medida e na avaliação da
qualidade como experiência é o peso atribuído à primeira aquilo que pode ser quantificado e
medido e o peso atribuído pela segunda às experiências sentidas pelos participantes.
A avaliação da qualidade, assim como qualquer processo de avaliação de um objeto,
é referente a um determinado contexto de tempo e de espaço, ou seja, faz sentido num
determinado período de tempo e num dado espaço. Deste modo, “a questão da avaliação da
qualidade tem muito a ver com o que se poderá considerar ser o melhor e mais apropriado
juízo que se faz do que se está a avaliar, num determinado contexto e circunstâncias, na posse
26
de certo tipo de evidências e com determinado tipo de intervenientes” (Fernandes, 2013,
p.23). Esta afirmação, ao remeter para o contexto e que a lógica da avaliação é transponível
para qualquer área da sociedade, desde que se tenha presente que esse juízo e relativo a um
tempo e espaço. Stake e Schwandt (2006) referem que “os juízos sobre a qualidade
geralmente deixam espaço para dúvidas” querendo isto dizer que não são perfeitos e abrem
caminho a conjeturas e reflexões.
Qualidade e Educação no Ensino Superior
As conceções de qualidade em Educação assumem diferentes significados pois o que
se considera ser a qualidade em educação está associado ao que se deseja para a educação.
Isto é, a qualidade em educação “admite uma variedade de interpretações dependendo da
conceção que se tenha sobre o que esses sistemas devem proporcionar à sociedade” (Davok,
2007, p.506). No entanto, e segundo Davok (2007) para o conceito de qualidade em educação
tem significado a eficácia, a eficiência, a relevância e a efetividade dos sistemas educativos.
A tipologia proposta por Harvey e Green (1993, cit in Wittek & Kvernbekk, 2011)
para o conceito de qualidade revela diferentes opções ontológicas, epistemológicas e
metodológicas para cada uma das cinco conceções: a qualidade como exceção, recorre a
padrões de referência, ideais, normas e convenções sociais para distinguir o excecional; a
qualidade como perfeição valoriza os processos, os intervenientes, a cultura e centra-se em
critérios do que deve ser a qualidade, privilegiando a prevenção ao controlo; a qualidade
ajustada ao propósito, em que a qualidade é o cumprimento do propósito ou serviço,
procurando assim garantir e assegurar a qualidade de um produto ou serviço; a qualidade
como value for money, em que a qualidade é a eficácia e prestação de contas aos
consumidores e contribuintes; e a qualidade como transformação, em que a qualidade é a
mudança ao longo de um processo. É na qualidade ajustada ao propósito que as conceções
27
das áreas da economia e gestão têm prevalecido. Ou seja, para estas áreas, a qualidade refere-
se à “relação entre as características e os procedimentos aplicados na fabricação ou
desenvolvimento de um bem ou um serviço, como também o grau de satisfação do cliente
para com o produto ou serviço em relação à sua expectativa inicial” (Davok, 2007, p.506). Se
se considerar a Educação como produto (o que pode ser considerada uma ideia redutora)
apresenta-se esta uma possibilidade de avaliação da qualidade da. Pode incluir-se essa ideia
da Educação como produto, de acordo com a tipologia de Harvey e Green (1993, cit in Wittek
& Kvernbekk, 2011) anteriormente apresentada, na conceção de qualidade como perfeição ou
na conceção da qualidade ajustada ao propósito que, segundo Davok (2007) são as visões
mais frequentes do que significa a qualidade de algo. Então, de acordo com Davok (2007) “o
conceito mais usual é que qualidade significa a perfeição de algo diante da expectativa das
pessoas. (...) ela exige a relação de dois elementos (perfeição e expectativa) ” (p.507). Isto é,
neste último caso, existe qualidade se as características do objeto se ajustarem às expectativas
das pessoas.
Outra tipologia para o conceito de qualidade, mas esta especificamente aplicada à
qualidade no Ensino Superior, é proposta por Demo (1985, cit in Davok, 2007) e refere-se à
qualidade académica, à qualidade social e à qualidade educativa. Para este autor a qualidade
académica refere-se à “capacidade de produção original de conhecimento, da qual depende
intrinsecamente a docência” (Demo, 1985, p.35 cit in Davok, 2007, p.508). Neste caso a
qualidade diz respeito ao docente e às suas capacidades. A qualidade social relaciona-se com
a intervenção ou contributo das instituições de ensino superior no desenvolvimento da
sociedade (Davok, 2007). Por fim, a qualidade educativa está associada à formação do
cidadão pelas instituições de ensino superior, isto e, à provisão de uma formação completa
aos sujeitos (Davok, 2007).
No que respeita à qualidade em educação, como se tem vindo a discutir, Scriven
28
(1991, cit in Davok, 2007) propõe que o conceito de qualidade seja considerado em termos de
mérito e de valor. No entanto, só se verifica qualidade quando, pelo menos, a primeira
característica está presente no objeto (Davok, 2007). Segundo o mesmo autor o mérito de um
objeto existe “quando [este] faz bem o que se propõe a fazer” (p.511) e este é indispensável
para se verificar a qualidade do objeto. O valor é visível “quando os seus recursos [do objeto]
estão sendo bem aplicados para atender às necessidades dos stakeholders” (Davok, 2007,
p.511). De acordo com Davok (2007) do mérito estão dependentes a eficácia e a eficiência
dos objetos e do valor estão dependentes a relevância e a efetividade. Neste sentido, “se um
objeto educacional não tiver relevância e efetividade, ele não exibe valor; se não tiver
eficácia e eficiência, ele não exibe mérito; por conseguinte, se um objeto educacional não
tiver relevância, efetividade, eficácia e eficiência, ele não exibe qualidade” (Davok, 2007,
p.513).
A qualidade da educação na legislação portuguesa e nas orientações europeias
A garantia da qualidade do ensino é uma questão que merece a atenção da legislação
portuguesa tendo sido publicado o Regime Jurídico da Avaliação do Ensino Superior na Lei
n.º 38/2007 que enuncia que a avaliação da qualidade se aplica “a todos os estabelecimentos
de ensino superior e a todos os seus ciclos de estudos” (artigo 2.º da Lei n.º38/2007). De
sublinhar que esta legislação decorreu da inserção portuguesa no espaço europeu comum,
sendo notória a influência internacional na elaboração desta lei. Destaca-se que, segundo a
Lei n.º38/2007, a avaliação da qualidade deve seguir os seguintes objetivos: “a) proporcionar
a melhoria da qualidade das instituições de ensino superior; b) a prestação de informação
fundamental à sociedade sobre o desempenho das instituições de ensino superior; e c) o
desenvolvimento de uma cultura institucional interna de garantia de qualidade” (artigo 5.º,
Lei n.º38/2007). As instituições de ensino superior e as suas unidades orgânicas e os ciclos de
29
estudos são os objetos obrigatórios de avaliação da qualidade. É também de carácter
obrigatório a realização de uma autoavaliação (ou avaliação interna) e avaliação externa
(realizada pela A3ES), assim como a integração de peritos externos, a auscultação e
envolvimento dos estudantes através de questionários e a divulgação dos resultados da
avaliação (Lei n.º 38/2007).
Apresenta-se, de seguida, a interpretação da avaliação da qualidade segundo a
legislação portuguesa (Lei n.º38/2007), que como se verá foi influenciada por recomendações
internacionais da European Network for Quality Assurance (ENQA), e irá fazer-se referência
às recomendações da European University Association (EUA). Como se viu anteriormente, as
orientações da ENQA destacam a importância da garantia da qualidade para a melhoria da
educação e que essa é uma responsabilidade das instituições de ensino superior pois têm o
dever de prestar contar à sociedade. Embora mencionem o desenvolvimento de uma cultura
de qualidade é importante a European University Association (EUA) assume principal
destaca nos processos de garantia da qualidade. Considere-se, então, as recomendações da
EUA para as instituições de ensino superior, em torno na garantia da qualidade sobretudo
orientadas pelo desenvolvimento de uma cultura de qualidade.
Os princípios básicos dos Standards and Guidelines for Quality Assurance in the
European Higher Education Area da ENQA (2009) remetem a responsabilidade da garantia
da qualidade para as instituições de ensino superior, salientando a importância da
accountability, da transparência, da existência de processos de garantia da qualidade para a
melhoria da educação e da necessidade de salvaguardar os interesses das sociedades acerca
da qualidade do ensino superior. Os vários standards, para a avaliação interna e para a
avaliação externa, propostos pela ENQA são acompanhados de orientações para concretizar.
No entanto, atenta-se apenas aos propósitos em que se apoiam os standards e orientações
gerais, pois o que se pretende é observar o que os sustenta. Os propósitos explicitados pela
30
ENQA (2009) são, numa tradução livre: a melhoria da educação no espaço europeu comum;
“apoiar as instituições de ensino superior na gestão e na melhoria da qualidade, e assim,
ajudá-las a justificar a sua autonomia” (p.14); “construir um referencial para o trabalho das
agências de garantia da qualidade” (p.14); e “tornar a avaliação externa mais transparente e
simples para todos os envolvidos” (p.14).
Tendo também como preocupação a questão da garantia da qualidade surgem as
recomendações da European University Association (EUA) para as instituições de ensino
superior, com vista ao desenvolvimento de uma cultura de qualidade. A EUA (2010) assume a
promoção de uma cultura da qualidade ao nível do sistema (político) e das instituições do
ensino superior como prioridade para a garantia da qualidade do ensino e aprendizagem
(EUA, 2010). Para a garantia da qualidade a EUA (2010) defende que as instituições de
ensino superior se devem reger pelos seguintes princípios (EUA, 2010): a responsabilidade
pela garantia da qualidade é, em primeiro lugar, das universidades; a gestão da qualidade
exige uma abordagem englobante e deve partir da missão e objetivos estratégicos da
instituição; a definição de qualidade a adotar deve ter em conta as características locais e os
seus processos devem ser flexíveis; e a preocupação última da garantia da qualidade deve ser
a melhoria da qualidade ao mesmo tempo que promove a confiança entre os stakeholders;
assim como deve procurar-se um equilíbrio entre a melhoria e a prestação de contas.
Remetendo novamente para a legislação portuguesa (Lei n.º38/2007) percebe-se a
influência da discussão internacional sobre as questões da qualidade e da garantia da
qualidade do ensino superior, em especial, no artigo 8.º da Lei n.º 37/2007 consta a
obrigatoriedade da realização da avaliação da qualidade uma vez que Portugal obedece a
normas europeias: “a avaliação da qualidade é obrigatória e realiza-se no quadro do sistema
europeu de garantia da qualidade no ensino superior”. A Lei n.º38/2007, de 16 de Agosto,
refere que as instituições de ensino superior devem orientar o seu funcionamento para a
31
garantia da qualidade, desenvolvendo uma cultura de qualidade mas, mais ainda, uma
política, estratégia e procedimentos de garantia da qualidade (Bases Gerais do SGQE-UNL,
2013).
A A3ES, entidade portuguesa responsável pela acreditação e pela avaliação externa
do ensino superior, tendo em atenção os Sistemas Internos de Garantia da Qualidade das
instituições, adota para si a definição de qualidade no ensino superior elaborada pela
UNESCO. Estas duas instituições consideram que qualidade é um
“conceito multidimensional, multinível e dinâmico, que se relaciona com o contexto
de um modelo educacional, com a missão e objetivos institucionais, bem como com
as normas e os termos de referência específicos de um determinado sistema,
instituição, curso, programa ou unidade disciplinar” (UNESCO/CEPES, 2007, cit in
Glossário A3ES, s.d.).
E, quando se refere à avaliação no ensino superior, o que se entende por avaliação
não difere muito – entende-se esta como o “processo de análise sistemática e crítica com vista
à emissão de juízos e recomendações sobre a qualidade de uma instituição de ensino superior
ou de um ciclo de estudos” (UNESCO/CEPES, 2007, cit in Glossário A3ES, s.d.).
Posto isto, entende-se que o conceito de qualidade do ensino superior reúne pouco
consenso pois depende acima de tudo das ideias que se sustentam para o desenvolvimento de
uma sociedade. No entanto, tem captado o interesse, em especial nos serviços públicos, e
dentro dos serviços públicos, particularmente na Educação, das instituições internacionais e
nacionais tendo sido publicadas recomendações, legislação e orientações para as práticas de
qualidade.
32
CAPÍTULO III – ENQUADRAMENTO METODOLÓGICO
Neste capítulo reuniram-se as opções metodológicas em que se baseou este trabalho,
a apresentação do problema, da questão e da matriz de avaliação, a seleção e caracterização
dos entrevistados e a descrição do desenvolvimento do trabalho.
Planear uma avaliação
Existem várias sugestões para a planificação de uma avaliação (e.g. Westat, 2002;
Holden e Zimmerman, 2009), compostas por várias etapas que apoiam um estudo de
avaliação desde a sua conceção até à implementação. Holden e Zimmerman (2009) propõem
cinco etapas que não são mutuamente exclusivas, pois, podem sobrepor-se ao longo da
planificação. Com esta referência à proposta de Holden e Zimmerman (2009) procura-se
apenas apoiar as escolhas realizadas neste estudo sem que esse facto seja restritivo.
De acordo com Holden e Zimmerman (2009) e o seu modelo EPIC – Evaluation
Planning Incorporanting Context – as etapas que o compõem, sendo que em cada etapa se
tende a convergir para a implementação da avaliação, são11:
Acesso ao contexto (compreender o ambiente político e organizacional; definir a
relação entre o avaliador e o patrocinador; determinar o nível da avaliação);
Obter reconhecimento (especificar a utilização da avaliação; validar
perspetivas);
Envolver os stakeholders (identificar e convidar stakeholders; definir os papéis
dos stakholders e as estruturas para a sua participação; estabelecer processos de
grupo para a participação contínua dos stakeholders);
Descrever o programa (determinar a teoria do programa; compreender a história
e evolução do programa);
11Tradução livre
33
Focar a avaliação (completar uma lista das questões de avaliação; garantir a
fiabilidade; priorizar as questões para responder).
Na fase de acesso ao contexto deve ter-se em especial atenção a contextualização
da avaliação, isto é, compreender o ambiente político e organizacional, os aspetos
organizacionais, estruturais e circunstanciais do programa (Holden e Zimmerman, 2009).
Para Holden e Zimmerman (2009) na fase de obter reconhecimento é importante que o
avaliador consiga reforçar a importância da avaliação, para que os envolvidos se
comprometam com o processo, e que pense nas suas possíveis utilizações. A fase do
envolvimento dos stakeholders é uma continuação da anterior, na qual estes são identificados,
procurando o seu envolvimento no processo, estabelecendo os seus papéis e a comunicação
com os envolvidos (idem). As duas fases seguintes poderão ser aquelas que se aproximam
mais do planeamento propriamente dito.
Na fase de descrição do programa considera-se relevante a construção da teoria do
programa e poderá ser útil desenvolver uma matriz de avaliação. A última fase da
planificação da avaliação é, segundo os autores que se vêm citando, a focagem da mesma.
Nesta fase é importante que o avaliador formule as questões de avaliação e selecione o que
pretende avaliar e se apoie nos propósitos do estudo a realizar (Holden e Zimmerman, 2009).
Problema, questão e matriz
O problema que se definiu para a realização deste estudo decorreu da necessidade de
querer conhecer como seria o funcionamento do SGQE-UNL e a sua execução numa unidade
orgânica da UNL. Como anteriormente se referiu, o presente relatório partiu do problema que
consistiu em compreender como se relacionam as práticas de gestão de qualidade do Instituto
de Higiene e Medicina Tropical (IHMT) com o Sistema de Garantia da Qualidade do Ensino
da Universidade Nova de Lisboa (SGQE-UNL). Este foi o problema que se definiu com vista
34
a estudar como é implementado o SGQE-UNL numa das unidades orgânicas da Universidade
NOVA de Lisboa. A opção pela unidade orgânica em causa prendeu-se com o facto de ser
uma das unidades orgânicas de dimensão semelhante às outras unidades orgânicas utilizadas
para os estudos de avaliação das duas colegas que também realizaram o estágio curricular no
Gabinete de Apoio à Qualidade do Ensino. Por outro lado, tornou também que o estudo fosse
viável.
Posteriormente definiu-se uma questão de avaliação, com o objetivo de melhor
orientar o estudo em causa. A questão, enunciada abaixo, suporta o problema que se
formulou, na medida em que se pretende compreender quais as características, as estruturas e
os processos de gestão da qualidade praticadas pelo IHMT, procurando perceber o modo de
implementação e de funcionamento do SGQE-UNL no IHMT. A questão de avaliação é
então:
De que forma o Sistema de Garantia da Qualidade do Ensino do IHMT se
relaciona com o preconizado pelo SGQE-UNL?
Como forma de responder a esta questão construiu-se a seguinte matriz de avaliação
(Quadro 2) que contém um objeto e as respetivas dimensões, por forma a focar a avaliação,
como defendido por alguns autores como Holden e Zimmerman (2009). A matriz de
avaliação, de acordo com Spaulding (2008, cit in Borralho et al., 2011) “não é mais do que
uma esquematização de um plano que permite orientar os avaliadores no terreno e garantir
que a informação relevante não deixa de ser recolhida”(p.4). A matriz de avaliação pode ser
usada como uma “ferramenta (…) que ajuda a organizar as questões de avaliação em torno de
dos domínios e objetivos identificados”12 (Holden e Zimmerman, 2009, p.23), sendo por isso
útil também para focar a avaliação. O foco da avaliação é importante, como se viu
12 Tradução livre
35
anteriormente, para procurar assegurara a viabilidade da avaliação. Segundo Rossi et al.
(2004, cit in Holden e Zimmerman, 2009) “deve ser encontrado um equilíbrio entre o que se
deseja da avaliação e o que é exequível em termos de recursos disponíveis” 13 (p.10).
Considerou-se como objeto as práticas de gestão da qualidade do IHMT e como
dimensões: as estruturas de gestão da qualidade, a relação que existe com os órgãos centrais
do SGQE-UNL, como é feita a recolha de dados, divulgação dos resultados e
constrangimentos que advém dessas práticas de gestão da qualidade. Como se viu
anteriormente o SGQE-UNL atribui autonomia às unidades orgânicas para a implementação
do Sistema, quer ao nível da criação dos órgãos locais, quer ao nível dos instrumentos e
procedimentos utilizados, daí que se justifique o estudo do funcionamento do SGQE-UNL
geral numa unidade orgânica. Importa, no fundo, compreender como se processa a garantia
da qualidade do ensino nessa unidade orgânica e que relação pode ser estabelecida entre o
preconizado pelo SGQE-UNL a nível central e a nível local.
Objeto Dimensões
Práticas de gestão da qualidade do IHMT
Estruturas de gestão da qualidade
Relação com os órgãos centrais SGQE-
UNL
Processos de recolha de dados
Processos de divulgação dos resultados
Quadro 2. Matriz de Avaliação
Metodologia
A investigação qualitativa, que suporta o presente trabalho, não se caracteriza apenas
pela natureza qualitativa dos dados. De acordo com a citação seguinte, a investigação
13 Tradução livre
36
qualitativa caracteriza-se por: “a fonte direta de dados é o ambiente natural, constituindo o
investigador o instrumento principal” (Bogdan e Biklen, 1994, p.47). Além disso, é descritiva
e dá maior ênfase ao processo do que aos resultados. Neste sentido, a análise dos dados é
indutiva e o significado é muito relevante para a investigação (Bogdan e Biklen, 1994).
A Figura 5 exemplifica como se desenvolveu o processo de recolha de informação
para este relatório. Realizaram-se cinco entrevistas semidiretivas a seis participantes, sendo
que a última entrevista (Entrevistadas E) incluiu a auscultação de três intervenientes, uma das
quais também foi entrevistada na primeira fase de entrevistas. Inicialmente, e com o objetivo
de caracterizar e compreender o SGQE-UNL, entrevistou-se três pessoas, das quais uma
esteve envolvida no processo inicial da conceção e implementação do SGQE-UNL
(Entrevistada A), e as outras duas pessoas (Entrevistadas B e C) são as atuais responsáveis
pela coordenação e monitorização do SGQE-UNL. Esta primeira fase de caracterização do
SGQE-UNL permitiu criar as bases para sustentar a segunda fase do relatório, a do estudo das
práticas de gestão da qualidade no IHMT. Também nesta segunda fase se recorreu à entrevista
semidiretiva ao Responsável pela garantia da qualidade do ensino (Entrevistado D) naquela
unidade orgânica.
Destas quatro entrevistas emergiu um constrangimento do SGQE-UNL referido por
dois dos quatro entrevistados até ao momento: a não implementação do Sistema na avaliação
da qualidade do ensino nos cursos de 3.º Ciclo. A não avaliação do 3.º Ciclo foi referida como
uma lacuna do SGQE-UNL e constituiu-se numa oportunidade para recolher novos dados
para o presente relatório. Desta forma procurou-se saber mais informações sobre algumas
práticas de avaliação da qualidade nos cursos de 3.º Ciclo, que pelo seu cariz facultativo neste
Ciclo, são inspiradas nos mecanismos utilizados pela NOVA Escola Doutoral. Para tal,
entrevistou-se três colaboradoras da NOVA Escola Doutoral (Entrevistadas E), uma com o
duplo papel de membro da equipa e de participante nos cursos, outra como membro da equipa
37
e como coordenadora de um dos cursos e outra como membro da equipa e como estudante de
doutoramento na Universidade NOVA de Lisboa (tendo sido também a Entrevistada A). A
contribuição de todas elas revelou-se importante para saber quais os mecanismos e como
funcionam, mas também que perceções possuíam sobre a avaliação da qualidade no 3.º Ciclo.
Para assegurar a fiabilidade e a validade das informações recolhidas foram enviados os
protocolos das entrevistas efetuadas e as sínteses das mesmas aos participantes no processo de recolha
das informações.
Seleção e caracterização dos entrevistados
Amado (2013) recomenda que os entrevistados sejam considerados “como
«testemunha privilegiada» ” (Quivy e Campenhoudt, 1998, p.71 cit in Amado, 2013, p.214)
sendo sujeitos “que pela sua experiência de vida quotidiana, pelas suas responsabilidades,
Figura 5. Recolha da informação para o relatório de estágio.
38
estatuto, etc., estejam envolvidas ou em contacto muito próximo com o problema que se quer
estudar” (Amado, 2013, p.214). Por essas razões a escolha dos entrevistados é um momento
importante para a recolha de dados.
Os participantes entrevistados foram indicados pela Profª. Patrícia Rosado Pinto,
uma das pessoas que integrou a equipa de conceção do SGQE-UNL e também uma das
pessoas que acompanhou o trabalho desenvolvido no âmbito do estágio curricular. Os
entrevistados participaram voluntariamente e a escolha dos mesmos foi deliberada consoante
as funções que ocupavam em relação ao objeto em estudo (Figura 6), à sua disponibilidade e
aos conhecimentos que possuíam. Isto é, para cada uma das fases que foi necessária a recolha
de informação através de entrevistas, foram entrevistadas as pessoas que detinham os
conhecimentos e as informações necessárias. Foram, portanto, as “testemunhas privilegiadas”
(Quivy e Campenhoudt, 1998 cit in Amado, 2013). Optou-se por manter os entrevistados em
anonimato, fazendo contudo referência aos cargos ou funções que desempenham no SGQE-
UNL e na Universidade NOVA de Lisboa.
Como já foi referido, para a caracterização do SGQE-UNL entrevistou-se uma das
pessoas, a entrevistada A, que acompanhou o processo de criação e implementação do
SGQE-UNL desde o início, considerando-se um elemento importante para uma primeira
aproximação ao SGQE-UNL e à sua contextualização. É atualmente responsável pela
Qualidade do Ensino no 3.º Ciclo da UNL.
39
Entrevistada A
- Envolvida no processo inicial da conceção e implementação do SGQE-UNL
- Membro da equipa NOVA Escola Doutoral (NED)
- Estudante de doutoramento na Universidade NOVA de Lisboa
- Qualidade do Ensino no 3.º Ciclo de Estudos
Entrevistada B
- Atual responsável pela coordenação e monitorização do SGQE-UNL
Entrevistada C
- Atual responsável pela coordenação e monitorização do SGQE-UNL
- Pró-reitora do pelouro da Qualidade do Ensino da UNL
Entrevistado D
- Responsável pela Garantia da Qualidade do Ensino do IHMT
- Presidente do Conselho Pedadógico do IHMT
Entrevistadas E
I- Membro da equipa NED e participante nos cursos
II- Membro da equipa NED e coordenadora de um dos cursos
III- Membro da equipa NED e estudante de doutoramento na Universidade NOVA de Lisboa
Figura 6. Funções ocupadas pelos entrevistados.
Posteriormente, para compreender a implementação do SGQE-UNL entrevistou-se
duas pessoas que são atualmente responsáveis pelo processo, a atual responsável pelo SGQE-
UNL no GAQE no 1.º e 2.º Ciclos (Entrevistada B) e a atual Pró-Reitora responsável pelo
pelouro da Qualidade do Ensino da UNL (Entrevistada C). Ambas se revelaram disponíveis
para dar a conhecer o atual funcionamento do SGQE-UNL, as alterações que este sofreu, os
problemas, desafios e as potencialidades. Considera-se que estas três pessoas desempenharam
um papel fundamental para a recolha de informações sobre o funcionamento do SGQE-UNL
contribuindo para a sua compreensão e contextualização.
40
Posteriormente, numa segunda fase deste estudo de avaliação, entrevistou-se o
Responsável pela qualidade do ensino no IHMT (Entrevistado D) constituindo-se num
elemento de informação privilegiado acerca do processo de implementação do SGQE-UNL
no IHMT. O Responsável pela qualidade do ensino no IHMT revelou-se uma importante
fonte de informação, bom conhecedor da realidade da sua unidade orgânica e do
funcionamento do SGQE a nível central e a nível local. Mostrou-se muito disponível e
interessado pela escolha do tema deste estudo e aberto a mostrar as suas opiniões em relação
ao que considerava ser bom e menos bom no funcionamento do SGQE. Fazendo parte de uma
unidade orgânica de pequena dimensão permitiu revelar o seu conhecimento de perto do
funcionamento dessa instituição e da implementação do Sistema.
Considerou-se ainda necessário entrevistar três membros da equipa da NOVA Escola
Doutoral (Entrevistadas E) que assumem também funções de coordenação de um dos cursos,
o papel de participante nos cursos e o papel de estudante de doutoramento na Universidade
NOVA de Lisboa. São pessoas que ao assumirem papéis de funcionárias não docentes da
UNL, pois integram a equipa da NOVA Escola Doutoral, e ao mesmo tempo funções de
coordenação e de participantes nos cursos permitem obter outras perspetivas sobre o tema em
estudo. Esta entrevista foi realizada por e-mail, ao contrário das outras anteriores que foram
presenciais.
É certo que os entrevistados escolhidos para fornecer as informações que serviram
de base a este relatório são pessoas que ocupam funções dentro do próprio SGQE-UNL e,
sabe-se que se corre o risco de enviesamento ao integrar apenas as perceções desses
participantes, contudo considerou-se que seriam elementos-chave para o desenvolvimento do
trabalho e para ir ao encontro do problema, da questão e das dimensões formuladas.
41
Entrevista semidiretiva
Na sequência do que anteriormente foi referido considera-se que a entrevista é a
metodologia mais adequada para explorar as características do contexto e dos objetos do
estudo. De acordo com Bogdan e Biklen (1994) “uma entrevista consiste numa conversa
intencional, geralmente entre duas pessoas, embora por vezes possa envolver mais pessoas
(Morgan, 1998), dirigida por uma das pessoas, com o objetivo de obter informações sobre a
outra” (p.134). Para Quivy e Campenhoudt (1998, p.193 cit in Amado e Ferreira, 2013) “a
entrevista é o método adequado para a «análise do sentido que os atores dão às suas práticas e
aos acontecimentos com os quais se veem confrontados: os seus sistemas de valores, as suas
referências normativas, as suas interpretações de situações conflituosas ou não, as leituras que
fazem das próprias experiências, etc.” (p.207). A entrevista semidiretiva parece ser o método
de recolha de dados mais adequada para os objetivos do trabalho, além da análise
documental, pois, neste tipo de entrevista “as questões derivam de um plano prévio, um guião
onde se define e regista, numa ordem lógica para o entrevistador, o essencial do que se
pretende obter, embora na interação se venha a dar uma grande liberdade de resposta ao
entrevistado” (Amado e Ferreira, 2013, p.208). Foram construídos os guiões das entrevistas
que se encontram nos Anexos C, J, N e Q.
Análise de conteúdo
Posteriormente à recolha de dados através da entrevista semidiretiva e da consulta de
documentos é recomendada a utilização da análise de conteúdo. No caso deste estudo esta
técnica de análise de dados foi aplicada aos protocolos das entrevistas realizadas e ao
documento das Bases Gerais do SGQE-UNL (Anexos B, E, H, L, P e S). É uma técnica ou
método, sendo uma questão que divide vários autores (Amado, 2013), e desta forma tem
diferentes propósitos. Se considerada como técnica a análise de conteúdo “deve responder
42
aos critérios habituais a qualquer modo de observação: objetividade, fidelidade, validade e
discriminação” (Amado, 2013, p.305); se considerada método, a “análise de conteúdo torna-
se um procedimento básico da investigação qualitativa (Bogdan e Biklen, 1994, p.220) muito
especialmente se o objetivo é, mais do que corroborar e ilustrar teorias, procurar desenvolvê-
las de raiz, a partir de dados” (Amado, 2013, p.305). A análise de conteúdo é uma técnica de
tratamento e de análise de dados e Bogdan e Biklen (1994, cit in Amado, 2013) consideram
que “a análise envolve o trabalho com os dados, a sua organização, divisão em unidades
manipuláveis, síntese, procura de padrões, descoberta de aspetos importantes do que deve ser
apreendido e a decisão do que vai ser transmitido aos outros” (p.299). A análise de conteúdo é
“uma técnica que aposta claramente na possibilidade de fazer inferências interpretativas a
partir dos conteúdos expressos, uma vez desmembrados em 'categorias'“ (Amado, 2013,
p.300).
Segundo Bardin (1995) trata-se de “um método muito empírico, dependente do tipo
de «fala» a que se dedica e do tipo de interpretação que se pretende como objetivos” (p.31),
cujo propósito não é descrever os conteúdos mas sim interpretá-los recorrendo à
categorização (Bardin, 1995). A análise de conteúdo é composta por quatro fases principais: a
organização e análise, a codificação, a categorização e a inferência (Bardin, 1995). Para
construir boas categorias de análise, parte central da análise de conteúdo, estas devem ser,
segundo Bardin (1995): homogéneas (não misturar elementos que pertencem a outras
categorias), exaustivas (“esgotar a totalidade do «texto» ” (p.36), exclusivas (“um mesmo
elemento do conteúdo, não pode ser classificado aleatoriamente em duas categorias
diferentes” (p.36), objetivas (“codificadores diferentes, devem chegar a resultados iguais”
(p.36) e pertinentes (“adaptadas ao conteúdo e ao objetivo” (p.36). Contudo, esta
categorização é uma forma artificial de se organizar a informação recolhida mas um método
útil para agregação e análise de informação (Bardin, 1995).
43
A análise de conteúdo é uma técnica de tratamento e de análise de dados e, Bogdan e
Biklen (1994, cit in Amado, 2013) consideram que “a análise envolve o trabalho com os
dados, a sua organização, divisão em unidades manipuláveis, síntese, procura de padrões,
descoberta de aspetos importantes do que deve ser apreendido e a decisão do que vai ser
transmitido aos outros” (p.299). Amado (2013) refere-se à análise de conteúdo como um
método ou técnica que permite realizar inferências sobre dados recolhidos: é “uma técnica
que aposta claramente na possibilidade de fazer inferências interpretativas a partir dos
conteúdos expressos, uma vez desmembrados em 'categorias' ” (Amado, 2013, p.300).
No Quadro 3 podem observar-se as tarefas desenvolvidas neste estudo. A construção
dos instrumentos de recolha de informações, a sua aplicação e a análise dos dados obtidos
ocorreram em diferentes momentos ao longo do estágio, tendo sido necessário, por vezes,
ajustar esta calendarização das tarefas.
Quadro 3. Cronograma das tarefas do estágio curricular.
Meses
Tarefa
Out.
Nov.
Dez.
Jan.
Fev.
Mar.
Abr.
Maio
Jun.
Análise de documentos x x x
Construção de
instrumentos de recolha
de informação
x x x
Aplicação dos
instrumentos de recolha
de informação
x x x x x
Análise e tratamento de
dados x x x x x
Redação do relatório
final de estágio x x
Entrega do relatório final x
44
CAPÍTULO IV – APRESENTAÇÃO E DISCUSSÃO DOS RESULTADOS
Neste capítulo agruparam-se os dados recolhidos através das entrevistas realizadas
ao Responsável pela garantia da qualidade no IHMT e às funcionárias não docentes que
integram a equipa da NOVA Escola Doutoral, participantes já caracterizados no capítulo
anterior. Realizaram-se sínteses das informações obtidas através de entrevistas semidiretivas,
após a o tratamento e análise dessa informação, que se apresentam de seguida.
Garantia da Qualidade do Ensino no IHMT – entrevista ao Responsável
Qualidade no IHMT. As preocupações com a qualidade no IHMT acompanham as
tendências da sociedade portuguesa e a preocupação com a certificação da qualidade. A
entrada de Portugal na União Europeia teve consequências ao nível da certificação, da
avaliação da qualidade e do cumprimento das normas ISSO, trazendo para a discussão o
conceito da qualidade. A avaliação da qualidade do ensino no contexto universitário é, em
muito boa medida, uma consequência dos compromissos estabelecidos no âmbito da União
Europeia que conduziram à implementação de sistemas da avaliação da qualidade da
Educação em todas as universidades portuguesas.
Anteriormente à implementação do SGQE-UNL, nos anos 90, o IHMT possuía um
mecanismo não sistemático de participação voluntária que foi implementado por forma a
acompanhar a tal tendência da avaliação da qualidade do ensino e da Educação. Esse
mecanismo previa a aplicação de inquéritos de satisfação aos estudantes. Em 2010/2011 o
IHMT importou o SGQE-UNL para a sua unidade orgânica, ainda nos primórdios da
implementação do Sistema. Esta implementação decorreu de reuniões com os órgãos centrais
do SGQE-UNL, envolvendo especialmente Gabinete de Apoio à Qualidade do Ensino e a
Comissão da Qualidade do Ensino. No início do processo de implementação do SGQE-UNL
45
existiu maior preocupação em implementá-lo nas unidades orgânicas de maior dimensão e
com 1.º ciclo. Posteriormente, passou a ser obrigatória a aplicação no 2.º ciclo e facultativo
para o 3.º ciclo.
Implementação do SGQE. O atual Presidente do Conselho de Qualidade do Ensino
envolveu-se no processo de implementação do SGQE-UNL tendo proposto o modelo do
SGQE-UNL, tendo fornecido um manual de orientação. O modelo proposto provém da
experiência europeia e a sua proposta inicial era muito complexa. Existiam muitos níveis de
análise, era necessário ter muita disponibilidade de tempo por parte das unidades orgânicas,
auscultavam-se muitos envolvidos e existiam muitos instrumentos e procedimentos de
recolha de informação. Existiu a necessidade de se simplificar os questionários aos estudantes
pois eram muito extensos.
Considera-se que os propósitos do SGQE no IHMT são auscultar os estudantes,
conseguir que existam consequências da auscultação aos estudantes e garantir a qualidade do
ensino. De acordo com o Responsável pela garantia da qualidade do ensino no IHMT o
SGQE-UNL as suas principais vantagens são a existência de instrumentos e procedimentos
de auscultação dos envolvidos mais diretos, estudantes e docentes, e o facto de se ajudar a
detetar problemas no ensino.
Um dos órgãos locais do SGQE-UNL no IHMT é a Comissão da Qualidade do Ensino
que é constituída pelos membros do Conselho Pedagógico e por um membro externo que
preside à Comissão. Este membro externo confere independência, constituindo-se num
importante elemento ao longo do processo. Ao nível dos órgãos centrais do SGQE-UNL, o
IHMT está representado na Comissão da Qualidade do Ensino.
Aquando da implementação do modelo do SGQE-UNL no IHMT passaram a existir
procedimentos de recolha, apresentação e análise de informação avaliativa por cada nível
46
organizacional (os questionários aos estudantes, os relatórios de ciclos de estudos e o
relatório da unidade orgânica). O questionário aos estudantes, o relatório da unidade orgânica
e o relatório dos Ciclos de Estudos foram os instrumentos e procedimentos selecionados pela
instituição considerados mais úteis à unidade orgânica.
Instrumentos, procedimentos e envolvidos. Os questionários inicialmente
concebidos pelo SGQE-UNL eram muito vastos, tinham muitas questões que foram
posteriormente reduzidas a 9. Aquando dessa alteração, o IHMT tinha elaborado um
questionário com questões muito aproximadas das questões do questionário formulado pelo
SGQE-UNL. Neste formato de 9 questões a unidade orgânica fez algumas adaptações às suas
necessidades. Uma das alterações efetuadas foi a mudança da escala de resposta para seis
opções de resposta. A unidade orgânica adotou ainda outras 3 questões específicas pela
necessidade de obter mais informações sobre como o estudante teve conhecimento dos cursos
e da instituição (divulgação dos cursos e do IHMT) e o acesso a informações sobre
empregabilidade. A instituição acrescentou ainda outras questões abertas para auscultar os
estudantes e para detetar situações a melhorar na unidade orgânica. Nesta unidade orgânica
valorizam a implementação do SGQE-UNL e a auscultação dos estudantes considerando que,
desta forma, contribuem para integrar o Sistema na sua instituição. Valorizam, igualmente o
esforço que a unidade orgânica faz melhorar as situações que os estudantes apontam como
aspetos a melhorar. No IHMT sentiu-se a necessidade de se criar um sistema user friendly
para aceder ao questionário. O questionário foi administrado aos estudantes através de uma
plataforma informática que recolhe, anualmente, entre duzentos a trezentos questionários. O
envolvimento dos estudantes no processo de preenchimento/resposta aos questionários sobre
o ensino nas diferentes unidades curriculares tem evoluído negativamente. Na verdade, os
47
estudantes parecem estar bastante desmotivados para se envolverem neste processo ao
contrário do que aconteceu no início da implementação do SGQE-UNL.
Em relação à participação dos docentes, existiu resistência inicial embora atualmente
todos os docentes participem, de acordo com as informações do Responsável, já que, segundo
este, a não participação dos docentes contribui para uma imagem negativa dos mesmos.
Contudo, é indicada a menor disponibilidade dos docentes para motivar a participação dos
estudantes.
O SGQE-UNL garante os direitos dos estudantes uma vez que estes não são obrigados
a participar bastando, para tal, assinalar que não querem responder ao questionário. Desta
forma, fornecem informações importantes sobre o acesso ao questionário e os motivos para
não responder ao mesmo. Considera-se que se encontrou um equilíbrio em relação à
imposição do questionário aos estudantes pela UNL e o direito do estudante em não
participar.
No caso da elaboração do relatório da unidade orgânica é necessário reunir os
relatórios dos docentes, dos regentes e dos ciclos de estudos, e as informações por parte de
todos os envolvidos, embora em entrevista não tenha ficado claro quais destes relatórios de
aplicação facultativa, são preenchidos pelo IHMT. O relatório é elaborado entre novembro e
janeiro e divulgado em março no Conselho Pedagógico. No mês de janeiro são normalmente
realizadas as reuniões da Qualidade do Ensino em Conselho da Qualidade do Ensino.
Nesta unidade orgânica, talvez pela sua pequena dimensão, considera-se que todos se
encontram envolvidos no processo: o próprio Responsável pela Qualidade do Ensino, que é
simultaneamente o Presidente do Conselho Pedagógico, os estudantes, os docentes, os
responsáveis dos ciclos de estudos e o pessoal do apoio técnico/informático.
O Responsável pela Qualidade do Ensino desempenha funções tais como: garantir a
garantia da qualidade; assegurar o preenchimento dos inquéritos e a entrega dos instrumentos
48
e procedimentos de avaliação pelos coordenadores de curso; garantir as taxas de resposta;
realizar o relatório da unidade orgânica; contribuir para a melhoria do ensino, através da
melhoria das unidades curriculares. É o elemento que coordena e assegura o funcionamento
do SGQE-UNL na unidade orgânica e é quem a representa nas reuniões relacionadas com a
qualidade do ensino. O Responsável responde ao Presidente da Qualidade do Ensino e
responde também à Comissão da Qualidade do Ensino. Os coordenadores dos cursos e os
docentes também apoiam o Responsável em algumas funções. As funções dos coordenadores
de curso são garantir as respostas dos estudantes, o acesso dos questionários aos estudantes e
o processamento dos dados e os docentes asseguram que os estudantes respondem aos
questionários.
A relação entre o Gabinete de Apoio à Qualidade do Ensino e a unidade orgânica
estabelece-se através das reuniões e do envio dos relatórios. O GAQE executa funções muito
administrativas, como a gestão da informação e a preocupação com os números e com o
cumprimento do calendário, quando deveria eventualmente acompanhar mais proximamente
o SGQE-UNL e assegurar a garantia da qualidade do ensino. De acordo com os dados
obtidos, as consequências do Sistema são pouco visíveis, assim como a consequência dos
dados contidos nos Relatórios, e o GAQE revela pouca preocupação com o conteúdo dos
Relatórios e mais com a sua entrega. Ou seja, revela dar mais importância à obtenção dos
dados e de informações sobre os indicadores, às taxas de resposta e menor importância ao seu
conteúdo.
Divulgação e utilização dos resultados. É importante a divulgação da informação
aos estudantes para melhorar a perceção da qualidade do ensino. O relatório da unidade
orgânica é divulgado, ainda que se limite aos representantes dos cursos e ao Conselho
Pedagógico, não sendo, assim, divulgado aos alunos, nem ao público em geral.
49
A informação recolhida pelos instrumentos e procedimentos do SGQE-UNL é
utilizada para corrigir situações detetadas na unidade orgânica. Entre as situações que são
assinaladas através dos questionários dos estudantes destacam-se: a avaliação negativa de
unidades curriculares, as faltas de recursos materiais, a estratégia pedagógica das unidades
curriculares e a insatisfação com o curso. Contudo, os dados obtidos junto do Responsável
pela garantia da qualidade do ensino no IHMT mostram que essas informações são pouco
utilizadas pela Reitoria.
Constrangimentos. Alguns dos constrangimentos da implementação do SGQE-UNL
no IHMT estão relacionados com problemas técnicos de informática, com a desconfiança de
alguns estudantes face à confidencialidade e anonimato dos questionários e com a
acessibilidade ao próprio questionário dos estudantes.
Outros constrangimentos sentidos pelo IHMT passam pela desconfiança dos
estudantes face ao SGQE-UNL, o conseguir que os docentes aceitem o anonimato dos
estudantes que respondem aos questionários, o motivar a participação dos estudantes, o
desinteresse de participação dos envolvidos e a dificuldade em atingir a
significância/representatividade estipulada. A hierarquização e automatização do processo, a
dificuldade de gestão da informação, a desadequação da pergunta do questionário aos
estudantes relacionada com o feedback, a redundância da questão de saber se os alunos
querem ou não responder, a preocupação da Reitoria/do Sistema com as taxas de resposta, a
desmotivação dos estudantes e docentes em participar, a dificuldade em adaptar o modelo do
Sistema à UNL e a pouca clareza dos propósitos do SGQE constituíram outras dificuldades e
limitações do SGQE-UNL.
Um outro constrangimento associado ao SGQE-UNL é a inexistência de avaliação da
qualidade dos cursos de 3.º ciclo.
50
Aspetos positivos e perspetivas futuras. O SGQE-UNL apresenta alguns desafios
para o futuro como, por exemplo, a introdução da recolha de dados qualitativos, a
necessidade de se evidenciarem consequências das avaliações a partir da Reitoria, a
necessidade de avaliar o SGQE, o maior envolvimento por parte da Reitoria, a divulgação dos
resultados e o delinear soluções comuns a todas as unidades orgânicas.
Destacam-se como pontos positivos da implementação do SGQE-UNL no IHMT a
imparcialidade e confidencialidade, a justiça na avaliação que realiza, o equilíbrio entre a
recolha e a gestão da informação, a capacidade de monitorizar o SGQE-UNL, a interiorização
do Sistema e a utilidade do SGQE-UNL. Por outro lado, destacam-se como pontos negativos,
a inexistência de consequências do SGQE-UNL, a preocupação com as estatísticas, a
construção do modelo do SGQE-UNL por um especialista estrangeiro e os custos elevados da
importação do Sistema.
Existe uma ligação entre a missão da unidade orgânica e o SGQE-UNL na procura da
garantia da melhor qualidade do ensino e investigação realizados no IHMT, apoiando-se este
no SGQE-UNL para avaliar essa qualidade.
Algumas alterações ou adaptações que o Responsável pela Garantia da Qualidade do
Ensino do IHMT gostaria de ver ao SGQE-UNL são a aceitação de 30% de respostas dos
questionários aos estudantes (ou seja, considerar-se que essa percentagem é representativa) e
a existência de consequências visíveis que se apoiem nas informações recolhidas pelo SGQE-
UNL.
Além de serem vistos como constrangimentos, podem também ser encarados como
perspetiva futura a implementação do sistema no 3.º Ciclo, a adaptação do Sistema às
unidades orgânicas, a existência de consequências dos resultados encontrados pelo SGQE-
UNL, a informação e divulgação sobre os resultados e a divulgação do relatório final aos
estudantes.
51
Apesar de salientar algumas diferenças de opinião sobre como deveria ser
implementado o SGQE-UNL na unidade orgânica isso não significa que o Responsável pela
garantia da qualidade do ensino no IHMT tenha conduzido a implementação do Sistema de
forma muito distante daquilo que é proposto pelo SGQE-UNL.
Mecanismos de avaliação da qualidade nos cursos de 3.º Ciclo - NOVA Escola Doutoral
Decidiu-se procurar mais opiniões sobre a avaliação dos cursos de 3.º Ciclo visto ter
sido um constrangimento do SGQE-UNL assinalado por alguns entrevistados (como já se
mencionou anteriormente). Nesse sentido o projeto da NOVA Escola Doutoral, por ter já
mecanismos de avaliação dos seus cursos representou uma hipótese para recolher
informações de como pode funcionar a avaliação de cursos de 3.º Ciclo. Entrevistou-se três
elementos da equipa da NOVA Escola Doutoral, duas delas no papel de funcionárias não
docentes e uma delas enquanto estudante de um curso de doutoramento.
NOVA Escola Doutoral. Este projeto existe desde 2013 e fornece cursos de formação
em competências transversais aos alunos de doutoramento da UNL. A NOVA Escola
Doutoral aposta na transversalidade, interdisciplinaridade e partilha, por forma a assegurar
uma “oferta de formação complementar aos doutorandos e aos orientadores, reforçando o seu
desenvolvimento pessoal e profissional”14. Estes cursos centram-se nos estudantes e, por essa
razão, são concebidos para que os estudantes tenham um papel ativo. Os cursos são de
participação voluntária e gratuita.
Entrevista às Profissionais não Docentes da NOVA Escola Doutoral. De acordo
com as entrevistadas, o questionário de avaliação da formação faz parte dos mecanismos de
14 http://www.unl.pt/escola-doutoral
52
avaliação dos cursos da NOVA Escola Doutoral, sendo preenchido pelos estudantes no final
de cada edição dos cursos. Foi salientado que este questionário teve como base um outro que
foi proposto e aprovado pelo Conselho da Qualidade do Ensino da NOVA e que é de
aplicação facultativa nas diferentes Unidades Orgânicas.
O questionário é composto, na sua maioria, por questões fechadas com uma escala de
resposta entre 1 e 6. As questões contemplam a opinião do estudante em relação à
componente teórica, às discussões e trabalhos efetuados, aos materiais, ao corpo docente, à
duração do curso, à qualidade da experiência de aprendizagem, à utilidade da aprendizagem,
à qualidade dos recursos e estruturas e à clareza. Pergunta-se ainda ao estudante se
recomendaria os cursos a colegas. Existem também questões abertas que correspondem a
comentários sobre eventuais melhorias. O tratamento e análise dos dados é realizado pela
equipa da NOVA Escola. Os dados são apresentados no final de cada semestre aos
coordenadores dos diferentes cursos e à Comissão da Escola Doutoral. Os coordenadores dos
cursos são também informados acerca das sugestões feitas pelos estudantes. Os dados são
utilizados para justificar alterações. Como vantagens dos mecanismos de avaliação da NOVA
Escola Doutoral e da relação próxima entre a NOVA Escola Doutoral e os coordenadores dos
cursos as entrevistadas realçam principalmente a obtenção do feedback atempado por parte
dos estudantes e a introdução de alterações em tempo útil; A existência de um questionário
comum a todos os cursos permite a comparação entre cursos, mas é apontada como
desvantagem, apenas na medida em que não permite colocar questões direcionadas para as
especificidades de cada curso.
As entrevistadas referem que a equipa da NOVA Escola Doutoral reúne com os
docentes e os estudantes representantes das Unidades Orgânicas o que permite a partilha e
discussão de aspetos relacionados com os cursos e a avaliação de necessidades sobre a
implementação de novos cursos.
53
Entrevista a uma estudante de doutoramento da UNL. Na perspetiva de uma
estudante de doutoramento e participante dos cursos da NOVA Escola Doutoral as principais
vantagens dos instrumentos de avaliação são o anonimato, o contribuir para uma melhoria
contínua, a obtenção de feedback para os docentes e para a NOVA Escola Doutoral através da
auscultação dos alunos, a identificação de lacunas, o reforço dos pontos fortes e a capacidade
de mudança. Como vantagens da implementação das alterações, a estudante de
doutoramento/participante NOVA Escola Doutoral indica que a integração dos estudantes na
tomada de decisão traz benefícios para os futuros alunos, para os docentes e para a NOVA
Escola Doutoral. A opinião geral da estudante de doutoramento/participante NOVA Escola
Doutoral sobre os instrumentos de avaliação dos cursos é de que os mecanismos de avaliação
da qualidade não introduzem constrangimentos e que a inexistência de formas de auscultação
é que poderia constituir um constrangimento. Do ponto de vista da estudante os instrumentos
de avaliação não se devem cingir à verificação da qualidade, devendo constituir uma fonte de
mudança.
O caso da NOVA Escola Doutoral ainda que tenha características próprias, por
exemplo, a sua curta duração e o facto de serem constituídos grupos semelhantes a turmas
pode tornar mais fácil a aplicação dos questionários e manter o seu anonimato, o que se
tornará difícil no caso de cursos de doutoramento com, por exemplo, dois estudantes.
54
CAPÍTULO V – CONCLUSÕES E REFLEXÕES
Conclusões
O problema de partida deste relatório era compreender como se relacionam as práticas
de gestão da qualidade do IHMT com o Sistema de Garantia da Qualidade da UNL. A partir
daqui construiu-se a questão: de que forma o SGQE do IHMT se relaciona com o
preconizado pelo SGQE-UNL? A matriz de avaliação ajudou a orientar este estudo tendo
definido como objeto as práticas de gestão da qualidade do IHMT e como dimensões as
estruturas de gestão da qualidade, relação com os órgãos centrais do SGQE-UNL, processos
de recolha de dados e processos de divulgação dos dados. Sendo a avaliação a “apreciação
sistemática do valor e do mérito de um objeto” (Joint Committee,1994, cit in Stufflebeam e
Shinkfield, p.3) segue-se o momento de produzir conclusões sobre o estudo.
O SGQE-UNL foi concebido para promover um ensino de qualidade e prevê
instrumentos e procedimentos de recolha e análise de informação que promovem uma
avaliação para a melhoria.
A criação do SGQE-UNL decorre da legislação portuguesa (Lei n.º38/2007) para a
garantia da qualidade do ensino nas instituições de ensino superior e defende por isso a
implementação de sistemas internos de garantia da qualidade. Esta legislação é influenciada
pelas instituições europeias que fomentaram a necessidade de se avaliar a qualidade do
ensino nas instituições de ensino superior. Essa tendência poderá estar assente no conceito de
accountability, que é um processo, de acordo com Afonso (2009a) que assenta na avaliação
para orientar as tomadas de decisão, sendo um processo que é completado pela prestação de
contas e pela responsabilização. Considera-se que o SGQE-UNL almeja a melhoria do ensino
e procura ser um meio para orientar as suas práticas, recorrendo à avaliação da qualidade do
seu ensino, em primeiro lugar, e posteriormente à prestação de contas. A prestação de contas
55
toma lugar, por exemplo, aquando da elaboração dos relatórios das unidades orgânicas e de
toda a UNL. O relatório da UNL pode servir o propósito de disseminar informação, segundo
Stufflebeam e Shinkfield (2007) com vista a promover o seu ensino.
O conceito de qualidade que o SGQE-UNL assume é “a adequação das estruturas
organizacionais, dos seus processos e atividades à consecução dos objetivos da instituição (fit
for purpose)” (Bases Gerais do SGQE-UNL, 2013). Deste modo, pode dizer-se que essa
definição corresponde à conceção da avaliação da qualidade ajustada ao propósito de Harvey
e Green (1993, cit in Wittek e Kvernbekk, 2011). O propósito do SGQE-UNL é a melhoria
contínua do ensino, logo, através dele, procura-se garantir a qualidade da formação que toda a
universidade proporciona. Por outro lado, embora não seja assumido pelo SGQE-UNL
também se adota uma conceção de avaliação da qualidade como medida, já que os seus
instrumentos e procedimentos assentam na medição e comparação de critérios.
Parece existir uma grande preocupação com a coerência e com o alinhamento entre o
que está nos documentos de base do SGQE-UNL e o que é implementado, assim como a
preocupação em definir bem os seus fundamentos, como é o caso da adoção de uma definição
da qualidade para o SGQE-UNL.
No Quadro 4 sintetizaram-se as orientações do SGQE-UNL tendo em vista facilitar a
comparação com o que é efetivamente posto em prática pelo IHMT no que se refere a três das
quatro dimensões definidas na matriz de avaliação. As três dimensões escolhidas para a
elaboração do quadro foram as consideradas mais pertinentes para obter conclusões sobre o
trabalho realizado. As dimensões referem-se às estruturas locais de gestão da qualidade, aos
processos de recolha de dados e aos processos de divulgação dos dados.
Considerando as informações recolhidas ao longo do estudo não se poderá dizer que
existe uma grande discrepância entre o que consta nos documentos oficiais que suportam o
56
SGQE-UNL e as práticas de gestão da qualidade no IHMT. Na verdade, nesta unidade
orgânica existem os órgãos previstos para o funcionamento do SGQE-UNL, com a
particularidade de os membros que compõem a Comissão serem os mesmos que compõem o
Conselho Pedagógico. Pode por isso observar-se que, sendo uma instituição de pequena
dimensão, se possa ter optado por otimizar os recursos. Por essa mesma razão não existe um
Gabinete de Apoio à Qualidade do Ensino ainda que a sua existência seja recomendada nas
unidades orgânicas de maior dimensão. Da mesma forma, por se tratar de uma unidade
orgânica de pequena dimensão e apesar de existir um Responsável pela garantia da qualidade,
existem outros intervenientes envolvidos que asseguram o funcionamento do SGQE-UNL,
sem que seja necessário existir um gabinete específico. Neste sentido, será possível que o
próprio SGQE-UNL se encontre mais integrado no dia-a-dia de todos os intervenientes.
O IHMT implementa os dois instrumentos e procedimentos obrigatórios, isto é, os
questionários aos estudantes e o Relatório da Unidade Orgânica, não tendo ficado totalmente
esclarecido quais são os outros instrumentos e procedimentos facultativos implementados.
Contudo, na entrevista ao Responsável pela Garantia da Qualidade do Ensino foi referido que
para a elaboração do Relatório da Unidade Orgânica se reúnem “os relatórios de toda a gente”
(Anexo P).
Relativamente à divulgação e utilização dos dados, no IHMT pratica-se parte do que
está previsto nas Bases Gerais do SGQE-UNL (2013). A divulgação dos dados é apenas
interna, e neste caso faz-se nas reuniões de Conselho Pedagógico e aos representantes dos
cursos. Não é divulgada informação aos estudantes e não foi referido se terão conhecimento
da informação básica: a satisfação global das unidades curriculares. Os dados são utilizado
para a melhorias das situações assinaladas e reportadas, tal como previsto pelo SGQE-UNL.
57
Dimensões de
avaliação Orientações do SGQE-UNL SGQE no IHMT
Estruturas de gestão da
qualidade
Responsável pela Garantia da
Qualidade do Ensino;
Comissão de Ciclo de Estudos;
Comissão da Garantia da
Qualidade do Ensino presidida
por um elemento externo;
Gabinete de Apoio à Qualidade
do Ensino.
Responsável pela Garantia da
Qualidade do Ensino;
Não se obteve informação;
Comissão da Garantia da
Qualidade do Ensino cuja
composição corresponde à do
Conselho Pedagógico, sendo
presidida por um membro externo;
Não tem.
Processos de recolha de
dados
Obrigatórios:
Questionários aos estudantes e
Relatório da Unidade Orgânica;
Facultativos:
Relatório do Docente da
Unidade Curricular, Relatório
do Regente da Unidade
Curricular e Relatório do Ciclo
de Estudos.
São aplicados os questionários
aos estudantes e é elaborado o
Relatório da Unidade Orgânica;
Não ficou claro quais são os
relatórios facultativos utilizados.
Processo de divulgação
dos dados
Comunidade académica;
Docentes das unidades
curriculares, responsável pela
unidade curricular e responsável
do departamento;
Satisfação global da unidade
curricular;
As unidades orgânicas decidem
sobre os níveis de divulgação.
Representantes de curso;
Conselho Pedagógico.
Quadro 4. Comparação entre o que é preconizado pelo SGQE-UNL e o que é
implementado pelo IHMT, segundo as dimensões da matriz de avaliação.
58
Para o funcionamento do SGQE-UNL nas unidades orgânicas e visto que existem
quer estruturas centrais, quer estruturas locais, considera-se ser necessário um certo
alinhamento nos objetivos para a boa articulação do Sistema, embora a nível central, seja
promovida a sua descentralização e a autonomia das unidades orgânicas para o porem em
prática. Pela parte da unidade orgânica em estudo, essa autonomia e descentralização não tem
contribuído para fortalecer o funcionamento do SGQE-UNL. Isto é, se por um lado a
autonomia das unidades orgânicas é positiva, por outro lado, compromete a função
agregadora de um SGQE-UNL comum a todas elas. Acresce ainda o facto de a unidade
orgânica suportar a maior parte das responsabilidades do funcionamento do SGQE-UNL,
cingindo-se o trabalho das estruturas centrais à sua monitorização pontual, aquando da
entrega dos relatórios previstos.
Apesar da dificuldade do processo inicial de construção e implementação dos
instrumentos e procedimentos de recolha de informação, em especial o questionário de
satisfação dos estudantes, parece existir acordo do Responsável pela Garantia da Qualidade
do Ensino no IHMT com os tópicos incluídos no questionário, exceto com a questão da
divulgação ou não de feedback aos estudantes, por representar dificuldades de interpretação.
Embora existam alguns constrangimentos da implementação deste SGQE-UNL na
unidade orgânica, são aspetos que estão identificados e que dessa forma será mais fácil a sua
resolução. Esses constrangimentos não têm, contudo, impedido que se considere a existência
do alinhamento entre o que é preconizado pelo SGQE-UNL e as práticas de gestão de
qualidade do IHMT. Isto é, apesar do Responsável pela Garantia da Qualidade do Ensino no
IHMT considerar que deveriam ser alterados alguns aspetos ao SGQE-UNL, que a seu ver
representam constrangimentos, isso não significa que nessa unidade orgânica não seja
implementado o que é preconizado pelo SGQE-UNL. Retomando a questão “Em que medida
o Sistema de Garantia da Qualidade do Ensino do IHMT é consistente com o preconizado
59
pelo SGQE-UNL?”, e após a apresentação e discussão dos dados, pode concluir-se que
apesar de algumas pequenas divergências entre o que é sugerido pelo SGQE-UNL e o que é
implementado pelo IHMT, esta unidade orgânica encontra-se alinhada com o preconizado
pelo Sistema.
No que diz respeito à avaliação da qualidade no 3.º Ciclo parece ser importante a
existência de um instrumento de auscultação dos estudantes. A NOVA Escola Doutoral possui
um questionário para auscultar os estudantes, semelhante ao questionário aplicado ao 1.º e 2.º
Ciclos. A proximidade que existe entre a Coordenação, a equipa da NOVA Escola Doutoral e
os estudantes que participam nos cursos parece ser relevante para a avaliação da qualidade
dos cursos. Isto porque, não só se realiza uma avaliação informal, que está além do
questionário aplicado, como também se vai fazendo um acompanhamento próximo ao longo
do processo.
Após a recolha e análise dos dados recolhidos ao longo do estudo, desde a primeira
fase de caracterização do SGQE e de procura de resposta à questão e problema definidos,
encontrou-se pontos fortes, pontos fracos e sugestões de melhoria ao SGQE, que
modestamente se apresentam de seguida.
Pontos positivos
Como ponto positivo, existe o envolvimento de vários stakeholders, dos quais os
estudantes desempenham um papel essencial. Através dos questionários é atribuído um papel
relevante às opiniões e perceções dos estudantes e isso parece ser um dos motivos que
justifica a preocupação com a taxa de resposta.
O facto de ser dada margem para adaptações do SGQE-UNL às características das
unidades orgânicas, ao nível da adaptação dos instrumentos e procedimentos e dos órgãos, é
60
um aspeto positivo.
Pontos negativos
O facto de os questionários se basearem na satisfação dos estudantes pode contribuir
para que se considere qualidade do ensino com a satisfação dos estudantes por determinadas
unidades curriculares. Outro aspeto relacionado com os questionários aos alunos é o facto de
estes serem a única fonte de dados em primeira mão. Deste modo, se não existir participação
dos estudantes não existe informação para alimentar o SGQE-UNL, porque, como se viu
anteriormente, é um Sistema com um funcionamento em cascata.
Propostas de melhoria
Por forma a garantir a existência de informações para alimentar o SGQE-UNL e para
diversificar a fonte dos dados, sugere-se que sejam envolvidos outros stakeholders, além dos
estudantes.
Um outro aspeto a melhorar no SGQE-UNL, e reforçando as informações recolhidas,
será a implementação de avaliação da qualidade dos cursos de doutoramento, igualando a
obrigatoriedade do 1.º e 2.º Ciclos.
Propõe-se a existência de uma plataforma online que facilite não só o preenchimento
dos questionários e relatórios do SGQE-UNL, que permita o seu armazenamento numa base
de dados e que permita a colaboração no seu tratamento e análise. Poderá ser interessante a
colaboração de docentes da UNL de outras unidades orgânicas na elaboração dos relatórios.
Poderá ser um meio para a divulgação dos resultados a todos os envolvidos.
Reflexões
Considero que esta experiência do estágio curricular foi positiva, que trouxe alguns
61
desafios e onde identifico também algumas lacunas no trabalho final. Saliento como aspeto
positivo a realização do estágio com outras duas colegas tendo permitido discutir outros
pontos de vista, modos de trabalho e momentos de partilha de ideias. Destaco como um
desafio a manipulação de muita informação, a dificuldade em passá-la do caos à organização
que senti necessidade de conceber e pôr em prática.
Foi uma oportunidade para poder contactar com um sistema interno de garantia da
qualidade numa instituição de ensino superior de grande dimensão proporcionando-me uma
visão, a partir de dentro, do seu funcionamento. Permitiu-me ficar com a perceção do
trabalho por trás da conceção, implementação e acompanhamento de um sistema de avaliação
da qualidade.
Considero que este relatório poderia ter integrado mais entrevistas a outros envolvidos
que não tivessem funções diretas nas estruturas do SGQE-UNL e, assim, talvez encontrar
pontos de vista diferenciados por forma torná-lo mais rico. Ainda assim, os intervenientes
nem sempre tiveram opiniões concordantes o que permitiu mostrar diferentes visões e
perspetivas. Contudo, penso que todas informações recolhidas foram importantes, os
intervenientes foram as pessoas adequadas e as pessoas que detinham os conhecimentos
sólidos para o desenvolvimento do estudo.
Posto isto, atento para outros aspetos que poderiam ser interessantes estudar no futuro
como, por exemplo, verificar a existência de cultura de qualidade comparando se é mais
visível em unidades orgânicas de grande dimensão e com gabinetes específicos para o
trabalho da qualidade do ensino, ou se em unidades orgânicas pequenas em que esse trabalho
é desempenhado um pouco por todos os colaboradores.
62
REFERÊNCIAS
A3ES (s.d.). Glossário A3ES. Em Documentos:
http://www.a3es.pt/pt/documentos/documentos/glossario, Dezembro de 2014
Abrantes, P. (2010). Políticas de avaliação e avaliação de políticas: o caso português no
contexto ibero-americano. Revista Iberoamericana de Educación, n.º 53, pp.25-42.
Consultado em junho de 2014 em: http://www.rieoei.org/rie53a01.pdf
Afonso, A.J. (2009a). Nem tudo o que conta em educação é mensurável ou comparável.
Crítica à accountability baseada em testes estandardizados e rankings escolares.
Revista Lusófona de Educação, 13, pp. 13-26. Consultado em junho de 2014 em:
www.scielo.oces.mctes.pt/pdf/rle/n13/13a02
Afonso, A.J. (2009b). Políticas e accountability em educação – subsídios para um debate
ibero-americano. Sísifo. Revista de Ciências da Educação, 09, pp.57-70. Consultado
em junho de 2014 em: http://sisifo.fpce.ul.pt
Amado, J. e Freire, I. (2013). Estudo de caso na investigação em Educação (pp.121-142). In
J. Amado (coord.). Manual de investigação qualitativa em Educação. Coimbra:
Imprensa da Universidade de Coimbra
Amado, J. e Ferreira, S. (2013). A entrevista na investigação educacional (pp.207-230). In J.
Amado (coord.). Manual de investigação qualitativa em Educação. Coimbra:
Imprensa da Universidade de Coimbra
Bardin, L. (1995). Análise de conteúdo. Lisboa: Edições 70.
Bogdan, R. e Biklen, S. (1994). Investigação qualitativa em Educação. Porto: Porto Editora
63
Borralho et.al (2011). Ensino, avaliação e a participação dos alunos em contextos de
experimentação e generalização do programa de matemática do ensino básico. Lisboa:
Instituto de Educação da Universidade de Lisboa.
Davok, D. (2007). Qualidade em educação. Avaliação: Revista da Avaliação da Educação
Superior. vol. 12, n. 3, pp. 505-513.
EUA (2010). EUA Policy Statement on Quality and Quality Assurance in the European
Higher Education Area.
Fernandes, D. (2009). Avaliação de programas e de projectos pedagógicos.
Fernandes, D. (2010). Acerca da articulação de perspectivas e da construção teórica em
avaliação educacional.
Fernandes, D. (2013). Avaliação em educação: uma discussão de algumas questões críticas e
desafios a enfrentar nos próximos anos. Revista Ensaio: Avaliação e Políticas Públicas
em Educação, n.o 78, vol.21, Janeiro/Março 2013.
Gabinete de Apoio a Qualidade do Ensino (2013.). Bases Gerais do Sistema de Garantia da
Qualidade do Ensino. Lisboa: Universidade Nova de Lisboa.
Guba, E.G. e Lincoln, Y.S. (1994). Competing paradigms in qualitative research. In N.K.
Denzin e Y.S. Lincoln. Handbook of qualitative research (pp.105-117). Thousand
Oaks: Sage.
Holden, D.J. e Zimmerman, M.A. (2009). Evaluation Planning Here and Now. In D. J.
Holden e M.A. Zimmerman. A pratical guide to program evaluation planning (pp.7-
32). London: Sage.
64
Instituto de Higiene e Medicina Tropical (2015). Sobre o IHMT. Apresentação. Disponível
em: http://www.ihmt.unl.pt/?lang=pt&page=ihmt&subpage=o-ihmt, consultado em
Junho de 2015
Lukas, J. F. e Santiago, K. (2004). Naturaleza de la investigación y evaluación en educación.
In J. F. Lukas e K. Santiago. Evaluación eduactiva (pp.15-52). Madrid: Alianza
Editorial
Stake, R. e Schwandt, T. (2006). On discerning quality in evaluations. In I. Shaw, J. Greene e
M. Mark (2006). The Sage handbook of evaluation, pp. 404-418. London: Sage.
Stufflebeam, D.L. e Shinkfield, A.J. (2007). Evaluations theory, models and applications. San
Francisco: John Wiley and Sons, Inc. (p.3-47).
Universidade Nova de Lisboa (2014). Brochura de cursos 2014/2015. Disponível em:
http://www.unl.pt/data/brochuras/Brochura_Cursos_2014_2015.pdf
Legislação
Diário da República, 2.ª série – n.º 164 – 26 de Agosto de 2008, Despacho normativo
n.º42/2008
Diário da República, 1.ª série – n.º 157 – 16 de Agosto de 2007, Lei n.º 38/2007
65
ANEXOS
Anexo A – Bases Gerais do Sistema de Garantia da Qualidade da Universidade NOVA de
Lisboa
Anexo B – Grelha de análise de conteúdo das Bases Gerais do Sistema de Garantia da
Qualidade da Universidade NOVA de Lisboa
Anexo C – Guião de entrevista à Entrevistada A e à Entrevistada B
Anexo D – Protocolo da entrevista à Entrevistada A
Anexo E – Grelha de análise de conteúdo da entrevista à Entrevistada A
Anexo F – Síntese da entrevista à Entrevistada A
Anexo G - Protocolo da entrevista à Entrevistada B
Anexo H - Grelha de análise de conteúdo da entrevista à Entrevistada B
Anexo I - Síntese da entrevista à Entrevistada B
Anexo J - Guião de entrevista à Entrevistada C
Anexo K - Protocolo da entrevista à Entrevistada C
Anexo L - Grelha de análise de conteúdo da entrevista à Entrevistada C
Anexo M - Síntese da entrevista à Entrevistada C
Anexo N - Guião de entrevista ao Entrevistado D
Anexo O - Protocolo da entrevista ao Entrevistado D
66
Anexo P - Grelha de análise de conteúdo da entrevista ao Entrevistado D
Anexo Q - Guião de entrevista às Entrevistadas E
Anexo R - Protocolo da entrevista às Entrevistadas E
Anexo S - Grelha de análise de conteúdo da entrevista às Entrevistadas E