relatÓrio de avaliaÇÃo dos indicadores e metas da ...§ão-dos... · referentes ao bimestre...
Post on 16-Sep-2020
0 Views
Preview:
TRANSCRIPT
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
RELATÓRIO DE AVALIAÇÃO DOS INDICADORES E
METAS DA ORGANIZAÇÃO SOCIAL
ECOS
BIMESTRE AGOSTO / SETEMBRO DE 2017
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
SUMÁRIO
1 INTRODUÇÃO................................................................................................ 7
2 ACORDO DO NÍVEL DE LIMPEZA (AL).................................................. 9
2.1 DESENHO DA PESQUISA E COLETA DE
DADOS..............................................................................................................
9
2.2 PLANO AMOSTRAL....................................................................................... 9
2.2.1 Dimensionamento da amostra............................................................................ 9
2.2.2 Amostragem: Tipo de amostra........................................................................... 10
2.2.3 Estratificação...................................................................................................... 11
2.3 MÉTRICA (PONTUAÇÃO)............................................................................. 11
2.4 META................................................................................................................ 12
2.5 DESEMPENHO (NOTA).................................................................................. 12
2.6 AVALIAÇÃO QUALITATIVA.......................................................................... 14
3 ESCOLAS COM ACESSO À INTERNET (EAI)........................................ 16
3.1 META................................................................................................................ 16
3.2 DESEMPENHO (NOTA).................................................................................. 16
3.3 AVALIAÇÃO QUALITATIVA.......................................................................... 18
4 ALUNOS INFREQUENTES ACOMPANHADOS (ALI)............................ 20
4.1 META................................................................................................................ 20
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
4.2 DESEMPENHO (NOTA).................................................................................. 20
4.3 AVALIAÇÃO QUALITATIVA.......................................................................... 21
5 ÍNDICE DE SATISFAÇÃO DA MERENDA ESCOLAR (IME)............... 24
5.1 DESENHO DA PESQUISA E COLETA DE DADOS.................................... 24
5.2 PLANO AMOSTRAL....................................................................................... 24
5.2.1 Dimensionamento da amostra............................................................................ 24
5.2.2 Amostragem: Tipo de amostra........................................................................... 25
5.2.3 Estratificação...................................................................................................... 26
5.3 MÉTRICA (PONTUAÇÃO)............................................................................. 27
5.4 META................................................................................................................ 27
5.5 DESEMPENHO (NOTA).................................................................................. 28
5.6 AVALIAÇÃO QUALITATIVA.......................................................................... 29
6 ÍNDICE DE SATISFAÇÃO DE ATENDIMENTO AO PÚBLICO (AP)... 32
6.1 DESENHO DA PESQUISA E COLETA DE DADOS.................................... 32
6.2 PLANO AMOSTRAL....................................................................................... 32
6.2.1 Dimensionamento da amostra............................................................................ 32
6.2.2 Amostragem: Tipo de amostra........................................................................... 33
6.2.3 Estratificação...................................................................................................... 34
6.3 MÉTRICA (PONTUAÇÃO)............................................................................. 34
6.4 META................................................................................................................ 35
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
6.5 DESEMPENHO (NOTA).................................................................................. 36
6.6 AVALIAÇÃO QUALITATIVA.......................................................................... 37
7 PONTUAÇÃO GLOBAL................................................................................ 38
7.1 PONTUAÇÃO GLOBAL E NOTA CONCEITO............................................. 38
7.2 AVALIAÇÃO QUALITATIVA.......................................................................... 42
8 PLANO DE AÇÃO………………………………………………………….. 43
ANEXOS.......................................................................................................... 44
ANEXO A - Instrumento de coleta para o Acordo de Nível de Serviço de
Limpeza..............................................................................................................
44
ANEXO B - Instrumento de coleta para o Índice de satisfação da Merenda
Escolar................................................................................................................
54
ANEXO C – Instrumento de coleta para o Índice de satisfação de atendimento ao
público......................................................................................
55
ANEXO D - Amostra aleatória do Acordo de Nível de Serviço de Limpeza
(AL)....................................................................................................................
56
ANEXO E - Amostra aleatória do Índice de Satisfação da Merenda Escolar
(IME)..................................................................................................................
58
ANEXO F - Amostra aleatória do Índice de Satisfação do Atendimento ao
Público (AP).......................................................................................................
59
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
LISTA DE TABELAS
Tabela 1 Definição da Amostra Estratificada Proporcional.......................... 11
Tabela 2 Resultado do Indicador Acordo de Nível de Serviço de Limpeza
(AL)................................................................................................. 13
Tabela 3 Percentual de cumprimento da meta e desempenho do Indicador
Acordo de Nível de Serviço de Limpeza (AL)............................... 13
Tabela 4 Resultado do Indicador Escolas com Acesso à Internet................. 17
Tabela 5 Percentual de cumprimento da meta e desempenho do Indicador
Escolas com Acesso à Internet (EAI)............................................. 18
Tabela 6 Levantamento dos problemas verificados nas informações da
FICAI disponibilizadas pelas GRE’s.............................................. 22
Tabela 7 Resultado Índice de Satisfação da Merenda Escolar (IME)........... 28
Tabela 8 Percentual de cumprimento da meta e desempenho do Índice de
Satisfação da Merenda Escolar (IME)............................................ 29
Tabela 9 Unidades escolares que atingiram a meta de pontuação................. 29
Tabela 10 Definição da amostra estratificada proporcional............................ 34
Tabela 11 Resultado Índice de Satisfação de Atendimento ao Público (AP).. 36
Tabela 12 Percentual de cumprimento da meta do Índice de Satisfação de
Atendimento ao Público (AP)......................................................... 36
Tabela 13 Pontuação Global Insaúde............................................................... 40
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
LISTA DE QUADROS
Quadro 1 Metas para o Acordo de Nível de Serviço de
Limpeza...........................................................................................
12
Quadro 2 Metas do Indicador Escolas com Acesso à Internet........................ 16
Quadro 3 Escolas que perderam o acesso à internet durante o período.......... 17
Quadro 4 Metas para Alunos Infrequentes
Acompanhados............................
20
Quadro 5 Metas para o IME............................................................................ 28
Quadro 6 Metas para o Índice de Satisfação de Atendimento ao Público...... 35
Quadro 7 Peso dos Grupos de Indicadores na Nota Global da Avaliação…..
38
Quadro 8 Pontuação Global - Conceito.......................................................... 39
Quadro 9 Avaliação qualitativa gerencial…………………………………... 42
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
7
1. INTRODUÇÃO
A metodologia anteriormente utilizada para a seleção das unidades escolares para a Gestão
Pactuada foi a aplicação da técnica estatística Análise de Componente Principal (PCA) a
partir da priorização das 35 (trinta e cinco) variáveis para as principais dimensões de variáveis
das escolas para resumir as variáveis em 4 (quatro) dimensões: Perfil da unidade escolar,
Desempenho, Infraestrutura e Ensino Oferecido. Considerando quantidade de unidades
escolares e proximidade territorial, foi definida a divisão das 14 GRE em 4 (quatro) grupos:
Grupo 1 - escolas da 1ª GRE; Grupo 2 - escolas da 2ª, 12ª e 14ª GRE; Grupo 3 - escolas da 3ª,
4ª e 5ª GRE; e Grupo 4 – escolas da 6ª, 7ª, 8ª, 9ª, 10ª, 11ª e 13ª GRE.
Isso permitiu que grupos captassem as características especificas das diferentes regiões da
Paraíba. Para estimular a competição administrada dentro de cada grupo entre as
Organizações Sociais participantes da Gestão Pactuada, foi definida a divisão de cada grupo
em dois lotes, formando oito lotes no total. De forma a garantir o equilíbrio entre os dois lotes
de cada grupo, primeiro foi utilizado o clustering de Ward. Formaram-se clusters de escolas
semelhantes em relação às quatro dimensões priorizadas. Cada cluster possui características
homogêneas internamente e heterogêneas em relação aos outros clusters de unidades
escolares dentro do mesmo grupo de GRE.
Cada lote foi assim formado pela divisão aleatória de metade das unidades escolares de cada
cluster. Dessa forma, cada par de lotes do mesmo grupo tem uma proporção semelhante de
tipos de escola, garantindo seu equilíbrio e, portanto, estimulando a competição administrada
em cada grupo.
Dessa forma, os processos metodológicos utilizados a seguir para mensuração dos indicadores
referentes ao bimestre contratual compreendido de agosto a setembro de 2017 foram
determinados com base na metodologia adotada anteriormente.
Conforme estabelecido na cláusula VII – DOS PRAZOS no item 7.4 do EDITAL Nº
001/2017/SEAD/SEE
7.4 A execução do Contrato de Gestão Pactuada tem previsão de início no mês de agosto/2017 para as
Unidades Escolares pertencentes aos lotes 1, 2, 3, 4, 5 e 6, e o mês de dezembro/2017 para as Unidades
Escolares pertencentes aos lotes 7 e 8, descriminados no anexo I.
No que se refere à Organização Social Ecos, a execução e os valores repassados
correspondentes ao Contrato de Gestão Pactuada dos serviços de apoio das unidades escolares
até o mês de dezembro/2017 correspondem às unidades escolares pertencentes aos lotes 2, 4 e
6.
Portanto, com vistas à avaliação dos indicadores referentes ao seguinte período, considerou-se
as 225 escolas objeto da Gestão Pactuada sob responsabilidade da Organização Social Ecos
até o mês de dezembro/2017.
Devido à periodicidade, dos 21 indicadores previsto em Edital, 4 foram considerados para fins
de avaliação por estes serem bimestrais, sendo eles:
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
8
a. Acordo de Nível de Limpeza (AL)
b. Escolas com acesso à internet (EAI)
c. Alunos Infrequentes Acompanhados (ALI)
d. Índice de Satisfação de atendimento ao público (IP)
O Índice de Satisfação da Merenda Escolar (IME) foi adicionado na avaliação bimestral por
ser considerado, pela Comissão, fundamental ao bem-estar dos alunos e no bom
funcionamento das unidades escolares. Seu resultado em menor periodicidade permite uma
ação corretiva mais rápida e, por conseguinte mais melhorias.
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
9
2. ACORDO DO NÍVEL DE LIMPEZA (AL)
Como estabelecido no Edital os indicadores poderiam ser medidos de forma censitária ou
amostral, a critério da Comissão de Acompanhamento, Monitoramento e Avaliação da
Secretaria de Estado da Educação.
O indicador de Acordo do Nível de Limpeza (AL) foi auferido de forma amostral visando
economia de tempo e de recursos dado que a escolha de uma amostra representativa da
população permite estender as conclusões obtidas para toda a população das 225 unidades
escolares contempladas até dezembro com a Gestão Pactuada sob responsabilidade da OS.
2.1 DESENHO DA PESQUISA E COLETA DE DADOS
Esse indicador é definido no Edital da seguinte forma:
“Esse especificará os serviços a serem realizados e sua periodicidade
(diariamente, semanalmente, mensalmente, anualmente etc.). Esse
indicador será mensurado bimestralmente. ”
O público alvo desse questionário são Gestores Escolares da rede estadual. O procedimento
de coleta de dados foi realizado a partir do questionário estruturado enviado aos gestores das
unidades escolares amostradas por meio de formulário eletrônico (formulários google),
apresentado no Anexo A ao final do documento. O questionário enviado permitia apenas uma
resposta por unidade.
Dessa forma, o indicador foi mensurado para o primeiro bimestre de vigência da Gestão
Pactuada, compreendendo este de 01/08/2017 a 30/09/2017.
2.2 PLANO AMOSTRAL
2.2.1. Dimensionamento da amostra
A meta do indicador do Acordo do Nível de Limpeza consiste em uma proporção como
indicado pelo Edital. Dessa forma, o tamanho da amostra calculado para estimativa da
proporção populacional para população finita para o indicador da Organização Social Ecos foi
determinado conforme equação a seguir:
𝑛 =𝑁. 𝑝. 𝑞
(𝑁 − 1). 𝐷 + 𝑝. 𝑞
sendo n = tamanho da amostra; p = proporção populacional; q = (1-p), o complementar de p;
N = tamanho da população de 225 unidades escolares e D = ε2
4⁄ , em que ε é o erro amostral
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
10
considerado de 0,10, isto é, foi considerada a amostra ao nível de 90% de significância
(α=10%). O nível de significância de 90% foi considerado em vistas às limitações impostas
pelo tempo de coleta dos dados e dificuldades de contatar os gestores escolares para responder
os questionários.
Considerando que nesta expressão, n depende de p (1-p), que é desconhecido e considerando
que a função p (1-p) é uma parábola simétrica em torno de p = 0,5, em que o máximo de p (1-
p) é 0,25, alcançado quando p= 0,5, então, na prática, substituímos p(1-p) por seu valor
máximo, seguindo uma abordagem conservadora conforme recomendado pela literatura
estatística. Sendo assim, para esse indicador, foi determinada uma amostra de 70 entrevistas.
2.2.2 Amostragem: Tipo de amostra
A amostragem probabilística foi adotada para fins de avaliação do indicador, por ser este um
método rigoroso em termos estatísticos e aceito cientificamente. Amostragens probabilísticas
são amostragens em que cada elemento da população tem uma probabilidade conhecida de
fazer parte da amostra.
Dentre os tipos de amostragem probabilística, a amostragem estratificada foi escolhida como
a mais conveniente para fins da seleção dos elementos da população de interesse pelo fato da
população de unidades escolares está dividida em subgrupos mais homogêneos (estratos) de
acordo com variáveis que caracterizam as escolas estaduais do Estado da Paraíba, havendo
homogeneidade dentro dos estratos e heterogeneidade entre os estratos, de forma, que a
retirada de amostras dos estratos (lotes) se justifica como método mais adequado tendo em
vista as características da população de interesse. A estratificação procura explorar a ideia de
que, quanto mais homogênea for população, mais precisos são os resultados amostrais.
Segundo Bolfarine e Bussab (2004, p. 93)
Amostragem estratificada consiste na divisão de uma população em grupos
(estratos) segundo alguma (s) característica (s) conhecida (s) na população sob
estudo, e de cada um desses estratos são selecionadas amostras em proporções
convenientes. A estratificação é usada principalmente para resolver
alguns problemas como: a melhoria da precisão das
estimativas; produzir estimativas para a população toda e subpopulações; por
questões administrativas, etc.
A estratificação é recomendada quando a população é muito heterogênea e as razões de custo
limitam o tamanho da amostra e, sendo assim, torna-se impossível definir uma Amostra
Aleatória Simples com reposição da população com toda uma precisão possível. Dessa
maneira, uma saída para esse problema é utilizar-se da estratificação para dividir a população
em subpopulações internamente mais homogêneas, ou seja, grupos com variâncias pequenas
que diminuirão o erro amostral global.
Dentre os tipos de alocação amostral, utilizou-se a Amostragem Estratificada Proporcional
(AEpr). Nesse tipo de procedimento, a amostra de tamanho n é distribuída proporcionalmente
ao tamanho dos estratos, isto é, o número de elementos amostrados em cada estrato é
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
11
proporcional ao número de elementos existentes no estrato. Após definido o número de
unidades amostrais de cada estrato, geralmente, tal número é escolhido por processo aleatório.
2.2.3 Estratificação
Seguindo a metodologia antes especificada, após a etapa de definição do tamanho amostral, os
lotes foram considerados para fins de estratificação. Para estratificação, foi considerado o
número de unidades escolares de cada respectivo estrato ou lote. Calculou-se a proporção ou
peso do número de escolas de cada estrato (Wh) na população total de unidades escolares de
cada OS. Então, obteve-se o a alocação amostral apresentada na Tabela 1 a seguir:
Tabela 1: Definição da Amostra Estratificada Proporcional
Lotes Tamanho dos
estratos
(Nh)
Peso (proporção)
dos estratos
(Wh)
Número de gestores alocados por
estrato
(n x Wh)
L2 85 37,78% 26
L4 57 25,33% 18
L6 83 36,89% 26
Total 225 100,00% 70
Na etapa seguinte, para escolha das unidades escolares a serem entrevistadas, foi realizado um
sorteio aleatório sem repetição das unidades escolares respeitando os limites quantitativos
para cada estrato observados anteriormente. Foram coletadas 70 respostas dos gestores
escolares das unidades escolares sob gestão pactuada durante o período de 10/10/2017 a
26/10/2017, apresentadas no Anexo A ao final do documento.
Houve a necessidade de reposição de algumas escolas selecionadas inicialmente para amostra
pela impossibilidade de obtenção de resposta devido aos diversos empecilhos particulares,
como por exemplo dificuldade de contato, e-mail incorreto, problemas com acesso à internet
na unidade escolar e por impasses na atuação das OS nas escolas indígenas.
2.3. Métrica (Pontuação)
O questionário possui 110 itens com pontuação de 1 a 5. Dessa forma, cada questionário tem
como valor mínimo 𝐴𝐿min=110 e valor máximo 𝐴𝐿max=550. A seguir é definida a fórmula de
cálculo do resultado de cada questionário. Esse resultado varia entre 0 e 100.
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
12
𝑃𝑜𝑛𝑡𝑢𝑎çã𝑜𝐴𝐿 = 𝑆𝑂𝑀𝐴− 𝐴𝐿𝑚𝑖𝑛
𝐴𝐿max − 𝐴𝐿𝑚𝑖𝑛
Sendo 𝑃𝑜𝑛𝑡𝑢𝑎çã𝑜𝐴𝐿 o resultado de um questionário do Acordo de Nível de Serviço de
Limpeza e define-se 𝑆𝑂𝑀𝐴 como a soma dos pontos dos itens respondidos no questionário.
Para os itens deixados em branco, o que significa que aquele item não se aplica à realidade do
respondente, os valores mínimo e máximo do questionário foram ajustados desconsiderando
aquele item.
2.4 Meta
A meta para este indicador é que 75% das escolas tenham como resultados pontuação maior
ou igual a 60 para o segundo semestre de 2017.
A meta para o semestre corrente e consequente bimestre são apresentadas no quadro a seguir.
O quadro apresenta a meta de proporção (Prop.) e de pontuação (Pont.) para o período. A
proporção se refere à proporção de questionários que devem ter nota maior ou igual à
pontuação para que a meta seja atendida.
Quadro 1: Metas para o Acordo de Nível de Serviço de Limpeza.
Meta2° semestre de 2017
1° bimestre 2° bimestre 3° bimestre
Prop. Pont. Prop. Pont. Prop. Pont.
75% 60 75% 60 75% 60
Fonte: Indicadores e Metas da Gestão Pactuada da Paraíba
2.5 DESEMPENHO (NOTA)
O desempenho desse indicador foi medido de acordo com à proporção de escolas que
atingiram a pontuação da meta.
𝑁𝑜𝑡𝑎 = {
𝑃𝑟𝑜𝑝𝐴𝐿
75%
10, 𝑠𝑒 𝑃𝑟𝑜𝑝𝐴𝐿 ≥ 75% ∗ 10, 𝑠𝑒 𝑃𝑟𝑜𝑝𝐴𝐿< 75%
Sendo 𝑃𝑟𝑜𝑝𝐴𝐿 a proporção de questionários que atingiram a meta de pontuação do Acordo de
Nível de Serviço de Limpeza.
A Tabela 2 a seguir apresenta os resultados para o Indicador do Acordo de Nível de Limpeza:
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
13
Tabela 2: Resultado Indicador Acordo de Nível de Serviço de Limpeza (AL)
Cumprimento da Meta Número Percentual
Sim 16 22,86%
Não 54 77,14%
Total 70 100,00%
Fonte: Elaboração pela Comissão de Avaliação e Monitoramento das Organizações Sociais a partir dos dados
obtidos por meio da aplicação dos questionários.
Como percebe-se pelos dados da Tabela acima apresentada, apenas 22,86% das unidades
escolares sob gestão pactuada da ECOS atingiram a meta de pontuação, o desempenho da
escola atingiu nota 3, como exposto pela Tabela 3 a seguir:
Tabela 3: Percentual de cumprimento da meta e desempenho do Indicador Acordo de
Nível de Serviço de Limpeza (AL)
Percentual de
questionários que
atingiram a meta
Meta Desempenho
(Nota)
22,86% 75% dos questionários com
pelo menos 60 pontos 3
Fonte: Elaboração pela Comissão de Avaliação e Monitoramento das Organizações Sociais a partir dos dados
obtidos por meio da aplicação dos questionários.
Dentro das respostas das 54 escolas que não atingiram a meta, os itens críticos avaliados com
em ordem decrescente são:
1-) Equipamentos Internos:
A. Maçanetas
B. Tomadas
C. Portas
D. Cestos de lixo
E. Teto
2-) Banheiros e Sanitários:
A. Ralos
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
14
B. Torneiras
C. Válvulas
3-) Área de Alimentação:
A. Talheres
B. Cestos de Lixo
C. Torneiras
D. Tomadas
4-) Áreas de circulação (Pátio e Quadras):
A. Pisos
5-) Equipamentos, utensílios de limpeza, apresentação e uniformes:
A. Baldes
B. Panos (Chão, paredes e manuais)
C. Equipamentos gerais
2.6 AVALIAÇÃO QUALITATIVA
Conforme previsto no Edital:
A pontuação de cada indicador será complementada por uma avaliação qualitativa pela
Comissão de Acompanhamento Monitoramento e Avaliação da Secretaria de Estado da
Educação de modo a contextualizar os resultados.
No mês de agosto a organização social ECOS visitou as escolas e regionais para compreender
o contexto local. Além disso, estruturou sua equipe na Paraíba e a partir disso fez todo o
planejamento de ações para transição de contratação do apoio escolar para a CLT.
No mês de setembro, a SEE e a OS ECOS mobilizaram 225 escolas com mais de 2000
funcionários para formalizar o processo. Neste período, houve apresentação de documentos,
exames médicos, assinatura de contratos e entregas de carteira de trabalho.
Deste modo, entende-se que não houve tempo suficiente para nenhum tipo de treinamento
para os funcionários da limpeza embora tenha se instaurado um clima de mudança. Toda
logística pertinente ao processo de contratação ocupou o período avaliado.
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
15
Ademais, devido à um maior rigor ao cumprimento de horários e regras estabelecidas, alguns
prestadores de serviço preferiram se demitir. Portanto, não seria produtivo realizar
capacitações com o intuito de padronizar o trabalho e minimizar falhas durante um período de
instabilidade.
A Comissão de Acompanhamento, Monitoramento e Avaliação considera sua atuação
razoável possível até o momento, firmando o compromisso de fornecer o diagnóstico inicial,
transparecendo os desafios iniciais e visando fortalecer a parceria em prol das mudanças
institucionais.
Tendo em vista o desempenho obtido pela OS ECOS, prevê o Edital:
Caso algum indicador apresente nota menor que 7,0, a Organização Social deverá
apresentar um plano de ação para melhoria à Comissão de Acompanhamento
Monitoramento e Avaliação da Secretaria de Estado da Educação. Após avaliação a
Comissão pode propor alterações ao Plano de Ação.
Uma descrição detalhada do modelo de plano de ação a ser apresentado à Comissão se
encontra na seção 8 deste documento. O prazo para envio é 15 dias após a entrega do
relatório.
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
16
3. ESCOLAS COM ACESSO À INTERNET (EAI)
Esse indicador é definido no edital da seguinte forma:
“O objetivo desse indicador é garantir que o funcionamento da internet seja mantido em
escolas que já o possuem, visto que a instalação de acesso à internet permanecerá de
responsabilidade da SEE. O indicador será calculado a partir da fórmula a seguir:
Quantidade de escolas com internet em funcionamento
Quantidade de escolas com acesso a internet no período anterior
Esse indicador é medido bimestralmente e sua meta é de 100% para todo bimestre. Caso a
meta não seja atingida esse indicador pontuará 0 (zero).
Em outras palavras, a instalação de acesso à internet permanece de responsabilidade da SEE e
a partir do momento que uma escola têm acesso à internet é de responsabilidade da OS
garantir que esse acesso seja mantido nos níveis adequados.
3.1 META
As metas para esse indicador, que foram definidas no Edital, são apresentadas a seguir:
Quadro 2: Metas do Indicador Escolas com Acesso à Internet.
Metas
2017 2018 2019
100% 100% 100%
Fonte: Edital Nº 001/2017/SEAD/SEE de Gestão pactuada entre as Organizações Sociais e a Secretaria de
Estado da Educação.
3.2 DESEMPENHO (NOTA)
Segundo o Edital, o indicador terá desempenho de nota 10 caso a meta seja atendida ou
superada e terá desempenho de nota 0 alguma escola perca o acesso à internet.
Essa regra é formalmente descrita pela equação a seguir:
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
17
𝑁𝑜𝑡𝑎 = {0 , 𝐸𝐴𝐼 < 100%
10, 𝐸𝐴𝐼 = 100%
Sendo 𝐸𝐴𝐼 o resultado do indicador de Escolas com acesso à internet. Isso significa que a OS
só receberá nota positiva caso mantenha o acesso à internet em todas as escolas que já
possuíam.
Para mensuração do resultado do indicador, foram extraídas bases de dados da plataforma
SABER utilizando um filtro da variável descritiva escolas com acesso à internet para os
períodos T01 e T12. A base de dados tomada como referência para o período T0 se justifica
pela impossibilidade de extração de relatório na plataforma SABER com data referente ao
início do contrato de gestão pactuada (01/08/2017), visto que, na plataforma só é possível
gerar tais informações para o período corrente. Dessa forma, devido à falta de informação
ideal, considerou-se mais conveniente utilizar a base de dados gerada na fase de elaboração do
Edital.
A Tabela 4 a seguir apresenta os resultados para o Indicador de Escolas com Acesso à
Internet:
Tabela 4: Resultado do Indicador Escolas com Acesso à Internet.
Escolas que mantiveram o
funcionamento do acesso à internet (t)
(a)
Escolas com acesso à internet em
funcionamento (t-1)
(b)
Resultad
o
(a/b)
188 192 98% Fonte: Elaboração pela Comissão de Avaliação e Monitoramento das Organizações Sociais a partir de relatórios
extraídos da plataforma Saber.
Como percebe-se pelos dados da Tabela acima apresentada, apenas 98% das unidades
escolares sob gestão pactuada da ECOS conseguiram manter o funcionamento do acesso à
internet nas unidades escolares que possuíam internet no período anterior, ou seja, quatro
escolas perderam o acesso à internet durante o período analisado. No Quadro 3 a seguir são
apresentadas as unidades escolares que deixaram de ter acesso à internet:
Quadro 3: Escolas que perderam o acesso à internet durante o período.
INEP Nome da Unidade Escolar
1 Saber - Relatório gerado como produto do Edital. Contexto: Escolas. Dados: Descritivos. Filtros: Situação: ;
Unidade Administrativa: N/D. 2Saber - Relatório gerado em 05/10/2017 às 15:24. Contexto: Escolas. Dados: Descritivos. Filtros: Situação: ;
Unidade Administrativa: N/D.
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
18
25100041
EEEF Barão do Abiaí
25048848
EEEF Vasconcelos Brandão
25094750
EEEFM Professor Olívio Pinto
25048880
EEEFM Senador Jose Gaudêncio
Fonte: Elaboração pela Comissão de Avaliação e Monitoramento das Organizações Sociais a partir de relatórios
extraídos da plataforma Saber.
O desempenho ou nota do indicador é apresentado na Tabela 5 a seguir:
Tabela 5: Percentual de cumprimento da meta e desempenho do Indicador Escolas com
Acesso à Internet (EAI)
Resultado
(a/b) Meta
Desempenho
(Nota)
98%
Manter 100%das escolas
com acesso à internet no
período anterior no período
atual
0
Fonte: Elaboração pela Comissão de Avaliação e Monitoramento das Organizações Sociais.
Portanto, o desempenho da ECOS nesse indicador atingiu nota 0, visto que a OS não
conseguiu manter o acesso à internet em todas as escolas da rede estadual que já o possuíam.
As planilhas em que constam a base de dados utilizadas para avaliação do indicador no
período analisado sob gestão pactuada da OS são apresentadas como parte deste documento.
3.3 AVALIAÇÃO QUALITATIVA
Conforme previsto no Edital:
A pontuação de cada indicador será complementada por uma avaliação qualitativa pela
Comissão de Acompanhamento Monitoramento e Avaliação da Secretaria de Estado da
Educação de modo a contextualizar os resultados.
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
19
A ECOS realizou 57 visitas das 225 escolas sob sua gestão pactuada no período de agosto e
setembro. Sendo destas 30 escolas nas regionais de João Pessoa (1ª), Itabaiana (12ª) e
Mamanguape (14ª) e 27 escolas nas regionais de Guarabira (2ª), Campina Grande (3ª), Cuité
(4ª) e Monteiro (5ª).
Considerando os dias úteis do mês, foi realizado no mínimo 1 vistoria por dia. Ademais, a
equipe de TI da ECOS reuniu com a Gerência de Tecnologia da Informação da Secretária
Estadual de Educação e Comissão para compreender e alinhar ações.
No período referente, a equipe da ECOS demonstrou transparência, cumprimento de prazos,
estabelecimento de processos e uma comunicação proativa com a Comissão.
Entende-se que a ECOS deve se atentar ao monitoramento da Plataforma SABER e ajustar as
internets da escola assim que houver alteração e/ou acionamento dos gestores escolares. A
capacidade de atendimento deve ser atrelada com o planejamento e metas.
Tendo em vista o cumprimento do edital:
Caso algum indicador apresente nota menor que 7,0, a Organização Social deverá
apresentar um plano de ação para melhoria à Comissão de Acompanhamento
Monitoramento e Avaliação da Secretaria de Estado da Educação. Após avaliação a
Comissão pode propor alterações ao Plano de Ação.
O plano de ação deve abranger todas as escolas sob sua gestão pactuada.
Uma descrição detalhada do modelo de plano de ação a ser apresentado à Comissão se
encontra na seção 8 deste documento. O prazo para envio é 15 dias após a entrega do
relatório.
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
20
4. ALUNOS INFREQUENTES ACOMPANHADOS (ALI)
4.1 DADOS
O Edital define esse indicador como:
“Esse indicador busca medir o acompanhamento de alunos infrequentes a partir da Ficha de
Comunicação do Aluno Infrequente (FICAI), regulamentada pelo decreto 32.303 de 29 de julho de
2011. A fórmula do indicador é apresentada a seguir:
Alunos com a FICAI preenchida
𝑇𝑜𝑡𝑎𝑙 𝑑𝑒 𝑎𝑙𝑢𝑛𝑜𝑠 𝑖𝑛𝑓𝑟𝑒𝑞𝑢𝑒𝑛𝑡𝑒𝑠
“O indicador traz a porcentagem de alunos acompanhados e será calculado bimestralmente. O
preenchimento da FICAI deve ser realizado seguindo a legislação cabível e o direcionamento
da SEE. ”
A aferição de presença nas aulas e, portanto, infrequência continua sendo responsabilidade
dos professores e da gestão escolar. Entretanto, é estratégico que a OS apoie esse processo de
aferição da melhor forma possível de acordo com os pedidos da gestão escolar. Além disso, a
inserção no sistema de informações sobre frequência dos estudantes é de responsabilidade da
OS e será medida no indicador Escolas com dados atualizados.
4.2 META
As metas para esse indicador foram definidas no edital de acordo com o quadro a seguir:
Quadro 4: Metas para Alunos Infrequentes Acompanhados
Metas
2017 2018 2019
90% 95% 100%
Fonte: Edital Nº 001/2017/SEAD/SEE de Gestão pactuada entre as Organizações Sociais e a Secretaria de
Estado da Educação.
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
21
A meta para este indicador para o ano de 2017 e, consequentemente, para o bimestre avaliado
é de 90% de alunos infrequentes acompanhados nas escolas sob gestão pactuada da OS.
4.3. DESEMPENHO (NOTA)
O desempenho desse indicador será proporcional ao alcance das metas. Caso a meta seja
superada o desempenho não passará da nota 10. Esse tipo de medida é formalizado pela
fórmula a seguir:
𝑁𝑜𝑡𝑎 = {𝐴𝐿𝐼
𝑀𝑒𝑡𝑎
10 , 𝐴𝐿𝐼 ≥ 𝑀𝑒𝑡𝑎 *10, ALI < Meta
Sendo ALI o resultado do indicador Alunos infrequentes acompanhados.
Através da análise das informações dos relatórios de acompanhamento de alunos infrequentes
referentes ao 3° Bimestre Escolar enviados pelas Gerências Regionais de Ensino (GRE’s)
foram constatados diversos problemas nas informações disponibilizadas que culminaram por
inviabilizar a mensuração do indicador de Alunos Infrequentes Acompanhados (ALI).
Destacam-se como os mais importantes e primordiais:
a) Inconsistência nas informações dos relatórios enviados à SEE pelas GRE’s;
b) Unidades escolares que não comunicam acerca do preenchimento (aplicação) ou não
da FICAI;
c) Unidades escolares que aplicam a FICAI nos casos em que a mesma não deveria ser
aberta como doença, comprovada por atestado médico; transferência escolar; e para
alunos maiores de 18 anos.
d) Unidades escolares que não realizam devidamente o acompanhamento do aluno
infrequente por meio dos encaminhamentos necessários à posterior aplicação da
FICAI ou então, do cômputo de tais informações periodicamente;
e) Falha das unidades escolares na identificação dos motivos de não-retorno do aluno
infrequente.
A Tabela 6 a seguir indica os problemas constatados nas informações da aplicação da FICAI:
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
22
Tabela 6: Levantamento dos problemas verificados nas informações da FICAI
disponibilizadas pelas GRE’s
GRE Erros de
preenchimento
Falta de
informação Total
1° GRE 11 64 75
2° GRE 2 11 13
3° GRE 12 12 24
4° GRE 0 5 5
5° GRE 2 1 3
12° GRE 0 8 8
14° GRE 3 1 4
Total 30 102 132 Fonte: Elaboração pela Comissão de Avaliação e Monitoramento das Organizações Sociais a partir dos Quadros
Consolidados do Procedimento de Aplicação e Acompanhamento da FICAI enviados pelas Gerências Regionais
de Ensino à GEAGE/SEE.
A 1° GRE foi a que apresentou maior número de escolas com falhas no processo de
preenchimento da ficha FICAI, um total de 75 escolas (11 com erros de preenchimento e 64
não informaram sobre o preenchimento), logo em seguida, a 3° GRE com 24 erros (12 com
erros de preenchimento e 12 não informaram), logo após, a 2° GRE com 13 escolas com erros
(2 erros de preenchimento e 11 não informaram), em seguida, a 12° GRE com 8 erros (8 não
informaram), depois a 4° GRE com 5 erros (5 não informaram) e a 14° GRE com 4 erros (3
erros de preenchimento e 1 não informou) . A 5° GRE foi a gerência que menos apresentou
falhas nas informações da FICAI com 3 erros, sendo 2 erros de preenchimento e 1 não
informou.
A planilha completa com o consolidado dos relatórios do 2° Bimestre de 2017 enviados pelas
Gerências Regionais de Ensino e a identificação das falhas encontram-se disponibilizadas em
anexo como parte deste documento.
Constatado tais limitações neste período inicial, a Comissão de Acompanhamento,
Monitoramento e Avaliação das Organizações Sociais decidiu pela não mensuração de tal
indicador e o seu peso redistribuído igualmente para os outros indicadores bimestrais
auferidos como definido e recomentado pelo Edital de forma a melhor representar o
desempenho da OS no período, conforme trecho transcrito abaixo:
“A Pontuação Global será atualizada assim que algum indicador seja atualizado. Como só se terá
todos os indicadores após 12 meses do início da implementação, caso algum indicador ainda não
tenha sido calculado devido à sua periodicidade, seu peso deve ser redistribuído igualmente para os
outros indicadores de forma a melhor representar o desempenho da OS no período. ”
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
23
4.3 AVALIAÇÃO QUALITATIVA
Conforme previsto no Edital:
A pontuação de cada indicador será complementada por uma avaliação qualitativa pela
Comissão de Acompanhamento, Monitoramento e Avaliação da Secretaria de Estado da
Educação de modo a contextualizar os resultados
A análise do indicador “Alunos Infrequentes Acompanhados” identificou a necessidade de
padronizar processos, realizar treinamentos e supervisionar o preenchimento da FICAI de
acordo com as diretrizes do DECRETO Nº 32.303, DE 29 DE JULHO DE 2011.
Sugere-se a atuação da OS em parceria com a direção escolar, e uma forte integração com as
GRE’s visando garantir o envio das informações corretas e de todas as escolas para cada
órgão competente da SEE, assim como comunicar à mesma os possíveis casos de escolas em
que não houveram casos de alunos infrequentes ou em que não foi possível a aplicação da
FICAI (por motivos de calendário especial, falta de acesso à internet, etc.) por meio de ofício.
Portanto, o resultado do indicador proporciona a ECOS quais são os principais desafios a
serem superados nessa fase inicial da Gestão Pactuada.
Em vista da não mensuração devido ao processo, considera-se a mesma ação corretiva:
Caso algum indicador apresente nota menor que 7,0, a Organização Social deverá
apresentar um plano de ação para melhoria à Comissão de Acompanhamento
Monitoramento e Avaliação da Secretaria de Estado da Educação. Após avaliação a
Comissão pode propor alterações ao Plano de Ação.
Uma descrição detalhada do modelo de plano de ação a ser apresentado à Comissão se
encontra na seção 8 deste documento. O prazo para envio é 15 dias após a entrega do
relatório.
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
24
5. ÍNDICE DE SATISFAÇÃO DA MERENDA ESCOLAR (IME)3
Conforme definido no Edital em sua cláusula II – Indicadores e Metas:
Para os indicadores que dependem da aplicação de questionários, como os índices de
satisfação, a aferição poderá ser realizada de forma amostral, caso determinado pela SEE.
Dessa forma, o “Índice de Satisfação da Merenda Escolar (IME) ” foi auferido de forma
amostral visando economia de tempo e de recursos dado que a escolha de uma amostra
representativa da população permite estender as conclusões obtidas para toda a população das
225 unidades escolares contempladas até dezembro sob Gestão Pactuada da ECOS.
5.1 DESENHO DA PESQUISA E COLETA DE DADOS
Sobre o Índice de satisfação da Merenda escolar, o Edital define:
“O questionário abordará perguntas sobre a qualidade, equidade, variedade, disponibilidade
e quantidade da merenda escolar de modo a garantir o seu fornecimento de forma adequada.
Ele será aplicado bimestralmente e será calculado como um índice consolidado das
respostas. ”
O Instrumento de coleta do Índice de satisfação da Merenda Escolar está disponível no Anexo
B.
O procedimento de coleta dos dados utilizado deu-se através de pesquisa de campo com
aplicação de questionários estruturados abordando questões acerca da qualidade, equidade,
variedade, disponibilidade e quantidade da merenda escolar, como previsto pelo Edital. O
público alvo desse questionário foram alunos da rede pública de ensino estadual da Paraíba
sob gestão pactuada, sendo que foram aplicados no período de 17/10/2017 a 09/11/17.
Acerca da periodicidade da avaliação, o indicador foi mensurado para o primeiro bimestre de
vigência da Gestão Pactuada, compreendido de 01/08/2017 a 30/09/2017.
5.2 PLANO AMOSTRAL
5.2.1. Dimensionamento da amostra
3 A nota obtida pela OS nesse indicador não foi considerada no cálculo da Pontuação Global, apenas para que
sua avaliação em menor periodicidade permita uma ação corretiva mais rápida e, por conseguinte mais
melhorias.
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
25
A meta do Índice de Satisfação da Merenda Escolar (IME) trata-se de uma proporção como
indicado pelo Edital. Em relação ao tamanho amostral, conforme previsto no Edital na sua
claúsula II – Indicadores e Metas:
Nesse caso, a quantidade de estudantes pesquisados deverá ser representativa do universo de
alunos presentes na escola de forma a alcançar erro amostral e nível de confiança estatística
a serem definidos pela SEE.
Dessa forma, o tamanho da amostra calculado para estimativa da proporção populacional para
população finita para o indicador da Organização Social Ecos foi determinado conforme
equação a seguir:
𝑛 =𝑁. 𝑝. 𝑞
(𝑁 − 1). 𝐷 + 𝑝. 𝑞
sendo n = tamanho da amostra; p = proporção populacional; q = (1-p), o complementar de p;
N = tamanho da população de 118.708 alunos da rede pública estadual de ensino das unidades
escolares sob gestão pactuada da OS e D = ε2
4⁄ , em que ε é o erro amostral considerado de
0,05, isto é, foi considerada a amostra ao nível de 95% de significância (α=5%).
Considerando que nesta expressão, n depende dep(1-p), que é desconhecido e considerando
que a função p(1-p) é uma parábola simétrica em torno de p = 0,5, em que o máximo de p(1-
p) é 0,25, alcançado quando p= 0,5, então, na prática, substituímos p(1-p) por seu valor
máximo, seguindo uma abordagem conservadora conforme recomendado pela literatura
estatística. Sendo assim, para esse indicador, foi determinada uma amostra de 399 entrevistas.
5.2.2 Amostragem: Tipo de amostra
A amostragem probabilística foi adotada para fins de avaliação do indicador, por ser este um
método rigoroso em termos estatísticos e aceito cientificamente. Amostragens probabilísticas
são amostragens em que cada elemento da população tem uma probabilidade conhecida de
fazer parte da amostra.
Dentre os tipos de amostragem probabilística, a metodologia da amostragem em múltiplos
estágios foi a escolhida como a mais conveniente para fins da seleção dos elementos da
população de interesse, visto a indisposição de um sistema de referências completo, a saber de
uma listagem das unidades elementares, no caso, de alunos, dispondo-se apenas de
informação precisas a nível das unidades escolares (grupos de unidades elementares). Além
do mais, pelo fato dos conglomerados ou unidades escolares serem homogêneos, o uso da
amostragem por conglomerados, isto é, a coleta de todas as suas unidades elementares
(alunos), torna-se inviável. Assim, uma saída para aumentar a eficiência, sem aumentar o
tamanho da amostra, é subsortear elementos (alunos) dos conglomerados (escolas)
selecionados (as).
É um método muito utilizado por motivos de ordem prática e econômica em populações
humanas, onde inicialmente sorteiam-se cidades, depois bairros, quarteirões, domicílios e
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
26
finalmente moradores. O uso de várias unidades de sorteio define em cada estágio uma
diferente unidade amostral. Assim no primeiro estágio, tem-se a Unidade Primária de
Amostragem (UPA), no segundo estágio a Unidade Secundária de Amostragem (USA), etc.
Para o referido plano amostral, as UPA’s foram consideradas as unidades escolares e as
USA’s os alunos. Dessa forma, primeiro sortearam-se as unidades escolares e, após os alunos.
Dentre as vantagens desse método, pode-se citar a redução do custo de locomoção e acesso,
dispensa de uma listagem de todos os elementos da população e uma saída para aumentar a
eficiência sem aumentar o tamanho da amostra.
5.2.3 Estratificação
Após definição do tamanho amostral, a estratificação foi utilizada para delineamento do plano
amostral. A divisão da população de alunos em lotes foi considerada para fins da
estratificação. Para estratificação, foi considerado o número de matrículas de alunos de cada
respectivo estrato ou lote. Calculou-se a proporção ou peso do número de matrículas de cada
estrato/lote (Wh) na população total de alunos das unidades escolares sob responsabilidade da
OS. Então, multiplicando o tamanho amostral pela proporção dos lotes obteve-se o
quantitativo de alunos amostrados por estrato/lote apresentado na Tabela 6 a seguir:
Tabela 6: Definição da Amostra Estratificada Proporcional
Lotes Tamanho do estrato
(Nh)
Peso (proporção)
do estrato
(Wh)
Número de alunos
alocados por
estrato
(n x Wh)
L2 45.642 38,45% 153
L4 28.608 24,10% 96
L6 44.458 37,45% 149
Total 118.708 100,00% 399
Fonte: Elaboração pela Comissão de Avaliação e Monitoramento das Organizações Sociais.
Na etapa seguinte, foi determinado o número de conglomerados ou de Unidades Primárias de
Amostragem (escolas) de cada estrato de onde seriam retiradas as unidades secundárias de
amostragem (alunos). Tal número foi determinado proporcionalmente ao número de escolas
de cada lote e levando em conta variáveis como custo logístico da aplicação e limitação de
tempo. Após determinado tal quantitativo, as unidades escolares foram escolhidas por meio de
amostragem aleatória simples sem repetição.
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
27
O número de alunos a serem entrevistados por escola foi determinado de forma proporcional
ao porte escolar, ou seja, do número de matrículas existentes na unidade escolar, como pode-
se verificar em tabela apresentada no Anexo D ao final deste documento.
Foram entrevistados 399 alunos de unidades escolares sob gestão pactuada da ECOS durante
o período de 17/10/2017 a 08/11/2017. Os alunos foram escolhidos por acessibilidade ou
conveniência nas unidades escolares da amostra.
5.3. MÉTRICA (PONTUAÇÃO)
O questionário possui 10 itens nos quais os alunos escolhem o desenho de uma face feliz ou
triste. A pontuação dos itens é 1 para a face feliz e 0 para a face triste.
Dessa forma, cada questionário tem como valor mínimo 0 e valor máximo 10. A seguir é
definida a fórmula de cálculo do resultado de cada questionário. Esse resultado varia entre 0 e
100.
𝑃𝑜𝑛𝑡𝑢𝑎çã𝑜𝐼𝑀𝐸 = 𝑆𝑂𝑀𝐴
𝑃𝑜𝑛𝑡𝑢𝑎çã𝑜𝑀𝑎𝑥𝐼𝑀𝐸 x 100
Sendo 𝑃𝑜𝑛𝑡𝑢𝑎çã𝑜𝐼𝑀𝐸 o resultado de um questionário de Satisfação da Merenda Escolar.
Define-se 𝑆𝑂𝑀𝐴 como a soma dos pontos dos itens respondidos no questionário. Caso algum
item seja deixado em branco, ou sejam marcadas todas as opções, o que significa que aquele
item não se aplica à realidade do respondente, o valor máximo do questionário é ajustado
desconsiderando aquele item.
O Índice de satisfação da Merenda Escolar será calculado por escola como a média da
pontuação dos questionários respondidos.
5.4. META
A meta para este indicador é que 75% das escolas tenham como resultado pontuação acima ou
iguais a 70 para o segundo semestre de 2017. Em outras palavras, fica determinado que 75%
das escolas tenham um Índice de satisfação com pontuação maior ou igual a 70 para esse
período.
A meta para o semestre corrente e consequente bimestre são apresentadas no Quadro 5 a
seguir. O Quadro 5 apresenta a meta de proporção (Prop.) e de pontuação (Pont.) para o
período. A proporção se refere à proporção de escolas que devem ter nota maior ou igual à
pontuação para que a meta seja atendida.
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
28
Quadro 5: Metas para o IME
Meta 2° semestre 2017
1° bimestre 2° bimestre 3° bimestre
Prop. Pont. Prop. Pont. Prop. Pont.
75% 70 75% 70 75% 70
Fonte: Indicadores e Metas da Gestão Pactuada da Paraíba
5.5 Desempenho (Nota)
O desempenho desse indicador foi medido de acordo com à proporção de escolas que
atingiram a pontuação da meta.
𝑁𝑜𝑡𝑎 = {
𝑃𝑟𝑜𝑝𝐼𝑀𝐸
75%
10, 𝑠𝑒 𝑃𝑟𝑜𝑝𝐼𝑀𝐸 ≥ 75% * 10, se 𝑃𝑟𝑜𝑝
𝐼𝑀𝐸< 75%
Sendo 𝑃𝑟𝑜𝑝IME a proporção de questionários que atingiram a meta de pontuação do Índice de
Satisfação da Merenda Escolar.
A Tabela 7 a seguir apresenta os resultados para o Índice de Satisfação da Merenda Escolar:
Tabela 7: Resultado Índice de Satisfação da Merenda Escolar (IME)
Cumprimento da Meta Número de Unidades
Escolares
Percentual
Sim 7 25,93%
Não 20 74,07%
Total 27 100,00%
Fonte: Elaboração pela Comissão de Avaliação e Monitoramento das Organizações Sociais a partir dos dados
obtidos por meio da aplicação dos questionários.
Como percebe-se pelos dados da Tabela acima apresentada, apenas 25,93% das unidades
escolares da OS atingiram a meta de pontuação, o desempenho da OS nesse indicador atingiu
nota 3, como exposto pela Tabela 8 a seguir:
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
29
Tabela 8: Percentual de cumprimento da meta e desempenho do Índice de Satisfação da
Merenda Escolar (IME)
Percentual de unidades
escolares que atingiram a
meta
Meta Desempenho
(Nota)
25,93% 75% dos questionários com
pelo menos 70 pontos 3
Fonte: Elaboração pela Comissão de Avaliação e Monitoramento das Organizações Sociais a partir dos dados
obtidos por meio da aplicação dos questionários.
A Tabela 9 abaixo apresenta as unidades escolares que atingiram a meta de pontuação.
Tabela 9: Unidades escolares que atingiram a meta de pontuação
Nome da Unidade Escolar Média de Pontuação da UE
EEEF Profª Rita de Miranda Henriques 92
EEEFM Jocelyn Velloso Borges 70
EEEF Dr Carlos Pessoa 70
EEEFM SENADOR RUI CARNEIRO 82
EEEF Ii e Eja Umbelina Garcez 79
EEEFM de Forte Velho 70
EEEFM Luiz Ribeiro Limeira 86
Fonte: Elaboração pela Comissão de Avaliação e Monitoramento das Organizações Sociais a partir dos dados
obtidos por meio da aplicação dos questionários.
5.6 AVALIAÇÃO QUALITATIVA
Conforme previsto no Edital:
A pontuação de cada indicador será complementada por uma avaliação qualitativa pela
Comissão de Acompanhamento Monitoramento e Avaliação da Secretaria de Estado da
Educação de modo a contextualizar os resultados.
A avaliação atribuída ao “Índice de Satisfação da Merenda Escolar (IME)” proporciona um
diagnóstico inicial e embora poucas, evidencia as escolas com as melhores práticas neste
quesito.
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
30
Deste modo, permite que a ECOS entenda quais são os procedimentos adotados podendo
replicar em outras unidades. Valorizar o desempenho dos gestores escolares nas que possui
alta pontuação e conscientizar sobre a responsabilidade da atuação dos demais, por meio de
orientações qualificadas.
Ademais, em setembro a ECOS atendeu de forma satisfatória a denúncia do Lyceu Paraibano
assegurando a segurança alimentar, entrega pontuais e realizando melhorias na logística das
filas. A equipe atendeu de forma ágil, integrada e manteve uma comunicação proativa com a
Comissão.
Neste caso, a Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações
Sociais avalia a equipe de supervisão da qualidade com um desempenho progressivo e
alinhado com as melhorias esperadas.
Em relação às escolas que não atingiram a meta de pontuação estabelecida, os itens mais mal
avaliados nos questionários referentes ao oferecimento de pelo menos duas vezes na semana
frutas cruas (1), verduras e legumes frescos (2), com 85% e 74% de avaliações negativas.
Em relação à qualidade da merenda escolar:
a. 46% dos alunos entrevistados declararam que refeições servidas na escola não são
saborosas;
b. 36% afirmaram que nem todos os alimentos oferecidos têm boa qualidade e;
c. 15% afirmou que os pratos oferecidos não têm bom tempero.
d. Quanto à variedade:
e. 41% disseram que o cardápio não é variado.
f. No que se refere à disponibilidade:
g. 85% afirmaram que não há oferta pelo menos duas vezes por semana de frutas cruas;
h. 74% responderam que não há oferta pelo menos duas vezes por semana de verduras e
legumes frescos;
i. 37% alegaram que falta água potável para beberem e, quanto à quantidade.
j. Quanto à quantidade:
k. 40% afirmaram que a quantidade de merenda oferecida é insuficiente para todos.
l. Em relação à higienização:
m. 39% responderam que as (os) merendeiras (os) não usam touca e usam jóias ou
adornos para servir as merendas;
n. 38% declararam que não fazem as refeições em um lugar apropriado (por exemplo,
um refeitório).
Embora a maioria dos alunos avaliou positivamente os itens, o percentual de respostas
negativas é muito significativo, enfatizando a necessidade de um plano de ação para aumentar
a satisfação dos alunos e garantir o fornecimento da merenda escolar de forma apropriada,
como estabelecido no Edital, Anexo II - Diretrizes, indicadores e metas dos serviços da
Gestão Pactuada, item I – Diretrizes e Atividades, subitem 9. Alimentação.
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
31
Em vista de tal desempenho obtido pela OS, prevê o Edital:
Caso algum indicador apresente nota menor que 7,0, a Organização Social deverá
apresentar um plano de ação para melhoria à Comissão de Acompanhamento
Monitoramento e Avaliação da Secretaria de Estado da Educação. Após avaliação a
Comissão pode propor alterações ao Plano de Ação.
O plano de ação deve abranger todas as escolas sob sua gestão pactuada.
Uma descrição detalhada do modelo de plano de ação a ser apresentado à Comissão se
encontra na seção 8 deste documento. O prazo para envio é 15 dias após a entrega do
relatório.
6. ÍNDICE DE SATISFAÇÃO DE ATENDIMENTO AO PÚBLICO (AP)
O Índice de Satisfação de Atendimento ao Público (AP) foi auferido de forma amostral
visando economia de tempo e de recursos dado que a escolha de uma amostra representativa
da população permite estender as conclusões obtidas para toda a população das 225 unidades
escolares contempladas até dezembro com a Gestão Pactuada sob responsabilidade da OS.
6.1 DESENHO DA PESQUISA E COLETA DE DADOS
Sobre o Índice de Satisfação do Atendimento ao Público, o edital define:
“Será elaborado um questionário para avaliar a qualidade do Atendimento ao Público realizado pela
Organização Social responsável pela Gestão Pactuada, a partir da perspectiva dos atendidos. O
questionário deverá ser fornecido pela Organização Social e oferecido a todos atendidos. Ele
abordará perguntas sobre a qualidade, receptividade, proatividade e atendimento às demandas entre
outros aspectos relevantes. Ele será calculado bimestralmente como um índice consolidado das
respostas. ”
O Instrumento de coleta do “Índice de Satisfação do Atendimento ao Público” está disponível
no Anexo C.
Seguindo as diretrizes do Edital, o público-alvo desse questionário foram os atendidos pelas
escolas da rede pública de ensino estadual da Paraíba sob gestão pactuada da ECOS. Ficou a
cargo da OS disponibilizar esse questionário em todas as secretárias de unidades escolares sob
sua responsabilidade para o preenchimento pelo público após o atendimento em formato
físico e enviar as informações sobre os questionários preenchidos para SEE.
A avaliação do indicador se refere ao primeiro bimestre de vigência da Gestão Pactuada,
compreendido de 01/08/2017 a 30/09/2017.
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
32
6.2 PLANO AMOSTRAL
6.2.1. Dimensionamento da amostra
A meta do Índice de Atendimento ao Público (AP) trata-se de uma proporção como indicado
pelo Edital. Dessa forma, o tamanho da amostra calculado para estimativa da proporção
populacional para população finita para o indicador da Organização Social foi determinado
conforme equação a seguir:
𝑛 =𝑁. 𝑝. 𝑞
(𝑁 − 1). 𝐷 + 𝑝. 𝑞
sendo n = tamanho da amostra; p = proporção populacional; q = (1-p), o complementar de p;
N = tamanho da população de 356.1244 atendidos pelas unidades escolares da rede pública
estadual de ensino sob gestão pactuada da OS e D = ε2
4⁄ , em que ε é o erro amostral
considerado de 0,05, isto é, foi considerada a amostra ao nível de 95% de significância
(α=5%).
Considerando que nesta expressão, n depende de p(1-p), que é desconhecido e considerando
que a função p(1-p) é uma parábola simétrica em torno de p = 0,5, em que o máximo de p(1-
p) é 0,25, alcançado quando p= 0,5, então, na prática, substituímos p(1-p) por seu valor
máximo, seguindo uma abordagem conservadora conforme recomendado pela literatura
estatística. Sendo assim, para esse indicador, foi determinada uma amostra de 400 entrevistas.
6.2.2 Amostragem: Tipo de amostra
Assim como o Índice de Satisfação da Merenda Escolar, a amostragem probabilística foi
adotada para fins de avaliação deste indicador, por ser este um método rigoroso em termos
estatísticos e aceito cientificamente. Amostragens probabilísticas são amostragens em que
cada elemento da população tem uma probabilidade conhecida de fazer parte da amostra.
Dentre os tipos de amostragem probabilística, a metodologia da amostragem em múltiplos
estágios foi a escolhida como a mais conveniente para fins da seleção dos elementos da
população de interesse, visto a indisposição de um sistema de referências completo, a saber de
uma listagem das unidades elementares, no caso, de atendidos pelas escolas, dispondo-se
apenas de informação precisas a nível das unidades escolares (grupos de unidades
4Devido à inexistência de um dado exato do número de atendidos pelas 225 unidades escolares sob gestão
pactuada da Insaude, assumiu-se a existência de dois pais/responsáveis por cada aluno , sendo assim, obteve-se
um número aproximado de 356.124 atendidos (118.708 x 3).
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
33
elementares). Além do mais, pelo fato dos conglomerados ou unidades escolares serem
homogêneos, o uso da amostragem por conglomerados, isto é, a coleta de todas as suas
unidades elementares (atendidos), torna-se inviável. Assim, uma saída para aumentar a
eficiência, sem aumentar o tamanho da amostra, é subsortear elementos (atendidos) dos
conglomerados (escolas) selecionados (as).
É um método muito utilizado por motivos de ordem prática e econômica em populações
humanas, onde inicialmente sorteiam-se cidades, depois bairros, quarteirões, domicílios e
finalmente moradores. O uso de várias unidades de sorteio define em cada estágio uma
diferente unidade amostral. Assim no primeiro estágio, tem-se a Unidade Primária de
Amostragem (UPA), no segundo estágio a Unidade Secundária de Amostragem (USA), etc.
Para o referido plano amostral, as UPA’s foram consideradas as unidades escolares e as
USA’s os potenciais atendidos pelas escolas. Dessa forma, primeiro sortearam-se as unidades
escolares e, após os atendidos.
Dentre as vantagens desse método, pode-se citar a redução do custo de locomoção e acesso,
dispensa de uma listagem de todos os elementos da população e uma saída para aumentar a
eficiência sem aumentar o tamanho da amostra.
6.2.3 Estratificação
Seguindo a metodologia antes especificada, após a etapa de definição do tamanho amostral, os
lotes foram considerados para fins de estratificação. Para estratificação, foi considerado o
triplo do número de matrículas de alunos de cada respectivo estrato ou lote visando considerar
dois pais por aluno de forma a chegar a uma aproximação do número de potenciais atendidos
por escola. Calculou-se a proporção ou peso do número potencial de atendidos de cada
estrato/lote (Wh) na população potencial total de atendidos pelas unidades escolares sob
responsabilidade da OS. Então, obteve-se o a alocação amostral apresentada na Tabela 10 a
seguir:
Tabela 10: Definição da Amostra Estratificada Proporcional
Lotes Tamanho dos
estratos
(Nh)
Proporção dos
lotes
(Wh)
Número de
atendidos
potenciais alocados
por estrato
(n x Wh)
L2 136.926 38,45% 154
L4 85.824 24,10% 96
L6 133.374 37,45% 150
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
34
Total 356.124 100,00% 400
Na etapa seguinte, foi determinado o número de conglomerados ou de Unidades Primárias de
Amostragem (escolas) de cada estrato de onde seriam retiradas as unidades secundárias de
amostragem (atendidos). Tal número foi determinado proporcionalmente ao número de
escolas de cada estrato/lote e levando em conta variáveis como custo logístico da aplicação e
escassez de tempo. Após determinado tal quantitativo, as unidades escolares foram escolhidas
por meio de sorteio aleatório sem repetição.
O número de questionários a serem disponibilizados nas secretarias das unidades escolares
escolhidas para o preenchimento pelo público após o atendimento foi determinado de forma
proporcional ao número potencial de atendidos da unidade escolar, como pode-se verificar em
tabela apresentada no Anexo F ao final deste documento.
Foram coletadas as respostas de 400 atendimentos nas secretarias das unidades escolares sob
reponsabilidade da OS durante o período de 17/10/2017 a 08/11/2017. Os atendidos
responderam o questionário logo após o atendimento realizado pela secretaria escolar nas
unidades escolares da amostra.
6.3. MÉTRICA (PONTUAÇÃO)
O questionário possui 3 itens com respostas fechadas e um quarto item aberto para
comentários. Não será associada pontuação ao item comentários, no entanto ele deverá ser
utilizado pela OS e pela SEE como suporte no diagnóstico de possíveis problemas e pontos de
melhoria. A pontuação dos 3 primeiros itens irá variar entre 0 e 3 de acordo com os critérios a
seguir, sendo atribuídas as seguintes pontuações:
0) Discordo totalmente; 1) Discordo parcialmente; 2) Concordo parcialmente e 3) Concordo
totalmente.
Dessa forma, cada questionário terá como valor mínimo 0 e valor máximo 9. A seguir é
definida a fórmula de cálculo do resultado de cada questionário. Esse resultado varia entre 0 e
100.
𝑃𝑜𝑛𝑡𝑢𝑎çã𝑜𝐴𝑃 = 𝑆𝑂𝑀𝐴
𝑃𝑜𝑛𝑡𝑢𝑎çã𝑜𝑀𝑎𝑥𝐴𝑃 x 100
Sendo 𝑃𝑜𝑛𝑡𝑢𝑎çã𝑜𝐴𝑃 o resultado de um questionário Satisfação do Atendimento ao Público.
Define-se 𝑆𝑂𝑀𝐴 como a soma dos pontos dos itens respondidos no questionário. Caso algum
item seja deixado em branco, ou sejam marcadas todas as opções, o que significa que aquele
item não se aplica à realidade do respondente, o valor máximo do questionário deve ser
ajustado desconsiderando aquele item.
6.4. META
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
35
Determina-se que 75% dos questionários tenham como resultado valores acima ou iguais a 65
para o segundo semestre de 2017. Em outras palavras, fica determinado que 75% dos
atendimentos tenham um Índice de Satisfação com pontuação maior ou igual a 65 para esse
período.
O Quadro 6 a seguir apresenta a meta de proporção (Prop.) e de pontuação (Pont.) para o
período. A proporção se refere à proporção de questionários que devem ter nota maior ou
igual à pontuação para que a meta seja atendida.
Quadro 6: Metas para o Índice de Satisfação de Atendimento ao Público
Meta 2° semestre 2017
1° bimestre 2° bimestre 3° bimestre
Prop. Pont. Prop. Pont. Prop. Pont.
75% 65 75% 65 75% 65
Fonte: "Indicadores e Metas da Gestão Pactuada da Paraíba"
6.5 DESEMPENHO (NOTA)
O desempenho desse indicador será de acordo com à proporção de questionários que
atingirem a pontuação da meta.
𝑁𝑜𝑡𝑎 = {
𝑃𝑟𝑜𝑝𝐴𝑃
75%
10, 𝑠𝑒 𝑃𝑟𝑜𝑝𝐴𝑃 ≥ 75% * 10, se 𝑃𝑟𝑜𝑝
𝐴𝑃< 75%
Sendo 𝑃𝑟𝑜𝑝𝐴𝑃 a proporção de questionários que atingiram a meta de pontuação do Índice de
Satisfação do Atendimento ao Público. Caso mais de 75% dos questionários atinjam a meta de
pontuação, o desempenho não passará da nota 10.
A Tabela 11 a seguir apresenta os resultados para o Índice de Satisfação de Atendimento ao
Público:
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
36
Tabela 11: Resultado Índice de Satisfação de Atendimento ao Público (AP)
Cumprimento da Meta Número de Atendimentos Percentual
Sim 354 88,50%
Não 46 11,50%
Total 400 100,00%
Fonte: Elaboração pela Comissão de Avaliação e Monitoramento das Organizações Sociais a partir dos dados
obtidos por meio da aplicação dos questionários.
Como percebe-se pelos dados da Tabela 11 acima apresentada, 88,50% das unidades
escolares da OS atingiram a meta de pontuação de 65 pontos, sendo assim, o desempenho da
OS nesse indicador atingiu nota 10 como exposto pela Tabela 12 a seguir:
Tabela 12: Percentual de cumprimento da meta e desempenho do Índice de Satisfação
de Atendimento ao Público (AP)
Percentual de
atendimentos que
atingiram a meta
Meta Desempenho
(Nota)
88,50% 75% dos questionários com
pelo menos 65 pontos 10
Fonte: "Indicadores e Metas da Gestão Pactuada da Paraíba"
6.6 AVALIAÇÃO QUALITATIVA
Conforme previsto no Edital:
“A pontuação de cada indicador será complementada por uma avaliação qualitativa pela
Comissão de Acompanhamento Monitoramento e Avaliação da Secretaria de Estado da
Educação de modo a contextualizar os resultados. ”
O resultado alcançado supera a meta estipulada, portando não há exigência de um plano de
ação. Entretanto, vale ressaltar a importância de uma melhoria contínua nos processos
garantindo que os atendimentos nas unidades escolares por meio da secretaria tenham
informações atualizadas e funcionários treinados.
A equipe da ECOS entregou os questionários nos prazos estabelecidos e alcançou o número
estipulado de respostas. A Comissão de Acompanhamento, Monitoramento e Avaliação
considera o desempenho da equipe excelente na contribuição do indicador.
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
37
7. PONTUAÇÃO GLOBAL
Devido à periodicidade, dos 21 indicadores previsto em Edital, 3 foram passíveis de avaliação
por estes serem bimestrais e mensuráveis, sendo eles:
a. Acordo de Nível de Limpeza (AL)
b. Escolas com acesso à internet (EAI)
c. Índice de Satisfação de atendimento ao público (IP)
Considerando que os indicadores estão organizados em grupos e que a cada um dos grupos de
indicadores é atribuído um peso específico em função da sua importância relativa no contexto
da sistemática de avaliação, conforme a seguinte distribuição apresentada no Quadro 7:
Quadro 7: Peso dos Grupos de Indicadores na Nota Global da Avaliação
Grupo Peso
IN1 – AEE, suporte pedagógico e
desempenho escolar 40%
IN2 – Suporte administrativo 20%
IN3 – Acordo de Nível de Serviço (ANS) 35%
IN4 – Índice de Equilíbrio Financeiro (IEF) 5%
Fonte: Edital Nº 001/2017/SEAD/SEE de Gestão pactuada entre as Organizações Sociais e a Secretaria de
Estado da Educação.
Como definido em Edital:
A Pontuação Global será atualizada assim que algum indicador seja atualizado. Como só se
terá todos os indicadores após 12 meses do início da implementação, caso algum indicador
ainda não tenha sido calculado devido à sua periodicidade, seu peso deve ser redistribuído
igualmente para os outros indicadores de forma a melhor representar o desempenho da OS
no período.
Após a atribuição individual da nota para cada indicador e/ou meta, foi calculada a média
aritmética do conjunto de indicadores por grupo avaliado (IN) e essa multiplicada pelo peso
atribuído ao grupo considerando a redistribuição igualitária do peso dos indicadores não
avaliados para os indicadores mensurados no referido ciclo bimestral.
As notas ponderadas foram somadas resultando numa nota final a qual foi atribuída uma Nota
Conceito, conforme tabela abaixo:
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
38
Quadro 8: Pontuação Global - Conceito
Pontuação Global Conceito Impacto
9,1 a 10 pontos A – ÓTIMO
Aprovado – Sugestão de
Renovação
8,1 a 9,0 pontos B – MUITO BOM
Aprovado – Sugestão de
Renovação
7,1 a 8,0 pontos C – BOM
Aprovado – Sugestão de
Renovação
5,1 a 7,0 pontos
D – SATISFATÓRIO
Aprovado – Passível de
Renovação após diagnóstico
conjunto
4,1 a 5,0 pontos E – RUIM
Reprovado – Não renova o
Contrato
< 4,0 pontos
F – INSUFICIENTE
Reprovado – Não renova o
Contrato Sugestão de
Desqualificação
Fonte: Edital Nº 001/2017/SEAD/SEE de Gestão pactuada entre as Organizações Sociais e a Secretaria de
Estado da Educação.
A partir da sistemática de avaliação definida anteriormente, apresenta-se a Nota Global de
Avaliação obtida pela Organização Social na Tabela 13 seguir:
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
39
Tabela 13: Pontuação Global Ecos
I
N META
NOT
A
MÉDI
A
(a)
PESO
(i)
PESO
IN
REPONDERAÇÃO
IGUALITÁRIA
(b)
TOTAL
DA IN
(c) = (a) x
(b)
1
Sistema de Avaliação da Educação da Paraíba – Avaliando
IDEPB
8%
40%
Integração de alunos com deficiência, transtornos globais
do desenvolvimento e altas habilidades ou superdotação 8%
Índice de satisfação do AEE 8%
Alunos infrequentes acompanhados 8%
Índice de Clima Escolar – ICE 8%
2
Índice de satisfação do Atendimento ao Público 10
5
4%
20% 36% 1,80
Escolas com dados atualizados 4%
Escolas com acesso à internet 0 4%
Índice de satisfação da Merenda Escolar – IME 4%
Índice de Segurança Escolar 4%
3 Índice de Suporte de TI
3,5%
Índice de Limpeza
3,5%
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
40
Índice de Manutenção
3
3,5% 35%
64%
1,92
Realização da manutenção predial preventiva 3,5%
Prazo de atendimento de chamados para manutenção
corretiva 3,5%
Prazo de solução dos problemas na manutenção corretiva 3,5%
Realização da manutenção preventiva anual de TI 3,5%
Prazo de atendimento de chamados para manutenção
corretiva de TI 3,5%
Prazo de solução dos problemas na manutenção corretiva
de TI 3,5%
Acordo de Nível de Serviço de limpeza 3 3,5%
4 Índice de Equilíbrio Financeiro – IEF 5% 5%
NOTA GLOBAL DA AVALIAÇÃO = Σ(c) 3,72
Como pode-se observar pelos dados da Tabela 13, a Organização Social obteve 3,72 como Nota Global da Avaliação. Dado que essa nota atribuída é
menor que 4,0 pontos, foi atribuído Conceito F - INSUFICIENTE que confere status de Reprovação e sugestão de Não Renovação do Contrato e
Desqualificação de acordo com o estabelecido no Edital e disposto no Quadro 7.
Como definido no Edital, a Pontuação Global determinará a parte variável que incidirá sobre a folha de pagamento do Corpo Técnico e Diretivo da OS
pelo período subsequente até sua próxima atualização e a liberação da parcela variável do Contrato de Gestão será feita a partir do conceito “C – BOM”.
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
41
Dada a reprovação da OS na Nota Conceito, a mesma não atingiu a Nota Conceito mínima
necessária para fazer jus à remuneração variável incidente sobre a folha de pagamento do
Corpo Técnico e/ou Diretivo da OS.
7. 2 Avaliação Qualitativa
A Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais,
segundo os valores do Programa de Organizações Sociais, avaliou qualitativamente o
desempenho da ECOS nos quesitos gerenciais:
Quadro 9: Avaliação qualitativa gerencial
Valores Not
a Comentários
Transparência 5 Informa à Comissão de forma proativa e encaminha os dados e
relatórios nos prazos estabelecidos.
Equidade 5 Assume responsabilidades e focam na resolução do problema em
parceria
Ética 5 Equipe com valores definidos
Respeito 3 Membros com postura profissional e qualificada, porém constante
reclamação nas escolas de tratamento dos funcionários da ECOS
Compromisso 5 Instaura processos estabelecidos pela Comissão, sugere melhorias e
informa qualquer imprevisto.
Eficiência 4 Alta capacidade de planejamento, organização e readequação
Fonte: Elaboração pela Comissão de Avaliação e Monitoramento das Organizações Sociais a partir dos dados
obtidos por meio da aplicação dos questionários.
Nota: 1.Péssimo 2. Ruim 3. Regular 4. Bom 5. Excelente
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
42
8. PLANOS DE AÇÃO
Caso algum indicador apresente nota menor que 7,0, a Organização Social deverá apresentar
um plano de ação para melhoria à Comissão de Acompanhamento Monitoramento e
Avaliação da Secretaria de Estado da Educação. Após avaliação a Comissão pode propor
alterações ao Plano de Ação.
Os Planos de Ação devem identificar:
I. Ações a serem tomadas;
II. Prazo de cada Ação;
III. Responsável por cada Ação;
IV. Escolas ou áreas prioritárias;
O Plano de Ação deve ser um documento simples com foco em ações que causem impacto
positivo em dois meses. Caso se faça necessária uma ação mais estruturada de médio-longo
prazo deve-se dividir essa ação em passos menores para adequá-la ao modelo.
A OS com melhor desempenho deverá contribuir, auxiliando a SEE na disseminação de boas
práticas.
A Comissão de Acompanhamento, Monitoramento e Avaliação da Secretaria de Estado da
Educação pode avaliar mensalmente, ou a qualquer período, a partir de dados e indicadores
prévios a serem criados e a partir desses exigir da OS que apresente Planos de Ação caso seja
verificada uma tendência de não alcance das metas futuras.
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
43
ANEXOS
ANEXO A - Instrumento de coleta para o Acordo de Nível de Serviço de Limpeza
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
44
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
45
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
46
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
47
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
48
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
49
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
50
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
51
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
52
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
53
ANEXO B - Instrumento de coleta para o Índice de satisfação da Merenda Escolar
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
54
ANEXO C – Instrumento de coleta para o Índice de satisfação de atendimento ao público
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
55
ANEXO D – Amostra aleatória do Acordo de Nível de Serviço de Limpeza (AL)
Unidade Escolar
EEEFM Irineu Pinto
EEEFM Antonio Coelho Dantas
EEEFM Maria Balbina Pereira
EEEF Jose Tavares
EEEIEF Francisco de Assis Gonzaga
EEEF Felinto Elizio
EEEFM Dr Hortensio de Sousa Ribeiro
EEEF Padre Ibiapina
EEEFM Juarez Maracajá
EEEFM Jose R de Ataide
EEEFM Jose Rocha Sobrinho Cepes Bn-1
EEEF Maria de Melo
EEEFM Adauto Cabral de Vasconcelos
EEEF Antenor Navarro
EEEFM Senador Jose Gaudêncio
EEEFM Governador Clovis Bezerra Cavalcanti
EEEFM Odilon Nelson Dantas
EEEM Dr Elpidio de Almeida
Escola Walnyza Borborema Cunha
EEEF Epitacio Pessoa
EEEFM Teonas da Cunha Cavalcante
EEEFM Jocelyn Velloso Borges
EEEF Ii e EjaUmbelina Garcez
EEEFM Conego Nicodemos Neves
Centro Est Exp de Ens A Sesquicentenario
EEEF Targino Pereira Cepes An1
EEEF Des Boto de Menezes
EEEF Vasconcelos Brandao
EEEF Elidio Sobreira
EEEF Monsenhor Odilon Coutinho
EEEF Frederico Lundgren
EEEF Borges da Fonseca
EEEFM Prof Jose Baptista de Mello
Ete Erenice Cavalcante Fideles
EEEF Pref Jose Antonio Neves
EEEF Profª Rita de Miranda Henriques
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
56
EEEF Professora Dagmar Mendonca Limeira
EEEFM Prof Olivio Pinto
EEIEFM Drº Jose Lopes Ribeiro
EEEIEJAFM Dona Alice Carneiro
EEEF Claudina Mangueira de Moura
EEEF Nina Alves de Lima
EEEFM Padre Hildon Bandeira
EEEFM Mons Jose Paulino
EEEF Alberto Lundgren
Nucleo de Educacao de Jovens e Adultos do Ensino Medio
EEEFM Ministro José Américo de Almeida
EEEF Dr Cunha Lima
EEEFM Orlando Venancio dos Santos
EEEF Prof Jose Coelho
EEEF Frei Alberto
Ene Oswaldo T de Albuquerque Melo
EEEFM Eng Jose Davila Lins
EEEFM Con Francisco Gomes de Lima
EEEFM Escritor Jose Lins do Rego
EEEF Mons Walfredo Leal
EEEM Prefeito Aguitônio Dantas
EEEFM Manoel Avelino de Paiva
EEEFM Benedita Targino Maranhao
EEEFM Severina de Holanda Cavalcanti
EEEM Cineasta Linduarte Noronha
EEEFM Monsenhor Sales
EEEF Prof Antonio Garcez
EEEFM Cicero dos Anjos
EEE Fundamental e Medio Melquiades Tejo
EEEIEF Augusto dos Anjos
EEEF Dr Carlos Pessoa
EEEFM Padre Hildon Bandeira
EEEFM Prof Raul Cordula
Escola Estadual de Educacao Especial
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
57
ANEXO E - Amostra aleatória do Índice de Satisfação da Merenda Escolar (IME)
Lote Unidade Escolar
Número de
matrículas
Quantidade de
alunos pesquisados
2 Lyceu Paraibano 2109 34
2 EEEIEJAFM Dona Alice Carneiro 550 9
2 Centro Est Exp de Ens A Sesquicentenario 2210 35
2 EEEF Profª Rita de Miranda Henriques 557 9
2 EEEFM Luiz Ribeiro Limeira 520 8
2 EEEFM de Forte Velho 263 4
2 EEEF Barao do Abiai 1205 19
2 EEEFM Conego Nicodemos Neves 1023 16
2 EEEFM Mons Pedro Anisio Bezerra Dantas 492 8
2 EEEFM Riachao do Poco 239 4
2 EEEF ProfAdelia de Franca 478 8
2 Subtotal 9626 153
3 EEEFM Jose Rocha Sobrinho Cepes Bn-1 1096 23
3 EEEF Ii e EjaUmbelina Garcez 831 18
3 EEEFM SENADOR RUI CARNEIRO 721 15
3 EEEF Celso Cirne 915 19
3 EEEFM Jocelyn Velloso Borges 691 15
3 EEE F Dr Joao Florentino Meira de
Vasconcelos 290 6
3 Subtotal 4544 96
5 EEEFM Padre Hildon Bandeira 1720 37
5 EEEM DrElpidio de Almeida 1505 33
5 Ene Oswaldo T de Albuquerque Melo 171 4
5 EEEM Prefeito Aguitônio Dantas 126 3
5 EEEF Vasconcelos Brandao 405 9
5 EEEF Dr Carlos Pessoa 189 4
5 EEEFM Jose R de Ataide 891 19
5 Escola Walnyza Borborema Cunha 528 11
5 EEEFM DrHortensio de Sousa Ribeiro 928 20
5 EEEFM Felix Araujo 408 9
5 Subtotal 6871 149
TOTAL 21041 399 Fonte: Elaboração pela Comissão de Avaliação e Monitoramento das Organizações Sociais.
Secretaria de Estado da Educação da Paraíba
Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado
Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe
João Pessoa-PB CEP 58019-900
58
ANEXO F - Amostra aleatória do Índice de Satisfação do Atendimento ao Público (AP)
Lote Unidade Escolar
Número potencial
de atendidos
Quantidade de
atendimentos
2 Centro Est Exp de Ens A Sesquicentenario 6630 30
2 EEEF Maria Honorina Santiago 4083 19
2 EEEF Tancredo Neves 1026 5
2 EEEF Getulio Vargas 1572 7
2 EEEIEJAFM Dona Alice Carneiro 1650 8
2 EEEFM Tenente Lucena 2349 11
2 Instituto de Educacao da Paraiba (Iep) 3783 17
2 EEEFM de Forte Velho 789 4
2 EEEFM Jose do Patrocinio 2193 10
2 Lyceu Paraibano 6327 29
2 EEEFM Conego Nicodemos Neves 3069 14
2 Subtotal 33.471 154
4 EEEFM Jose Rocha Sobrinho Cepes Bn-1 3288 27
4 EEEFM Benjamin Maranhao 2580 21
4 EEEFM Sagrado Coracao de Jesus 1077 9
4 EEEFM Jocelyn Velloso Borges 1287 17
4 EEEFM Maria Lins 1713 14
4 EEEF Xavier Junior 933 8
4 Subtotal 11.664 96
6 EEEFM Padre Hildon Bandeira 5160 29
6 EEEM Dr Elpidio de Almeida 4515 26
6 EEEFM Monsenhor José Borges de Carvalho 3171 18
6 EEEF Prof Jose Coelho 1125 6
6 EEEFM Deputado Álvaro Gaudêncio de
Queiroz
1917
11
6 EEEF de Aplicacao 1650 9
6 EEEFM Felix Araujo - (Caturité) 1224 7
6 EEEIEFM Carlota Barreira 2526 14
6 EEEF Nina Alves de Lima 981 6
6 EEEFM Felix Araujo - (Campina Grande) 4179 24
6 Subtotal 26.448 150
TOTAL 71.583 400 Fonte: Elaboração pela Comissão de Avaliação e Monitoramento das Organizações Sociais.
top related