avaliação educacional externa conceito e utilidade da avaliação em larga escala. palestrante:...
TRANSCRIPT
![Page 1: Avaliação Educacional Externa Conceito e utilidade da avaliação em larga escala. Palestrante: Juliana Candian](https://reader038.vdocuments.pub/reader038/viewer/2022102814/552fc143497959413d8e0066/html5/thumbnails/1.jpg)
Avaliação EducacionalExterna
Conceito e utilidade da
avaliação em larga escala.Palestrante:
Juliana Candian
![Page 2: Avaliação Educacional Externa Conceito e utilidade da avaliação em larga escala. Palestrante: Juliana Candian](https://reader038.vdocuments.pub/reader038/viewer/2022102814/552fc143497959413d8e0066/html5/thumbnails/2.jpg)
O que é avaliar?
É refletir sobre uma determinada realidade a partir de dados e informações, e emitir um julgamento que possibilite uma ação.
![Page 3: Avaliação Educacional Externa Conceito e utilidade da avaliação em larga escala. Palestrante: Juliana Candian](https://reader038.vdocuments.pub/reader038/viewer/2022102814/552fc143497959413d8e0066/html5/thumbnails/3.jpg)
Tipos de Avaliação
Diagnóstica Formativa Somativa
InternaEscola
ExternaSistemas
Interna Escola
ExternaSistemas
InternaEscola
ExternaSistemas
Pequena escala Larga escala
Avaliação
![Page 4: Avaliação Educacional Externa Conceito e utilidade da avaliação em larga escala. Palestrante: Juliana Candian](https://reader038.vdocuments.pub/reader038/viewer/2022102814/552fc143497959413d8e0066/html5/thumbnails/4.jpg)
Provas abertasProvas objetivas
Observação/RegistroPortfólio
TEORIA CLÁSSICA TEORIA DA RESPOSTAAO ITEM
Avaliação Interna/Escola
Processo da aprendizagem
AVALIAÇÃO EDUCACIONAL
Avaliação Externa/Sistemas
Testes de proficiência Questionários contextuais
Desempenho dos alunos
![Page 5: Avaliação Educacional Externa Conceito e utilidade da avaliação em larga escala. Palestrante: Juliana Candian](https://reader038.vdocuments.pub/reader038/viewer/2022102814/552fc143497959413d8e0066/html5/thumbnails/5.jpg)
A diferença entre a avaliação interna e externa está
principalmente na metodologia e no que podemos fazer com os
resultados.
Como avaliar?
Especificação da ferramenta
O que fazer com a avaliação?
Uso da ferramenta
![Page 6: Avaliação Educacional Externa Conceito e utilidade da avaliação em larga escala. Palestrante: Juliana Candian](https://reader038.vdocuments.pub/reader038/viewer/2022102814/552fc143497959413d8e0066/html5/thumbnails/6.jpg)
TCTTRI
v.s.
![Page 7: Avaliação Educacional Externa Conceito e utilidade da avaliação em larga escala. Palestrante: Juliana Candian](https://reader038.vdocuments.pub/reader038/viewer/2022102814/552fc143497959413d8e0066/html5/thumbnails/7.jpg)
PRINCIPAIS CARACTERÍSTICAS
Comparações TCT TRI
Nome da medida Percentual de acerto, ou soma de pontos simples. Proficiência - Medida de desempenho.
O que avaliaAvalia o processo de aprendizagem e
pode proporcionar uma medida desses processos ‘in loco’.
Produz uma medida de desempenho que leva em consideração toda a
trajetória escolar do aluno.
Unidade de Interesse O teste. Os itens.
ComparabilidadeLimitada; para preservar a
comparabilidade, deve ser utilizado o mesmo teste.
É possível variar os testes, desde que existam ‘itens em comum’.
![Page 8: Avaliação Educacional Externa Conceito e utilidade da avaliação em larga escala. Palestrante: Juliana Candian](https://reader038.vdocuments.pub/reader038/viewer/2022102814/552fc143497959413d8e0066/html5/thumbnails/8.jpg)
PRINCIPAIS CARACTERÍSTICAS Comparações TCT TRI
Característica da medida
As medidas de dificuldade dos itens são subjetivas e não é possível estabelecer
uma conexão precisa entre a dificuldade do item e o nível de domínio das
habilidades do aluno.
As medidas de dificuldade dos itens são objetivas e tem correlação com a
proficiência. Por isso é possível inferir a proficiência a partir desse parâmetro.
Montagem do teste
A montagem do teste segue critérios subjetivos e depende do julgamento do elaborador e dos objetivos da avaliação.
O teste deve conter um percentual mínimo de itens comuns. É balanceado de acordo com as características da população, com o número adequado de itens fáceis, de dificuldade intermediária e difíceis.
Acerto ao acaso
Na TCT o acerto ao acaso não é controlado. Em um item de múltipla resposta com cinco opções, a chance de acerto ao acaso é de 20%.
O parâmetro “C” nos confere a probabilidade de acerto ao acaso, que permite inferir se o item foi acertado por “sorte”. Quando isso acontece, a proficiência daquele item não é contabilizada.
Apropriação dos resultados
Não é possível saber claramente o nível de domínio do aluno nas habilidades avaliadas.
Permite saber o nível de domínio de cada habilidade a partir da proficiência.
![Page 9: Avaliação Educacional Externa Conceito e utilidade da avaliação em larga escala. Palestrante: Juliana Candian](https://reader038.vdocuments.pub/reader038/viewer/2022102814/552fc143497959413d8e0066/html5/thumbnails/9.jpg)
Contribuição da avaliação em larga
escala
Diagnóstico do desempenho e fatores que interferem nesse desempenho no universo avaliado.
Acompanhamento / monitoramento da qualidade da educação ao longo do tempo.
Definição de subsídios para a formulação de políticas educacionais - foco qualidade e equidade.
Promoção de melhorias na relação com orgãos centrais e escolas e no ensino ofertado pela rede como um todo.
1.2.
3.4.
![Page 10: Avaliação Educacional Externa Conceito e utilidade da avaliação em larga escala. Palestrante: Juliana Candian](https://reader038.vdocuments.pub/reader038/viewer/2022102814/552fc143497959413d8e0066/html5/thumbnails/10.jpg)
Por quê?
- Objetivo - Melhorar a qualidade da
educação com promoção da equidade
Desenho próprio da avaliação com vistas ao
atendimento das necessidades específicas
Rapidez no acesso às informações (menor tempo de processamento da
base de resultados)
Menor periodicidade entre os ciclos
avaliativos (ciclos anuais de avaliação)
![Page 11: Avaliação Educacional Externa Conceito e utilidade da avaliação em larga escala. Palestrante: Juliana Candian](https://reader038.vdocuments.pub/reader038/viewer/2022102814/552fc143497959413d8e0066/html5/thumbnails/11.jpg)
Como funciona a avaliação em larga escala?
![Page 12: Avaliação Educacional Externa Conceito e utilidade da avaliação em larga escala. Palestrante: Juliana Candian](https://reader038.vdocuments.pub/reader038/viewer/2022102814/552fc143497959413d8e0066/html5/thumbnails/12.jpg)
O que é avaliado?
![Page 13: Avaliação Educacional Externa Conceito e utilidade da avaliação em larga escala. Palestrante: Juliana Candian](https://reader038.vdocuments.pub/reader038/viewer/2022102814/552fc143497959413d8e0066/html5/thumbnails/13.jpg)
Matriz de Referência
@@@@@INSERIR TABELA COM CORTES DE PADRÕES
@@@@@
![Page 14: Avaliação Educacional Externa Conceito e utilidade da avaliação em larga escala. Palestrante: Juliana Candian](https://reader038.vdocuments.pub/reader038/viewer/2022102814/552fc143497959413d8e0066/html5/thumbnails/14.jpg)
Como os testes são montados?
Itens Organizados em blocos Distribuídos em várioscadernos
![Page 15: Avaliação Educacional Externa Conceito e utilidade da avaliação em larga escala. Palestrante: Juliana Candian](https://reader038.vdocuments.pub/reader038/viewer/2022102814/552fc143497959413d8e0066/html5/thumbnails/15.jpg)
O item e suas partes
SuporteEnunciado
Comando
Alternativas de resposta
Gabarito
Distratores
![Page 16: Avaliação Educacional Externa Conceito e utilidade da avaliação em larga escala. Palestrante: Juliana Candian](https://reader038.vdocuments.pub/reader038/viewer/2022102814/552fc143497959413d8e0066/html5/thumbnails/16.jpg)
Como os testes são corrigidos? Parâmetros da Teoria de Resposta ao Item – TRI – utilizada para
correção dos testes aplicados pelo CAEd
![Page 17: Avaliação Educacional Externa Conceito e utilidade da avaliação em larga escala. Palestrante: Juliana Candian](https://reader038.vdocuments.pub/reader038/viewer/2022102814/552fc143497959413d8e0066/html5/thumbnails/17.jpg)
Como os testes são corrigidos?Ilustrando o Parâmetro C
2 + 2
2 x 3
2/7³
2² x (√3)
![Page 18: Avaliação Educacional Externa Conceito e utilidade da avaliação em larga escala. Palestrante: Juliana Candian](https://reader038.vdocuments.pub/reader038/viewer/2022102814/552fc143497959413d8e0066/html5/thumbnails/18.jpg)
Como os valores de proficiência são gerados?
Exemplo hipotético
Construindo uma escala para medir altura Nossa altura afeta nossas ações e o que somos capazes de fazer.
![Page 19: Avaliação Educacional Externa Conceito e utilidade da avaliação em larga escala. Palestrante: Juliana Candian](https://reader038.vdocuments.pub/reader038/viewer/2022102814/552fc143497959413d8e0066/html5/thumbnails/19.jpg)
Ordem Item SIM NÃO1 Quando dorme, você costuma ficar com os pés para fora da cama? 2 Você costuma descer as escadas de dois em dois degraus? 3 Você acha que se daria bem em um time de basquete? 4 Você considera o degrau do ônibus alto para você? 5 Você se sente desconfortável sentado no banco de trás de um carro? 6 Você costuma ter que olhar para seus colegas de cima para baixo?
7 Você é capaz de pegar um objeto no alto de uma armário sem subir em uma escada ou cadeira ?
8 Você abaixa quando vai passar por uma porta? 9 Você consegue guardar a bagagem de mão no porta bagagem do avião?
10 Você regula o banco do carro para trás quando vai dirigir?
11 Normalmente quando você está andando de carona lhe oferecem o banco da frente?
12 Quando você e várias pessoas vão tirar fotos, formando-se três fileiras, onde ninguém ficará agachado, você costuma ficar atrás?
13 Você tem dificuldade para se acomodar no ônibus? 14 Em uma fila, por ordem de tamanho, você é sempre colocado para trás? 15 Dentro do cinema as pessoas costumam atrapalhar sua visão?
16 Você precisa subir a altura da cadeira quando se senta à mesa do computador?
17 Você consegue mudar a temperatura do chuveiro sem subir em alguma coisa ou utilizar algum objeto?
18 Quando compra calças, precisa diminuir o comprimento delas? 19 Você consegue ficar montado normalmente em uma moto pequena? 20 Na sala de aula você costuma (ou costumava) sentar nas primeiras fileiras?
![Page 20: Avaliação Educacional Externa Conceito e utilidade da avaliação em larga escala. Palestrante: Juliana Candian](https://reader038.vdocuments.pub/reader038/viewer/2022102814/552fc143497959413d8e0066/html5/thumbnails/20.jpg)
Exemplo de escala para a altura de uma pessoa
• Item 1 Você consegue guardar as malas no bagageiro interno de um ônibus?
• Item 2 Você consegue subir ou descer dois degraus de cada vez em uma escada?
• Item 3 Para conversar com as pessoas, você precisa olhar para baixo?
Nome Item 1 Item 2 Item 3Carolina Sim Não NãoPriscila Sim Sim Não
Leonardo Sim Sim Sim
![Page 21: Avaliação Educacional Externa Conceito e utilidade da avaliação em larga escala. Palestrante: Juliana Candian](https://reader038.vdocuments.pub/reader038/viewer/2022102814/552fc143497959413d8e0066/html5/thumbnails/21.jpg)
Nome Item 1 Item 2 Item 3Carolina Sim Não NãoPriscila Sim Sim Não
Leonardo Sim Sim Sim
1,5 1,6 1,7 1,8 1,9
Item 1 Item 2 Item 3
Carolina Priscila Leonardo
Exemplo de escala para a altura de uma pessoa
![Page 22: Avaliação Educacional Externa Conceito e utilidade da avaliação em larga escala. Palestrante: Juliana Candian](https://reader038.vdocuments.pub/reader038/viewer/2022102814/552fc143497959413d8e0066/html5/thumbnails/22.jpg)
Alcançar prateleira superior
1,60m 1,70m 1,80m 1,90m
Alcançar malas no bagageiro
Dormir com péspara fora da cama
Como todas essas questões estão associadas à altura da pessoa...
... podemos estimar sua medida com base no que ela é capaz, ou não, de fazer.
Exemplo de escala para a altura de uma pessoa
![Page 23: Avaliação Educacional Externa Conceito e utilidade da avaliação em larga escala. Palestrante: Juliana Candian](https://reader038.vdocuments.pub/reader038/viewer/2022102814/552fc143497959413d8e0066/html5/thumbnails/23.jpg)
Ordem Item SIM NÃO1 Quando dorme, você costuma ficar com os pés para fora da cama? 2 Você costuma descer as escadas de dois em dois degraus? 3 Você acha que se daria bem em um time de basquete? 4 Você considera o degrau do ônibus alto para você? 5 Você se sente desconfortável sentado no banco de trás de um carro? 6 Você costuma ter que olhar para seus colegas de cima para baixo?
7 Você é capaz de pegar um objeto no alto de uma armário sem subir em uma escada ou cadeira ?
8 Você abaixa quando vai passar por uma porta? 9 Você consegue guardar a bagagem de mão no porta bagagem do avião?
10 Você regula o banco do carro para trás quando vai dirigir?
11 Normalmente quando você está andando de carona lhe oferecem o banco da frente?
12 Quando você e várias pessoas vão tirar fotos, formando-se três fileiras, onde ninguém ficará agachado, você costuma ficar atrás?
13 Você tem dificuldade para se acomodar no ônibus? 14 Em uma fila, por ordem de tamanho, você é sempre colocado para trás? 15 Dentro do cinema as pessoas costumam atrapalhar sua visão?
16 Você precisa subir a altura da cadeira quando se senta à mesa do computador?
17 Você consegue mudar a temperatura do chuveiro sem subir em alguma coisa ou utilizar algum objeto?
18 Quando compra calças, precisa diminuir o comprimento delas? 19 Você consegue ficar montado normalmente em uma moto pequena? 20 Na sala de aula você costuma (ou costumava) sentar nas primeiras fileiras?
![Page 24: Avaliação Educacional Externa Conceito e utilidade da avaliação em larga escala. Palestrante: Juliana Candian](https://reader038.vdocuments.pub/reader038/viewer/2022102814/552fc143497959413d8e0066/html5/thumbnails/24.jpg)
Uso da TRI na produção das medidas
A TRI nos permite:
Comparar resultados de diferentes avaliações, como o SAEB.
Avaliar com alto grau de precisão a proficiência de alunos em amplas áreas do conhecimento sem submetê-los a longos testes.
Comparar os resultados entre diferentes séries, como o início e fim do Ensino Médio.
![Page 25: Avaliação Educacional Externa Conceito e utilidade da avaliação em larga escala. Palestrante: Juliana Candian](https://reader038.vdocuments.pub/reader038/viewer/2022102814/552fc143497959413d8e0066/html5/thumbnails/25.jpg)
A escala de proficiência:
Cada item mede algo que o aluno sabe fazer, todos eles associados à proficiência.
Isso permite colocar numa mesma “régua” – escala – todas as habilidades.
Como há uma progressão no desenvolvimento de competências e habilidades, podemos ordenar estas habilidades segundo sua complexidade e ordená-las nessa “régua” comum para estimar o desempenho.
![Page 26: Avaliação Educacional Externa Conceito e utilidade da avaliação em larga escala. Palestrante: Juliana Candian](https://reader038.vdocuments.pub/reader038/viewer/2022102814/552fc143497959413d8e0066/html5/thumbnails/26.jpg)
@@@@@INSERIR CÓPIA DA ESCALA
@@@@@
Escala de ProficiênciaA nossa “régua” para o desempenho
![Page 27: Avaliação Educacional Externa Conceito e utilidade da avaliação em larga escala. Palestrante: Juliana Candian](https://reader038.vdocuments.pub/reader038/viewer/2022102814/552fc143497959413d8e0066/html5/thumbnails/27.jpg)
Como interpretar os resultados de proficiência?
Uma das formas mais simples e objetivas de se analisar os resultados da avaliação é através dos padrões de desempenho.
Estes padrões representam recortes na escala de proficiência, definidos a partir dos objetivos e metas de aprendizagem de cada etapa e disciplina avaliada.
![Page 28: Avaliação Educacional Externa Conceito e utilidade da avaliação em larga escala. Palestrante: Juliana Candian](https://reader038.vdocuments.pub/reader038/viewer/2022102814/552fc143497959413d8e0066/html5/thumbnails/28.jpg)
Padrões de Desempenho – 2012
Língua Portuguesa
Matemática
Etapa de Escolaridade Abaixo do Básico Básico Adequado Avançado4ª Série/5º Ano EF até 125 125 a 175 175 a 225 acima de 2258ª Série/9º Ano EF até 200 200 a 250 250 a 300 acima de 300
1º Ano EM até 225 225 a 275 275 a 325 acima de 3253º Ano EM até 225 225 a 275 275 a 325 acima de 325
Etapa de Escolaridade Abaixo do Básico Básico Adequado Avançado4ª Série/5º Ano EF até 150 150 a 200 200 a 250 acima de 2508ª Série/9º Ano EF até 225 225 a 275 275 a 325 acima de 325
1º Ano EM até 250 250 a 300 300 a 350 acima de 3503º Ano EM até 250 250 a 300 300 a 350 acima de 350
![Page 29: Avaliação Educacional Externa Conceito e utilidade da avaliação em larga escala. Palestrante: Juliana Candian](https://reader038.vdocuments.pub/reader038/viewer/2022102814/552fc143497959413d8e0066/html5/thumbnails/29.jpg)
Dimensões avaliadas
![Page 30: Avaliação Educacional Externa Conceito e utilidade da avaliação em larga escala. Palestrante: Juliana Candian](https://reader038.vdocuments.pub/reader038/viewer/2022102814/552fc143497959413d8e0066/html5/thumbnails/30.jpg)
Outras dimensões avaliadas
Fatores socioeconômicos
Fatores familiares
Fatores individuais
Gestão e administração
Prática pedagógica
Condições de infraestrutura
Qualificação dos profissionais
Fatores Extraescolares Fatores Intraescolares
![Page 31: Avaliação Educacional Externa Conceito e utilidade da avaliação em larga escala. Palestrante: Juliana Candian](https://reader038.vdocuments.pub/reader038/viewer/2022102814/552fc143497959413d8e0066/html5/thumbnails/31.jpg)
Ilustrando o nosso desafio
![Page 32: Avaliação Educacional Externa Conceito e utilidade da avaliação em larga escala. Palestrante: Juliana Candian](https://reader038.vdocuments.pub/reader038/viewer/2022102814/552fc143497959413d8e0066/html5/thumbnails/32.jpg)
Relacione a imagem a seguir com as desigualdades sociais existentes na escola e responda:
Como as medidas educacionais podem ser usadas para superar a situação representada pela figura?
Atividade
![Page 33: Avaliação Educacional Externa Conceito e utilidade da avaliação em larga escala. Palestrante: Juliana Candian](https://reader038.vdocuments.pub/reader038/viewer/2022102814/552fc143497959413d8e0066/html5/thumbnails/33.jpg)
![Page 34: Avaliação Educacional Externa Conceito e utilidade da avaliação em larga escala. Palestrante: Juliana Candian](https://reader038.vdocuments.pub/reader038/viewer/2022102814/552fc143497959413d8e0066/html5/thumbnails/34.jpg)
Avaliação Educacional
Externawww.caed.ufjf.br