EVALUACION
BECAS CONICYT 2007
Departamento Formación de Recursos Humanos y Becas de Postgrado CONICYT
Diciembre, 2006.
Índice
• Antecedentes que sustentan sistema de evaluación 2007.
• Descripción del sistema de evaluación.
• Proceso post evaluación.
• Calendario de evaluación y adjudicación.
ESTUDIO CONICYT“EVALUACIÓN POSTULACIONES”
• ¿Cuáles son los factores que explican el éxito de un becario que opta a becas CONICYT?
• Se considera éxito aquellos estudiantes que obtienen el grado de doctor, con fecha 31-08-2006.
Definiciones del estudio
• Los datos utilizados en este análisis corresponden a un conjunto de características válidas de todos los becarios CONICYT que realizaron estudios de doctorado, siendo becados en los concursos de los años 1997, 1998, 1999 y 2000.
Metodología del Estudio
• Este trabajo explora la pregunta planteada bajo dos ópticas:– Univariada: ¿Qué variables tienen mayor
asociación individual con el éxito de un becario?
– Multivariada: ¿Qué conjunto de variables tienen mayor poder explicativo conjunto respecto al éxito de un becario?
Resumen variables continuas más importantes
Variable Obs Media Std. Dev. Min Max
Nro. de titulos 310 1.558 0.655 0 5Edad de Ingreso 312 26.872 2.585 22 38Nota de Pregrado 305 5.355 0.423 4.3 7Nro. Publicaciones ISI 309 0.605 1.072 0 6Tiempo Inactivo 310 2.265 1.663 0 11Experiencia Laboral (%) 307 0.450 0.498 0 1
EVALUACIÓN ACTUAL CONICYT ANTECEDENTES
15
20
25
30
1997-2000 Cs. Básicas No Cs. Básicas
No Exitosos Exitosos
0
.2
.4
.6
.8
1
Cum
ulat
ive
Pro
bab
ility
15 20 25 30eval_tot
c.d.f. of 0 c.d.f. of 1
Distribución 1997-2000. Exitosos v/s no Exitosos
Medias 1997-2000. Exitosos v/s no Exitosos
Test t 1997-2000 Cs. Básicas No Cs. Básicasp-valor 0.79 0.56 0.67Resultado Igualdad Igualdad Igualdad
ÁNALISIS UNIVARIADO
• ¿Qué variables tienen mayor asociación individual con el éxito de un becario?
• Universo del análisis: 1997-2000, becarios CONICYT doctorado (Chile)
NO SI
Nº casos 10 60 70% casos 14.3% 85.7%Nº casos 18 65 83% casos 21.7% 78.3%Nº casos 22 73 95% casos 23.2% 76.8%Nº casos 8 56 64% casos 12.5% 87.5%Nº casos 58 254 312% casos 18.6% 81.4%
Año de concurso
Total
1,997
1,998
1,999
2,000
Obtuvo Doctorado
Total
ÁNALISIS UNIVARIADO: EJEMPLOS
• Asociación significativa:Obtuvo Doctorado según nº
publicaciones total
0%10%20%30%40%50%60%70%80%90%
100%
Hasta 4 Más de 4
Nº publicaciones total
% c
aso
s
Obtuvo Doctorado : NO Obtuvo Doctorado : SI
Obtuvo Doctorado según Premios
0%10%20%30%40%50%60%70%80%90%
100%
NO SI
Obtuvo Premios%
cas
os
Obtuvo Doctorado : NO Obtuvo Doctorado : SI
ÁNALISIS UNIVARIADO: EJEMPLOS
• Asociación no significativa:Obtuvo Doctorado según Sexo
0.0%10.0%20.0%30.0%40.0%50.0%60.0%70.0%80.0%90.0%
100.0%
F M
Sexo
% c
aso
s
Obtuvo Doctorado : NO Obtuvo Doctorado : SI
Obtuvo Doctorado según Participación FONDECYT
0%10%20%30%40%50%60%70%80%90%
100%
NO SI
Ha participado en proyectos FONDECYT%
cas
os
Obtuvo Doctorado : NO Obtuvo Doctorado : SI
ANÁLISIS UNIVARIADO: NOTAS PREGRADO
• Las medias de las notas de pregrado entre aquellos que obtuvieron el doctorado y aquellos que no lo hicieron no difieren significativamente (1997-2000):
Muestra Media éxitoso Media no exit. p-valor Descripción
Total 5.35 5.38 0.680 Acepta igualdad de medias
Pregrado UCH y PUC 5.42 5.36 0.454 Acepta igualdad de mediasPregrado ni UCH ni PUC 5.29 5.41 0.233 Acepta igualdad de medias
Ciencias Básicas 5.26 5.29 0.745 Acepta igualdad de mediasDistinto a Cs. Básicas 5.51 5.51 0.977 Acepta igualdad de medias
Año 1997 5.48 5.36 0.502 Acepta igualdad de mediasAño 1998 5.29 5.40 0.322 Acepta igualdad de mediasAño 1999 5.33 5.41 0.410 Acepta igualdad de mediasAño 2000 5.31 5.25 0.728 Acepta igualdad de medias
Test t de igualdad de medias
Diseño de modelos
• Para implementar cualquiera de los modelos descritos, se deben calcular los valores de las variables explicativas de cada modelo a partir de los antecedentes del postulante, y multiplicar cada variable por su respectivo coeficiente, para luego aplicar la fórmula de regresión logística:
¿Cuál es la probabilidad que un becario de características
(X1,..,Xm) obtenga su doctorado?
En la fórmula anterior, P(éxito) es la probabilidad que un postulante obtenga su doctorado, ‘e’ representa la función
exponencial, β0 es la constante, β1….. βm los coeficientes asociados a las variables explicativas X1….Xm.
mm
mm
xx
xx
e
ex
...
...
110
110
1)(
ESQUEMA GENERAL
POSTULACIÓN
Comité de
ADJUDI-
CACIÓN
EvaluadorExterno
EvaluaciónProgramaPostgrado
ConsolidaciónCONICYT
Análisis de ConsistenciaExpertos/Prog.
Comité Coordinadores“ ”
Puntaje
40%
30%
30%
EVALUACIÓN
EVALUACION POSTULACIONES 2007
PROGRAMAS DE POSTGRADO
• La información que posee un Programa de Postgrado sobre cada postulante a las BECAS CONICYT, es muy valiosa en el proceso de evaluación.
• En este sistema de evaluación CONICYT está buscando recoger el juicio que el Programa se ha hecho de cada postulación, a partir de características específicas de cada persona y la prioridad que le asigna a cada una de ellas para obtener una beca.
¿Qué se evalúa?• Se solicita entregar información para el proceso de
evaluación de las postulaciones en dos aspectos relevantes:
• Establecer un ranking que considere a todos los postulantes del programa (ya sean de primer año o de los años anteriores) a la beca CONICYT y que de cuenta de la prioridad que se le otorga a este postulante para obtener la beca.
• Calificar y valorar las competencias del postulante de acuerdo a ciertos criterios preestablecidos por CONICYT y/o definidos por el programa de postgrado.
Para establecer el ranking de prioridad de BECA
Número de aceptados en el Programa Número total de postulantes a Becas CONICYT (ya sean de primer año o de los anteriores)
Ordene a los postulantes de su Programa a Becas CONICYT, según su prioridad para obtener BECA
Calificaciones del postulante, en función de criterios CONICYT y del Programa
CRITERIOS Sobre- saliente
Muy bueno
Bueno
Satisfac- torio
Regular
Trayectoria y desempeño académico (notas, premios, distinciones)
Innovación, creatividad e iniciativa (fortalezas personales)
Producción académica (investigación, docencia,
publicaciones)
Otras (según el Programa) Otras (según el Programa) Otras (según el Programa) Otras (según el Programa)
Información cualitativa
Se agrega información en relación con el potencial y las características del postulante
que lo harían merecedor de esta beca.
Esta información es relevante para la toma de decisiones en aquellos caso de estudiantes que se encuentran en
los límites de las líneas de corte.
¿Qué evalúa el comité de expertos?
• En este sistema de evaluación CONICYT está buscando recoger el juicio que hace cada evaluador experto en el área de disciplina del postulante, no sólo respecto a los datos objetivos, sino especialmente a la valoración de éstos.
Principales componentes:
• NOTAS Y RANKING: (25%)
• EXPERIENCIA PROFESIONAL Y ACADÉMICA: (20%)
• PRODUCCIÓN: PUBLICACIONES Y CONGRESOS: (25%)
• PREMIOS Y DISTINCIONES: (10%)
• EVALUACIÓN GLOBAL DEL POSTULANTE: (20%)
Pasos siguientes …
• Una vez recibida la información que aportan los programas y los evaluadores en cada área disciplinaria: – CONICYT realiza una síntesis de las evaluaciones recibidas por
cada postulante, en función del modelo descrito.– El 75% de las becas a asignar serán adjudicadas a los primeros
puntajes.– Para el resto de los postulantes se seleccionará el doble de
cupos disponibles a asignar, cualquiera sea el máximo, para ser re-evaluado por el comité técnico en igualdad de condiciones.
– Todas las postulaciones en ese tramo se reevalúan por el Comité de Coordinadores.
Comité de Coordinadores
• Este comité está integrado por los directores de los comités de área, es decir por 18 académicos.
• Se conforman grupos de trabajo, donde cada grupo reevalúa un máximo de 20 postulaciones, con los siguientes criterios:– 40% información nueva
• Carta de intenciones.• Cartas de recomendación
– 60% información del postulante • Se ordenan por puntaje y se seleccionan hasta
completar los cupos faltantes.
Adjudicación:Consejo de Becas de Postgrado
• El Consejo de Becas de Postgrado es el órgano que tiene la función de adjudicar las becas de doctorado y (magíster) del programa nacional de CONICYT.
• Al Consejo se presentan los resultados de la selección para su adjudicación final.
Calendario
Tareas Fechas
Convocatoria 2 nov – 4 dic
Síntesis 5 – 7 dic
Envío a evaluadores
12 – 14 dic
Límite evaluación
5 enero 07
Comité 22 enero
Adjudicación 24 enero
Resultados 31 enero