procuradur??a general de la naci??n, rep??blica de colombia - kit de … · de la nación edgardo...
TRANSCRIPT
Kit de herramientas para procesos educativos del Instituto de Estudios del Ministerio Público
Cartilla 7.Manual de evaluación de transferencia e impacto de la capacitación y cálculo del retorno sobre la inversión
�
Kit de herramientas para procesos educativos del Instituto de Estudios del Ministerio Público © Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ) GmbHISBN: 978-958-8438-15-3
Cartilla 7. Manual de evaluación de transferencia e impacto de la capacitación y cálculo del retorno sobre la inversión© Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ) GmbHPrimera edición: septiembre de 2008ISBN: 978-958-8438-22-1
Coordinación editorialRita Kotov
Diseño editorial de la ColecciónDiseño de portada, corrección de estilo y diagramación para la Cartilla 7:
LYO ComunicacionesAlba Lucía ForeroAlfonso Ortega SotoOscar MottaCel: 316 335 4712 / 316 335 4701e-mail: [email protected]
Fotografías en la cartilla:www.sxc.hu
ImpresiónGráficas Ducal
Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ) GmbH
Barbara HessDirectora Agencia GTZ en Bogotá
Proyecto Fortalecimiento del Estado de Derecho –FortalEsDer-Rita Kotov
Coordinadora principal del Proyecto
AutoresTeresa Cardona de Cortés
Rafael I. Rodríguez U.Consultores GTZ
Procuraduría General de la Nación
Edgardo José Maya VillazónProcurador General de la Nación
Instituto de Estudios del Ministerio PúblicoElsa Barón de RayoDirectora del I.E.M.P.
Carlos Humberto García OrregoJefe de la División de Capacitación del I.E.M.P.
AutoresRoland Oswaldo Sánchez OjedaCésar Augusto Nieto RojasInstituto de Estudios del Ministerio Público
Equipo técnico I.E.M.P.Roland Oswaldo Sánchez OjedaDiana Sulma Pardo IbarraSandra Rojas Barrero César Augusto Nieto Rojas
�
Tabla de conTenido
Introducción 8
Capítulo1.Elementosconceptualesdelmanual 14
¿Quéeslaevaluacióndecapacitación? 16¿Cuáleselciclodelprocesodecapacitación? 20¿Cuáleselmodeloteóricobasedelmanual? 23¿CuáleselprocesodelaevaluacióndelosNiveles3,4y5? 26¿Quécriteriosguíanladecisióndelosnivelesaevaluar? 28¿Cómoejecutarlaevaluación? 30¿Québeneficiostieneregistrarlainformacióndelasevaluaciones? 31
Capítulo2.Estructuradelmanual 32
Definiciónyalcancedelmanual 34
Capítulo3.Evaluacióndelastransferenciasdeaprendizaje-Nivel3 40
¿PorquéesimportantelaevaluacióndeNivel3? 42¿CómoeselprocesodelaEvaluaciónNivel3? 43¿Quésenecesitaparaqueocurralatransferenciadelaprendizaje? 48¿QuéseconsideraóptimoparalaevaluacióndeNivel3? 49¿QuésepuedeesperardelaevaluaciónNivel3? 52
Capítulo4.Evaluacióndeimpacto–Nivel4 54
¿PorquéesimportantelaevaluacióndeNivel4? 56¿CómoeselprocesodelaevaluacióndeNivel4? 57¿QuésepuedeesperardelaEvaluaciónNivel4? 76
Capítulo5.Cálculodelretornosobrelainversión–Nivel5 46
¿Quéeselcálculodelretornosobrelainversión(Nivel5)? 80¿CómoeselprocesodeevaluaciónenN5? 81¿Cómosedefinenlosbeneficiosintangibles? 84
�
Tabla de conTenido
¿Cómoseconviertendatosavaloresmonetarios? 85¿Cómocalcularloscostosdelprograma? 90¿QuéseconsideraóptimoparalaevaluacióndeNivel5? 93
Capítulo6.BalancedScorecard 94
¿QuéeselBalancedScorecard? 96¿CómoseutilizaelBSC? 99
Capítulo7.Conclusiones 104
Anexos 114
Glosario 148
Bibliografíaconsultada 150
Flujodelprocesodecapacitación 154
�
1Abdala, E y Diez de Medina. Manual para la evaluación de impacto en programas de formación para jóvenes. Organización Internacional delTrabajo(Cinterfor/OIT).2004
2En adelante se denominan “Programas deCapacitación”.
inTroducción
Lacapacidaddel Institutode EstudiosdelMinisterio Público(I.E.M.P.), como ladecualquierorganizaciónparaplanificar
y manejar el cambio de manera efectiva, está estrechamentevinculadaconsucapacidaddeaprenderyrenovarconocimientos.Entre más sólida sea la cultura de aprendizaje, más fácil seráenfrentar losdesafíosqueelconstantecambio impone.Existeuna necesidad creciente en las organizaciones productivas ysocialesdemedirlosresultadosdesusprogramasdecapacitación.Tantoenel sectorprivadocomoenelpúblico,elcrecimiento,lainnovaciónyelcontroldecostos,sonelementosclaveenlaestrategiadelaorganizaciónmodernayéstosselogranatravésdeunfocoyunaatenciónespecialeneldesarrollodeltalentohumano,gestordelosprocesosdetransformaciónyéxitodelasempresas.
Cuandosehabladeevaluacióndeprogramasdecapacitación,losteóricosconcuerdanentérminosgenerales,queéstaesunproceso “sistemático, metódico y neutral que hace posible elconocimiento de los efectos de un programa, relacionándoloscon lasmetaspropuestasy losrecursosmovilizados,conelfinde identificare interpretar informaciónqueconduzcaa tomardecisiones relevantes para el programa de formación y/o laorganizaciónengeneral”1.
Paramediryevaluaradecuadamentelosprogramasdecapacita-ción (formación, entrenamiento y desarrollo)2 y asegurar queesténorientadosamejorartemastácticos(corto-plazo)oestraté-gicos (largo-plazo), es necesario que el I.E.M.P. desarrolle unaEstrategiadeMediciónyEvaluación(MyE)desusprogramasdecapacitación y una guía para su implementación. Para ello esnecesariodeterminarhastaquépuntotodoslos“stakeholders”
IntroduccIónManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón� �IntroduccIónManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón� �
del proceso encuentran satisfacción en lo que obtienen de losprogramas frente a la inversión que se hace en ellos; y tenerclaridadsobrelasnecesidades,requerimientosyexpectativasdecadaunode los“stakeholders”3 involucrados,antes,duranteydespuésdelosprogramas.
Los programas de Educación Continuada (Capacitación) yde Investigación, que ofrece el I.E.M.P. como facilitador deaprendizaje organizacional comprometido con la formaciónintegralypertinentedelosservidorespúblicosdelasentidadesusuarias,tienendosejesdeacción:
1. Elpuestodetrabajoparaelfortalecimientodelascompetenciasyeldesarrollodecarrera.
2. Respeto por los derechos consagrados en la constitución,puestosalserviciodelEstadoylasociedadcolombiana.
El I.E.M.P. debe ofrecer una propuesta de valor atractiva paralos beneficiarios de los programas y especialmente para lasentidadesque invierten recursosen lacapacitación,diseñandoprogramas sobre aquello que los funcionarios deben hacer,y no sobre aquello que deben aprender (ver Figura No. 1). Elsectorpúblico,aligualqueelprivado,debeinvertirdemanerainteligentesuspresupuestosdecapacitaciónenprogramasquerealmentegenerenunamejora sustancialde los resultados. Lacapacitaciónyanoseentiendecomo“uncostonecesario”;hoyseconsideraunainversiónnecesariaqueapalancaeimpactalosresultadosestratégicos.
Lamedición,evaluaciónyelresultadodetodaactividadeducativa–mejoraeneldesempeño–queadelanteel I.E.M.P.debeestaralineadaeintegradaconlaestrategiaglobaldelaProcuraduría
3 “Aquellosgrupossincuyoapoyolaorganizacióncesaría de existir (Jennings, 1999). El Anexo7 – Glosario, provee una definición amplia del conceptode“stakeholder”.
Figura No. 1. Alineación de la estrategia con los Programas de
Capacitación
IntroduccIónManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón� �IntroduccIónManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón� �
General de la Nación y demás entidades delMinisterio Público. El Manual entronca con losobjetivosprincipalesdelaProcuraduría,unodelosclientesclavedelI.E.M.P.,encuantoalanecesidadde “trabajar sobre claros e inequívocos objetivosqueemergendeunaprogramación;midiendo losresultadosobtenidos; reconociendo los puntosdefuerzaodedebilidadenelactuar,queesloquehaceposibleeldiálogoconlosciudadanosyrefuerzaelsentidodepertenenciaaunacomunidaddelaquehacenpartetodoslosactores”4.
Además, debe permitir a los responsables de losprocesos, total transparencia en el momento derendir cuentas sobre el manejo que hacen de losrecursospúblicosasignados.Estosealcanzacuando:a) los programas responden a las necesidadesestratégicasdelMinisterioPúblico;b)losprogramasno son iniciativas aisladas sino que hacen partedeuna estrategiade aprendizaje y demedición yevaluación que busque desarrollar y/o reforzar lascompetenciasindividualesyorganizacionales;c)sehadesarrolladounprocesocoherentequegaranticeque el saber adquirido se transfiere al puesto detrabajo;d)existeunsistemademediciónyevaluacióndeldesempeñoindividualpreferiblementeconbaseencompetencias5;e)semideyevalúalacontribucióndelparticipantealainstituciónyelimpactoenlos
4BalanceSocialdelaProcuraduríaGeneraldelaNación2007.5 LaProcuraduría, conlacolaboracióndelSENA,estáenproceso
de definir su sistema de competencias. Esta labor deberá quedar concluida antes de finalizar el año 2008.
resultadosquesegeneracomoconsecuenciadelacapacitaciónrecibidaydelasinterrelacionesconlosagentesdelproceso;yf)seutilizanlosresultadosdelasevaluacionesparadesarrollaraccionescorrectivasydemejoramiento.ElManualproponeeldesarrollodeunametodologíaestructurada,pasoapaso,paraserutilizada/adaptadaenlaMediciónyEvaluacióndelosNiveles3,4y5delosprogramasdecapacitaciónparaelMinisterioPúblico a través del I.E.M.P. La metodología tienetrespropósitosbásicos:
1. Medir la transferencia de competencias con elapoyodeherramientasapropiadasquepermitandiseñar y obtener la información correcta –indicadores–sobrelosprogramaseinterpretarlaapropiadamente para realizar análisis sobre suefectividad.
2. Medir el impacto que generan en la ejecuciónde la estrategia institucional y, para algunos,el retorno en términos financieros (ROI) de lasinversionesencapacitación.
3. Presentarunaseriedeherramientaseinstrumentosque pueden adaptarse a las necesidades yprogramas particulares del Ministerio Públicopararealizardichasevaluaciones.
Es importante enfatizar que no todo programade capacitación justifica un proceso completo deevaluacióndesdeelNivel1hastaelNivel5.
IntroduccIónManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón10 11IntroduccIónManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón10 11
Conestefin,elI.E.M.P.,conlaasesoríaycolaboracióndirectadelaGTZ,haemprendidoeldesarrollodeunaseriedeManualesdeEvaluación,de los cuales ya sehanproducidodosque,deacuerdoalmarcoconceptualdeDonaldKirkpatrick6,cubrenlasEvaluacionesdeNivel1(Reacción)ydeNivel2(Aprendizaje).
Este Manual cierra el ciclo al cubrir los otros dos niveles: elNivel3(Transferencia)yelNivel4(Impacto);ysecomplementacon un quinto nivel, el Cálculo del Retorno sobre la Inversión(ROI)7 desarrollado por Phillips y Stonev8. Los cinco niveles deevaluacióntienencaracterísticaspropiasysoncomplementarios.EnlamedidaenqueseprogresadesdeelNivel1alNivel5(ROI),sepresentansituacionesqueesimportantetenerencuenta.LaFiguraNo.2resumelaesenciadeloscuatronivelesdeKirkpatrickyelquintodePhillips.Entremásaltoelniveldeevaluación,elvalordelainformaciónesmayorymásútil,elfocodelaevaluaciónsetrasladadesdeelparticipantehacialaaltagerencia,lafrecuenciadeevaluaciónesmenoryladificultadenelprocesodeevaluaciónesrelativamentemayor.Estoexplicaporquénotodainiciativadecapacitaciónseevalúaentodosloscinconiveles.
ElManualesproductodeunainvestigaciónextensadelasmejoresprácticas que existen en el ámbito académico y empresarialcuando se tratademedir yevaluarprogramasde capacitación.Enelprocesoseconsultó,mediantelarealizacióndeunaseriedeentrevistasdeprofundidad,laopiniónyexpectativasquealgunosfuncionariosexpertostantodelaProcuraduría,el I.E.M.P.,comodelaGTZ,tienensobrelosprocesosdeevaluación.
Figura No. 2. El sistema de medicióny evaluación de programas de capacitación
6Este marco conceptual plantea Cuatro Niveles de Evaluación (1 – Reacción,2 –Aprendizaje, 3 – Transferencia y 4 – Impacto), se desarrolla en el capítulosiguiente.
7PorsusiglaenInglésROI(ReturnonInvestment).8Phillips,JackJ.yStone,RonDrew.How to Measure Training Results A practical
Guide to Tracking the Six Key Indicators,NewYork,McGrawHill,2002.
IntroduccIónManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón10 11IntroduccIónManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón10 11
Todo loanterior respondea ladirectrizpresidencialde modernización del Estado, que constituye unainiciativa revolucionaria, tanto en la gestión de losrecursos,comoenladeltalentohumanoyque,asuvez,exigemayoreficienciaenlosprocesosmisionales,asícomoenelservicioqueseprestaalacomunidadengeneral.
ElManualestáestructuradoenseis capítulosy17anexosquesepresentancomoguíasparaapoyarsucontenido.EstosanexossonformatosqueelI.E.M.P.debepersonalizardeacuerdoconsusnecesidades.Lafigura3presentadeformagráfica,loselementosqueconstituyenelmanual.
Capítulo 1. En “Elementos conceptuales delmanual”, se presentan los diferentes elementos ymodelosteóricosquelosustentan:ladefinicióndelaevaluación,ladescripcióndelciclodelprocesodelacapacitación,elmodeloteóricodelaevaluación,elprocesodelaevaluaciónyloscriteriosparadefinirelnivelaevaluar.
Capítulo 2. En “Estructura del manual” el lectorencontrará su definición, alcance y principalescaracterísticas,asícomolosbeneficiosyladefiniciónderolesyresponsabilidades.
Capítulo 3. Describe el proceso, propone lametodologíaypresentaenformaespecíficaquées
la“Evaluacióndetransferencia–Nivel3”.Partiendodesudefiniciónyatravésdeunaseriedepreguntassedesarrollanlasdiferentesetapasdeesteproceso.
Capítulo4.“Evaluacióndeimpacto–Nivel4”,parasu desarrollo se plantean una serie de preguntasclave, cuyas respuestas guían a los responsablesde este proceso en la aplicación de la evaluaciónde transferencia. ¿Hasta qué punto el programadeentrenamientogeneró resultados?, ¿Cuál es laimportanciadelaEvaluacióndeImpacto?,¿Cuálesson loscriteriosparaevaluarel impacto?,¿CuálessonlosBeneficiosIntangiblesdeestenivel?,¿CómoeselprocesodeunaEvaluacióndeImpacto?
Capítulo5.“Retornosobrelainversión–Nivel5”.Este capítulo inicia con la definición del RetornosobrelaInversiónyplanteaunejemplodecálculo.Así mismo incluye la obtención de datos, losmétodosparaaislarlosefectosdelentrenamientoylospasosparaconvertirdatosavaloresmonetariosparadeterminarloscostosdelprograma.
Capítulo6.ElManualfinalizaproponiendoquelosprogramasdecapacitacióndelI.E.M.P.seadministrenutilizando lametodologíadelBalanced Scorecard,conlacualseestructuraunsistemadegestión,decomunicación y de información ágil, que permitevisualizarenunasolapáginaelestadoyresultadosdelosprogramas.
IntroduccIónManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón12 13IntroduccIónManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón12 13
¿Quéeslatransferenciadelconocimiento?
Evaluación de transferencia de conocimiento N3
¿PorquéesimportantelaevaluaciónN3?
¿CómoeselprocesodeevaluaciónN3?
¿Quésenecesitaparaqueocurralatransferenciadelconocimiento?
¿QuéseconsideraóptimoparalaevaluaciónN3?
¿QuésepuedeesperardelaevaluaciónN3?
Estructura del manual
¿Quéeselmanual?
¿Cuáleselalcancedelmanual?
¿Cuálessonlascaracterísticasdelmanual?
¿Cuálessonlosbeneficiosdelsistemadeevaluación?
¿Quiénessonlosresponsablesycuálessusroles?
¿Quéeslaevaluacióndelacapacitación?
Elementos conceptuales del manual
¿Cuáleselciclodelprocesodecapacitación?
¿Cuáleselmodeloteóricobasedelmanual?
¿CuáleselprocesodelaevaluaciónN3,N4yN5?
¿Quécriteriosguíanlosnivelesaevaluar?
¿Cómoejecutarlaevaluación?
¿Québeneficiostieneregistrarlainformaciónevaluaciones?
Figura No. 3 - Elementos del manual
IntroduccIónManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón12 13IntroduccIónManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón12 13
InstrumentosdemediciónparaN3,N4
yN5
Anexos
Cuestionariodeevaluación
InstrumentosdeNivel3
InstrumentosdeNivel4
¿QuéeselcálculodelaTasadeRetornoN5?
¿CómoeselprocesodeevaluaciónN5?
¿Cómosedefinenlosbeneficiosintangibles?
¿Cómoseconviertendatosavaloresmonetarios?
¿Cómocalcularloscostosdelprograma?
InstrumentosdeNivel5
Glosario
Bibliografía
Ejemplosdeindicadoresdedesempeño
Balanced ScorecardCálculo del retorno sobre la inversión (ROI)
¿Quéeslatransferenciadeimpacto?
Evaluación de impacto N4
¿PorquéesimportantelaevaluaciónN4?
¿CómoeselprocesodeevaluaciónN4?
¿QuéseconsideraóptimoparalaevaluaciónN4?
¿QuésepuedeesperardelaevaluaciónN4?
¿QuésenecesitaparalaevaluaciónN4?
¿Cómoseutiliza?
Anexos
¿Quéeslaevaluacióndelacapacitación?
¿Cuáleselciclodelprocesodecapacitación?
¿Cuáleselmodeloteóricobasedelmanual?
¿CuáleselprocesodelaevaluacióndelosNiveles3,4y5?
¿Quécriteriosguíanladecisióndelosnivelesaevaluar?
¿Cómoejecutarlaevaluación?
¿Qué beneficios tiene registrar lainformacióndelasevaluaciones?
elemenTos concepTuales del manual
capíTulo 1
Definir el enfoque a adoptar para asegurar que los objetivos se cumplen y decidir dónde se concentran los esfuerzos de medición y evaluación es un elemento clave en la estrategia de capacitación de las entidades del Ministerio Público.
El flujo de información que permite medir la alineación de los programas con las estrategias, la efectividad de los objetivos que se establecen, y el impacto que las iniciativas de capacitación tienen en los resultados con relación a las necesidades de la organización, ,permite tomar decisiones con relación a innovaciones, nuevas estrategias y mejoras en la calidad de los procesos.
capítulo 1. eleMentos conceptuales del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón16 1�capítulo 1. eleMentos conceptuales del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón16 1�
Esunode loselementosclavede laestrategiadecapacitacióndelasentidadesdelMinisterioPúblico(MP)quedebeestablecermetas de alto nivel para la medición y la evaluación de losprogramasquedesarrollael I.E.M.P.,definirelenfoquequesevaaadoptarparaasegurarque losobjetivos secumplanyendecidirdóndesevanaconcentrar losesfuerzosdemediciónyevaluación.Estoconstituyeunflujodeinformaciónquepermitemedir la alineación de los programas con las estrategias, laefectividaddelosobjetivosqueseestablecen,yelimpactoquelasiniciativasdecapacitacióntienenenlosresultadosconrelaciónalasnecesidadesdelaorganización.
Esta información permite tomar decisiones con relación ainnovaciones, nuevas estrategias, mejoras en la calidad de losprocesosy,enelcasodelMinisterioPúblico,enelservicioalosciudadanos. Todo lo anterior, implica un control permanentedeloscostosyunaumentoenlaproductividad9.ElprocesosepuedevisualizarenlafiguraNo.1-1.
9 Ulrich&Brockbank(2006).La Propuesta de Valor de Recursos Humanos,Ed.Deusto.
¿Qué es la evaluación
de capaciTación?
capítulo 1. eleMentos conceptuales del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón16 1�capítulo 1. eleMentos conceptuales del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón16 1�
¿CuáleslaSituaciónActualdelI.E.M.P.?
1.EvaluarlaSituaciónActualdeEvaluación
2.DefinirunEnfoquedeEvaluación
3.VisualizarelFuturodela
Evaluación
4.DesarrollarlaEstrategiade
Evaluación
5.ImplementarlaEstrategiade
Evaluación
6.SocializarlaEstrategia
¿Quéesimportanteyporqué?
¿Quésequierelograrypara
cuándo?
¿Cómosevaalograrel
compromisodeotros?
¿CómovaelI.E.M.P.alcanzarlasituaciónfutura?
¿Cómosevaaconvertiren
realidad?
EstrategiadelMPEstrategia
Capacitación
Figura No. 1‑1. Marco Conceptual de Medición y Evaluación de la Capacitación
capítulo 1. eleMentos conceptuales del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón1� 1�capítulo 1. eleMentos conceptuales del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón1� 1�
Conrespectoalafiguraanterioresimportanteresaltarenquéconsistecadaunodelosseispasos.
10Por ejemplo SENA (Servicio Nacional de Aprendizaje), oInstitucionesAcadémicas.
Situaciónactual.¿Quéseestámidiendoyevaluando?¿Cómoseestáhaciendo?¿Quéseestáhaciendobienyquésepuedemejorar?¿Cómosepuedecompararconloquehacenotrasentidadesdelsectorpúblicooprivado?10.EstetipodeinterrogantesdebenserrespondidosporelI.E.M.P.antesdedecidiradóndequierellegarconlamediciónyevaluación(M&E).
Definirunenfoque.¿Quéesimportantemedir?¿Quétipodetemassonimportantesmediryporqué?¿CuáleslaculturademediciónenelI.E.M.P.?¿Quésepuedeesperarcomoreaccióndequienesvanarecibirlasevaluaciones?
Visióndelfuturo.¿QuérequiereelI.E.M.P.delprocesodemediciónyevaluacióndelosprogramas?¿Cuándolorequiere?
capítulo 1. eleMentos conceptuales del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón1� 1�capítulo 1. eleMentos conceptuales del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón1� 1�
Socializacióndelaestrategia.Definidaslasetapasanteriores,esnecesariocomunicarlaestrategiaparacomprometeratodoslos stakeholdersensucumplimiento
Elprocesoanteriordebeserescalable.Sualcanceencuantoa cobertura es definido por las necesidades de medicióny evaluación que el I.E.M.P. establezca, definición que hacepartedelproceso formaldeplaneaciónestratégica11.Sibienlaevaluaciónaparentementeeselúltimopasoenelprocesodecapacitación,comoseplanteaenelparágrafosiguiente,elI.E.M.P.debedesarrollarelmarcoconceptualdesuestrategiade medición y evaluación y aplicarlo de manera general atodoslosprogramas,teniendoencuentalasparticularidadesdecadauno.
11“Garantizar a los funcionarios del MinisterioPúblicounservicioeducativointegralypertinentemediante el fortalecimiento del sistema decapacitación e investigación”. Tomado de losobjetivos de la perspectiva del Cliente delBalanced ScorecarddelI.E.M.P.
Desarrollarlaestrategia.¿CómovaelI.E.M.P.aalcanzarlasmetasqueseplantea?¿Quésuposicionesapoyanesaestrategia?
Implementación.¿Cómosevaaconvertirlaestrategiaenunarealidad?¿QuéprioridadestieneelI.E.M.P.conrespectoalamediciónyevaluacióndelosProgramas?¿Conquéfrecuenciasevaarevisarelprogreso?
capítulo 1. eleMentos conceptuales del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón20 21capítulo 1. eleMentos conceptuales del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón20 21
¿cuál es el ciclo
del proceso de capaciTación? DonaldKirkpatrickplantea12quelaevaluacióneselúltimoeslabónenunacadenadediezpasosqueaseguralaefectividaddelosprogramas de capacitación. Este Manual, además de plantearel desarrollo de una Estrategia de Medición y Evaluación parael I.E.M.P., se focaliza en el desarrollo de los Niveles 3, 4 y 5de evaluación mencionados anteriormente. A continuación seenumeranlosdiezpasosqueintegranelprocesodecapacitación(verFiguraNo.1-2):
12Evaluating Training Programs, Tercera Edición.Capítulo1,pág.3.
13 Competencias se refieren a los conocimientos, habilidadesyconductasdelosindividuos.
Determinarlasnecesidadesdecapacitación.¿Quétipodenecesidadessevanadeterminar?¿Aquiénentrevistarparadefinirlas?¿Quéregistrossedebenconsultar?¿Cuálesfueronlosresultadosdelasevaluacionesdedesempeñoanteriores?¿Cuálesfueronlosresultadosdelosindicadoresdegestióndelasentidades?
Establecer Objetivos de Aprendizaje. ¿Quécomportamientossequierenmodificar?¿Quétipodeconocimientos sequierenenseñar?¿Cuálesson las competencias13 a aprender/desarrollar?¿Cuáles variables del clima organizacional sedeseamejorar?,etc.
Definircontenidosdeaprendizaje.¿Quémateriassedebenincluirenfuncióndelasnecesidadesylosobjetivos?¿Quémetodologíasseutilizarán?
Seleccionar/Invitarlosparticipantesapropiados.¿Quiénesycuántos?¿Quéperfiles?
capítulo 1. eleMentos conceptuales del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón20 21capítulo 1. eleMentos conceptuales del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón20 21
Para el cumplimiento efectivo de este proceso esfundamentaldisponerdelosrecursosfinancierosyproyectar su alcance para determinar la viabilidaddelosprogramasysuevaluación.
Enlaactualidad,enelI.E.M.P.existenlosmecanismosyprocedimientosparagarantizarquelasiniciativasde capacitación cuenten con las herramientasnecesarias para la ejecución eficiente y efectivade lospasospreviosa laEvaluaciónde losNiveles3,4y5, (N3,N4yN5),que incluye lospasos1a9 mencionados anteriormente y los resultados de
lasevaluacionesN1(Nivel1)yN2(Nivel2)quesehandesarrolladoyquedebenconstituiruninsumocrucialparaN3,N4yN5.EnelI.E.M.P.,elciclodecapacitación propuesto por Kirkpatrick se traduceen seis subprocesos14 como se presentan en laFiguraNo.1-2.
14¿Cómo se construye, desarrolla y evalúa un programa decapacitación?–DocumentointernodelI.E.M.P.
Definir una agenda apropiada y conveniente.¿Cuál es el tiempo a emplear durante lacapacitación? ¿Cuántas sesiones se debenrealizar?¿Cuáleselhorario?
Establecer el sitio de entrenamiento. ¿En quésitio se llevará a cabo la capacitación? ¿Cuáles la disposicióndelmobiliario? ¿Qué tipodealimentaciónsesuministrará?
Seleccionar/Escogerlosinstructoresapropiados.¿Cuál es el presupuesto? ¿Cuál es el perfilprofesional del instructor? ¿Cómo se realizaráel proceso de selección? ¿Dónde buscar a losinstructores?
Preparartécnicasyayudasapropiadas.¿Quématerialyayudasserequieren?
Evaluarelprograma.¿Quéprogramassevanaevaluar?¿Quénivelessevanevaluar?¿Quiénsonlosresponsables?
Coordinarelprograma.¿Quiéneselresponsabledelevento?
capítulo 1. eleMentos conceptuales del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón22 23capítulo 1. eleMentos conceptuales del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón22 23
Evaluar
Coordinación
Materiales
Instructores
Sitio
Agenda
Participantes
Objetivos
Necesidades
Contenidos
Inicio
Seguimiento(Evaluación)
Ejecución
Alistamiento
Planeación
DiagnósticodeNecesidades
DiseñoCurricular
Fin
Figura No. 1-2 - Ciclo de Capacitación - Un enfoque sistémico
ModeloKirkpatrickInstitutodeEstudiosdelMinisterioPúblico
-I.E.M.P.
capítulo 1. eleMentos conceptuales del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón22 23capítulo 1. eleMentos conceptuales del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón22 23
¿cuál es el modelo Teórico
base del manual?
EsteManualsedesarrollóbajounmarcoconceptualque combina dos enfoques complementarios. Elprimero corresponde a los 4 niveles tradicionalesde evaluación propuestos por Donald Kirkpatrickhacecasi50años(1959–1960)yquelaevidenciaexistentelosratificacomolosconceptosdominantesen el campo tanto académico como empresarialde laevaluacióndeprogramasdecapacitación.Eldenominado Modelo de Kirkpatrick (MdK) hacereferencia a cuatro niveles de evaluación: Nivel 1- Evaluación de Reacción; Nivel 2 - Evaluación deAprendizaje;Nivel3-EvaluacióndelComportamiento/AplicaciónyNivel4-EvaluacióndeImpactoenlosResultados.
El segundoenfoque,desarrolladopor JackPhillipsyRonDrewStone15alrededordelataxonomíadelMdK, se puede considerar como una extensión operfeccionamiento del cuarto nivel del modelo,pero en realidad se considera como un quintonivel adicional, el Nivel 5 (N5), “qué se enfocaespecíficamente en la medición del impactofinanciero de los programas de capacitación“¿qué retorno sobre la inversión y qué benefi-cios intangibles se esperan?”. Luego, trabajar en
15Phillips,JackJ.yStone,RonDrew.Op.cit.
cascada descendente resolviendo una secuenciade interrogantes similar a: “¿Qué se necesita queocurra(N4)paraobteneresosresultadosfinancierosonofinancieros?”.Continuarcon:“¿Quéconductassonnecesariasenlosindividuos(N3),enlasáreasoen laorganizacióncomountodopara lograresosresultados?”.
Laestructurainherenteenlos4nivelesdelMdKsedebe visualizar, como él mismo lo sugiere, desdeuna perspectiva de inversión en el aprendizaje.Bajo este enfoque, para justificar inversiones encontenidos de capacitación es necesario empezaranalizandoapartirdelN5,conjuntamenteconlosgerentesde línea,esdecir,partirde losresultadosque esperan obtener los miembros de la altadireccióndelaorganizacióny/osus“stakeholders”ypreguntar:“¿Quéretornosobrelainversiónyquébeneficiosintangiblesseesperan?”.Luego,trabajarencascadadescendenteresolviendounasecuenciade interrogantes similar a: “¿Qué se necesita quéocurra(N4)paraobteneresosresultadosfinancierosonofinancieros?”.Continuarcon:“¿Quéconductassonnecesariasenlosindividuos(N3),enlasáreasoen laorganizacióncomountodopara lograresosresultados?”.
capítulo 1. eleMentos conceptuales del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón24 2�capítulo 1. eleMentos conceptuales del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón24 2�
En seguida “¿Qué tipo de conocimientos, habilidades,competencias, actitudes (N2) generan esas conductas?”; yfinalmente,¿Qué tácticas (contenidos:cursos,entrenamientos,etc.) y cómo se deben presentar (N1) de tal manera que elproceso de aprendizaje sea atractivo para los colaboradores?EsteconceptoseexplicaenlaFiguraNo.1-3.
Capacitación
Reacción
Aprendizaje
ConductaAplicación
Resultados
Perspectiva de Justificación de los
Programas
Perspectiva de Inversión en el
Aprendizaje
¿AlosparticipanteslesgustóelPrograma?
¿Aprendieron?
¿Aplicanensutrabajoloqueaprendieron?
¿Cómoesteaprendizajeimpactaa
laorganización?
¿Cómolopresentamosparaquelosparticipantesreaccionendemanerafavorable?
¿Quéconocimientos,habilidadesyactitudesnecesitanlaspersonasparacomportarseasí?
¿Quéconductasserequierenparalograrestosresultados?
¿Quéresultadosestamosbuscando?
Organización
Figura No. 1‑3. Un cambio de perspectiva
capítulo 1. eleMentos conceptuales del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón24 2�capítulo 1. eleMentos conceptuales del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón24 2�
Dentro de la disciplina de evaluación de programas decapacitación, algunos académicos sugieren que incluso esnecesarioirmásalládeloscuatronivelesdelMdKydelquintodePhillipsymedirel“ImpactoSocial”delosprogramas(Watkins,Leigh, Foshay yKaufmann,1998).Reconociendo la validezdeesteplanteamiento,sehaconsideradoqueestealcancenodebesercubiertoenestaetapa,pueselhechodeproponerloscinconivelesmencionados,constituyeungrandesafíoparaelI.E.M.P.yelMinisterioPúblico.
EnelReportedelEstadodela Industria16,unanálisisdelASTD(American Society for Training and Development) que resumeinformacióndelosaños1999a2003,revelóqueenpromedioel79%delosprogramasdecapacitaciónseevalúanenelNivel1;36%enelNivel2;15%enelNivel3;mientrasquesóloun8%delosprogramassonevaluadosconrelaciónalimpactoqueproducen.Lasorganizacionesparticipantesenelestudioidentificaron“Noesrequeridoporlaorganización”,comolamayorcausa(citadapor el 42,34%) para no realizar las evaluaciones. La segundacausademayorincidencia(citadaporel39,64%)fue“FaltadeEntrenamiento” para realizar la evaluación y la tercera (citadaporel36,94%)“Costo”pararealizarlaevaluación.
16Fuentes: Valuing Human Capital and HRD. ALiterature Review (2006), ASTD State of theIndustryReport(2004).
capítulo 1. eleMentos conceptuales del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón26 2�capítulo 1. eleMentos conceptuales del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón26 2�
¿cuál es el proceso
de la evaluación de los niveles 3, 4 y 5?
Entidades del Ministerio Público
Consejo Académico
Delegados de Procesos Misionales
Directivos I.E.M.P.
Cooperación Internacional
Entidades Educación Formal e Informal
Misión
Visión
Directrices
POA’s
PlanTrienalCapacitación
Normatividad
EvaluacionesDesempeño
InstrumentosEvaluación
FacilitarlaformaciónintegraldelosservidoresdelMinisterioPúblicomediante:EducaciónContinuadaeInvestigación
Planear,diseñaryejecutarlaEvaluacióndelosprogramasdecapacitaciónenlosniveles3,4y5
Recursos:MECI,POA’s,InstrumentosdeEvaluación,Indicadores,FormatosdeRegistro
Proveedores Insumos Procesos
capítulo 1. eleMentos conceptuales del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón26 2�capítulo 1. eleMentos conceptuales del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón26 2�
Dando continuidad al proceso de SeguimientoAcadémico,AdministrativoInternoyExterno17quese aplica a los programas de capacitación en elI.E.M.P. para N1 y N2; la Figura No. 1-4 presenta
17¿Cómo se construye, desarrolla y evalúa unprograma de capacitación en el I.E.M.P.? –Documento interno del I.E.M.P., 2008.
elCiclodel Procesode laEvaluaciónenN3,N4yN5, integrando en forma sistémica el proceso deevaluacióndelacapacitación.
Informes de Resultados Evaluación Nivel 3, 4 y 5
Proyectos de mejora
Identificación de nuevas necesidades capacitación
Ajustes al POA
Sistema de Información Evaluaciones de las
capacitación
Consejo Académico
Delegados y Dueños de Procesos Misionales
Responsable Unidad de Gestión Humana
Jefe División Capacitación
Personeros y demás servidores públicos
Funcionarios I.E.M.P.
Comunidad en general
Figura No. 1-4 - Ciclo del Proceso Evaluación Nivel 3, 4
y 5Resultado Clientes
capítulo 1. eleMentos conceptuales del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón2� 2�capítulo 1. eleMentos conceptuales del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón2� 2�
¿Qué criTerios guían
la decisión de los niveles a evaluar? La decisión sobre cuáles programas evaluar y en qué nivelevaluarlos depende de muchos factores. Phillips y Stone, porejemplo, recomiendan18 evaluaciones de Nivel 3 para aquelloscontenidos que están dirigidos a modificar competencias dequienestienenquetratardirectamenteconelpúblicoylohacencasiinmediatamentedespuésdelosprogramasdecapacitación.
Enel I.E.M.P., ladecisióndeevaluar losNiveles3,4o5debedeterminarse en la fase de la Planeación de la Capacitación,considerandodosaspectosprincipales:
1.Determinar loscambiosesperadosen lascompetencias19delos servidores públicos de las entidades beneficiarias de loseventoseducativosdelI.E.M.P.
2.Determinarlarelacióndedichoscambiosconelcumplimientodelasmetasinstitucionales.
Teniendo en cuenta que las evaluaciones de N4 y N5 son lasqueimplicanmayoresfuerzo(complejidadycosto),losautoressugierenqueéstassereservenparaprogramasquecumplanunodelossiguientescriterios:
El ciclo de vida efectivo del programa está entre 12 y 18meses.
El programa es importante para la implementación de laestrategiaorganizacionaloparaalcanzarlasmetasmisionalespropuestas.
•
•18Phillips,JackJ.yStone,RonDrew.Op.cit.19 Manual para el Diseño Curricular para eventos
educativos del I.E.M.P., febrero de 2008.
capítulo 1. eleMentos conceptuales del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón2� 2�capítulo 1. eleMentos conceptuales del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón2� 2�
El costo del programa representa un % significativo delpresupuestodecapacitación.
El programa está dirigido a un número relevante departicipantes.
Elprogramatieneunaaltavisibilidad.
La alta dirección ha expresado un interés particular en elprograma.
ElAnexo1-1presentaunamatrizqueconstituyeunaguíaprácticaparadefinirlosnivelesdeevaluaciónparalosniveles3,4y5.
Engeneral,elI.E.M.P.ylosresponsablesdelasáreasmisionalesdelasentidadesusuariastienenlaresponsabilidaddeparticipardesde el inicio del proceso, definiendo la pertinencia de losniveles a evaluar, interviniendo incluso en el diseño y en laentrega (enseñanza), cuando seaoportunopor la especialidaddelcontenido.Deestamanera,unavezfinalizadoelprograma,los diferentes stakeholders del proceso aseguran así que losconocimientos adquiridos se traducen en conductas clave,sosteniblesyperdurablesqueasuvezgenerenresultadosqueimpacteneláreay/olaentidad.ElAnexo1-2contieneunejemplopara la definición y desarrollo de objetivos y el Anexo 1-3 unejemploparaexplorarlasexpectativasdelosstakeholders.
•
•
•
•
capítulo 1. eleMentos conceptuales del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón30 31capítulo 1. eleMentos conceptuales del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón30 31
¿cómo ejecuTar la evaluación?Unavezsehayanseleccionadolosmétodose instrumentosdemediciónyevaluaciónquesedefinenenlossiguientescapítulos,seprocedea:
1
2
3
4
5
Recolectarlosdatosdeacuerdoconlaperiodicidaddefinida.
Analizarlosdatosrecolectadosparaidentificarlabrechaentrelopropuestoylologrado.
Elaborarreportesderesultadosqueevidencienel nivel de aplicación de los conocimientos,los cambios generados por la transferencia,asícomolasfacilidadesydificultadesquesepresentaron,yelgradodesatisfaccióndelosinvolucradosenelproceso.
Proponerajustesconbaseenlosresultados,alosprogramasdecapacitacióny/oprocesosmisionales.
Sistematizarlosdatosenbasesquepermitansuanálisis.
capítulo 1. eleMentos conceptuales del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón30 31capítulo 1. eleMentos conceptuales del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón30 31
¿Qué beneficios Tiene
regisTrar la información
de las evaluaciones?
Con la visión de un instituto que promueve el conocimientoinstitucional mediante la gestión del aprendizaje, el manteneren forma sistematizada el proceso de recolección, registro,protecciónyprocesamientodedatos,haráviableelcumplimientodelestenuevoenfoquedelI.E.M.P.
En este orden de ideas, garantizar el registro de datos de lasevaluacionespermitecrearunhistóricodelcomportamientodelagestiónde la capacitacióndel I.E.M.P.para realizar estudioscomparativos,paraevaluarlaefectividaddelserviciodelInstituto,ytomardecisionessobreposiblesintervenciones.
Todo lo anterior tiene como fin último fortalecer la gestiónde los servicios de capacitación e investigación del I.E.M.P.Èstos impactan la gestión de las diferentes dependencias dela Procuraduría General de la Nación (PGN) y Defensoría delPueblo(DP)ydemásentidadesdelMinisterioPúblico,asícomoel desarrollo integral de los servidores públicos. El proceso deevaluación de la capacitación se integra en los flujogramas yestándares operacionales que se presentan en el capítulo deconclusiones(Capítulo7).
esTrucTura del manual
capíTulo 2
Definición y alcance del manual
Este Manual contiene las definiciones, el alcance, la cobertura, las características y la estructura de los procesos de los Sistemas de Evaluación que permitirán a los responsables de su administración, comprender y poner en práctica la metodología, usar las herramientas y calcular los indicadores, para evaluar las acciones formativas facilitadas por el I.E.M.P.
capítulo 2. estructura del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón34 3�capítulo 2. estructura del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón34 3�
definición y alcance del manual
Esunaherramientaprácticaparaquelaspersonasresponsablestengan unas referencias conceptuales y metodológicas delsistemadeevaluacióndelacapacitaciónenelI.E.M.P.Suobjetivoesmejorar lacapacidaddeevaluaciónde los resultadosen losprogramasdecapacitaciónybrindaralI.E.M.P.,yalasentidadesdel Ministerio Público, una mayor capacidad analítica paraevaluarenquémedidalosprogramasdecapacitaciónalcanzansusmetasysetraducenenundesempeñoefectivo,eficienteycon una relación costo-beneficio favorable a sus intereses. Enotras palabras, cómo los contenidos contribuyen a acelerar eldesarrolloyfortalecimientodelascompetenciasdelosservidorespúblicos,afacilitarlatransformaciónorganizacional,aaumentarlaproductividadyaprestarunmejorservicioa losciudadanoscolombianos.
Siendo consecuentes con la metodología del Balanced Scorecard(BSC)quesehainstitucionalizadoenlaProcuraduría,sedefineneincluyenindicadoresderesultadoypredictivosenlascuatroperspectivasdelBSC(VerCapítulo5),quepermitenhacer seguimiento a los resultados y demostrar el valor quelos programasde capacitación tienen como inductores de lasestrategiasbásicasdelainstitución(capacidad,productividadysostenibilidad).
ElI.E.M.P.,comoparteintegraldesusistemadeevaluacióndelos programas de capacitación, debe además comprometerseen la estructuración de un sistema de información que lepermita manejar de manera eficiente todo el proceso desdelaplanificación,hastalaevaluaciónfinaldelosprogramas.En
El Manual se aplica a los programasde capacitación, susceptibles deevaluacióndetransferencia,impactoycálculodelretornosobrelainversión,con base en los procesos definidosy mediante el uso de instrumentosdiseñados para tal fin con laparticipación de los usuarios de losprogramas.
Se articula y es coherente con otrosprocesos, métodos e instancias delI.E.M.P. relacionados con la gestiónde capacitación, como el diseñocurricular, así como con los de lasentidades clientes, a saber: procesosmisionales, objetivos estratégicos,análisis ocupacional, selección ycarrera de personal; evaluación deldesempeño,queseencaminana
capítulo 2. estructura del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón34 3�capítulo 2. estructura del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón34 3�
lamedidaenquelasinstitucioneseducativasdelpaísadoptannuevosesquemasdecapacitaciónfundamentadosensolucionese-learning21, el I.E.M.P. debe prepararse para asumir estaexigencia.Unsólidosistemadeinformación,quenonecesitasercomplejoensusinicios,contribuiríademaneracrucialaasumirestedesafío.
gestionar la relación del I.E.M.P. conlas entidades del Ministerio Público,y en particular con la ProcuraduríaGeneral de acuerdo con el modelo“Gerencia por Objetivos basada encompetencias”20,enelcualsedeclaralaformacomoelInstituto:
Gestiona el aprendizaje orga-nizacionaldelMinisterioPúblico.
Gestionaelservicio.
Gestiona internamente a la orga-nización.
Gestiona la interrelación con elMinisterioPúblicoengeneralyconlaProcuraduríaenparticular.
¿Cuáles son las características del Manual?
ElManual constituyeunaguíapráctica, sencilla ydeaplicacióninmediata para la Evaluación de los Niveles 3, 4 y 5 en losprogramas de capacitación que realiza el I.E.M.P. y que por sunaturaleza y/o relevancia requieren este tipo de evaluaciones.Plantealosrazonamientosmetodológicos;proveelasherramientasnecesarias para entender y realizar las evaluaciones (hojas detrabajo,plantillas,listasdechequeo,modelosdeencuestas,etc.),ypresentaejemplosprácticossobrecómoaplicarestasherramientas.Loanterior facilitaelentendimientoy laaplicacióndecadaunodeloscomponentesdelsistemadeevaluación,ypermiterealizaruna valoración sólida que genere confianza en los resultados ysirvacomovehículodemejoramientoydeplanificacióndefuturasiniciativasdecapacitación(diseñocurricular).
20 Tomado del documento “Concepto Gerencial”realizado para el I.E.M.P.por la GTZ y laorganizaciónFortaEsDer.
21 Esquemas de e-learning: Video-conferencias,podcasts, videocasts, webminars. (Ver definiciones enAnexo7-Glosario).
capítulo 2. estructura del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón36 3�capítulo 2. estructura del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón36 3�
¿Cuáles son los beneficios del Sistema de Evaluación?
Entre losprincipalesbeneficiosque resultande lasevaluaciones,tantoparaelI.E.M.P.,comofacilitadordel aprendizaje organizacional, como para lasentidades del Ministerio Público usuarias de losserviciosdecapacitación,sedestacan:
AlinealasdecisionesquesetomanapartirdelosresultadosdelasevaluacionesconlasestrategiasdelasentidadesusuariasylasdelI.E.M.P.
OtorgaalosfuncionariosdelI.E.M.P.informaciónválidayconfiablesobrelaefectividaddelciclodecapacitación.
ProveeunrelacionamientoefectivoentreelI.E.M.P.ylasentidadesdelMinisterioPúblicousuariasdelacapacitación.
Revelaelniveldetransferenciadeconocimientoseimpacto.
Disponedemetodologíasyherramientasparahacerlasevaluacionesdemaneratécnica.
Conbaseenelcumplimientodelosindicadores,permiteproponermejorasenlosdiferentesprocesosdelacadenadelacapacitación.
EvidencialagestiónqueelI.E.M.P.realiza.
GeneravaloralagestióndecadaunodelosfuncionariosdelMinisterioPúblicoyenparticularalosdelaProcuraduríausuariosdelacapacitación.
¿Quiénes son los responsables
y cuáles sus roles en la Evaluación?
Parateneréxitoenlatransferencia,enlosresultadosyenelretornosobrelainversiónenlosprogramasdecapacitación,ademásderequerirdeunacuidadosapreparación de todos los aspectos mencionadosanteriormente,debenexistirciertosprerequisitos22:
FocoEstratégicoLiderazgoCapacidadparaplanificaryejecutarelcambioUnsistemademediciónderesultadosResultadospositivosenN1yN2Unesquemademotivación
En la correcta utilización del Manual por parte delos responsables de administrarlo y de todos losstakeholders del proceso, es importante tener encuenta que el desempeño de los individuos es unresultado conjuntode su capacitación ydel apoyoquereciban(VerFiguraNo.2-1).Porlotanto,existenciertos prerrequisitos, que se deberán cumplir conlosrolesquesedefinenacontinuación:
22Kirkpatrick,DonaldLand.Kirkpatrick,JamesD,Transferring Learning to Behaviour, Using the Four Levels to Improve Performance,SanFrancisco,CA,Berret-KoehlerPublishing,Inc.,2005.
capítulo 2. estructura del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón36 3�capítulo 2. estructura del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón36 3�
Desempeño=f(Individuo,Entorno)
Entrenamiento Cargo Apoyo
Aprendizaje Desempeño Gerencia
ActitudesMotivaciónCapacidad
•••
ConocimientosHabilidadesConductas
•••
RetroalimentaciónExpectativasGuíasclarasdedesempeñoProcesosapropiados:herramientasymaterialesIncentivosfinancierosyno–financierosLiderazgoSelecciónAsignaciones
•••
•
•
•••
Figura No. 2‑1. Variables que impactan el desempeño
Fuente:McGregorMeetsGilberporFredNickols,2007.
capítulo 2. estructura del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón3� 3�capítulo 2. estructura del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón3� 3�
La Dirección del I.E.M.P. debe:
1. Definir lasEstrategiasdeMediciónyEvaluacióndetodoslosprogramas(N3,N4yN5).
2. Disponerde la informaciónde lasevaluacionesN1yN2.
3. PlanearlasaccionesdeevaluacióndetransferenciaeImpactoconsiderandolasparticularidadesdelacapacitaciónobjetodelaevaluación.
4. Obtenerlosrecursosfinancierosparaimplementarlasaccionesdelasevaluaciones.
5. Analizarydifundirlosresultadosdelosreportes.
El Jefe de la División Capacitación del I.E.M.P. debe:
1.ProponerlaEstrategiadeMediciónyEvaluacióndelosProgramasdeCapacitación.
2.Desarrollarprogramasrelevantesparalamejoraen el desempeño en los puestos de trabajo yrelacionadosconlaunidaddenegocio.
3. Diseñar ejercicios y actividades relacionadascon las necesidades y problemas del entornoorganizacional.
4.Desarrollary/oadaptarherramientasdemedicióny evaluacióndeacuerdo con losprogramasdecapacitacióneinvestigación.
5. Recolectar y procesar datos, información yevidencias con base en los instrumentos demedición.
6. Elaborar reportes de resultados de lasevaluaciones.
7. Analizar la información de los resultados de laevaluación y entregar reportes a las áreas deGestión Humana de las entidades beneficiariasdelaCapacitación.
8.Comunicarlosresultadosalproveedorquediseñóydesarrollóprogramasdecapacitación.
9.Revisaryre-diseñarlosprogramasbasadosenlosresultadosdeevaluaciones.
10.Desarrollarlasaccionesdemejoraenelciclodelacapacitación.
Los jefes de las Entidades del Ministerio Público deben:
1. Participar activamente en la definición de laestrategia e indicadores de desempeño de lacapacitaciónenN3,N4YN5.
2. Asegurar que el personal participe de losprogramasofrecidosyestableceracuerdossobrelasexpectativas.
3. Eliminar obstáculos y asegurar un caminolibre para la aplicación de los conocimientosadquiridos, garantizando el cumplimiento delosindicadoresdedesempeñoparaimpactarlosresultadosdegestiónanivelindividual,grupalyorganizacional.
4.Motivareincentivaralparticipanteaaprenderyaaplicarsuaprendizajealpuestodetrabajo.
capítulo 2. estructura del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón3� 3�capítulo 2. estructura del ManualManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón3� 3�
5.Acordarydivulgarplanesdeacción.
6. Hacer seguimiento y analizar con el equipoprimario del participante, los cambios comoconsecuencia de la transferencia y evaluar eléxitodelplanylaefectividaddelacapacitación.
7.Proponeraccionesdemejora.
Las unidades de Gestión Humana de las entidades deben:
1. Participar activamente en la definición de laestrategiaeindicadoresdedesempeño.
2. Administrar los resultados de las evaluacionesparaverificarlaalineacióndelacapacitaciónconlasnecesidadesdemejoradeldesempeño.
3. Identificar la brecha entre lo propuesto en lacapacitaciónylosresultadosdelaevaluacióndelosniveles3,4y5.
4. Plantear mejoras en la estrategia decapacitación.
5.Darretroalimentaciónalosparticipantesconbaseenlosresultadosdelasevaluaciones.
6. Diseñar estrategias de mejora del desempeñoque propicien la eficacia personal, grupal yorganizacional.
7.Establecerpolíticasdeincentivos23quefomentenelreconocimientoaldesempeñoexcelentecomoconsecuenciadelaaplicacióndelaprendizaje.
Los participantes de los programas de capacitación deben:1. Establecer acuerdos sobre el resultado que se
espera de su participación en el programa yejecutaraccionesquepermitancumplirlos.
2. Brindar información objetiva acerca de laaplicación del aprendizaje monitoreando sudesempeño(auto-observación).
3.Buscarconstantemente la retroalimentacióndelproceso de transferencia de los conocimientosadquiridos.
4.Desarrollaren formasostenible laaplicacióndelosconocimientosadquiridosdeacuerdoconelplandeacciónpreviamenteestablecido.
5. Participar activa y constructivamente en losprocesosdeevaluación.
Paraelcumplimientodeestasresponsabilidades,las personas implicadas requieren desarrollarun trabajo colectivo que genere sinergia enla realización del mismo, en cuanto a manejodel tiempo y construcción de acuerdos en laestrategiayensuimplementación.
23Ley909de2004,Título6,Capítulo1,Artículo36.
evaluación de las Transferencias de aprendizaje - nivel 3
¿PorquéesimportantelaevaluacióndeNivel3?
¿CómoeselprocesodelaevaluacióndeNivel3?¿Quésenecesitaparaqueocurralatransferenciadelaprendizaje?
¿Qué se considera óptimo para la evaluación deNivel3?
¿QuésepuedeesperardelaevaluacióndeNivel3?
capíTulo 3
“La transferencia del aprendizaje se define como la garantía de que los conocimientos y las habilidades adquiridas durante una intervención de aprendizaje sean aplicadas en el trabajo. La meta es que los/as alumnos/as transfieran el 100% de sus conocimientos nuevos a sus trabajos lo que daría como resultado un nivel más alto de desempeño y un mejoramiento en la calidad de los servicios en sus respectivos establecimientos”24.
El proceso de transferencia del aprendizaje consiste de una serie de tareas interrelacionadas que son desempeñadas por los/as supervisores/as, capacitadores/as, alumnos/as, compañeros/as de trabajo y algunas veces terceras personas (por ejemplo, reguladores/as oficiales del gobierno, usuarios/as, etc.) antes, durante y después de una intervención de aprendizaje a fin de maximizar la transferencia de conocimientos y habilidades y mejorar el desempeño en el trabajo.
24 Transferencia del Aprendizaje. Una Guía para fortalecer el desempeño del personal del campodelasalud.ProyectoPRIMEII.PublicacióndeJHPIEGOCorporation(www.jhpiego.org), afiliada a Johns Hopkins University. Marzo del 2002, con el auspicio de laUSAgenciaInternacionalparaelDesarrollodelosEstadosUnidos(USAID),Marzodel2002.
capítulo 3. evaluacIón de las transferencIas de aprendIzaje - nIvel 3Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón42 43capítulo 3. evaluacIón de las transferencIas de aprendIzaje - nIvel 3Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón42 43
El objetivo inmediato de la gran mayoría de losprogramasdecapacitaciónesquequieneslosrecibenpuedanaplicarlosensustrabajos.Latransferenciaes importante para los capacitadores, para losparticipantes, para sus jefes, para los compañerosde trabajo y para la institución en general, pormúltiplesrazones.
Al garantizar que se efectúa la transferencia deconocimientos, se está protegiendo la inversiónqueserealiza,semejoralacalidaddelosserviciosprestados y existe una mayor motivación de losparticipantes para desempeñarse mejor aplicandoloaprendido.
LaevaluacióndeN3secentraen laaplicacióndelo aprendido, en la integración y/o adaptaciónde los conocimientos adquiridos al entorno detrabajo, y busca fundamentalmente: identificarla frecuencia con la que se aplican en el entornodetrabajo losnuevosconocimientos/habilidadesoactitudesadquiridasymedir laefectividaddeesosconocimientosensuaplicacióneneldíaadía.
Estenivelrespondeapreguntascomo:¿hastaquépuntosehanmodificado loscomportamientosdelos participantes como producto del programa?,¿están los participantes utilizando las habilidades
¿por Qué es imporTanTe la evaluación de nivel 3?
y conductasque les fueronenseñadas?; ¿qué tanrelevantes son esas conductas y habilidades en elentorno en que se desempeñan?; ¿qué tanto elentorno, incluyendo los jefes del participante eincluso sus pares o compañeros de trabajo, sepresta y apalanca la utilización de los nuevosconocimientos/conductas?; ¿cuáles son loselementosqueusanmásyporquéhayelementosquenoseaplican?
Porlotanto,medirloscambiosesnecesario,nosóloparadeterminarsisehanmodificadolasconductasysisehaaprendido,sinotambiénparadeterminarlasrazonesporlascualeselcambioNOhaocurrido.
Al realizar evaluaciones de N3, las entidades delMinisterioPúblicoyelI.E.M.P.adquierenelementosde decisión para definir si el programa debe serrediseñado para lograr mejores resultados, si sedeben introducircambiosenelentorno laboral,osi sedebenmodificar los requisitosdeaccesoa laactividadformativa.
capítulo 3. evaluacIón de las transferencIas de aprendIzaje - nIvel 3Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón42 43capítulo 3. evaluacIón de las transferencIas de aprendIzaje - nIvel 3Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón42 43
Una vez tomada la decisión de aplicar la Evaluación de N3, yconbaseenlosresultadosdelaevaluacióndeaprendizaje(N2),sedebedarcumplimientoa tres subprocesos: selecciónde losmétodosdeevaluación,ejecuciónde laevaluaciónyregistroycierredelproceso (verfiguraNro3-1).Para laselecciónde losmétodos a emplear se deben tener en cuenta los siguientesaspectos:
Disponibilidaddedatoshistóricosconrelaciónalasevaluacionesdedesempeño,medicióndeclimaorganizacional,medicióndecompetencias,etc.
Validez de los instrumentos disponibles tales comocuestionarios,listasdechequeoparaobservación,evidenciasfotográficas,entrevistasestructuradasygruposfocales,paraobtener y hacer seguimientode los datos requeridospor laevaluación.
Disponibilidadderecursosydepersonalparaeldesarrollodelosmétodosdeevaluación.
•
•
•
¿cómo es el proceso
de la evaluación nivel 3?
capítulo 3. evaluacIón de las transferencIas de aprendIzaje - nIvel 3Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón44 4�capítulo 3. evaluacIón de las transferencIas de aprendIzaje - nIvel 3Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón44 4�
Fin
Niveles1y2
Definición,pertinenciaynivelesdeevaluación
Selección de métodosdeevaluaciónN3
EjecucióndelaEvaluaciónN3
Registroycierredelproceso
Fin
Figura No. 3‑1.Proceso de evaluación Nivel 3
capítulo 3. evaluacIón de las transferencIas de aprendIzaje - nIvel 3Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón44 4�capítulo 3. evaluacIón de las transferencIas de aprendIzaje - nIvel 3Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón44 4�
Dependiendodelanaturalezadelprograma,ymásespecíficamentede losobjetivosa lograr,existeunavariedaddemétodosparaobtenerlosdatosrelevantesyrealizarlaEvaluacióndeNivel3.
Entrelasopcionesmáscomunesseencuentran:
Sondeosdeactitud.
Cuestionariosdeseguimientoparaparticipantesyjefes.
Observaciónenelpuestodetrabajo.
Entrevistasalosparticipantes,amiembrosdelequipodetrabajodelparticipante.
Focus Groups de seguimiento. Se recomiendanespecialmente cuando es necesario obtener muchainformación sobre qué tan bien el aprendizaje de unprogramaseestáaplicandoenelpuestodetrabajo.
Medicióndeproyectosrelacionadosconelprograma.
Planesdeacciónydemejora.
Contratosdedesempeño.
Sesionesdeseguimientoalprograma.
Definido el (los) método(s) de evaluación y desarrollado elinstrumentodemedición,esnecesariovalidarloconlasdirectivasy/o personas involucradas en el proceso, aplicando los ajustespropuestos para su efectividad. Lo anterior siempre focalizadoenlamagnituddelcambio,surelevanciaysostenibilidadeneltiempo.
a)
b)
c)
d)
e)
f)
g)
h)
i)
capítulo 3. evaluacIón de las transferencIas de aprendIzaje - nIvel 3Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón46 4�capítulo 3. evaluacIón de las transferencIas de aprendIzaje - nIvel 3Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón46 4�
Previoalainiciacióndelprograma,losresponsablessu desarrollo deben determinar, dentro de lasopciones anteriores –u otras que se establezcan–,cuáles se van a utilizar para medir si hubo o notransferenciadeaprendizaje.Estosehaceteniendoencuentalosobjetivosquesehandefinidoparaelprograma25.Esposiblemedircadaobjetivoutilizandovariosmétodos,peroserecomiendanoutilizarmásde2o3instrumentosparaobtenerlosdatossobrelos cuales se vanaobtener las conclusionesde laevaluaciónNivel3.Adicionalmentealametodología,esnecesariodefinirlaperiodicidadofrecuenciadelaevaluaciónyelresponsabledelaevaluación,talcomoseproponeenlamatrizquesepresentaenlaFiguraNo.3-2.Estamatrizesunode los recursosqueseutilizanenlafasedeplanificaciónparadefinirquémetodologíaderecoleccióndeinformaciónsevaautilizar.
25 Los objetivos deben ser: específicos, medibles, motivadores, alcanzables, acordados, relevantes, realistas, y definidos en el tiempo.
26En el corto plazo es deseable que toda la información relativaa los proyectos de capacitación se almacene en un sistema deinformaciónmássólido,queutilicealgunabasededatosrobustaque permita obtener, procesar, modificar y reportar la información decadaproyecto.
Fuente:AdaptacióndeFocusedManagementdeColombiaconbaseentextosdelImperialExecutiveLeadershipDevelopment,ImperialNationalBank,PatriciaPulliamPhillip,de“How to Measure Training Results”deJ.J.PhillipsyR.D.Stoneydesarrollospropios.
EneldesarrollodelosobjetivosparaevaluarN3(verAnexo3-1)sedebebuscar responderapreguntascomo:
¿Qué conocimientos nuevos o mejorados seaplicaránaltrabajo?
¿Con qué frecuencia se deben aplicar estosconocimientos?
¿Quénuevastareasoiniciativasseharáncomoconsecuenciadelosconocimientosadquiridos?
¿Quénuevosprocedimientos,procesosoguíasseimplementarán,ocuálescambiarán?
ElformatosiguientesehadesarrolladoenExcel.Su diligenciamiento constituye el inicio de unsistema de información básico que contengala información relativa a cada proyecto decapacitación y que pueda ser manipulada confacilidad26.
a)
b)
c)
d)
e)
capítulo 3. evaluacIón de las transferencIas de aprendIzaje - nIvel 3Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón46 4�capítulo 3. evaluacIón de las transferencIas de aprendIzaje - nIvel 3Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón46 4�
Figura No. 3‑2. Matriz de instrumentos de evaluación y periodicidad Nivel 3
Instituto de Estudios del Ministerio Público ‑ I.E.M.P.Evaluación Programas de Capacitación - Niveles 3, 4 y 5 Planificación proceso de evaluación Nivel 3
Programa Instructor
Fecha Horas LugarObjetivo General -Expectativas del Programa
DescribirelObjetivoGeneraldelProgramadeCapacitaciónylasexpectativasdelosdiferentesinteresados“stakeholders”(Procurador,Delegados,I.E.M.P.,Ciudadanía,etc.).
Objetivos Específicos Nivel 3 Método de Obtención de Información para Evaluación Nivel 31 2 3 4 5 6 7 8 9 10 11
1
2
3
4
5
6
1.SondeosdeActitud 2.CuestionariodeSeguimiento 3.ObservaciónPuestodetrabajo 4.Entrevistas
5.FocusGroups 6.ProyectosRelacionados 7.PlanesdeAcciónyMejora 8. Contratos Desempeño
9.Sesióndeseguimiento 10. Otro (Especificar) 11. Otro (Especificar)
Objetivos Específicos Nivel 3 Método de Evaluación
Periodicidad¿Cuándo medir?
Responsable
1
2
3
4
5
6
Comentarios:
capítulo 3. evaluacIón de las transferencIas de aprendIzaje - nIvel 3Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón4� 4�capítulo 3. evaluacIón de las transferencIas de aprendIzaje - nIvel 3Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón4� 4�
Ademásdelconocimientoserequieredeotraseriedeingredientescomo: voluntad, persistencia y disciplina de los funcionarios einclusodesuscompañerosdetrabajo.Asímismo,debenexistirunas condiciones para la efectividad de la transferencia talescomo:
¿Qué se necesiTa para Que ocurra la Transferencia del aprendizaje?
Elcambio,objetodelatransferencia,debeestaracordeconlasnecesidadesdelcargo,áreaylaentidad.
Losfuncionariosdebentenerlavoluntaddehacerlo.
Losfuncionariosdebenconocerconanterioridadquéseesperadeellosencuantoalatransferencia.
Losfuncionariosdebenlaborarenambientespropiciosparaelcambio.
Eljefedebefacilitarlascondicionesparaquelosfuncionariosapliquenloaprendido.
Eljefedebereconocerelcambiodadoenlaspersonas.
Losfuncionariosdebensentirseorgullososporlaaplicacióndelascompetenciasadquiridas.
Laentidaddebeestablecerincentivos,tangibleseintangibles,parareforzarlatransformaciónhacialasostenibilidad.
capítulo 3. evaluacIón de las transferencIas de aprendIzaje - nIvel 3Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón4� 4�capítulo 3. evaluacIón de las transferencIas de aprendIzaje - nIvel 3Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón4� 4�
¿Qué se considera ópTimo
para la evaluación de nivel 3?
1.Utilizargruposdecontrolcuandoseaprácticoyconveniente.
2.Dejarpasaruntiempoprudencialparaqueelcambioenlaconductaylaaplicacióndelconocimientoocurran.
3.Realizarunaevaluaciónantesydespuésdelprograma.Estaeslamejormaneradedeterminarquétantocambialaconductacomoresultadodelprograma.
4.Entrevistaraunoomásdelossiguientes“stakeholders”:losentrenados,sussupervisoresinmediatos,sussubordinados,yotrosquepuedanobservarlaconductadelosentrenados.
5.Encuestaral100x100delosparticipantes,oensudefecto,realizarunmuestreo.
6.Repetirlaevaluaciónenperiodosdetiempoapropiados.Algunosparticipantesmodificansuconductainmediatamentedespuésdelprograma,otrosmesesdespuésyalgunosnunca.Enlosdosprimeroscasos,esposibleinclusoque,sinoexisteunaevaluaciónrepetitiva,vuelvanalaconductaanterior.
7.Tenerencuentaelcostovs.losbeneficiosdelaevaluación.
Paraobtener informaciónyverificar losresultadosde latransferenciadecompetencias,seproponensieteguíasquedebenserconsideradasantesderealizarlaevaluación.
capítulo 3. evaluacIón de las transferencIas de aprendIzaje - nIvel 3Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�0 �1capítulo 3. evaluacIón de las transferencIas de aprendIzaje - nIvel 3Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�0 �1
Esprobablequenoseaprácticoestablecerungrupode control; o hacer una evaluación antes y otradespuésdelprograma;oquepordiversasrazones(porejemplo,dispersióngeográfica) sea imposibleevaluar a un buen número de los “stakeholders”o al 100 % de los participantes27. Bajo estascircunstancias, el realizar una sola evaluacióndespuésdelprogramarevelaconalgunaprecisiónla informaciónque se requiere conocer; evaluar a
27ElInternethacemásfácilellogrodeesteobjetivo.28 Kirkpatrick,DonaldLand.Kirkpatrick,JamesD,Implementing the
Four Levels. A Practical Guide for effective Evaluation of Training Programs, San Francisco, CA ,Berret-Koehler Publishing, Inc.,2007.
una muestra representativa de los participantespuedesersuficiente;yunaencuestabiendiseñadapuede sustituir parcialmente a una entrevista deprofundidad.
Donald y James Kirkpatrick recomiendan28realizarevaluaciones exhaustivas de Nivel 3 cuandose presentan una o varias de las siguientessituaciones:
Lasnuevasconductasoconocimientossoncríticosparalaejecucióndelaestrategiadelaorganización.
Setratadeunprogramapilotoyesimportanteconocersiloaprendidosepudeaplicaraltrabajo.
capítulo 3. evaluacIón de las transferencIas de aprendIzaje - nIvel 3Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�0 �1capítulo 3. evaluacIón de las transferencIas de aprendIzaje - nIvel 3Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�0 �1
Elprogramaesdealtavisibilidady/oimpactoyporlotantoesimportantedemostrarsuvalor.
Lasconductasesperadassonmuydiferentesalasactuales.
Elprogramaserepetiráyporlotantoesimportanteasegurarquelasconductas/conocimientosconduzcanalosresultadosesperados(Nivel4).
EnelAnexo3-2 sepresentaunaguíapara laconstruccióndecuestionarios,entrevistasyeldiseñodeobservacionesenelpuestodetrabajo.LosAnexos3-3,3-4,3-5,3-6presentanejemplosdeinstrumentos(cuestionariostipo,listasdechequeo)quepuedenseradaptadosporelI.E.M.P.paraefectosdelaEvaluaciónN3.ElAnexo3-3esunejemplocompletodeuncuestionarioutilizadoenlaevaluacióndeunprograma;3-4detallalaconstruccióndelistasdechequeo;3-5,3-6sontambiénejemplosdecuestionariosqueserealizanantesydespuésdelacapacitación.
capítulo 3. evaluacIón de las transferencIas de aprendIzaje - nIvel 3Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�2 �3capítulo 3. evaluacIón de las transferencIas de aprendIzaje - nIvel 3Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�2 �3
¿Qué se puede esperar
de la evaluación nivel 3?
El N3 mide la aplicación de las competencias traducidas encomportamientosobservablesyeneldesempeñodeldíaadíalaboral.Estecambiopuedeevidenciarsedespuésdelaformaciónoatravésdeunseguimientoeneltiempo,dependiendodelostemase interesesdelprograma.¿Cómohacerparaque tantolíderes como empleados transfieran lo que han aprendido enconductasquecontribuyanamodificarsuentornolaboral?.La práctica ha demostrado que éste puede ser el nivel máscomplejo de medir y probablemente el más importante puesN3 constituye el prerrequisito para garantizar el éxito de losprogramasenlosniveles4y5.Paralamayoríadelosprogramas,silosparticipantesnoaplicanloquehanaprendido,elprogramasepuedeconsiderarcomounfracaso,aúnsielaprendizaje(N2)hasidoexitoso.
No es realista esperar que se produzca un cambio en laconducta si no ha existido el aprendizaje apropiado. Paraasegurarelaprendizajeesnecesarioqueexistaunaatmósferapositiva (entorno, instructor, contenido, etc.) que satisfagaa los participantes (N1). También es un hecho que el serhumanotiendeamantenerseensuSTATUSQUOo“círculodemantenimiento”, antes que entrar en un proceso de cambio“círculo de transformación”, aún a costa de su efectividad.Justamenteesteeselaspectomáscrucialen todoprocesodecambiocultural.
capítulo 3. evaluacIón de las transferencIas de aprendIzaje - nIvel 3Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�2 �3capítulo 3. evaluacIón de las transferencIas de aprendIzaje - nIvel 3Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�2 �3
evaluación de impacTo – nivel 4
¿PorquéesimportantelaevaluacióndeNivel4?
¿CómoeselprocesodelaevaluacióndeNivel4?
¿QuésepuedeesperardelaevaluaciónNivel4?
capíTulo 4
“Bajo la denominación de evaluación de impacto se entiende el proceso evaluatorio orientado a medir los resultados de las intervenciones en cantidad, calidad y extensión según las reglas preestablecidas. La medida de los resultados, característica principal de la evaluación de impacto, permite comparar el grado de realización alcanzado con el grado de realización deseado. Compara, de esta forma, la planeación con el resultado de la ejecución”29.
La evaluación de este nivel busca medir: a) el éxito del programa en función de los objetivos y de los indicadores previamente establecidos; b) la influencia e impacto que los aprendizajes ejercen en la unidad de trabajo, en el área, o en la entidad en general; c) la mejora en el desempeño individual en el puesto de trabajo; d) la contribución que los programas de capacitación hacen al desarrollo del recurso humano y la eficacia organizacional.
29DiezdeMedinayAbdala(2004).Manual para la evaluación de impacto en programas de formación para jóvenes,OrganizaciónInternacionaldelTrabajo,(Cinterfor/OIT),2004.
capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�6 ��capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�6 ��
¿por Qué es imporTanTe
la evaluación de nivel 4?
PorqueelI.E.M.P.debeasegurarquelosprogramassefocalicenen las necesidades del Ministerio Público y respondan asu estrategia; porque es necesario que todo programa decapacitaciónseaeficaz;porquesenecesitaconocerelimpactodelosprogramasparapoderestablecerprioridades;porquelosjefesesperanresultadosynecesitanrendircuentassobrelosrecursosempleados; porque toda iniciativa de cambio debe mostrarcómocontribuyea lasmetasdelaorganización,y,finalmente,porqueeslabaseparaconstruirunaorganizaciónqueaprendecontinuamenteygestionaelconocimientodemanerasistémica.
Elprincipalobjetivodeestenivelesevaluarelimpactodelprogramaen los resultadosdelMinisterioPúblicomediante lautilizaciónde indicadores, preferiblemente los denominados “indicadorescríticosdedesempeño”(KPIs)quepermitencompararun“antes”yun“después”.LaevaluaciónN4identificabrechasexistentes,aporta información que enriquece la toma de decisionesestratégicasytácticasquegenerenmejorasypotencializaelvalordelainversiónqueserealizaenlosprogramasdecapacitación.
LaevaluacióndeimpactolepermitiráalI.E.M.P.:
Registraryanalizarlainfluenciaqueejercen las experiencias (positivasy negativas) de los programas decapacitaciónsobrelosresultadosdelasentidadesdelMinisterioPúblico.
Difundir y discutir entre losresponsables de la gestión decapacitación, los aportes que losprogramas implementados hacenal cumplimiento de los indicadorespropuestos.
Informar,deformaclarayobjetiva,a los responsables de la toma dedecisiones sobre la marcha de losprogramas,lasbrechasidentificadasentre los resultados planeados ylos obtenidos. Esta retroalimenta-ción promueve el reforzamientoinstitucional.
Examinarconsecuenciasnoprevistasenlosbeneficiarios.
Disponer de la información pararealizarestudiosdecosto-beneficio.
capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�6 ��capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�6 ��
TeniendoencuentaelModelodeKirkpatrick(MdK),JackPhillipsyRonnieD.StonesintetizanenunapublicacióndelASTD30, laevaluación de impacto que comprende una secuencia lógicadeochopasosqueseagrupanentresfases:Antes,DuranteyDespuésdelprograma(verFiguraNo.4-1).LaEvaluaciónNivel4 que se propone en este manual, se desarrolla, en su parteconceptual,deacuerdoalprocesodePhillipsyStoneyseiniciacon la exploración y decisión de evaluar el programa en estenivel31 y concluye con la comunicación de los resultados delprogramaatodoslosstakeholders.
La figura 4-1 evidencia la importancia de definir durante laetapadeplaneación la factibilidadde realizar laevaluacióndeNivel4(Paso1)ydehechodetodoslosniveles.UnavezsehadefinidounaestrategiadeevaluaciónyestaincluyeN4,sedebenestablecer losobjetivosdeevaluaciónparaN1,N2yN3 (Paso2),loscualesdebenestaralineadosconN4,paraasíprocederaplanificarlaevaluacióndetodoslosniveles(Paso3).Lospasos4y5seconcentranenlarecoleccióndelosdatosrelevantesparacadanivel.
30 Issue 9816. Level 4 Evaluation: Business results,1999-2000.Info-line.The How to Reference Tool for Training & Performance Professionals.
31Decisión que hace parte de la Estrategia deMediciónyEvaluación.
¿cómo es el proceso
de la evaluación de nivel 4?
capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�� ��capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�� ��
Antes del programa
Durante el programa
Después del programa
PHVA
Paso1Explorar
factibilidadde
evaluacióndeNivel4
Paso2Desarrollarobjetivos
paratodoslosniveles
Paso3Planificar
laevaluación
Paso4Obtenerdatosde
Nivel1ydeNivel2
PHVA
Paso5ObtenerdatosdeNivel3y
deNivel4
Paso6Aislarlos
efectosdelprograma
Paso7Analizarlosdatos
Paso8Comunicarlosdatos
Figura No. 4-1. Modelo para Medir el Impacto en la
Organización
Fuente:ASTD, Info-Line.Level4Evaluation:BusinessResults,AutoresJackJ.PhillipsyRonDrewStone
TiposdedatosFuentesdedatosMétodosdeobtencióndedatosTiemposparaobtencióndedatos
capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�� ��capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�� ��
Acontinuaciónsedetallanloselementosmásrelevantesdecadapaso.
anTes del programa
a).¿Es posible la Evaluación Nivel 4? Para responder a estapreguntaesnecesariocontestar:
i. ¿Sepuedenobtenerlosdatosqueseconsiderencomoevidenciadelosresultados?
ii. ¿Elprogramaes lo suficientemente robustoparacrearunimpactoenlosresultadosdelainstitución?
iii.¿Esposibleaislarlosefectosdelprograma?
b).¿CuáleselalcancedelaEvaluación?
c).¿Cuáles son los resultados a medir? Los diferentes“stakeholders” del programa pueden tener expectativasdistintas sobre los resultados esperados y es importantetenerabsolutaclaridadsobreloquesevaamedirenestenivel.
Enestepuntolomássencilloessimplementepreguntara
cadauno:¿quétipoderesultadosesperadelprograma?Alprincipiolasrespuestaspuedenservagas,porestarazónsedebeinsistirhastalograridentificarexpectativasconcretaspreferiblementeentérminoscuantitativos.
1. Explorar viabilidad de la evaluación Nivel 4
capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón60 61capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón60 61
Ladefinicióndeobjetivos32,quedebensercoherentesconlosobjetivosdecapacitación,permitealinearlaestrategiadeevaluaciónencadaunodelosniveles.Losobjetivosproveenelenlaceentrelasnecesidadesylaevaluación,yseestablecenentérminosderesultadosydesempeñosesperadosdelasunidadesquedebenserinfluenciadosomodificadosporelprograma.Elcumplimientodelosobjetivossemideatravésdeindicadoresquepuedenserdecalidad,decostos,detiempo,deservicioalciudadano,declimadetrabajo,etc.LaFiguraNo.4-2presentaunamatrizquesepuedeutilizarparavariospropósitos,unodeellos,identificarlosobjetivosdelprograma.
2. Desarrollar objetivos de evaluaciónpara todos los niveles
32Los objetivos se deben haber definido en la etapa de planificación del programa de capacitación y debenserresultadodelanálisisdenecesidadesque se realizó y dio origen al programa. VerCartillas: D.N.C. y Diseño Curricular.
capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón60 61capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón60 61
3. Planear la evaluación
DelamismamaneracomoseplanteóparaelN3,enestepaso-queseejecutaantesdeiniciarelprograma-seidentificanlosinstrumentosylaperiodicidadparalarecopilacióndedatosdelosindicadoresquedebenserinfluenciadosporelprograma.Loselementosfundamentalesenestepasoson:elplanparalarecoleccióndedatos,determinarsiesposibleelusodegruposdecontrol,laseleccióndelosinstrumentos,lafrecuenciadesuuso(repeticionesdesernecesarias),elmomentoapropiadopara recopilar los datos (incluyendoel interés por hacerevaluacionesantesydespuésdelprograma),ylaobtencióndedatosapartirdelaevidencia.
LosmétodospararealizarlaevaluaciónsonsimilaresalosdelNivel3:
1. CuestionariosdeSeguimientoparaparticipantesyjefes
2. MedicióndeProyectosrelacionadosconelprograma
3. PlanesdeAcciónydeMejora
4. ContratosdeDesempeño
5. Sesionesdeseguimientoalprograma
6. MonitoreodelDesempeño
LamatrizdelaFiguraNo.4-2seutilizatambiénparafacilitarestasdefiniciones.Enlaparteinferiorsedebendetallarlosindicadoresquesevanautilizarparamedircadaunodelosobjetivos.
capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón62 63capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón62 63
4. Desarrollo de indicadores
Los indicadores de desempeño deben seracordadospreviamenteporlosstakeholders delprocesodecapacitación.ConstituyenlacolumnavertebraldelaEvaluacióndeNivel4 y requieren un tratamiento especial. Sedebendefinirdemaneramuyprecisaparaqueexistaunentendimientototalsobresusignificado. A tal efecto, durante la etapade planeación, la información de cadaindicadorqueseconsiderenecesariomedir,se debe consignar en un “Diccionario deIndicadores”,similaralquesepresentaenlaFigura4-4yenelAnexo4-1.
La construcción de cualquier modelo osistema de indicadores se basa en trespreguntasbásicas:1)¿CuáleselIndicador?,2)¿Cómosecalcula?,y3)¿Cuálesson lasvariablesdeentrada?33.
Losindicadoressoncifrasqueseobtienenatravésdelanálisisdeactividadesyresultanderelacionarcantidadesprefijadasparaobtenervalores determinados. A cada indicador sedebevincularunametacuyocumplimientodaorigenaplanesdeacciónespecíficos.LaFiguraNo.4-3,presentaunformatosimpleparadesarrollarplanesdeacciónorientadosa cumplir con un objetivo particular ya establecer metas. La columna “PasosEspecíficos–VoyaHaceresto”consignalasaccionesnecesariasparaalcanzar lasmetas(Columna “Resultados Esperados - Paralograresto”).Lacomparaciónsistemáticadelos valores obtenidos ymás concretamentede la variación en el tiempo del valor delindicador,seutilizaparalatomadedecisionesyelmejoramientocontinuo.Laseleccióndelosindicadoresparamedirlosprogramasdecapacitación, depende de la naturaleza delprograma, de sus objetivos y del resultadoqueseesperaalcanzarunavezsedesarrolleelprograma.
33 Frederick W. Nickols, Frederick W “Finding the Bottom line payoff for training”. Publicado, en:elTraining and Development Journal delASTD,diciembre1979,pp.páginas54–63.
capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón62 63capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón62 63
Figura No. 4-2. Matriz de instrumentos de evaluación, objetivos e indicadores Nivel 4
Instituto de Estudios del Ministerio Público ‑ I.E.M.P.Evaluación Programas de Capacitación - Niveles 3, 4 y 5 Planificación proceso de evaluación
Nivel 4Programa Instructor
Fecha Horas Lugar
Objetivo General -
Expectativas del
Programa
DescribirelObjetivoGeneraldelProgramadeCapacitaciónylasexpectativasdelosdiferentesinteresados
“stakeholders”(Procurador,Delegados,I.E.M.P.,Ciudadanía,etc.).
Objetivos Específicos Nivel 4Indicador de Desempeño
1 Objetivo1
2 Objetivo2
3 Objetivo3
4 Objetivo4
5 Objetivo5
1.CuestionariosdeSeguimiento
2.MediciónProyectosRelacionados
4. Contratos de Desempeño 5.SesionesdeSeguimiento
7. Otro (Especificar) 8. Otro (Especificar)
Objetivos Específicos Nivel 4MétododeObtencióndeInformaciónparaEvaluaciónNivel4
1 2 3 4 5 6 7 81 Objetivo1
2 Objetivo2
3 Objetivo3
4 Objetivo4
5 Objetivo5
Comentarios:
Fuente: Adaptación de Focused Management de Colombia (FMICol) con base en textos del Imperial Executive LeadershipDevelopmentImperial,NationalBank,PatriciaPulliamPhillip,deHowtoMeasureTrainingResultsdeJ.J.PhillipsyR.D.StoneydesarrollospropiosdeFMICol
capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón64 6�capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón64 6�
Figura No. 4‑3. Planes de acción
Instituto de Estudios del Ministerio Público ‑ I.E.M.P.Evaluación Programas de Capacitación ‑ Niveles 3, 4 y 5 Planes de acción ‑ Evaluación Nivel 4
Programa Instructor
Fecha Horas Lugar
Participante Cargo
Objetivo
Indicadoramejorar Valoractual
ValorMeta
Pasosespecíficos:Voyahaceresto Resultadoesperado:paralograresto
1 1
2 2
3 3
4 4
5 5
6 6
BeneficiosIntangiblesesperados:
Comentarios:
capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón64 6�capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón64 6�
Todoloanteriorsignificaqueenlaprácticanoexistenindicadoresestándarparamedirel impactodeprogramasdecapacitación.Hoy en día, en las denominadas organizaciones con base enel conocimiento, el desempeño, además de medirse medianteindicadores de velocidad, eficiencia y resultados, se determinacadavezmásporfactorescomoporejemplo:experimentacióninteligente, ingenio, habilidades interpersonales, capacidad dereacciónyrecuperación34.
El Anexo 4-2 muestra una base de datos, que contiene másde300 indicadoresclasificadosendiferentescategorías35.EstabasededatossepuedeirenriqueciendoenlamedidaenqueelI.E.M.P.realiceevaluacionesdesusprogramasdecapacitación.
Losformatosanteriores,asícomoeldelaFigura3-2delcapítuloanterior,sehandesarrolladotodosenMSExcel.Sesugierequeenelcortoplazoestosformatosseconviertanaunsistemadeinformación robusto apoyado en una de las muchas bases dedatoscomercialesqueexistenenelmercadoy,preferiblemente,enunaplicativo especializado, lo cual daría agilidada todoelprocesodeevaluacióndelosdiferentesnivelesyengeneralalaadministracióndelosprogramas.
Unsistemaautomatizadopermitiríamantenerunrepositorioconinformaciónestructurada,válidaydefácilaccesoparatodoslosstakeholders,peroespecialmente,incrementaríalacapacidaddeplaneaciónyejecucióndelI.E.M.P.,alproporcionarherramientas,datos e información que permitan evaluar rápidamente losprogramasyanticiparseaproblemasydeficienciasfuturas,aligualquedesarrollarunacapacidaddeadaptabilidadyaprendizaje.
34Edmonson, Amy C, “The Competitive ImperativeofLearning”,en:Harvard Buisiness Review, July-August, 2008.
35Estos indicadores se obtuvieron manualmentedelaplicativoWLPScorecarddelASTydelLlibroHow to Measure Training Results,deJ.PhillipsyRonStone.
capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón66 6�capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón66 6�
36Este Diccionario de Indicadores es un formato que se utiliza para definir Indicadores bajo la disciplina del Balanced Scorecard(BSC).EnelCapítulo6,setrataeltemadelBSCdesdelaperspectivadelaMediciónyEvaluacióndeProgramasdeCapacitación.
Figura No. 4‑4 Diccionario de Indicadores36
Instituto de Estudios del Ministerio Público ‑ I.E.M.P. Evaluación Programa de Capacitación ‑ XYZ DICCIONARIO DE INDICADORES ‑ Instructivo
ObjetivoProgramaDescribirlosobjetivosgeneralesdelprogramadecapacitación,sualcance,aquiénesestádirigidoyquéseesperalograr.Describirlasexpectativasdelosdiferentes“stakeholders”
ProveedorContenido
NombreEntidadqueproveelaCapacitación/Contenido
Instructor(es) Inicia dd/mm/aa Finaliza dd/mm/aa
Perspectiva PerspectivadelBSC Objetivo Objetivoacumplir Dueño Dueño del Objetivo
IndicadorNro. N-XX NombreIndicador NombredelIndicador Dueño Dueño del Indicador
DescripciónIndicador BreveDescripcióndetalladadelindicador.Enquéconsiste,quépretendemedir.
¿Sepuedenobtenerdatosqueseanevidenciaclaradelindicador?
Si/No¿Elprogramageneraunimpactomedibleenesteindicador?
Si/No
¿Sepue-denaislarlosefectosdelprogra-maparamediresteindicador?
Si/No
GradodeComplejidadparaobteneresteIndica-dor
Alto Medio Bajo
ProbableRelaciónCausaEfecto Descripcióndelarelacióncausa-efectoquedebegenerarelindicador.¿Quédebedeocurrirsisecumpleelindicador?
TipodeIndicador Pasado/Presente/Futuro Frecuencia
Frecuen-ciademedi-ción
Unidad
Unidaddemedicióndelindica-dor
Polaridad ¿Quétipodevalorsedesea:altoobajo?
FórmuladeCálculo Detallarlafórmuladecálculodelindicador
Fuente(s)delosDatos ¿Cuálessonlasfuentesquevanasuministrarlosdatosnecesariosparaelcálculodelindicador?
CalidaddelosDatos
¿Qué tan confiables son los datos y/o las fuentes quelossuministran?
Receptordelosdatos:
¿Quién(es)es(son)el(los)receptor(es)delosdatos?
MetasdelIndicador
Proponermetasparaelindicador(valores)segúnconveniencia:manual,semestral,trimestralomensual,otra
BasedeComparación ¿Cuáleselpuntodepartidaparaelindicador?.Da-tospreviosantesdelprogramadecapacitación
Justificación delasMetas Explicarlasrazonesquerespaldanlasmetasquesehanestablecido
NotasSupuestosComen-tarios Espaciopararealizarcomentariosconrespectoalindicadorquedebasertenidoencuentaduranteelprocesodeevaluación
capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón66 6�capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón66 6�
duranTe del programa
Estainformaciónesuninsumo-input-paralasevaluacionesdetransferenciaydeimpacto.
5. Recopilar, registrar y procesar los datos de los Niveles 1 y 2.
después del programa
Consiste en la recolección de datos para calcular los indicadores relacionados con losobjetivosquesehanestablecidoparaelprograma.Losdatos-y/o los indicadores-ensumayoríadebenestardisponibles en las entidades,pueshacenpartedelprocesodeplanificaciónestratégica.Generalmente, losprogramasdecapacitaciónimpactanunoomás indicadoresdedesempeño,por lo tanto, laevaluaciónde impactocontemplaunacombinacióndedistintostiposdeindicadores.Losindicadoresseleccionadosylosmétodosde evaluación y recolecciónde información (ver Figuras4-2, 4-3 y4-4), determinan lacomplejidad del paso, los recursos, el tiempo y el costo necesarios para la efectuar laEvaluaciónNivel4.
6. Recopilar, registrar y procesar los datos de los Niveles 3 y 4.
capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón6� 6�capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón6� 6�
Todo programa de capacitación tiene comoobjetivogenerarunimpactoenlaentidad,elcual,enloposible,semideatravésdelosindicadoresquesehayanescogido.
Sin embargo, lo más común es que la variaciónen cualquier indicador no sea una consecuenciaexclusiva del programa de entrenamiento, sinotambién de otros factores, eventos y procesosinfluenciadores, así el programa haya sidodiseñado para mejorar resultados –indicadores–específicos.Enconsecuencia,almedirel impactode los programas vía la variación en uno o másindicadores, el cambio (positivo o negativo) quese presenta siempre es atribuible, además delprogramadecapacitación,afactorescomo:posiblesmodificacionesdeprocesosoprocedimientosquehayan tenido lugar, actualizaciones tecnológicas,programa de incentivos existente o que seestablezca,gradodeatenciónquelosjefesprestenaldesempeñoespecífico37,yfinalmenteafactoresexternos, por ejemplo cambios en el entorno,cambiosenlalegislación,etc.
DuranteelprocesodelaevaluaciónN4,escrucialidentificarlasvariablesqueinfluyenenlavariacióndelosindicadores.
Para ello, se debe recurrir a diversas fuentes,como por ejemplo: otros participantes en el
7. Aislar los efectos del programa.
programa,analistasdedesempeño,diseñadoresydesarrolladoresdelosprogramas,supervisoresdelosparticipantes,gerenciamediayalta,yenalgunoscasos, dependiendo del alcance del programa, ala ciudadanía. En todos los casos, como se tratadeestimativos,esnecesariovalidarlosyrealizarlosajustesnecesariosparaminimizarcualquiersesgoquepuedahaber.
Existeunaseriedetécnicasparaaislar,hastadondesea posible, los efectos del programa. Las máscomunes son: utilización de grupos de control,análisis de tendencias, proyecciones, estimativosrealizados por participantes, supervisores, la altagerencia,expertosy subordinados.Enel casodelasestimaciones,quieneslasrealizandebentenerautoridad (posición, conocimiento y experiencia)para hacerlas. De otra forma, el proceso pierdecredibilidad. El Anexo 4-3 presenta un formatobásicoqueayudaaaislarlosefectosdelprograma,loscualesdebenserdefinidosporlosparticipantesenelprocesodemediciónyevaluación.
37Seproducendosefectos:EldenominadoefectoHawthorn,enelcual.lasmejoresocurrenporquelaatenciónsefocalizaenellas;y el efecto Pigmaleon, por el cual los participantes mejoran sudesempeño, simplemente porque se espera que lo mejoren.
capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón6� 6�capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón6� 6�
Elobjetivoesentenderqué funcionócorrectamenteyquéno,afinde tomaraccionespreventivas. Estaactividadestáorientadaa validar el cumplimientodelpropósitode lacapacitaciónconlosresultadosdelaevaluación.
En el procesode análisis se deben tener en cuenta los siguientes aspectos: relevancia,consistenciayprecisióndelosdatos.Elanálisisdebehacerusodemétodosestadísticossencillos:resúmenes,comparaciones,relacionesentrevariables,dispersión,tendencias,etc.Noserequieredeejerciciosestadísticoscomplejos.Paralamayoríadelosprogramas,dosestadísticoscomunes,elpromedioyladesviaciónestándarproduceninformaciónvaliosa,especialmentecuandosecomplementanconunanálisisdecorrelaciónelcualestablecerelacionesentredistintasvariables.
Cuando el número de participantes en un programa es grande, no es práctico hacerevaluacionesconel100x100delosparticipantesysedebehaceraunamuestraválidadelapoblación.Siesteeselcaso,existenmétodosyaprobadosparaseleccionarunamuestraapropiadaquegaranticelaconfiabilidaddelosresultados38.
8. Analizar los datos
38Losmétodosestadísticospara loanteriornosonobjetodeestemanual. Se sugiere que se recurra a análisis sencillos y, en lamedidaqueseadquieraexperienciaolascondicioneslorequieran,se exploren mecanismos de análisis más sofisticados.
capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�0 �1capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�0 �1
EselpasofinaldelprocesoyconsisteenpresentaralasdiferentesdependenciasdelMinisterioPúblicolosresultadosdegeneracióndevalordelacapacitaciónanivelindividual,grupalyorganizacional.La comunicación de estos resultados como vehículo para dar a conocer la importancia de laevaluacióndebedirigirsealaaudienciaapropiadayestructurarseteniendoenmentelainfluenciaquepuedegenerarenaspectoscríticosparaelI.E.M.P.talescomo:estímuloalacredibilidad,apoyo,compromiso e interés a sus iniciativas, y asignación y aprobación de presupuestos para futurosprogramas.Elinformedebeserconciso.Sualcancelodeterminalasnecesidadesdelosstakeholders aquienessedirigeydebeconteneralmenos:a)unresumenejecutivo;b)datoseinformaciónquerespaldenlosresultados;c)explicacióndelametodologíadeevaluaciónydeobtencióndedatosyd)elanálisis,lasconclusionesylasrecomendaciones.Previoelinforme,esconvenientehacerselassiguientespreguntasconrespectoalaaudienciaalacualsevaadirigirelinforme:
¿Estánrealmenteinteresadosenrecibirlainformación?¿Cuáleselmomentocorrectoparaenviarleslainformación?¿Cómoprefierenqueselesinformesobrelosresultadosdelosprogramas?¿Puedenlosresultadosdelprogramaincomodar?
••••
9. Comunicar los resultados
Silascondicioneslopermiten,ydadalaimportanciadeesteniveldeevaluación,durantelospasosqueseincluyenenlasfasesantes,duranteydespués,esrecomendableaplicarlamuyreconocidametodologíadecontroldecalidadPHVA39(Planear,Hacer,ValidaryActuar),paragarantizarunprocesodeevaluaciónconresultadosmuchomásconfiables.
Lacomunicacióndelosresultadossepuederealizardeunavariedaddeformas.Normalmenteseutilizaalgúnsistemadeinformaciónquepermitaorganizarlosdatosdemaneraquesean fácilesdeentender 39“CiclodeCalidad”Demming.
einterpretar.LafiguraNo.4-5muestrauncuadrode control básico con información de resultadosclasificadosenseisdelasdimensionesmáscomunespara evaluar programas de capacitación. En estecaso,esimportantenotarqueenelmodelonosóloseestableceelvalorquesemide,sinoqueademáspresentaunabasedecomparación,quepuedeserlametaquesehabíaplanteado,unasituaciónanterior,unvalordeunaentidaddereferencia,otodas.
capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�0 �1capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�0 �1
Figura No. 4‑5 Ejemplos de perspectivas e indicadores de evaluación
Instituto de Estudios del Ministerio Público ‑ I.E.M.P.Evaluación Programas de Capacitación
Ejemplo Tablero de Control ‑ Programa XYZPerspectivadeEvaluación/Indicador VALOR
1.ACTIVIDAD
Númerodeparticipantes 117
Númerodesitiosdondeserealizólacapacitación 16
Númerodesesionesdeclasedictadas 66 COMPARACIÓN
2.CALIDAD
% de Satisfacción con el Desempeño General del Programa 78 78% 73%
% de Satisfacción con el Desempeño del Instructor 87% 81%
%deSatisfacciónconelContenidoyconlaMetodología 71% 79%
3.EFECTIVIDAD
% de participantes que experimentaron ganancias significativas en conocimiento yhabilidades
65% 63%
4.IMPACTOPROYECTADO
%departicipantesquetienenplanesdeaplicarelconocimientoylashabilidadesadquiridas
33% 61%
% de participantes que esperan que el desempeño en su trabajo mejoresignificativamente
56% 64%
% participantes que proyectaron mejoras en el desempeño debido a la capacitación
4% 6%
5.RESULTADOS
%departicipantesqueesperanqueelprogramaimpacteenlaproductividad 67% 62%
%departicipantesqueesperanqueelprogramaimpactelacalidad 41% 61%
6.VALOR
% que califican la inversión (tiempo y dinero) en el programa como que valió la pena
50% 57%
Proyección Razón costo-beneficio 1,83 3,23
NOTA:EstaTabladeControlesunejemploilustrativodealgunosdelasperspectivasbajolascualessepuedeevaluarunprogramaounconjuntodeprogramasdecapacitación.Detallaalgunasde lasgananciasendesempeñoquepuedenseratribuiblesalacapacitaciónyvinculalacapacitaciónconalgunosdelosresultadosdelnegocio.
capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�2 �3capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�2 �3
La figura anterior constituye sólo un ejemplo yno necesariamente un compendio de indicadoresestándares para medir y evaluar programas decapacitación,aunquealgunossepuedenutilizarenlagranmayoríadeprogramas.
Los indicadores críticos de desempeño siempreestán ligados a los objetivos del programa y a lanaturalezadelmismo.
Figura No. 4‑6 Ejemplo indicadores de evaluación
Evaluación Programas de Capacitación. Ejemplo de Tablero de Control ‑ Programa XYZ
Perspectiva/Indicador Referencia Meta Año2008
Ene-Mar Abr-Jun Jul-Sep Oct-Dic
Puntajes de Calificación Nivel 1
Desempeño de los instructores 92% 90% 68% 79% 92% 95%
Calidaddelprograma 90% 85% 80% 83% 82% 85%
Puntajes de Calificación Nivel 2
Logrodelosobjetivosdeaprendizaje 70% 90% 85% 90% 90% 92%
Efectividaddelaprendizaje 75% 70% 80% 75% 78% 80
Puntajes de Calificación Nivel 3
Númerodeinvestigacionesrealizadas 9 12 9 8 11 10
Puntajes de Calificación Nivel 4
Productividadporempleado $1.190.000 $2.250.000 $2.600.000 $2.000.000 $ 2.800.000 $3.000.000
Tiemponecesarioparaproducirimpacto(días) 95 70 85 78 70 72
Vínculosalosresultadosdelaentidad
Calidad 85% 85% 90% 90% 90% 90%
Reducción/AhorrosTiemposdeproceso(T/%) 15% 20% 5% 8% 12% 15
Incrementodelaproductividad 10% 15 10% 14% 15% 16%
Ahorros $2.000.000 $2.500.000 $2.100.000 $2.100.000 $2.300.000 $2.400.000
Satisfaccióndelosempleados 75% 85% 83% 85% 80% 88%
Satisfaccióndelosciudadanos 65% 80% 76% 76% 78% 80%
Ladisponibilidaddeformatosdeevaluaciónesmuyamplia.Cadaorganización,enestecasoelI.E.M.P.,desarrolla lospropiosyellodependede laculturaque exista en la entidad y especialmente de ladefiniciónquesehagadelaestrategiadeMedicióny Evaluación. Por ejemplo, las Figuras 4-6 y 4-7presentanotrasalternativasdemostrarindicadoresseleccionados enotras dimensionesde evaluación(desempeño, operativos, financieros, culturales)diferentesalasquesemostraronenlaFigura4-5.
capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�2 �3capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�2 �3
EnelAnexo4-4,sepresentanmodelosyejemplosadicionalesdeevaluaciónutilizandotablerosdecontrolquepuedenseradoptadosy/oadaptadosporelI.E.M.P.comoresultadodesuestrategíademediciónyevaluación.
EsimportantemencionarquequizáslaherramientamáspoderosadecomunicaciónqueexisteenlaactualidadeselBalanced Scorecard(BSC).Porestarazón,elúltimocapítulodeestemanualproponelautilizacióndelBSCcomounconsolidadormuyeficazparaevaluarlosprogramasdecapacitación,hacerleseguimientoalosobjetivoseindicadoresycomunicar/reportarlosresultados40.
40Inicialmentepropuestapor.Kaplan,R.Sy.Norton,D.P en su artículo “The Balanced Scorecard:Measures that Drive Performance”, en: HarvardBusiness Review, Enero – Febrero de 1992.LuegoformalmentedesarrolladaensuslibrosTheBalanced Scorecard: Translating Strategy intoAction,Boston,HBSPress,1996 ;TheStrategyFocusedOrganization,Boston,HBSPress,2001,yStrategyMaps,Boston,HBS,2004.
1y2
3
4
5
1.EnergíayEntusiasmo
2.Interacciónconparticipantes
3.PreparaciónyOrganización
4.Conocimientodelamateria
5.Incentivalaparticipación
6.AyudasAudiovisulaes
7.ComparativoInterno
8. Comprativo Externo
Figura 4‑7 Ejemplo de representación de indicadores de evaluación
Evaluación Programas de CapacitaciónEjemplo Tablero de Control ‑ Instructor XYZ
1 5% 20% 75%
2 5% 95%
3 100%
4 5% 20% 75%
5 15% 85%
6 15% 5% 80%
7 5% 20% 25% 50%
8 15% 5% 15% 65%
0% 20% 40% 60% 80% 100%
capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�4 ��capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�4 ��
¿Qué se requiere para realizar la evaluación de Nivel 4?
Evaluar el impacto en los términos descritos puede ser máscomplejo que evaluar algunos de los niveles precedentes.No sólo exige que los niveles anteriores se hayan evaluado,sino que además requiere que en la organización exista lacultura apropiada de medición para hacerlo41, que se hayanestructuradoprocesosformalesdeevaluacióndeldesempeñoy,especialmente,queexistaelcompromisodetodoslosagentesqueparticipan,desdelaaltadirección,hastalasorganizacionessindicales.
41La Procuraduría recientemente ha adoptado lametodologíadelBalanced Scorecard,locualdebefacilitarlosprocesosdemedicióndeNivel4.
capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�4 ��capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�4 ��
¿Qué se considera óptimo para la evaluación de Nivel 4?
DemaneracasiidénticaaloestablecidoparaN3,enelNivel4esdeseable:
1. Utilizargruposdecontrolcuandoseaprácticoyconveniente.
2. Dejar pasar un tiempoprudencial paraque losresultadosocurran.
3. Realizar una evaluación antes y después delprograma.Estaeslamejormaneradedeterminarquétantosehamodificadounindicadorcomoresultado del programa. En muchos casos estabase de comparación existe, pues se trata delos indicadores que maneja normalmente lainstitución.
4. Medir los indicadores en periodos de tiempoapropiados.
5. Tenerencuentaelcostovs.losbeneficiosdelaevaluación.
6. Cuando las pruebas no sean fácilmenteobtenibles,laevidenciapuedesersuficiente.
Lamayoríadelasconsideracionesquesehicieronenelparágrafo3.5anteriorsonválidasparaesteNivel.Valelapenamencionarqueenestecaso(EvaluaciónN4),generalmenteresultamuchomássencillomedirelcambioenunindicador(N4),puesenlamayoríadeloscasossetratadesituacionesconocidasyquesehanvenidomidiendo,comolaconductadelosparticipantes(N3)antesydespuésdelprograma.
capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�6 ��capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�6 ��
Al evaluar el impacto que los programas decapacitacióndelI.E.M.P.tienensobrelosresultadosindividuales, de área y de la entidad, se obtienedatos e información que evidencian la efectividadde dichos programas, se genera confianza entrelos stakeholders implicados y las directivas de lasentidades del Ministerio Público, se fortalecen losprocesosmisionalesenlamedidaenqueseevidencianyreconocenloscambiosymejorasimplementadas,yseinfluyenenelclimaylaculturalaboral.
La evaluación Nivel 4 es altamente productiva ysus resultados mucho más contundentes en lasorganizacionesenlascualeslosdiferenteselementosqueconformantodoslosprocesosrelacionadosconlagestióndeltalentohumano(capacitación,bienestar,carrera, compensación, etc.) están integrados enunasolaárea42,paraqueseproduzcalasinergíaquegeneranlasevaluacionesNivel4.
Una buena evaluación N4, provee mucha de lainformaciónrequeridaporlamayoríadestakeholders
¿Qué se puede esperar
de la evaluación nivel 4
42PorejemplolaGerenciadeTalentoHumano.
involucrados en los programas. El ejemplo de laGráfica No. 4-8 ilustra un tablero de control quecontiene una serie de indicadores con los cualessepuede resumirel resultadodeunprogramadecapacitación.
Sin embargo, tanto en los círculos académicos yprivadoscomoenlosoficiales,cadavezlapresiónporlosresultadosylacompetenciaalinteriordelasorganizacionesporlaasignacióndelosrecursosesmayor.
Esto impulsaaquienessonresponsablesderendircuentas,abuscarjustificacionesmássólidasparalasinversionesencapacitacióneirmásalládelascuatroevaluaciones tradicionales y complementarlas conel cálculo del Retorno sobre la Inversión (ROI), talcomosehaceparacualquierotrotipodeproyectosdeinversión.Elcapítulosiguiente,cubreestequintonivel (N5) de evolución para los programas decapacitación.
capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�6 ��capítulo 4. evaluacIón de IMpactoManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�6 ��
Figura No. 4‑8 Ejemplo integración indicadores de control
Evaluación Programas de CapacitaciónEjemplo Tablero de Control ‑ Programa XYZ
Concepto NúmeroEvaluaciones
NúmeroEventos
Respuestas Satisfacción EfectividadAprendizaje
ImpactoenTrabajo
ResultadosNegocio
ValorPercibido
ComparaciónExterna 63% 4,52 3,8 4,2 3,55 4,32
ComparaciónInterna 1600 70 60% 4,25 3,9 4,28 3,47 4,15
Metas 1800 75 70% 4,33 4,12 4,3 4 4,8
NuestroPromedio 1450 76 65% 4,28 3,96 4,1 4,7 4,53
NombredelPrograma/Ciudad/Instructor
NombredelPrograma/Ciudad/Instructor
NombredelPrograma/Ciudad/Instructor
NombredelPrograma/Ciudad/Instructor
NombredelPrograma/Ciudad/Instructor
NombredelPrograma/Ciudad/Instructor
NombredelPrograma/Ciudad/Instructor
NombredelPrograma/Ciudad/Instructor
NombredelPrograma/Ciudad/Instructor
NombredelPrograma/Ciudad/Instructor
Nota: Para las variables 1 a 3 se deben definir códigos de colores con base en la unidad de medición. Para las variables 4 a 8 se deben definir códigos de colores con base en calificaciones 1 y 2 (rojo), 3 (amarillo oscuro), 4 (amarillo) y 5 (verde)
t
capíTulo 5
cálculo del reTorno sobre la inversión
nivel 5
¿Quéeselcálculodelretornosobrelainversión(Nivel5)?
¿CómoeselprocesodeevaluaciónenN5?
¿Cómo se definen los beneficios intangibles?
¿Cómoseconviertendatosavaloresmonetarios?
¿Cómocalcularloscostosdelprograma?
¿QuéseconsideraóptimoparalaevaluacióndeNivel5?
t
cálculo del retorno sobre la InversIón nIvel �Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�0 �1cálculo del retorno sobre la InversIón nIvel �Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�0 �1
ElRetornosobrelaInversión(ROI)esuníndicequeseexpresaentérminosdeunporcentajeyqueevalúalosbeneficiosfinancierosdecualquiertipodeinversiónoproyecto,comparadosconsuscostos.EnaquelloscasosenqueseaposibleyademássejustifiquehacerestecálculoparalosprogramasdecapacitacióndelI.E.M.P.,elROIseconvierteenunindicadormásquemuestraelvalordelacapacitaciónentérminosdesucontribuciónmonetariaalosobjetivosdelasdiferentesentidadesdelMinisterioPúblico43.ParaqueelprocesodeROIseaviable,debeposeerunascaracterísticasesenciales:
Sersimple,fácildeentenderydeimplementar.
Notomarmuchotiemponiexigirderecursosespeciales.
Nosercostoso.
Enotraspalabras,sedebeestablecerunbalanceentrefactibilidad,simplicidad, credibilidad, solidez, flexibilidad y costos, peroespecialmente,paraasegurar su funcionamiento yefectividad,se debe contar con la aceptación de todos los agentes y“stakeholders” del proceso, como son: el área de recursoshumanos, laaltagerencia, lasentidadesdelMinisterioPúblico,losinstructores,investigadoreseincluso,cuandoseapertinente,lossindicatos.
•
•
•
¿Qué es el cálculo
del reTorno sobre la inversión n5?
43En teoría todo programa de capacitación debeser susceptible de ser justificado en términos del Retorno sobre la Inversión; sin embargo, estajustificación puede no ser siempre necesaria, prácticaodeseable.
cálculo del retorno sobre la InversIón nIvel �Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�0 �1cálculo del retorno sobre la InversIón nIvel �Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�0 �1
¿cómo es el proceso de evaluación en n5?
Jack Phillips y Ron Drew Stone desarrollaron un Modelo y unProcesoespecial parael cálculodelRetorno sobre la Inversión(ROI)enprogramasdecapacitación.LaTIRsecalculautilizandolafórmula:
En adición al ROI, otros dos indicadores de gran utilidad yestrechamente relacionados con el ROI son: 1) la relaciónbeneficio-costo del programa44, que resulta de dividir el valormonetario de los beneficios entre el costo; y 2) el período derecuperacióndelainversión.
Este capítulo se ha desarrollado tomado como referenciay adaptando a las circunstancias del Ministerio Público, losplanteamientosdePhillipsydeStone45cuyomarcoconceptualsevisualizaenlaFiguraNo.5-1.
roi =100 x (beneficios ToTales – cosTos del programa) / cosTos del programa
44Pesos retornados por cada peso invertido.Relaciones superiores a 1 son positivas entérminosdeROI,ymenoresa1generanunROInegativo.
45Philips, Jack y Stone, Ron, How to Measure Training Results: A Practical Guide to Tracking the Six Key Indicators,NewYork,porJackPhilipsyRonStone.McGraw-Hill,2000.
cálculo del retorno sobre la InversIón nIvel �Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�2 �3cálculo del retorno sobre la InversIón nIvel �Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�2 �3
Desarrollarobjetivos
entrenamiento
Desarrollarplanesde
evaluaciónydatosbase
Obtenerdatosduranteentrenamiento
Obtenerdatosdespuésdel
dntrenamiento
Aislarlosefectosdel
entrenamiento
Instrumentosdeevaluación
PlaneaciónEvaluación Obtencióndedatos
Fuente:HowtoMeasureTrainingResults,JackJ.PhillipsyRonDrewStone.
Figura No. 5-1. El Modelo y el Proceso ROI
(1) (2)(4) (5)(3)
cálculo del retorno sobre la InversIón nIvel �Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�2 �3cálculo del retorno sobre la InversIón nIvel �Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�2 �3
Esinteresantenotarqueesteprocesodediez(10)pasosesbastantesimilaraldescritoparalaEvaluaciónN4.Lospasos1a5(DesarrollarObjetivosdelaCapacitación,DesarrollarelPlandeEvaluaciónylosDatosBase,ObtenerDatosDurantelaCapacitación,ObtenerDatosDespuésdelaCapacitaciónyAislarlosEfectosdelaCapacitación)sonprácticamenteigualesalosdelNivel4,yporlotantoaplicanconsideracionessimilaresalasquesehicieronenelnumeral4.3delcapítuloanterior.EnelAnexo5-1,sepresentandosformatosguíaparaarecolecciónylaintegracióndedatos.
Apartirdelpaso6,ConvertirDatosenValoresMonetarios,elprocesosedireccionahaciaelcálculodelROI.AlgunasdelosresultadosquesehanidentificadoenelNivel4,debensermonetizados(Paso6).Estoesnecesarioparapoderestablecerunacomparaciónentrelosbeneficiosdelprogramayloscostosderealizarlo(Paso7),cuyoresultadosetraduceenelcálculodelROI(paso8).
Nosiempreesposibleodeseabletraducirbeneficiosentérminosmonetarios.Cuandoestoocurreesosbeneficiossimplementesereportancomobeneficiosintangibles(Paso9),quesiemresedebenincluirenelReporteoEstudiodeImpacto(Paso10),cuyaestructurayasemencionóenelcapítuloanterior.
Aislarlosefectosdel
entrenamiento
Convertirdatosenvaloresmonetarios
Calcularelretornoenlainversión
(ROI)
Identificarcostosdel
entrenamiento
Identificarbeneficiosintangibles
Generar estudio de impacto
Análisisdedatos Reportes
IndicadoresdeIntangibles
(6)
(7)
(8)
(9) (10)
cálculo del retorno sobre la InversIón nIvel �Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�4 ��cálculo del retorno sobre la InversIón nIvel �Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�4 ��
¿cómo se definen
los beneficios inTangibles?
Sonvaloresagregadosquenosepuedenexpresaroconvertirdemaneraobviaosencillaentérminosdeunvalormonetario,bienseaporquenoesfactibleaislarelefectoauncostorazonable,o porque simplemente se prefiere así. Un impacto en laorganizaciónquenopuedasermedidoentérminosmonetarios,nosepuedecompararconsucostodeejecución,porlotantono es posible calcular el costo–beneficio o el retorno sobre lainversión de ese programa. Ejemplos de beneficios intangiblesderivadosdeiniciativasdecapacitaciónson:mayorcompromisoorganizacional,mayortrabajoenequipo,retencióndeempleados,disminucióndequejas,reduccióndeconflictitos,satisfaccióndelosempleados,etc.46.Losbeneficios intangibles sonunaúltimadimensión que es importante considerar cuando se evalúanprogramasde capacitación.Muchosde los indicadoresque seobtienen en N1 y N2, pueden catalogarse como “beneficiosintangibles”47.
46 Todos los beneficios mencionados pueden ser monetizados, pero no siempre es práctico odeseablehacerlo.
47Philips,JackyStone,Ron.Op.Cit.p.45.
cálculo del retorno sobre la InversIón nIvel �Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�4 ��cálculo del retorno sobre la InversIón nIvel �Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�4 ��
¿cómo se convierTen
daTos a valores moneTarios?
Para completar el proceso de cálculo del Retorno sobre laInversión(ROI)queevalúaelverdaderovalorde losprogramasde capacitación y entrenamiento, y los coloca en el mismonivel de otras inversiones que realice el Ministerio Público,es necesario expresar los resultados bajo un denominadorcomún: dinero. Los datos y/o indicadores se clasifican en dostipos: datos duros y datos blandos. Los primeros se refierena los indicadores tradicionales que existen en la entidad ygeneralmenterepresentanunresultado:lacalidad,loscostosoel tiempo de los procesos internos. Generalmente, los “datosduros” son objetivos, constituyen los indicadores comunes dedesempeño, son relativamente fáciles de medir, cuantificar yasignarles un valor monetario, y por su naturaleza, tienen unaltoniveldecredibilidadporpartedelaaltagerencia.Encuantoa los“datosblandos”,estos se caracterizanpor ser subjetivosenmuchoscasos,difícilesdemedir,cuantificaryasignarlesunvalordemaneradirecta.Sonmenoscreíblescomo indicadoresdedesempeñoypor logeneralsondetipoconductual.Comosemencionóanteriormente,elAnexo4-248incluyeunnúmeroextenso de ambos tipos de indicadores. Para efectos de laevaluación Nivel 5, dependiendo del programa a evaluar, sedeben seleccionar y/o diseñar los indicadores apropiados parasertransformadosenvaloresmonetarios. 48 Este compendio de indicadores es sólo una
referenciaynodebeconsiderarseexhaustivo.Eldiseño de los indicadores debe ser propio para cadaprogramaydependedelasexpectativasdelosstakeholders.
cálculo del retorno sobre la InversIón nIvel �Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�6 ��cálculo del retorno sobre la InversIón nIvel �Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�6 ��
La transformación de los resultados en valores monetarios serealizautilizandounoovariosdelosmecanismosqueselistanacontinuación:
1.Convertirresultadosencontribuciones.
Elvalordelresultadoincrementalsepuedeobtenerodeterminarnormalmentedelosregistroscontables.Enlasentidadesdelsectorpúblico,elvalorgeneralmentesereflejaenlosahorrosacumuladosqueselogren.
2.Calcularelcostodecalidad.Elcostodecalidadesunindicadorimportanteencualquierorganización.
Comolamayoríadelosprogramasdecapacitaciónestánorientadosamejoraralgúntemadecalidad,sedebeestablecerunvalorparalamejoraenelindicadordecalidad.
3.Reduccióndetiempos.
Lareducciónenlostiempospararealizarunatareaesunobjetivocomúndemuchosprogramas,porlotantoesviablecalcularelahorroenmanodeobra.
cálculo del retorno sobre la InversIón nIvel �Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�6 ��cálculo del retorno sobre la InversIón nIvel �Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�6 ��
Lostresmecanismosanterioressonlosmásdirectosysencillosdeutilizar.Enocasionesesnecesariorecurriraotros,notanobviosyquepuedensignificarunmayorgradodedificultadounmenorgrado de precisión y confiabilidad. Por ejemplo: uso de datoshistóricos,utilizacióndeexpertos internosyexternosparaqueestimenelvalordelasmejoras,utilizacióndeestimativosdelosmismosparticipantesenlosprogramas,odesussupervisores.
Ninguno de los métodos descritos produce un cálculo exactode losbeneficios,pero siunaaproximaciónbastante real,quesedebeutilizarconcriterioysustentarsólidamente.ElRetornosobrelaInversiónenrealidadesunindicadordelvalorpercibidoporlosstakeholders,ycomosemencionóantes,estevalorpuedeser,ydehecholoes,diferenteparacadagrupodeinteresados.
En ladefinicióndelmecanismoparavalorizar losbeneficiosesnecesariotenerencuenta:
a)Eltipodeindicador(duroosuave);
b)Elgradodeprecisiónqueofrece;
c)Ladisponibilidadyconvenienciadelosdatosaobtener;
d)Minimizareltiemporequeridoparahacerlaconversión;
e)Utilizarvariosmecanismoscuandoseaviabley
f)Cuandoseanecesariorecurriralaopinióndeterceros,asegurarsequeseanexpertoseneltema.
Enresumen,paraconvertirdatosenvaloresmonetarios,sedebenrealizarlossiguientescuatropasos:
Determinar la unidad de mejora. ¿Quéindicador debe ser impactado por elprogramadecapacitación?Porejemplo:tiempo para procesar expedientes,disminución del desperdicio, ahorro encostosdeviaje,etc.
Determinar el valor de cada unidad.¿Cuál es el valor de una unidad delindicador del paso anterior? Porejemplo, tiempo de procesamientode un expediente, una unidad dedesperdicio,valordelosviajes.
anexosManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�� ��
Determinar cuál ha sido la variaciónenelniveldeldesempeño.¿Encuántovarióelindicadorduranteelperíodoqueseestáanalizando?
Calcular el valor monetario de lamejora. Es el resultado de multiplicarelvalordecadaunidad(paso2)porlavariaciónenelvalordelindicador.
LafiguraNo.5-2,esunejemplodeuncuestionariosencilloquefacilitalaidentificaciónyelprocesamientodelospasosanteriores.El ejemplohace referencia al tipodepreguntasque sedebenrealizarparaidentificarelvalordeloscambioscuandosetratadedatosdurosydatosblandos.Laspreguntassedebenadaptardeacuerdoalprograma.
anexosManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�� ��
cálculo del retorno sobre la InversIón nIvel �Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�0 �1cálculo del retorno sobre la InversIón nIvel �Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�0 �1
El segundo componente para el cálculo delRetorno sobre la Inversión es la identificación delos costos asociados al programade capacitación.Por logeneral,esmásfácilestimar loscostosquelos beneficios. Los costos tanto directos comoindirectos,debenserprecisos,confiablesyrealistas.Normalmente, las organizaciones tienen claridadsobre el presupuesto total de capacitación, perocon frecuencia se desconocen los costos de losprogramasespecíficos.Larelaciónentre loscostosy los beneficios de los programas de capacitaciónesdirecta.
En términos generales los diferentes rubros decostos se pueden clasificar en cuatro categorías:Análisis, Desarrollo, Ejecución y Evaluación. Siexistendatosconfiablesaniveldecentrosdecostosodeprocesos,paraobtenerunamayorprecisiónesposibleasignarlealprogramauncostorelacionadoconlosgastosgeneralesdelI.E.M.P.
¿cómo calcular
los cosTos del programa?
49Porejemplocuandoexisteinformacióncontableoadministrativaaniveldecentrosdeservicioscompartidos.
De la misma manera, asignar gastos distribuidosprovenientes de otros conceptos de gastos49,contribuye una mayor exactitud en el cálculo decostos y por ende del Retorno sobre la Inversióndel programa. Lo anterior completa la informaciónnecesariaparaelcálculodelROI.ElAnexo5-2presentadosposiblesformatosaserutilizadosenlavaloracióndeloscostosdelosprogramasdecapacitación.
Unopresentaundetalledeloscostosmáscomunesrelacionadosconunprogramadeentrenamiento.Elsegundomuestraunaguíaparaestablecerunapro-ratadeloscostosdeposprogramas.Estosformatos,comolagranmayoríaquesehanpresentadoenestemanual,debenseradaptadosalasnecesidadesyalarealidaddelI.E.M.P.,odelMinisterioPúblicoodelosprogramas.EsteanexotambiénsehadesarrolladoenExcelycomosecomentóanteriormente,loidealseríaqueformarapartedelsistemadeinformacióndelprocesodecapacitación.
cálculo del retorno sobre la InversIón nIvel �Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�0 �1cálculo del retorno sobre la InversIón nIvel �Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�0 �1
Figura No. 5‑2 Determinación Valores Monetarios
Instituto de Estudios del Ministerio Público ‑ I.E.M.P.Evaluación Programas de Capacitación ‑ Nivel 5Tasa Interna de Retorno ‑ Valores Monetarios
Programa Instructor
Fecha Horas Lugar
ObjetivoGeneral-ExpectativasdelPrograma
Describir el Objetivo General del Programa de Capacitación y las expectatias de los diferentes interesados“stakeholders”(Procurador,Delegados,I.E.M.P.,Ciudadanía,etc.).
PREGUNTASAREALIZARSOBREDATOSDUROS
Pregunta Valor Comentarios
¿CuáleselValordeunaunidadadicionaldeservicio?
¿Cuál esel valor de reducir enunaunidadel indicadorde calidad?(desperdicio,errores,etc.)
¿Cuáleselvalordemejorarenunaunidaddetiempo
¿Cuántovalenlosahorrosencostosdirectosquegeneralamejora?
PREGUNTASAREALIZARSOBREDATOSBLANDOS
Pregunta SI/NO Comentarios
¿Estándisponiblesregistrosdeloscostos?
¿Existeunexpertointernoquepuedaestimarlosvalores?
¿Existen datos en otras entidades u organizaciones que se puedanutilizarparaestimarelvalor?
¿Puedenlossupervisoresdelosparticipantesenelprogramaestimarlosvalores?
¿EstálaAltaGerenciadispuestaaproveerunestimadodelvalor?
¿Losentrenadorestienenlaexperienciayelconocimientoparaestimarelvalor?
cálculo del retorno sobre la InversIón nIvel �Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�2 �3cálculo del retorno sobre la InversIón nIvel �Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�2 �3
Ejemplo A.
Ejemplo B.Aumentoencostos,
mismoniveldebeneficios
Ejemplo C.Disminuciónencostos,
mismoniveldebeneficios
100 X
100 X
100 X
$ 10.000.000 ‑ $ 4.500.000
$ 4.500.000
$ 10.000.000 ‑ $ 7.000.000
$ 7.000.000
$ 10.000.000 ‑ $ 3.000.000
$ 3.000.000
= 111 %
= 43 %
= 233 %
Figura No. 5-3. Ejemplo Retorno sobre la Inversión
LafiguraNo.5-3muestraconunejemplosimpleelefectodeRetornosobrelaInversiónalincrementarodisminuirloscostosdelprograma,manteniendoelniveldebeneficiosconstante.
cálculo del retorno sobre la InversIón nIvel �Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�2 �3cálculo del retorno sobre la InversIón nIvel �Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�2 �3
¿Qué se considera ópTimo para la evalación de nivel 5?
abcd
f
h
e
Utilizargruposdecontrolcuandoseaprácticoyconveniente.
Dejarpasaruntiempoprudencialparaquelosresultadosseden.
Medirlaproductividadoeldesempeñoantesdelentrenamiento.
Medir la productividad o el desempeñodespuésdelentrenamiento.
Medirlavariacióndelaproductividadoeneldesempeño.
Traducir la variación en términosmonetarios.
Restarloscostosdelentrenamiento.
CalcularelROI.
Siendo consecuentes con los desarrollos gerenciales de laProcuraduría, este sistema de información puede y debecomplementarse con el desarrollo de un Balanced ScorecardparaelProcesodeCapacitación.
Elcapítulosiguienteplanteaydesarrolla losconceptosbásicosquedebenformarpartedeesteúltimoelementodeevaluación.
balanced scorecard¿QuéeselBalanced Scorecard?
¿CómoseutilizaelBSC?
capíTulo 6
capítulo �. la evaluacIón de los InstruMentosManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�6 ��capítulo �. la evaluacIón de los InstruMentosManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�6 ��
¿Qué es
el balanced scorecard? La metodología del Balanced Scorecard (BSC) seha venido utilizando desde hace más de 15 añosparaayudaratodotipodeorganizacionesendostemas clave: medición efectiva del desempeño eimplementación y comunicación de la estrategia.El BSC consiste de la selección cuidadosa deobjetivoseindicadoresydeladescripcióndemetas
50Enocasionespuedeserrecomendableincluirotrasperspectivascomoporejemplo:entornoysatisfaccióndelosempleados.Estodependedelgradodedetallequesequieraalcanzary/odelimpactoquepuedantenerlasperspectivasadicionalesenlaorganización.
e iniciativas vinculadas con los objetivos quedefinenlaestrategiadecualquierorganización
(pública, privada o sin ánimo de lucro).La construcción del BSC se inicia con la
definiciónquesehacedelosobjetivoseindicadores.Todoindicadorserelacio-
naconunobjetivoydebeserasigna-doaunadelas4perspectivasdel
Balanced Scorecard (Financiera,Clientes/Ciudadanos, Proce-
sosInternosyAprendizajeyCrecimiento)50 (ver Figura
No.6-1).
Indicadores EstratégicosCómosevaamediryamonitorearelÉxito
VISIÓN¿Adóndesevaa
llegar?
ESTRATEGIA¿Cómosevaallegar?-Prioridades
Objetivos EstratégicosLoquesedebehacerparaimplementarlaEstrategia
CiudadanosProcesosInternos
AprendizajeyCrecimiento
FinancierosPresupuesto
CiudadanosProcesosInternos
AprendizajeyCrecimiento
FinancierosPresupuesto
Misión - Valores
Figura No. 6-1. Marco de Referencia BSC
capítulo �. la evaluacIón de los InstruMentosManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�6 ��capítulo �. la evaluacIón de los InstruMentosManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�6 ��
Definidos los objetivos y los indicadores de cadaperspectiva, se construye lo que se denominaun mapa estratégico, que se define como unarepresentacióngráficadeldestinode laorganiza-ción, en el cual, la totalidad de los objetivos/indicadores, se encuentran vinculados entre sí através de relaciones causa-efecto, que se derivande la estrategia de medición y evaluación de losprogramasdecapacitacióndelMinisterioPúblicoysepuedeaplicara toda laestrategiadecapacita-ciónoacadaunodesusprogramas.
51Objetivosdelaestrategiageneraldecapacitaciónydeinvestigación.
Perspectiva del cliente.Semanejanobjetivosrelacionadosconaquelloquelosprogramasdecapacitaciónofrecenalosdiferentes“clientes”delproceso.LosobjetivosdeNivel3sontípicosenestaperspectiva.
Perspectiva de aprendizaje y crecimiento.NormalmenteseincluyenlosobjetivoseindicadoresdelosNiveles1y2,ypuedetambiénincluiralgunosindicadorescorrespondientesalNivel3.
Perspectiva financiera.Seestablecenobjetivos/indicadoresquetenganunaimplicaciónfinanciera;porejemploretornosobrelainversión,retencióndeempleados,financiacióndelosprogramas,reduccióndecostos,presupuestodeoperación,etc.GeneralmenteseasimilanamuchosdelosobjetivosdeN4.ElobjetivodeRetornosobrelaInversión(N5)siemprehacepartedeestaperspectiva.
Perspectiva procesos internos.Seasocianaestaperspectivaaquellosobjetivosqueestánorientadosaproducircambiosenelcomportamientooenlosprocesosinternosdelaentidad.MuchosobjetivosdeNivel3puedenasignarseaestaperspectiva.
ElBalanced Scorecardyelmapaestratégicosondosherramientascomplementarias.Enelcasodelprocesodecapacitación,elBSCdebe incluir losobjetivosdelprograma general de capacitación51 sus respectivosindicadorescríticosdedesempeño(ICD)delosNiveles1a5, lasmetasparacada indicadory las iniciativasque se proponen para alcanzarlas. Este marco dereferencia encaja adecuadamente con el desafío demediryevaluarprogramasdecapacitaciónyhaceparteintegraldelametodologíayherramientaspropuestasporKirkpatrickensusmásrecientespublicaciones.
capítulo �. la evaluacIón de los InstruMentosManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�� ��capítulo �. la evaluacIón de los InstruMentosManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�� ��
Enelsectorprivado,estarelaciónseiniciadesdelaperspectivafinancieraypasandoporladeclientesyladeprocesosinternos,bajahastaladeaprendizajeycrecimientoatravésdeunasecuenciadepreguntassimilaresa:¿Cómoseexpresaeléxitofinanciero?,¿qué debemos hacer con los clientes para lograreste resultado?, ¿en qué procesos debemos serexcelentesparalograrlafidelidadysatisfaccióndelos clientes y cumplir la promesa de valor que seleshace?yfinalmente,¿quétipodeorganización,de conocimientos y de infraestructura tecnológicasedebedesarrollarparaquelosprocesosfuncionencomoseespera?
En el sector público normalmente las entidadesno buscan un objetivo financiero. Su misión porlo general, se expresa en términos de servicios ala ciudadanía, lo que se logra asegurando que secuenta con los recursos financieros para alcanzaresosobjetivos.LametodologíaparadesarrollarunBSCenelsectorpúblicoesexactamentelamisma.Ladiferenciaestribaenelfinúltimoyentérminosprácticosenlasecuenciadepreguntas.¿Cuáleslamisión de la organización? ¿qué servicios se vana proporcionar a los ciudadanos?, ¿mediante quéprocesos se van a lograr?, ¿qué organización sedebedesarrollar?y¿cómosevaafinanciar?,¿quéfuentesdeingresos(presupuesto)serequiereparaello?52.
53En ocasiones es aconsejable incluir otras como, por ejemplo,EntornoySatisfaccióndelosempleados.
Este marco de referencia encaja adecuadamentecon el desafío de medir y evaluar programas decapacitaciónyhaceparteintegraldelametodologíay herramientas propuestas por Kirkpatrick en susmásrecientespublicaciones.
A tal efecto, el BSC se constituye en unaalternativa adicional para que el I.E.M.P. gestionelos programas, monitoree su desempeño, tomedecisiones estratégicas y tácticas en el presentey en el futuro, identifique problemas, corrijadesviaciones y comunique a los delproceso los resultados. Partiendo de la estrategiageneral de capacitación y de los objetivosgeneralesyparticularesdecadaprogramaydesusindicadoresenlosnivelesdeevaluación,sepuedenutilizar las perspectivas tradicionales del BSC53(Financiera,Ciudadanos/Clientes,ProcesosInternosy Aprendizaje y Crecimiento) para estructurar unsistemadeinformaciónágil,quepermitavisualizaren una sola página, el estado y resultados tantodel programa global como de los programasindividuales.
52Nieven,Paul,BalancedScorecard.StepbyStep forGovernmentand Nonprofit Agencies, New Jersey, John Wiley & Sons Inc., 2003.
capítulo �. la evaluacIón de los InstruMentosManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�� ��capítulo �. la evaluacIón de los InstruMentosManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón�� ��
¿cómo se uTiliza el bsc?
Enestemanual,elalcancequesedaalautilizacióndel BSC y a los mapas estratégicos es limitado.Se circunscribe a presentar la utilización de laherramienta como un medio para consolidar,retroalimentarycomunicarlosresultadosvitalesdelos diferentes niveles de evaluación y presentarlosde una forma gráfica, coherente que sea fácil deentenderyutilizar,queseafácildeentenderyutilizar,y permita, para luego ser utilizados dispuestos,como parte de un sistema de información másrobusto,ysiesposibleautomatizado,quefacilitelatomadedecisiones.TodoellocontribuyedemaneraimportanteaquetantoelI.E.M.P.comolasentidadesdelMinisterioPúblicoavancenenel caminohaciauna “Organización que Aprende”, las que PeterSengedefineenLaQuintaDisciplina54como:
“…organizaciones donde la gente expande continuamente su capacidad para crear los resultados que verdaderamente desean, en donde se alimentan modelos nuevos de pensamiento, en donde la aspiración colectiva es libre y en donde las personas aprenden continuamente a ver las cosas como un todo…”
LaprácticaconBSCrecomiendanoincluirunnúmeroexcesivodeindicadores.Porlogeneralacadaobjetivo
55 Este valor se refiere al punto de partida del indicador. Puede ser el valormásrecientedelindicador,unpromedio,etc.
seasignaun indicador,peroenalgunasocasionesaunobjetivoselepuedenasignardosindicadores.LaFiguraNo.6-2,presentaunadelasmuchasvariacionesquesepuedendardeunformatoestándardeBSC.El Anexo 6-1 contiene formatos que pueden serutilizados/adaptadosparadesarrollarunBSC.
Enlacolumna“NombreIndicador”seconsignanlosindicadores de cada perspectiva. A continuación elvalorbaseodereferenciadelindicador55yenseguidalametaquesehaestablecido.EnlascolumnassiguientesseestablecenloslímitesylosvaloresqueseconsideranInaceptablesyAceptablesyen laúltimacolumnaseanotaelvalordelindicadorquesehaobtienecuandoserealizalamedicióndespuésdelprograma.LaimplementacióndelBSCparaelprocesodeGestióndel Conocimiento en el I.E.M.P. y en el MinisterioPúblico, es una opción que debe ser analizada ala luzde laspolíticas yde losprocesosactualesdeGestión del Desempeño en la Procuraduría. Lomás recomendable es que se utilice el esquemaque actualmente se ha implantado y se adapte entérminos de los objetivos e indicadores apropiadospara los programas de capacitación, ya que estosconstituyenlaclavedeléxitodelBSC.
54Senge, P. M. The Fifth Discipline. The art and practice of the learning organization.London.RandomHouse.1990.
capítulo �. la evaluacIón de los InstruMentosManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón100 101capítulo �. la evaluacIón de los InstruMentosManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón100 101
Figura No. 6‑2 Formato Genérico de Balanced Scorecard
Instituto de Estudios del Ministerio Público ‑ I.E.M.P.Evaluación Programa de Capacitación ‑ XYZ
Balanced Scorecard ‑ Programas de CapacitaciónPERSPECTIVA Código NOMBRE
INDICADORVALORBASE
META RANGOSDELAMETA VALORREALINACEPTABLE ACEPTABLE
1.CLIENTES IC1 PuntajesdeEvaluaciónNivel3
Límite Valor Límite Valor
IC2 Númeroempleadospromovidos
IC3 Resultadoencuestadeclima
2.PROCESOSINTERNOS
IP1 Sesionesdecoachinglideradasporelgerente
IP2 Númerodepublicacionesrealizadas
IP3 Reducción en tiempos deprocesamiento
IP4 Entrevistas de seguimientorealizadas
3.APRENDIZAJE
YCRECIMIENTO
IAC1 CartadeFelicitaciónescritas
IAC2 Empleados Certificados
IAC3 Gerentes certificados como coaches
IAC4 DesarrollodeNuevosCursos
4.FINANCIERA IF1 TasaInternadeRetorno
IF2 Lealtaddelosempleados
IF3 CostosdeEntrenamientoporempleado
IF4 GastosDepartamentodeEntrenamiento
capítulo �. la evaluacIón de los InstruMentosManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón100 101capítulo �. la evaluacIón de los InstruMentosManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón100 101
En este caso, como en las Evaluaciones de Nivel 3, 4 y 5, laherramientaqueseanexaesunahojaMSExcel,confuncionalidadlimitada. Por ejemplo, sólo se muestra el valor real para unamedición,cuandonormalmente lamediciónde los indicadoresse realiza periódicamente. Generar un BSC de esta manera,así como realizar evaluaciones N3, N4 y N5 con este tipo deherramientas100x100manuales,puedeimponerunacargadetrabajosignificativaydemandarrecursosadicionalesalI.E.M.P.yalMinisterioPúblico.
Elusodetecnologíasapropiadas,sibienrequierendeunainversióninicial en plataformas (hardware, software y comunicaciones),y posteriormente en su mantenimiento, es muy probable queenunplazocorto, lamayoreficiencia-costoytiempo-en ladiseminación, captura, procesamiento, análisis y generaciónde reportes, justifique adoptar estos nuevos esquemas tantopara la realización de temas específicos de capacitación quese presten para utilizar esquemas mixtos de e-learning yaprendizajepresencial,comoparaelcontroldetodoelprocesode capacitación, desde la evaluación de necesidades hasta laevaluaciónderesultados,incluidoelBSC.
Lomásapropiadoparael I.E.M.P.es iniciar,partiendodelBSCdel I.E.M.P., con un BSC y un mapa estratégico que refleje laestrategiageneraldemediciónydecapacitación; luego,en lamedida en que la organización y las entidades del MinisterioPúblicosehayansensibilizadodebidamente,sepuedeprocederyrealizarunprocesoencascada,atravésdelosobjetivosdelaestrategiageneral, enel cual sedesarrolleunBSCyunmapaestratégicoparacadaunodelosprogramas(verFigura6-3).
El llegar a un desarrollo como el propuesto anteriormenterequieredeunprocesoprogresivo.Antesdeincursionarconlametodología del Balanced Scorecard, es recomendable que seadquieraexperienciacon laelaboraciónde tablerosdecontrolcomolosquesepresentanenelAnexo4-4.
capítulo �. la evaluacIón de los InstruMentosManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón102 103capítulo �. la evaluacIón de los InstruMentosManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón102 103
Figura No. 6.3BSC-Proceso en Cascada
Nivel Estratégico (BSC I.E.M.P.)
CulturadeVentas
MejorarHabilidades
Personal
AdquisicióndeTecnología
DesarrolloNuevos
Productos
ReducirCostospor
Unidad.
GestiónVisitasClientes
EvacuaciónInventarios
InformaciónPrecisa
MejorarprocesoAdministracióndeVentas
ParticipaciónMercado
SatisfacciónClientes
ServicioExcepcional
RendimientoRentable Desempeño
Operativo
ExpectativasSocios
ReducirTiemposProcesos
CLI
ENTE
SPR
OC
ESO
S IN
TER
NO
SA
PREN
DIZ
AJE
C
REC
IMIE
NTO
PercepciónClientes
CulturadeVentas
MejorarHabilidades
Personal
AdquisicióndeTecnología
DesarrolloNuevos
Productos
ReducirCostospor
Unidad.
GestiónVisitasClientes
EvacuaciónInventarios
InformaciónPrecisa
MejorarprocesoAdministracióndeVentas
ParticipaciónMercado
SatisfacciónClientes
ServicioExcepcional
RendimientoRentable Desempeño
Operativo
ExpectativasSocios
ReducirTiemposProcesos
CLI
ENTE
SPR
OC
ESO
S IN
TER
NO
SA
PREN
DIZ
AJE
C
REC
IMIE
NTO
CulturadeVentas
MejorarHabilidades
Personal
AdquisicióndeTecnología
DesarrolloNuevos
Productos
ReducirCostospor
Unidad.
GestiónVisitasClientes
EvacuaciónInventarios
InformaciónPrecisa
MejorarprocesoAdministracióndeVentas
ParticipaciónMercado
SatisfacciónClientes
ServicioExcepcional
RendimientoRentable Desempeño
Operativo
ExpectativasSocios
ReducirTiemposProcesos
CLI
ENTE
SPR
OC
ESO
S IN
TER
NO
SA
PREN
DIZ
AJE
C
REC
IMIE
NTO
FIN
AN
CIE
RA
FIN
AN
CIE
RA
FIN
AN
CIE
RA
PercepciónClientes
capítulo �. la evaluacIón de los InstruMentosManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón102 103capítulo �. la evaluacIón de los InstruMentosManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón102 103
Nivel Táctico (BSC de cada programa)
CulturadeVentas
MejorarHabilidades
Personal
AdquisicióndeTecnología
DesarrolloNuevos
Productos
ReducirCostospor
Unidad.
GestiónVisitasClientes
EvacuaciónInventarios
InformaciónPrecisa
MejorarprocesoAdministracióndeVentas
ParticipaciónMercado
SatisfacciónClientes
ServicioExcepcional
RendimientoRentable Desempeño
Operativo
ExpectativasSocios
ReducirTiemposProcesos
CLI
ENTE
SPR
OC
ESO
S IN
TER
NO
SA
PREN
DIZ
AJE
C
REC
IMIE
NTO
PercepciónClientes
CulturadeVentas
MejorarHabilidades
Personal
AdquisicióndeTecnología
DesarrolloNuevos
Productos
ReducirCostospor
Unidad.
GestiónVisitasClientes
EvacuaciónInventarios
InformaciónPrecisa
MejorarprocesoAdministracióndeVentas
ParticipaciónMercado
SatisfacciónClientes
ServicioExcepcional
RendimientoRentable Desempeño
Operativo
ExpectativasSocios
ReducirTiemposProcesos
CLI
ENTE
SPR
OC
ESO
S IN
TER
NO
SA
PREN
DIZ
AJE
C
REC
IMIE
NTO
CulturadeVentas
MejorarHabilidades
Personal
AdquisicióndeTecnología
DesarrolloNuevos
Productos
ReducirCostospor
Unidad.
GestiónVisitasClientes
EvacuaciónInventarios
InformaciónPrecisa
MejorarprocesoAdministracióndeVentas
ParticipaciónMercado
SatisfacciónClientes
ServicioExcepcional
RendimientoRentable Desempeño
Operativo
ExpectativasSocios
ReducirTiemposProcesos
CLI
ENTE
SPR
OC
ESO
S IN
TER
NO
SA
PREN
DIZ
AJE
C
REC
IMIE
NTO
FIN
AN
CIE
RA
FIN
AN
CIE
RA
FIN
AN
CIE
RA
PercepciónClientes
conclusiones
capíTulo 7
Es importante insistir nuevamente en que las herramientas que se han presentado y propuesto en los capítulos de este manual, son sólo ejemplos que siempre deben ser adaptados a la realidad del I.E.M.P. La experiencia en su uso conducirá a desarrollar listas de chequeo, entrevistas/sondeos/encuestas con algún grado de estandarización, indicadores duros y blandos, etc., que puedan ser reutilizados haciendo las adaptaciones necesarias. En resumen, en el diseño de la estrategia de medición y evaluación de los Programas de Capacitación del I.E.M.P., se debe tener como supuesto que el arte de gerenciar radica en la gerencia del conocimiento. No se trata solamente de administrar a las personas y las actividades que realizan, sino el conocimiento que poseen. Para ello, lo líderes de las entidades del Ministerio Público deben crear las condiciones que permitan a sus funcionarios generar, adquirir, interpretar, transferir y retener conocimientos aplicables y hacerlo de tal manera que se incentive el empoderamiento y la responsabilidad personal frente al aprendizaje y su aplicación sistémica a través de la modificación de conductas que respondan a esos nuevos conocimientos, para que generen el impacto deseado.
Al respecto, el I.E.M.P. debe liderar, promover e inspirar un ambiente apropiado para el aprendizaje en las instituciones del Ministerio Público y estruvcturar los procesos y procedimientos para que éste ocurra. En el proceso de medición de los diferentes niveles que se ha propuesto en este manual, es fundamental adquirir conciencia sobre el hecho de que la importancia de las métricas no está en sus valores absolutos, sino más bien en la variación que se presenta ya sea a través del tiempo – diferentes períodos de evaluación - o en la comparación que se puede realizar entre organismos del Ministerio Público o entre estos y cualquier otra entidad pública y/o privada. Los subprocesos asociados a la evaluación se resumen en los cuatro flujogramas y estándares operacionales que se presentan a continuación y que sirven como guía práctica para normalizar las actividades requeridas para asegurar los resultados esperados (ver figura No 7-1).
conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón106 10�conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón106 10�
Fin
inicio
Identificarprogramasaevaluar
Definirlosnivelesaevaluar
Estructuracióndeindicadores
Figura No. 7-1 Subprocesos de Evaluación - Flujograma y Estándares Operacionales
Instituto de Estudios del Ministerio Público ‑ I.E.M.P.Evaluación Programas de Capacitación ‑ Niveles 3, 4 y 5
Estándar OperacionalSubproceso:SELECCIÓNDEMÉTODOSDEEVALUACIÓN
Responsable:JEFEDIVISIÓNCAPACITACIÓNI.E.M.P.
Actividades Críticas
1.Determinarloscambiosesperadosenlascompetencias2.Determinarlarelacióndedichoscambiosconelcumplimientodelasmetasinstitucionales.3.Identificarlosinstrumentosdeevaluacióndeacuerdoconelnivelyconlosindicadores.4.Conseguiry/odiseñarlasinstrumentosdefinidos.5.Validarlosinstrumentosconlasdirectivasy/opersonasresponsablesdelproceso.6.Adaptaryajustarlosinstrumentosseleccionadassiserequiere.
Resultados esperados
-Instrumentosválidosyconfiablesquepermitanhacerunaevaluaciónobjetiva.
Materiales necesarios
-Listadechequeo“Criteriosparadefinirpertinenciaynivelesdeevaluación”.(verAnexo1-1)-Relacióndeprogramasdecapacitaciónaevaluar.-Figuras3-2y4-2yAnexos3-2,3-3,3-4,3-5,3-6-HerramientasdeevaluaciónexistentesenelI.E.M.P.oentidadesdelM.P-Listadeproveedoresdeinstrumentosdeevaluación.
Manejo Especial de Material
LosintrumentosseleccionadosdebenseracordestantoalniveldeEvaluaciónqueseplanearealizaryalosindicadoresqueseesperanmedir.Elmanejoquesedéaestosinstrumentosdebeserdecarácterconfidencial.
Elaboró Revisó Aprobó Código Fecha Hoja
conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón106 10�conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón106 10�
Fin
inicio
Definicióndeinstrumentosde
medición
¿Sonlosinstrumentosapropiados?
Estructuracióndeindicadores
Ajustardiseño
Instituto de Estudios del Ministerio Público ‑ I.E.M.P.Evaluación Programas de Capacitación ‑ Niveles 3, 4 y 5
Estándar OperacionalSubproceso:DEFINICIÓNDEPERTINENCIAYNIVELESDEEVALUACIÓN
Responsable:JEFEDIVISIÓNCAPACITACIÓNI.E.M.P.
Actividades Críticas
1.RevisaryalinearlaEstrategiadeCapacitacióndelI.E.M.P.conladelasentidadesdelMinisterioPúblico.2.Revisarlaestrategiadeevaluacióndelosprogramasdecapacitación.3.Identificacióndeprogramasaevaluarapartirdeldiseñocurricular.4.Definirquénivelesdeevaluaciónaplicanencadaunodelosprogramasseleccionados.5.DefinirObjetivosdelaEvaluacióndeacuerdoalnivelseleccionado.6.Estructuracióndeindicadores
Resultados esperados
1.Programasaevaluarensusrespectivosniveles,alineadosconlaestrategiadelasentidadesdelMinisterioPúblico.2.Indicadoresdefinidos.
Materiales necesarios
-PlanOperativoAnualI.E.M.P.ydelasentidadesusuarias.-Anexo1-1,1-2,1-3,3-1-ActasdelConsejoAcadémico.-Diseñocurriculardelosprogramas.-BalanceScoreCarddelI.E.M.P.ydecadaentidadusuaria.-Planesdecapacitación.
Manejo Especial de Material
TeneractualizadasenelsistemadeinformaciónlascarpetasderegistrosdeEvaluacióndelaCapacitación.
Elaboró Revisó Aprobó Código Fecha Hoja
Consecucióny/odiseño
si no
conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón10� 10�conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón10� 10�
Fin
inicio
Recoleccióndedatos
Procesamientodedatos
Elaboracióndereportesderesultado
Instituto de Estudios del Ministerio Público ‑ I.E.M.P.Evaluación Programas de Capacitación ‑ Niveles 3, 4 y 5
Estándar OperacionalSubproceso:REGISTROYCIERREDELPROCESO
Responsable:JEFEDIVISIÓNCAPACITACIÓNI.E.M.P.
Actividades Críticas
1.Garantizarelregistroderealizacióndelaevaluación.2.Archivarlosdocumentossoporteenlacarpetadeevaluacióndelacapacitación.3.ElaborarInformedeGestiónyResultadosmensual,trimestralyanual.
Resultados esperados
1.Registrosdeevaluacióndelacapacitacióndiligenciados.2.Informesdegestiónmensual,trimestralyanual.
Materiales necesarios
-Registrosdeevaluacióndelacapacitación.-Sistemaparaelregistrodelosdatoseinformación.-Materialdeoficina.
Manejo Especial de Material
TeneractualizadasenelsistemadeinformaciónlascarpetasderegistrosdeEvaluacióndelaCapacitación.
Elaboró Revisó Aprobó Código Fecha Hoja
sino
¿Evaluaciónsatisfactoria?
Ajustes
conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón10� 10�conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón10� 10�
Fin
inicio
Registarlosresultadosdela
evaluacióndelosprogramasdecapacitación.
Archivarlosregistrosdelasevaluaciones
Elaborarinformesdegestiónyresultados
Instituto de Estudios del Ministerio Público ‑ I.E.M.P.Evaluación Programas de Capacitación ‑ Niveles 3, 4 y 5
Estándar OperacionalSubproceso:EJECUCIÓNDELAEVALUACIÓN
Responsable:JEFEDIVISIÓNCAPACITACIÓNI.E.M.P.
Actividades Críticas
1.Recoleccióndelosdatos.2.Sistematizacióndelosdatosenbasesquepermitansuanálisis.3.Análisisdelosdatosrecolectados.4.Elaboracióndereportesderesultados.5.Realizacióndepropuestasdeajustealosprogramasdecapacitacióny/oprocesosmisionales.
Resultados esperados
1.ReportesdeResultadosdelaEvaluación.2.Sistemadeinformaciónconlosresultadosrecolectados.3.Propuestasdemejoraalosprogramasdecapacitacióny/oprocesosmisionales.
Materiales necesarios
-Instrumentosdeevaluaciónválidados.-Plataformaparasistematizarlosdatosobtenidos.-FormatodeElaboracióndeInformes.-PlanOperativoAnual(POA).
Manejo Especial de Material
Manejodelodatosenformaconfiable,conelsoportedelsistemadeinformación.
Elaboró Revisó Aprobó Código Fecha Hoja
conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón110 111conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón110 111
Finalmenteycomocomplementoalosflujogramasyestándaresoperativos de las páginas anteriores, diez recomendacionesquesintetizanlosaspectosmásrelevantesenlaejecucióndelaestrategiademediciónyevaluación:
DefinirlaEstrategiadeCapacitación,MediciónyEvaluación
PlanificarelNiveldeEvaluaciónylosindicadoresantesdeprocederaprepararcuestionariosdeevaluación.Nosedebenhacerpreguntasquenoesténrelacionadasconunindicador.
Asegurarsequeelprocesodeevaluaciónpuedereplicarseyseaescalable, es decir, que no sea extremadamente exhaustivo nirigurosoyqueseaaplicablealageneralidaddelosprogramas,teniendoencuentalanaturalezadelcontenido.
Diseñar o seleccionar indicadores flexibles, que hagansentido, representen valor, sean comparables tantointernacomoexternamenteyseanflexibles.
Utilizar un enfoque razonable hacia la evaluación que tengareconocimientoyaceptaciónenelMinisterioPúblico,ypartadelhechodequesuobjetivoesmedircambiosenconductasqueocurrencomoresultadodelosprogramasdecapacitación.
conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón110 111conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón110 111
Serconscientedequelosresultadosdelaevaluaciónpuedengenerarcambios.Elcambiodebeanticiparseysedebenplanificarescenariosderespuesta.
Asegurarsequelosindicadoresseleccionadosestánbalanceadosyrespondenalosinteresesdelosdiferentesparticipantesenelproceso.
Apoyar el proceso con la tecnología apropiada ensistemas de información que agilice la obtencióndedatosypermita laflexibilidadnecesariaparasuprocesamiento.
Ser consciente de que no todo programa se puede o debeevaluarentodoslosniveles.
Aprenderdelproceso.Iniciaradquiriendomaestríaenlosnivelesinferioreseirescalandohastaelscorecard.Enlasprimeras etapas incluir pocos indicadores y aumentarlosenlamedidaqueseadquiereexperiencia,sinexcederunmáximodecincoporperspectivacuandoseutilizaelBSC.
conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón112 113conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón112 113
Yparaconcluir,cuatroreflexionesqueelI.E.M.P.sedebehaceralfinalizarcadaprograma:
¿Quésepretendíalograrconlacapacitación?,¿cuáleraelobjetivo?
1.
¿Qué seobtuvo realmente?Para responderestoesnecesarioponersobrelamesaloshechosreales,losdatosdetodoloqueseevaluó.
2.
conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón112 113conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón112 113
¿Por qué se obtuvo lo que se obtuvo? ¿Por quéhubo, si es que sepresentaron, diferencias? Con frecuencia hay diferencias entre losobjetivosylarealidad.
3.
¿Quésedebehacerlapróximavez?a) ¿Quéactividadessemantienen?b) ¿Qué actividades se mejoran o se hacen de manera
diferente?
4.
anexos
conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón116 11�conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón116 11�
Selección programas para la evaluación en cada uno de los Niveles 3, 4 y 5Criteriosparalaseleccióndeprogramas.Selecciónprogramas/intervencionesparaEvaluaciónNiveles4y5.Paso1:Escribaelnombrede10programasenlascasillasquecontienenlosnúmerosdel1al10.Paso2:Utiliceunaescalade1a5paraevaluarcadaprogramaenlosniveles4y5siguiendoloscriterioslistadosdesdelaAhastaF.Paso3:Sumelaspuntuacionesdecadaprograma,paradeterminarcuálessonlosquevaaevaluarenlosniveles4y5
Programa-Intervención
Criterios de Evaluación Nivel 4 y Nivel 5 1 2 3 4 5 6 7 8 9 10
A.Ciclodevidadelprograma.
B.Objetivosymetasestratégicas.
C.Costodelprograma.
D.Tamañodelaaudenciadurantetodoelprograma.
E.Visibilidaddelprograma.
F.Manejodeintereses.
PUNTUACIÓN TOTAL
Criterios para Nivel 4 y Nivel 5 Guía para la evaluación del nivel 4 y niveL 5
A.Ciclodevidadelprograma. 5=ciclodevidaentre12y18mesesomás(programaspermanentes);1=ciclodevidacortoypasajero.
B.Objetivosymetasestratégicas 5=altamenterelacionadosconlaimplementacióndelosobjetivosestratégicosdelacompañía;1=nohayrelaciónconlosobjetivosestratégicos.
C.Costodelprograma 5=muycostoso(20%omásdelpresupuestodecapacitación);1=nocostoso.
D.Tamañodelaaudenciadurantetodoelprograma
5=audienciaobjetivodelprogramamuygrande;1=pocaaudienciaobjetivodelprograma.
E.Visibilidaddelprograma 5=altamentereconocidoporlosprincipalesstakeholders;1=noreconocidoporlosprincipalesstakeholders.
F.Manejodeintereses 5=nivelaltodemanejodeinteresesenelprograma;1=nivelbajodemanejodeinteresesenelprograma.
anexo 1-1 niveles de evaluación
conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón116 11�conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón116 11�
Selección programas para la evaluación en cada uno de los 5 nivelesCriterios para la selección de programas: Selección programas / intervenciones para Evaluación Nivel 3Nombre los programas que cumplan con los criterios a continuación. Determine cuáles merecen ser evaluados en el Nivel 3 durante el presente ejercicio marcando Sí o NoNombre los programasCriterios del
nivel 3
Marque Sí o
No
Programa 1 Programa 2 Programa 3 Programa 4 Programa 5 Programa 6
Cumplimiento del programa
SI NO SI NO SI NO SI NO SI NO SI NO
Programa de servicio al
cliente
SI NO SI NO SI NO SI NO SI NO SI NO
Programa de ventas
SI NO SI NO SI NO SI NO SI NO SI NO
Programa del call center
SI NO SI NO SI NO SI NO SI NO SI NO
Programa de certificación patrocinado
por la organización
SI NO SI NO SI NO SI NO SI NO SI NO
Nota: cualquier programa puede ser revisado para la evaluación del nivel 4 y 5. Adicionalmente, un programa que aplique para el nivel 3 de evaluación (que reciba respuesta SI), debe también ser revisado para la evaluación en los demás niveles. Con excepción del “Cumplimiento del Programa”, el cual usualmente no aplica para evaluaciones en niveles superiores.
Fuente: Jack J. Phillips and Ron Drew Stone, HOW TO MEASURE TRAININGRESULTS:ApracticalGuidetoTrackingtheSixKeyIndicators.McGraw-Hill,2002.
conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón11� 11�conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón11� 11�
anexo 1-2 ejemplo desarrollo de objeTivos
Pasos en el desarrollo de objetivos cuando la capacitación es una
solución apropiadaNivel 5 y 4 Nivel 3 Nivel 2 Nivel 1
PrimerPaso.Identifiquestakeholdersquetienenuninterésenlosresultadosorganizacionalesenmedidascomoproducto,calidad,tiempoahorrado,costos,satisfaccióndelcliente,satisfaccióndelosempleados,disminucióndequejas,etc.
X
SegundoPaso.Consultealosstakeholdersapropiadosparaidentificarlasmedidasorganizacionalesespecíficasqueseveninfluenciadasporelprogramadecapacitación.Sigaelsiguienteejemploderesultadoorganizacional.Ejemplo:Reducirlasquejasdelosclientesenelcallcenterde200amenosde50pormes.Elexcesodequejasestácostando$300porquejaenpromedio.
X
TercerPaso.Consultealosstakeholdersparaidentificarlaconductadelosparticipantesqueinfluiráenlamejoradelosresultadosorganizacionales.
X
Fuente:JackJ.PhillipsandRonDrewStone,How to Measure Training Results: a practical Guide to Tracking the Six Key Indicators.McGraw-Hill,2002
conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón11� 11�conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón11� 11�
anexo 1-3 expecTaTivas de los sTakeholders
Ejemplo: Preguntas para determinar las expectativas de los stakeholdersNIVEL DIRECTIVOS JEFES PARTICIPANTES
Nivel1.Reacción/Satisfacción
¿Quéesperaustedcomoresponsabledelosparticipantescuándoellosasistenaprogramasdecapacitación?
¿Cuálessonsuspreferencias(tiempo,ubicación,etc.)paraquesuscolaboradoresasistanalosprogramasdecapacitación?
¿Quéesimportanteparaustedcomoparticipantedenuestrosprogramas?¿Quéesperadeestaexperiencia?
Nivel2.Aprendizaje
¿Quéestrategiasapoyaránellogrodelaprendizajeorganizacional?¿Estádispuestoaproporcionarlosrecursosparalacapacitación?
¿Quéniveldeaprendizajeesperausted?¿Cúantotiempodará,tantoparaustedcomoparasucolaborardorparaqueestopase?¿Cómopuedeinvolucrarseustedenelprocesodeaprendizaje?
¿Quénecesitaaprender?¿Cómoestolobeneficiará?¿Cómolegustaríaaprender?¿Cuálessonlosmejoresmétodosdeaprendizajeparausted?
Nivel3.Aplicación/Implementacion
¿Quédeberíanhacerlaspersonasparacontribuiraalcanzarlosobjetivosestratégicos?¿Cómopuedeustedmanifestarsuapoyoparaquehayatransferencia?¿Cómopodemosayudarenesto?¿Estádispuestoaproveeerlosrecursosparaquehayatransferencia?¿luencetransfer?
¿Quédeberíansuscolaboradoressercapacesdehacerdespuésdeasistiranuestrosprogramadecapacitación?¿Cómopuedeustedcomprometerseantesydespuésdelacapacitaciónparaqueesosuceda?
¿Quénecesitaparaaplicarelconocimiento?¿Cómopodemosayudarparaqueustedapliqueelconocimiento?¿Cómodebenayudarleloscapacitadoresparaqueustedapliqueloaprendido?
Nivel4.Impactoenlosresultados
¿Quéproblemasuoportunidadesexistenquepodamosinfluenciarconelentrenamiento?¿Quéindicadoresnecesitalaorganizaciónparainfluirenelentrenamiento?¿Quéevidenciasnecesitaustedparademostrarquelosresultadoshansidologrados?
Sisuscolaboradoresaplicanloquehanaprendido,¿Cómosebeneficialaentidad?¿Quéotrosfactoresinfluyenenlosresultadosesperados?
Cuandoustedaplicalasnuevashabilidadesycomportamientos,¿Cómosebeneficialaentidad?¿Quéresultadosmejorarán?
Fuente:JackJ.PhillipsandRonDrewStone,HOWTOMEASURETRAININGRESULTS:ApracticalGuidetoTrackingtheSixKeyIndicators.McGraw-Hill,2002
conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón120 121conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón120 121
anexo 3-1 guía para definición e implemenTación de objeTivos de evaluación nivel 3
Midiendo la aplicación de conocimientos y habilidades en el trabajoLosmejoresobjetivos
Identificancomportamientosquesonobservablesymedibles.Estánbasadosenlaobtenciónderesultados.Redactadosdeformaclarayespecífica.Especifícanlasmejoresquelosempleadostendránapartirdelentrenamiento.Puedentenertrescomponentes:
1.Desempeño:Quétienequecambiar/mejorarelempleadoendeterminadotiempodespuésdelentrenamiento2.Condiciones:circunstanciasbajolascualeslosparticipantesdebencumplirlastareasasignadas3.Criterio:gradooniveldecompetenciarequeridoparadesarrollarlastareasasignadas
DostiposdeobjetivosConocimientodeusogeneraldeconceptos,procesos,etc.Conductasbasadasenlahabilidaddedemostrarelusodeherramientas(almenosenunnivelbásico)
PreguntasClave:
¿Quéconocimiento,nuevoomejorado,seráaplicadoeneltrabajo?¿Cuáleslafrecuenciadeaplicacióndeesteconocimiento/habilidad?¿Quétareasnuevaspuedensercompletadas?¿Quépasosnuevosseránimplementados?¿Quéaccionescríticasseránimplementadas?
Fuente:JackJ.PhillipsandRonDrewStone,HOWTOMEASURETRAININGRESULTS:ApracticalGuidetoTrackingtheSixKeyIndicators.McGraw-Hill,2002
conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón120 121conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón120 121
anexo 3-2 insTrumenTos de medición para los niveles 3, 4 y 5
a. ¿Cómo construir un cuestionario y una entrevista?
Pordefinición,loscuestionariosylasentrevistassonherramientasquepermitenhacer investigacionessistemáticasderecoleccióndedatosenlasque,utilizandounformularioenelprimercasoo en un encuentro cara a cara en el segundo, se presentanpreguntas estructuradas y formuladas a partir del objetivo delacapacitación,delinterésdelaevaluaciónydeltipodedatosquesepuedenmedir,yenlosquecomúnmenteparticipanlaspersonasbeneficiariasdelprogramaqueseestáevaluando,bienseademaneraindividualogrupal.
Laconstruccióndelosítemsqueseincluyenenloscuestionariosylasentrevistas,sigueunaseriedecriteriosquesemencionanacontinuación:
1. Determinar la Información que se quiere recolectar a partirdelobjetivodelprogramaquesevaaevaluar,identificandodatosoinformaciónsencilladerecopilarrelacionadosconloscambiospropuestos.
2. Definir las fuentes de datos más apropiadas para registrardichoscambios,talescomo,jefes,participantes,compañerosdetrabajo,etc.
3. Asegurar la disponibilidad de las personas implicadas en laevaluaciónconelfindepredecircuáleslaextensiónadecuada
conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón122 123conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón122 123
(encuantoanúmerodepreguntasparaloscuestionariosoeltiempodeentrevista)quedichaspersonasestándispuestasaresponder.
4. Determinarel tipodepreguntasquesedebenutilizarenelcuestionario y/o entrevista: preguntas abiertas en las quelos entrevistados responden con sus propias opiniones,preguntasdeopciónmúltipleenlasqueseofreceunaseriederespuestasparaqueelentrevistadoseleccioneuna,preguntasdicotómicasqueserespondenconSIoNO.
5. Identificarenlaconstrucciónyformulacióndelaspreguntas,eltérminoqueespecifiqueconexactitudlainformaciónquesedesearecopilar:qué,cuándo,cómo,dónde,entreotras,asícomoutilizarlenguajesencillo.
6. Decidir el mejor orden para las preguntas y validar lainformaciónconlaspersonasencargadasdelaevaluación.
b. ¿Cómo diseñar una observación?
Lasobservacionesenelpuestodetrabajosonotraherramientade investigación con gran reconocimiento y uso dentro de laevaluaciónde losprogramasde capacitaciónenel nivel 3. Suprincipalpropósitoesobservardetenidamenteelcomportamientoy las actitudes de las personas, para identificar los cambioslogradosapartirdeunprogramadecapacitación.
Lospasosquesedebenseguirparaelaborarunaobservaciónenelpuestodetrabajoson:
1. Determinarelobjetivodelaobservación,loscomportamientosyactitudesquesevanaobservar.
conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón122 123conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón122 123
2. Seleccionar los recursos que se utilizarán para registrarla información y diseñarlos o adaptarlos en caso de sernecesario.
3. Seleccionar y entrenar a la persona que realizará laobservación.
4. Planearaspectoscomoladuración,elsitio,elmomentoylafrecuenciadelaobservación.
5. Realizarlaobservación.
6. Registrar losdatosde laobservaciónutilizando los recursosseleccionados.
7. Analizareinterpretarlosdatos.
8. Elaborarconclusiones.
9. Reportar los resultados de la observación mediante uninforme.
Entre los recursos que permiten el registro de los datos sepuedenmencionarlossiguientes:fotografías,listasdechequeo,grabaciones (deaudio y vídeo),fichasde registro, entreotras.Vale la pena mencionar que los recursos que se utilicen, sonseleccionados a partir del tipo de observación que se decidarealizar:Directa(cuandosehaceunaobservaciónconcontactopersonalcon laspersonasqueseobservan)o Indirecta (con lautilizacióndegrabacionesuobservacionesprevias).Sibiendentrodeladescripcióntécnicadelasobservacionescomoherramientasdeinvestigaciónsemencionanotrasclasificaciones,paraefectosde laevaluaciónde la transferencia seconsideraquedebeserestructurada,prácticaysistemática.
conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón124 12�conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón124 12�
anexo 3-3 cuesTionario de evaluación
InstitutodeEstudiosdelMinisterioPúblico-I.E.M.P.EvaluacióndeProgramasdeCapacitación
EjemploCuestionariodeEvaluaciónNiveles3,4y5ProgramadeDesarrollodeLiderazgo
NOTA:EsteejemploesúnicamenteutilizadoparamostrarPosiblespreguntasquepuedenserpreguntadasenuncuestionariodeseguimiento.Noesundocumentoqueestálistoparasuuso.
Instrucciones
1.PorfavorrespondaestecuestionariotanprontocomolorecibayenvíeloderegresoalaDivisióndeCapacitacióndelI.E.M.P.Pararesponder,esnecesarioquereflexionesobreelprogramadeDesarrollodelLiderazgoypiensesobrelasformasespecíficasenlasqueustedhaaplicadoloqueaprendióencadasesión.Serecomiendaquereviselosmaterialesdecadasesión.
2.Tomeeltiemponecesariopararesponderestecuestionario.Dérespuestascompletasyprecisas.Usteddeberesponderelcuestionarioen20minutosaprox.
3.Ustednecesitarásuplandeacciónpararesponderalgunaspreguntas.Porfavorrevíseloyasegúresequecadapáginaestácompletamentediligenciada.Adjunteunacopiadelplandeaccióncuandoregreseestecuestionario.
4.Seaobjetivoalresponder.Enningúncasosunombrenirespuestasserándivulgados.Sucuestionarioyplandeacciónseránrevisadosúnicamenteporsusuperiorinmediato.
5.Susrespuestasayudaránadeterminarelimpactodeesteprograma.Ustedrecibiráunacopiadelresumendelosresultadosendossemanas.
6.Encasodenecesitarmásinformaciónodeteneralgunaduda,nodudeencontactaralapersonaencargadadelaevaluación.
Copyright Jack J. Phillips and Performance Resources Organization.
conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón124 12�conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón124 12�
Nombre:______________________________________________________________
Cargo:_______________________________________________________________
Actualmenteessupervisoroadministrador? Sí No
1.Acontinuaciónencontrarálosobjetivosdelprogramadeliderazgo.Despuésdereflexionarsobreelprograma,indiqueelgradodeéxitoalcanzandodeestosobjetivos.Porfavorverifiquequemarcósurespuestaalladodelítemcorrecto.
Conducta / Habilidad Ningún Éxito Poco Éxito Éxito Limitado
Bastante Éxito
Completo Éxito
A.Aplicarelprocesode11pasosdel proceso de fijación de metas.
B.Aplicarlos12pasosdelprocesodeplaneacióndelliderazgo.
C. Identificar las 12 competencias esencialesdeloslíderes.
D. Identificar 10 formas de obtener altos niveles de lealtad ysatisfacciónenlosempleados.
E. Aplicar el concepto de FalloDiferidoencincoescenarios.
F. Aplicar el proceso de solucióncreativa de problemas para losproblemas identificados.
G.Identificar las 7 mejores manerasparaconstruirrelacionespositivas.
H. Aplicar los cuatro pasos paraenfrentar errores, dada unasituacióneneltrabajo.
I. Practicar las 6 formas paramejorar la efectividad de lascomunicaciones.
conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón126 12�conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón126 12�
2.¿Implementóplanesdeaccióneneltrabajocomopartedelprogramadeliderazgo? Sí No
SisurespuestaesSÍ,completeyenvíesuPlandeAcciónconestecuestionario.SirespondeNO,porfavorexpliqueporquénolohizo.
Completesuplandeacción.__________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________
3.Porfavorcalifique,conunaescalade1a5,larelevanciadecadaelementodelprogramaensutrabajo.Marque(1)cuandonosearelevantey(5)cuandoseamuyrelevante.
DiscusionesdeGrupo 1 2 3 4 5
Discusionesenequipos 1 2 3 4 5
Ejerciciosdehabilidades (juegoderoles,etc.) 1 2 3 4 5
Contenidodelprograma 1 2 3 4 5
Acompañamiento y Críticas 1 2 3 4 5
ProyectosEspeciales (Plan de liderazgo, descripción deltrabajo,ahorros,etc.) 1 2 3 4 5
4.¿Hautilizadoelmaterialescritodesdequeustedparticipóenelprograma? Sí No
Porfavor,explique.____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________
conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón126 12�conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón126 12�
5.Enlassiguientesáreasderesultado,porfavorindiqueelniveldemejora,apartirdelaparticipaciónenelprogramadeliderazgo,enlosúltimosmeses.Revisequelarespuestaestáalladodelítemcorrecto.SisurespuestaesSÍ,completeyenvíesuPlandeAcciónconestecuestionario.SirespondeNO,porfavorexpliqueporquénolohizo.
ÁreadeResultadoNo
Oportunidaddeaplicar
NingúnCambio
AlgúnCambio
CambioModerado
CambioSignificativo
CambiomuySignificativo
A.Organización
1)Priorizaractividadesdiarias
2)Aplicartécnicascreativas
3)Organizaractividadesdiarias
4) Incrementar el nivel dedesempeño estándar en el área deresponsabilidad
B.ClimaLaboral
1) Acompañamiento
2) Aplicar técnicas queinfluencien la motivación en el trabajo
3) Implementar acciones queinfluencien la baja rotación de personal
4) Implementar oportunidadesparaenriquecereltrabajo
5) Aplicar técnicas quepromuevanunmejorequipodetrabajo
conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón12� 12�conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón12� 12�
ÁreadeResultadoNo
Oportunidaddeaplicar
NingúnCambio
AlgúnCambio
CambioModerado
CambioSignificativo
CambiomuySignificativo
C.ResultadosPersonales
1) Mejoras en comunicacionesescritas
2) Mejoras en comunicacionesorales
3)Incrementodelniveldeauto-confianza
4)Creacióndelplanpersonaldeliderazgo
6.Seleccionelastres(3)conductasohabilidades,delasmencionadasanteriormente,quemáshayautilizadocomoresultado del programa (conductas específicas como: incrementar la delegación en los empleados, mejorar lacomunicaciónconlosempleados,participacióndelosempleadosenlatomadedecisionesysolucióndeproblemas,etc.)A)___________________________________________________________________________________________
B)__________________________________________________________________________________________
C)__________________________________________________________________________________________
7.¿Quéhacambiadoenustedysutrabajocomoresultadodesuparticipaciónenesteprograma?(conductasespecíficascomo:incrementarladelegaciónenlosempleados,mejorarlacomunicaciónconlosempleados,participacióndelosempleadosenlatomadedecisionesysolucióndeproblemas,etc.)____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________
conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón12� 12�conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón12� 12�
8.¿Cómosehabeneficiadolaentidadconsuparticipaciónenelprograma?Porfavoridentifiquelogrosy/omejorasespecíficasqueustedconsiderequeestánrelacionadasconlaparticipaciónenelprograma,(Piensesobrecómolasmejorasrealmenteinfluencianlosresultadosdelnegocio:incrementodeingresos,satisfaccióndelcliente,satisfaccióndelosempleados,ahorrosencostosytiempo,etc.)____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________
9. Reflexione sobre sus logros específicos mencionados anteriormente, y piense en posibles maneras en las quepodránconvertirseenvaloresmonetarios.Juntoconelvalormonetario,porfavorindiquelabasequeustedutilizaparasucálculo.
MontoEstimado:$_________________________
Semanal Quincenal Mensual Anual
¿Cuáleslabaseparasuestimación?(Cuáleslainfluenciadelbeneficioycómolaconvirtióenvalormonetario)
__________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________
10.¿Quéniveldeconfianzaustedidentificaenlaestimaciónmonetariadada?
_________%Confianza(0%=NoConfianza,100%=MuchaConfianza)
11.¿Quépartedeese%deconfianzafuerealmenteinfluenciadoporlaaplicacióndelconocimientoohabilidadesdesarrolladasenelprogramadeliderazgo?
_________%Mejora(0%=Ninguna,100%=Total)
conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón130 131conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón130 131
12.¿CreequeelProgramadeLiderazgorepresentaunabuenainversiónparalaentidad? Sí No
Porfavorexplique.____________________________________________________________________________________________________________________________________________________________________________________________________
13.IndiqueelalcancequeustedconsiderequelaaplicaciónlosconocimientosyhabilidadaprendidosenelprogramadeLiderazgohantenidoenlossiguientesresultadosdelaentidaddesdesupropiotrabajooeldesuunidad.
Resultado Noaplica Aplicaperono Influye
Algunainfluencia
Influencia moderada
Influencia significativa
Influencia muy
significativa
A.Resultadoeneltrabajo
B.Calidad
C.ControldeCostos
D. Eficiencia
E. Tiempo de respuesta aclientes
F.CiclodelosProductos
G.Ventas
H.RotacióndePersonal
I.Ausentismo
J.Satisfaccióndeempleado
K.Quejasdeempleados
L.Satisfaccióndelcliente
M.QuejasdelCliente
N.Otro(¿Cuál?)
Porfavorciteejemplosespecíficosoproveadetalles:_____________________________________________________
conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón130 131conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón130 131
14.¿Québeneficiosadicionalessehanderivadodeesteprograma?______________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________
15.¿Québarreras,silashay,haencontradoustedqueledificultenusarlosconocimientosyhabilidadesaprendidosenelprogramadeLiderazgo?Marquetodaslasqueapliquen.
NohetenidolaoportunidaddeusarlashabilidadesNohetenidotiemposuficienteparaaplicarlashabilidadesMiambientelaboralnoapoyaelusodeestashabilidadesocomportamientosMisupervisornoapoyaestetipodeprogramasEstematerialnoaplicaparamitrabajoEstematerialnoaplicaparamitrabajoOtro(¿Cuál?):________________________________________________________________
Siseleccionóalguno,porfavorexpliquesiesposible.______________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________
16.¿Quécondiciones,silashay,lehanayudadoausarlashabilidadesyconocimientoobtenidoenesteprograma?______________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________
17.¿Quéayudaadicionalpodríaserdadaporsusupervisorparaaplicarlashabilidadesyconocimientosaprendidosenelprograma?______________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________
18.¿Quésolucionesadicionalesustedrecomiendaparaalcanzarlosmismosresultadosqueelprogramadeliderazgohainfluenciado?______________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________
conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón132 133conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón132 133
19.¿Recomendaríaesteprogramaaotraspersonas?Sí No
Porfavorexplique.SiNo,¿porquéNo?;SiSí,¿quégruposyporqué?________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________
20.¿Quésugerenciastieneparamejoraresteprograma?________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________
21.OtrosComentarios:________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________
Fechadelaúltimasesión:___________________________________
Porfavordevuelvaestecuestionario,juntoconsuplandeaccióna:_________________________________________
conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón132 133conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón132 133
anexo 3-4 insTrumenTos de medición nivel 3 ejemplo lisTa de cheQueo
Instituto de Estudios del Ministerio Público ‑ I.E.M.P.Evaluación programas de capacitación ‑ Niveles 3, 4 y 5
Lista de chequeo para cuestionario de seguimiento
1 Progresoconlosobjetivos ¿HastaquépuntosecumplieronlosObjetivos?
2 Implementacióndelplandeacción ¿Siseteníaunplandeacción,secumplió?
3 Relevanciadelprograma ¿Quétanrelevantefueelrpograma?
4 Usodelosmateriales ¿Quétanútilesfueronlosmaterialesparaeltrabajo?
5 Mejoradeconocimientos/habilidades ¿Quéhabilidadesmejoraroncomoresultadodelprograma?
6 Utilizacióndelashabilidades ¿Quéhabilidadesseutilizanmás?
7 Cambioseneltrabajo ¿ Qué cambios fueron influenciados por las nuevas habilidades?
8 Mejoras/logros ¿Quémejorasenelnegocioseobtuvieron?
9 Impactomonetario ¿Cuáleselvalormonetariodelasmejoras?
10 Nivel de confianza ¿Cuáleslaprobailidaddeerrordeestosestimativos?
11 Mejorasvinculadasalprograma ¿Quéporcentajedemejorasepuedenatribuiralprograma?
12 Percepciónsobrelainversión ¿ Se justificó el haber invertido en el programa?
13 Vínculosconindicadoresderesultado ¿Quéindicadoresimportantesfueronimpactados?
14 Otros beneficios ¿ Qué beneficios adicionales resultaron del programa?
15 Barreras ¿ Qué impide el desempeño en el ambiente de trabajo?
16 Facilitadores ¿ Qué contribuye al éxito en el desempeño?
17 Apoyodelagerencia ¿Quéapoyoadicionalserequieredelagerencia?
18 Otrassoluciones ¿Quéotracosapuedelograrlosmismosresultados?
19 Recomendacionesparaaudienciasobjetivo ¿ Quién más se puede beneficiar de este programa?
20 Sugerenciaparamejoramiento ¿Quémejorassedebenhaceralprograma?
21 Otroscomentarios Comentariososugerenciasadicionales
Fuente:Phillips,JackJ.yStone,RonDrew.How to Measure Training Results: A practical Guide to Tracking the Six Key Indicators,NewYork,McGrawHill,2002.
conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón134 13�conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón134 13�
ExtremadamenteEndesacuerdo
ExtremadamenteDedesacuerdo
Pregunta 1 2 3 4 5
Yoguardounregistrodelascosasqueacuerdoenlasreunionesalosqueasisto.
Antes
Después
Yopriorizolastareasdemitrabajoquesonmásimportantesyrequierenatenciónytiempo.
Antes
Después
Micomunicacióneneltrabajoesmuyefectiva. Antes
Después
Yocontrolomitrabajo. Antes
Después
Yoplaneoreunionesycitasenuncalendariomensual. Antes
Después
Yoempiezocadadíaconunasesióndeplaneación. Antes
Después
Yoescribounalistadetareasdiarias. Antes
Después
Yocumploconlasreunionesycitasatiempo. Antes
Después
anexo 3-5 ejemplo 1: cuesTionario para anTes y después del enTrenamienTo
Fuente: Phillips, Jack J. y Stone, Ron Drew. How to Measure Training Results: A practical Guide to Tracking the Six Key Indicators,NewYork,McGrawHill,2002.
conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón134 13�conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón134 13�
anexo 3-6 ejemplo 2: cuesTionario para anTes y después del enTrenamienTo
InstitutodeEstudiosdelMinisterioPúblico-I.E.M.P.Evaluaciónprogramasdecapacitación-Nivel3
Ejemplodecuestionario
Nombredelprograma Instructor Instructor
Fechasprograma Horas Lugar
Nombre A=muchísimoB=muchoC=algo
D=muypocoE=casinada/nuncaF=noaplica
1 ¿Hastaquépunto,antesdeestecurso,ustedutilizabalosconocimientosohabilidadesreforzadas/aprendidasantesdeestecurso? A B C D E F
2 ¿Hastaquépunto,despuésdelcurso,ustedha tenidooportunidadesparaaplicar losconocimientos/habilidadesaprendidasenestecurso? A B C D E F
3 ¿Hastaquépuntoaplicarealmentelosconocimientos/habilidadesadquiridasenestecurso? A B C D E F
4 ¿Hasta qué punto ha aumentado su confianza en utilizar los conocimientos / habilidades enseñadas / reforzadas como resultado de este curso? A B C D E F
5 ¿Hastaquépuntoustedrecibiólaayudanecesariaparaparticiparenestecurso? A B C D E F
6 ¿Hasta qué punto el contenido de este curso refleja con bastante precisión lo que ocurre ensutrabajo A B C D E F
7 ¿Hastaquépuntoustedhatenidoaccesoalosrecursonecesarios(equipos,información,etc.)paraaplicarlosconocimientos/habilidadesadquiridasensutrabajo? A B C D E F
8 ¿Hastaquépuntoustedharecibidoayuda(coaching,retroalimentación,etc.)paraaplicarlosconocimientos/habilidadesadquiridasenelcurso? A B C D E F
9 Como resultado de este curso mi desempeño - relacionado con los objetivos del curso -hacambiadoenunXX(%) %
10 Como resultado de este curso mi desempeño general ha cambiado en un XX (%) %
Comentarios:
Fuente:Phillips,JackJ.yStone,RonDrew.How to Measure Training Results: A practical Guide to Tracking the Six Key Indicators,NewYork,McGrawHill,2002.
conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón136 13�conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón136 13�
anexo 4-1 diccionario de indicadoresInstituto de Estudios del Ministerio Público ‑ I.E.M.P.
Evaluación Programa de Capacitación ‑ XYZDiccionario de indicadores ‑ Instructivo
Objetivo Programa
Describirlosobjetivosgeneralesdelprogramadecapacitación,sualcance,aquiénesestá
dirigidoyquéseesperalograr.Describirlasexpectativasdelosdiferentes“stakeholders”ProveedorContenido
NombreEntidadqueproveelaCapacitación/Contenido
Instructor (es) Nombredelapersona(s)responsable(s)pordesarrollarelcontenidodelprograma Inicia dd/mm/aa Finaliza dd/mm/aa
PerspectivaPerspectivadelBSC Objetivo Objetivoacumplir Dueño Dueño del Objetivo
Indicador Nro.N-XX Nombre Indicador NombredelIndicador Dueño Dueño del Indicador
Descripción Indicador
BreveDescripcióndetalladadelindicador.Enquéconsiste,quépretendemedir.
Se pueden obtener datos
que sean evidencia clara del indicador?
Si/No
El programa genera un impacto medible en este indicador?
Si/NoSe pueden aislar los efectos del programa
para medir este indicador?
Si/No
Grado de Complejidad para obtener este
Indicador
Alto Medio Bajo
Probable Relación Causa
EfectoDescripcióndelarelacióncausa-efectoquedebegenerarelindicador.Quédebedeocurrirsisecumpleelindicador?
Tipo de IndicadorPasado/Presente/
Futuro
Frecuencia Frecuenciade
medición
Unidad Unidaddemedicióndelindicador
Polaridad Quétipodevalorsedesea:altoobajo?
Fórmula de Cálculo
Detallarlafórmuladecálculodelindicador
Fuente(s) de los Datos
Cuálessonlasfuentesquevanasuministrarlosdatosnecesariosparaelcálculodelindicador?
Calidad de los Datos
Qué tan confiables son los datos y/o las fuentes que los suministran?
Receptor de los datos:
Quién(es)es(son)el(los)receptor(es)delosdatos?
Metas del Indicador
Proponermetasparaelindicador(valores)segúnconveniencia:anual,semestral,trimestralomensual,otra
Valores Base de Comparación Cuáleselpuntodepartidaparaelindicador?.Datos
previosantesdelprogramadecapacitación
Justificación de las Metas
Explicarlasrazonesquerespaldanlasmetasquesehanestablecido
Notas Supuestos Comentarios
Espaciopararealizarcomentariosconrespectoalindicadorquedebansertenidoencuentaduranteelprocesodeevaluación
conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón136 13�conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón136 13�
Manual de Evaluación de CapacitaciónEjemplos de Indicadores Blandos
Nota: estos indicadores han sido tomados del libro How to Measure Training Results de J. J Phillips y R.D. Stone
Tipo de Indicador / Nombre Indicador Unidad de Medición Observaciones
1 HÁBITOS DE TRABAJO
Ausentismo DíasRetrasos HoraspromedioVisitasalmédico NúmeroViolacióndenormas Número,impactoDescansosexcesivos Horaspromedio
2 CLIMA DE TRABAJO /SATISFACCIÓN
Númerodequejas NúmeroÍndicedesatisfacciónempleados %Volumendetrabajo %deltiempoRotacióndeempleados VecesPercepcióndelasResponsabilidadeseneltrabajo
Calificaciónsubjetiva
CambiospercibidoseneldesemepñoPercepcióndelasResponsabilidadeseneltrabajo
Calificaciónsubjetiva
Compromisoorganizacional CalificaciónsubjetivaLealtaddelosempleados CalificaciónsubjetivaConfianzadelosempleados CalificaciónsubjetivaReduccióndeConflictos CalificaciónsubjetivaTrabajoenEquipo Calificaciónsubjetiva
3 SERVICIO AL CLIENTE
Quejasdelosclientes NúmeroSatisfaccióndelosclientesInsatisfaccióndelosclientesExperienciadelosclientes
anexo 4-2 base de daTos de indicadores
conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón13� 13�conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón13� 13�
LealtaddelosclientesRetencióndeclientes
4 DESARROLLO DE LOS COLABORADORES
Númerodepromociones NúmeroDesarrollodeCompetenciasestratégicas
Númerocompetenciasdesarrolladas
Númerodeincrementosensalarios NúmeroNúmerodeprogramasdeentrenamientoatendidos
Número
Solicitudesdetransferencia NúmeroNúmerodeprogramasdeentrenamientocancelados
Número
Resultadosevaluacionesdedesempeño
Calificaciónsubjetiva
Incrementoenlaefectividaddeltrabajo
%
Impactodelaspublicacionesrealizadas
Calificaciónsubjetiva
Impactodelasinvestigacionesrealizadas
Calificaciónsubjetiva
5 DESARROLLO DE LOS COLABORADORES
Implementacióndenuevasideas Número,Millonesde$Terminaciónexitosadeproyectos %Númerodesugerenciasimplementadas
Número,Millonesde$
Establecimientodemetas CalificaciónsubjetivaNuevosserviciosdesarrollados Número,Millonesde$
conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón13� 13�conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón13� 13�
EVALUACIÓN DE PROGRAMAS DE CAPACITACIÓNEVALUACIÓN DE IMPACTO – EFECTOS DEL PROGRAMA
Múltiplesfactorescontribuyenamejorareldesempeño.Adicionalmentealprograma(NombredelPrograma)seidentificanotrosfactores.Evalúelosfactoresindicandoquéporcentajeenlasmejorasdesudesempeñoen
losúltimosseismeses,puedeseratribuidoacadafactor.Siustedconsideraquealgún(os)factor(es)notiene(n)influencia,nole(s)asigneningúnporcentaje.Lasumatotaldebeseriguala100%.
Porfavorseleccionelosfactoresqueustedcreequesonapropiadosparasermencionadosensu
estimacióndeporcentajes.
Escribaelporcentajequeustedatribuyeacadafactor.
A) %
B) %
C) %
D) %
E) %
F) %
G) %
H) %
I) %
Lasumatotaldebeser=100% Total 100%
anexo 4-3 formaTo para aislar los efecTos del programa
Nota:Enlaprimeracolumna,elI.E.M.P.oquiénsearesponsableporlaevaluación,debeidentificarlosfactoresqueconmayorprobabilidadinfluyeneneldesempeño.
Fuente:JackJ.PhillipsandRonDrewStone,HOWTOMEASURETRAININGRESULTS:ApracticalGuidetoTrackingtheSixKeyIndicators.McGraw-Hill,2002
conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón140 141conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón140 141
Instituto de Estudios del Ministerio Público ‑ I.E.M.P.Evaluación Programas de Capacitación
Ejemplo Tablero de Control ‑ Programa XYZPerspectivadeEvaluación/Indicador VALOR
1.ACTIVIDAD
Númerodeparticipantes 117
Númerodesitiosdondeserealizólacapacitación 16
Númerodesesionesdeclasedictadas 66 COMPARACIÓN
2.CALIDAD
% de Satisfacción con el Desempeño General del Programa 78 78% 73%
% de Satisfacción con el Desempeño del Instructor 87% 81%
%deSatisfacciónconelContenidoyconlaMetodología 71% 79%
3.EFECTIVIDAD
% de participantes que experimentaron ganancias significativas en conocimiento yhabilidades
65% 63%
4.IMPACTOPROYECTADO
%departicipantesquetienenplanesdeaplicarelconocimientoylashabilidadesadquiridas
33% 61%
% de participantes que esperan que el desempeño en su trabajo mejoresignificativamente
56& 64%
% particiapntes que proyectaron mejoras en el desempeño debido a la capacitación
4% 6%
5.RESULTADOS
%departicipantesqueesperanqueelprogramaimpacteenlaproductividad 67% 62%
%departicipantesqueesperanqueelprogramaimpactelacalidad 41% 61%
6.VALOR
% que califican la inversión (tiempo y dinero) en el programa como que valió la pena
50% 57%
Proyección Razón costo-beneficio 1.83 3.23
anexo 4-4 ejemplo de Tablero de conTrol
conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón140 141conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón140 141
Sistema de Evaluación Programas de CapacitaciónPLAN GENERAL DE RECOLECCIÓN DE DATOS
Nivel Objetivos Generales del
Programa
Método de Recolección deDatos
Tiempo de Recolección deDatos
Responsable
IReacción,Satisfacción
ReacciónfavorabledelosparticipantesSugerenciasdemejora
CuestionarioparaparticipantesCuestionariodeseguimientoparaparticipantesEntrevistasconparticipantesObservacionesEntrevistasconpatrocinadoresCuestionariodeseguimientoparajefes
Alfinaldecadasesiónyalfinaldelprograma60-90díasdespuésdelprograma60-90díasdespuésdelprogramaDiarías60-90díasdespuésdelprograma60-90díasdespuésdelprograma
PROPROPROJefePROPRO
IIAprendizaje Mejorarlosconocimientosyhabilidadesen14áreas
ObservacionesCuestionarioparaparticipantesInstrumentostecnológicosPérfilejecutivoexitosoCuestionariodeseguimientoparaparticipantes
DiaríasAlfinaldecadasesiónyalfinaldelprogramaDuranteelprogramaDuranteelprograma60-90díasdespuésdelprograma
JefePROFacilitadoresFacilitadoresPRO
IIITransferencia
UsodelashabilidadesyconocimientoFrecuenciadelusodelashabilidadesInteracciónentrelagestiónyelcomitédepolíticas(alineación)
ObservacionesCuestionariodeseguimientoparaparticipantesCuestionariodeseguimientoparajefesEntrevistasconparticipantesEntrevistasconpatrocinadores
Duranteelprograma60-90díasdespuésdelprograma60-90díasdespuésdelprograma60-90díasdespuésdelprograma60-90díasdespuésdelprograma
JefePROPROPROPRO
anexo 5-1a recolección de daTos
conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón142 143conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón142 143
IVImpactoenelNegocio
Beneficiosdelainvestigación,mejoraspropuestasporgrupos,ahorrosygananciasMejorasenlamedicióndelimpactoenelnegocio,aplicacióndeloaprendidoporcadaparticipanteensuunidaddenegocioMejoraenlacalidaddeltalentoejecutivo
IndicadoresdeldesempeñofinancieroEntrevistasconparticipantesCuestionariodeseguimientoparaparticipantesCuestionariodeseguimientoparajefesRegistros
60-90díasdespuésdelprograma60-90díasdespuésdelprograma60-90díasdespuésdelprograma60-90díasdespuésdelprograma3añosdespuésdelprograma
DirectordelprogramaPROPROPROPRO
conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón142 143conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón142 143
anexo 5-1binTegración de daTos recolección de daTos
Sistema de Evaluación Programas de CapacitaciónINTEGRACIÓN DE DATOS Niveles 1 a 5
Método Nivel1Reacciónalprograma
Nivel2Aprendizaje:habilidades,conocimiento,cambiosenpercepciones
Nivel3Aplicación,implementaciónyusoeneltrabajo
Nivel4ImpactoenlaUnidaddeNegocio
TasadeRetorno
Retroalimentaciónalfinaldelasesión
X X
Investigación X X
Entrevistasconparticipantes
X X X X X
Cuestionariosdeparticipantes
X X X X
Cuestionariosdelosjefes
X X X
Entrevistasconpatrocinadores
X
Cuestionariosporequipodesoporte
X
Registrosdelaempresa
conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón144 14�conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón144 14�
Evaluación Programas de Capacitación ‑ Nivel 5Costos Programas de Capacitación
ProgramaFecha HorasObjetivoGeneral-ExpectativasdelPrograma
DescribirelObjetivoGeneraldelProgramadeCapacitaciónylasexpectativasdelosdiferentesinteresados“stakeholders”(Procurador,Delegados,I.E.M.P.,Ciudadanía,etc.).
1.CostosdeAnálisis $/Unidad Unid $Total %Salariosybeneficiosdelosparticipantes GastosdeViaje Alimentación.Refrigeriosyotros SuministrosdeOficinayotrosgastros Imprsionyreproduccióndemateriales Servicosdeterceros Gastosdeequipos:alquiler,etc. GastosdeRegistro Otrosgastosvarios TotalCostosdeAnálisis $0
2.CostosdeDesarrollo Salariosybeneficiosdelosparticipantes GastosdeViaje Alimentación.Refrigeriosyotros SuministrosdeOficinayotrosgastros Artes ManualesyMateriales CDs Software Otros
anexo 5-2valoración cosTos programas de capaciTación
conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón144 14�conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón144 14�
MaterialesySuministrosdelPorgrama Impresiónyreproduccióndemateriales Servicosdeterceros Gastos de equipos: alquiler, etc. Gastos de Registro Otros gastos variosTotalCostosdeDesarrollo $0
3.CostosdeEjecución Costo Particiantes Salarios y beneficios de los participantes Alimentación. Refrigerios y otros Producción no reaqlizada Materiales y Suministros del Programa Costos instructor Salarios y beneficios Alimentación. Refrigerios y otros Otros Costos Instalaciones Alquiler Gastos Asignación gastos equipos Otros gastosTotalCostosdeEjecución $0
4.CostosdeEvaluación Salarios y beneficios de los participantes Alimentación. Refrigerios y otros Costo participantes: entrevistas, focus groups, etc. Suministros de Oficina yotros gastros Impresión y reproducción de materiales Servicos de terceros Gastos de equipos: alquiler, etc. Otros gastos variosTotalCostosdeEvaluación $0
5.CostosDistribuidosotrasáreas $0
COSTOSTOTALESDELPROGRAMA $0 100%
conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón146 14�conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón146 14�
Instituto de Estudios del Ministerio Público - I.E.M.P.Evaluación Programa de Capacitación - XYZ
Balanced Scorecard - Programas de Capacitación
PERSPECTIVA PESO % Código Objetivo Objetivo PESO % Código Indicador
NOMBRE INDICADOR
1.CLIENTES C1 IC1
C2 IC2
C3 IC3
2.PROCESOSINTERNOS
P1 IP1
P2 IP2
P3 IP3
3.APRENDIZAJEY
CRECIMIENTO
A1 IAC1
A2 IAC2
A3 IAC3
4.FINANCIERA F1 IF1
F2 IF2
F3 IF3
conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón146 14�conclusIonesManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón146 14�
DESCRIPCIÓN FÓRMULA UNIDAD TIPO Frecuencia Indicador
Responsable Metas
anexo 6-1 formaTos balanced scorecard
anexosManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón14� 14�anexosManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón14� 14�
Medición. La medición está relacionada con laobtencióndeinformación–datos–paracompraraunresultadoconunestándar.
Evaluación. La evaluación está relacionada conrealizar juicios– sacarconclusiones–conbaseenlosresultadosdelamedición.
Programa: Evaluación de Programas deEntrenamiento. Consiste en determinar el valoro la importancia que el programa tiene para losdiferentesstakeholders.EvaluacióndeImpacto
Taxonomía.Cienciaqueseocupadelosprincipios,métodos yfinesde clasificación.Clasificaciónquese realiza, en especial la que jerarquiza, ordenay nombra dentro de la biología, los seres vivos(Diccionario de l lengua Española). La taxonomíaeslacategorizaciónoclasificacióndecosasbasadoen un sistema predeterminado. En el Manual lataxonomíaserefierealmodelodeloscinconivelesquedesarrollóDonaldKirkpatrick.Tambiénsepuedereferiralmodelodeloscinconivelesqueseproponeenelmanual.
Stakeholder.Ungrupoounindividuoconinterésparticulareneléxitodeunaorganización,deunainiciativaodeunesfuerzoysinelcuál,laorganización,el esfuerzo o la iniciativa pueden fracasar. Porejemplo:losbancos,lossindicatos,losempleados,
anexo 7 - glosario
etc. En términos generales, los “stakeholders”,invierten algo en la iniciativa, no necesariamentedinero, (porejemplo tiempo)yesperanalgúntipode retribución, no necesariamente monetaria.En el caso particular que nos ocupa, entre los“stakeholders”de losprocesosdecapacitaciónsepuedenmencionar:LaProcuraduría,Ladefensoría,el I.E.M.P.M, los empleados, los ciudadanos, losentrenadores, las empresas que prestan serviciosde capacitación al I.E.M.P., los sindicatos de lasEntidadesdelMinisterioPúblico.
Retorno sobre la Inversión. Es un indicadorfinancieroderesultadoqueconsisteenelcálculodelarelacióncosto-beneficioyseutilizaparamedirelimpactofinancierodeunainversiónenunproyectoo iniciativa. Se expresa en términos porcentuales(%).SedefinecomoelTotaldeBeneficios-TotaldeCostosdivididoentreelTotaldeCostos.Elresultadosemultiplicapor100paraexpresarloen términosporcentuales.
Ciclo de Vida.Serefierealaseriedecambiosenelprocesodedesarrollodeunsistema,desdeeliniciohastasufinalización.EnelManual,elciclodevidadelosprogramasdeCapacitaciónserefierealtiempoquetranscurreentrelaconcepcióndelprogramayladecisióndedarporconcluidoelprograma.Incluyetodoslospasos,deprincipioafin,necesariosparaobtenerlosresultadosdelprograma.
anexosManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón14� 14�anexosManual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón14� 14�
Videoconferencia.Serefiereaunasesiónentiemporealdeunaconferenciaounpaneldeconferencistasenelcualparticipanmásdedosusuariosquepuedenestar localizados en diferentes partes. Se utilizantanto para propósitos de capacitación como parapromoción de productos o servicios. El contenidoesuntemadeinterésespecíficoparaunaaudienciadeterminada. Para optimizar la recepción, losparticipantes requieren de una conexión de bandaancha.Durantelavideoconferencia,normalmentelosparticipantesrecibenlasseñalesdevideoydeaudio.Enalgunoscasos,elproveedordelcontenidopermitela interacciónvíateléfono,vía“chat”,o inclusovíavídeo, de los asistentes, quienes pueden realizarpreguntasalconferencistaopaneldeconferencistas.
Blog. Es una palabra que se deriva de Web yLog y consiste de un sitio Web, generalmentemantenidoporun individuoounaempresa,enelcualseconsignancomentarios,sepresentamaterialgráfico,sobretemasdeinterésespecífico.Losblogspermiten que los lectores coloquen opiniones ocomentarios al contenido, los cuales se muestransiempreenordencronológicoinverso.Usualmentelos blogs son textuales, pero es posible tambiénque contengan audio o video (vídeo blogs). Losblogshacenpartedeloquesedenomina“mediossociales”o“redessociales”.
Wiki. Similares a los blogs, consisten en unacoleccióndepáginasWebquepermitenalusuariomodificar el contenido. Los Wikis se utilizan paraobtenerlacolaboracióndecomunidadesdeusuariosquetienenuninterésespecífico.
Webminar.SonseminariossobretemasespecíficosemitidosatravésdelaWeb.Suduración,comoesel casode lasvideoconferencias,escorta (1hora,incluyendopreguntasyrespuestas).Losparticipantesalaconferenciatienenaccesovisualalasdiapositivasdeltemaqueseestátratando.Concluidoeltema,muchos proveedores de contenido permiten a losparticipantesobtenerunacopiadelapresentación(powerpointopdf).Generalmentelosúltimos10o15minutossereservanparaunasesióndepreguntasyrespuestas,lascualesserealizanvíatelefónica,ovíachat.
Podcast. Similar a un Webminar. Consisten dearchivos digitales a los cuales se tiene acceso víaInternet y pueden ser escuchados en un PC o undispositivodereproducciónapropiado(porejemploiPods,MP3players).Elparticipanterecibesolamentelaseñaldeaudio,similaralcontenidomusical.
Videocast. Similar a “Podcast”, el participanterecibeseñaldevideoydeaudio.
E-learning.(aprendizajevíaelectrónica).Serefiereatodotipodeprogramasdeeducación(capacitación,formación, entrenamiento, etc.) en el cual seutilizan como medio de instrucción alguna formade tecnología basada en computadores. Algunosprogramas de e-learning lo general además delcontenidovirtualtambiénposeenunporcentajedecontenidopresencial.
bibliografía consulTada
Copyright©April1998byDr.JohnSullivanHeadandProfessorof Human Resource Management, College of Business, SanFranciscoStateUniversity.
Diez de Medina y Abdala, Manual para la evaluación deimpactoenprogramasdeformaciónparajóvenes,OrganizaciónInternacionaldelTrabajo,Cinterfor/OIT,2004.
Edmonson,AmyC,“TheCompetitiveImperativeofLearning”,en:HarvardBuisinessReview,July-August2008.
Garvin,DavidA.yEdmondson,AmyC.andFrancescaGino,“IsYoursaLearningOrganization?”,en:HarvardBusinessReview,March2008.
Kaplan,R.SyNorton,D.P,StrategyMaps,Boston,HBS,2004.
Kaplan, R.S y Norton, D.P,“The Balanced Scorecard: Measuresthat Drive Performance”, en: Harvard Business Review, Enero–Febrerode1992.
Kaplan, R.S y D.P and Norton, D.P ,The Balanced Scorecard:TranslatingStrategyintoAction,Boston,HBSPress,1996.
Kaplan, R.S y D.P and Norton, D.P , The Strategy FocusedOrganization,Boston,HBSPress,2001.
DonaldL.KirkpatrickandJamesD.Kirkpatrick,IMPLEMENTINGTHEFOURLEVELS:APracticalGuideforEffectiveEvaluationofTrainingPrograms.Berret-KoehlerPublishers,Inc,2007
Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón1�0
Donald L. Kirkpatrick and James D. Kirkpatrick, EVALUATINGTRAININGPROGRAMS:TheFourLevels.ThirdEdition.WestchesterBookCompany,2006
DonaldL.KirkpatrickandJamesD.Kirkpatrick,TRANSFERRINGLEARNING TO BEHAVIOR: Using the Four Levels to ImprovePerformance.Berret-KoehlerPublishers,Inc,2005
JackJ.PhillipsandRonDrewStone,HOWTOMEASURETRAININGRESULTS: A practical Guide to Tracking the Six Key Indicators.McGraw-Hill,2002
JackJ.PhillipsandRonnieD.Stone,level4evaluation:businessresults.ASTD,2000
JackJ.PhillipsandPatriciaF.Pulliam,level5evaluation:MasteringROI.ASTD,2000
Evaluating Training and Results, por Carter McNamara, MBA,PhD,AuthenticityConsulting,LLC.Copyright1997-2008.
Copyright©April1998byDr.JohnSullivanHeadandProfessorofHumanResourceManagementCollegeofBusiness,SanFranciscoStateUniversity.
http://www.zigonperf.com/resources/pmnews/sullivan_meas_trng_eff.html
Diez de Medina y Abdala. Manual para la evaluación deimpactoenprogramasdeformaciónparajóvenes.OrganizaciónInternacionaldelTrabajo(Cinterfor/OIT),2004.
1�1
cálculo del retorno sobre la InversIón nIvel �Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón1�2 1�3cálculo del retorno sobre la InversIón nIvel �Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón1�2 1�3
Manual para el Diseño Curricular para eventos educativos delI.E.M.P.
Kirkpatrick, Donald L and Kirkpatrick, James D, Implementingthe Four Levels. A Practical Guide for effective Evaluation ofTrainingPrograms,SanFrancisco,CA,Berret-KoehlerPublishing,Inc.,2007.
Kirkpatrick, Donald L and Kirkpatrick, James D, Implementingthe Four Levels. Transferring Learning to Behavior: Using theFourLevels to ImprovePerformance,Berret-KoehlerPublishers,Inc,2005.
McNamara, Carter, MBA, PhD, Authenticity Consulting,LLC. “Evaluating Training and Results”, en http://www.managementhelp.org/trng_dev/evaluate/evaluate.htm.
Manual para el Diseño Curricular para eventos educativos delI.E.M.P.
Nieven,Paul,BalancedScorecard.StepbyStepforGovernmentand Nonprofit Agencies, New Jersey, John Wiley & Sons Inc.,2003.
Nickols,FrederickW“FindingtheBottomlinepayofffortraining”,en: Training and Development Journal del ASTD, diciembre1979,pp.54–63.
Phillips,JackJ.yStone,RonD.,HowtoMeasureTrainingResults:ApracticalGuidetoTrackingtheSixKeyIndicators,NewYork,McGrawHill,2002.
Phillips,JackJ.andStone,RonnieD.,Level4Evaluation:BusinessResults,ASTD,2000
cálculo del retorno sobre la InversIón nIvel �Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón1�2 1�3cálculo del retorno sobre la InversIón nIvel �Manual de evaluacIón de transferencIa e IMpacto de la capacItacIón y cálculo del retorno sobre la InversIón1�2 1�3
Phillips, Jack J. and Stone, Ronnie D., Level 5Evaluation:MasteringROI,ASTD,2000Phillips, Jack J., Stone, Ron D., Pulliam, P, TheHumanResourcesScorecard:MeasuringtheReturnonInvestment,Butterworth-Heinemann,2001.
Ulrich&Brockbank.LAPROPUESTADEVALORDERECURSOSHUMANOSEd.Deusto,(2006).
Senge, Peter M. la quinta disciplina. CurrencyDoubleday,1990
Senge,P.M.TheFifthDiscipline.Theartandpracticeof the learning organization, London, RandomHouse,1990.
Sullivan,John, “Measuring Training’s Effectivenessand Impact”, en: http://www.zigonperf.com/resources/pmnews/sullivan_meas_trng_eff.html
Transferencia del Aprendizaje. Una Guía parafortalecereldesempeñodelpersonaldelcampodelasalud.ProyectoPRIMEII,PublicacióndeJHPIEGOCorporation,.USAID,Marzodel2002.
Is Yours a Learning Organization? By David A.Garvin, Amy C. Edmondson, and Francesca Gino.HarvardBusinessReview,March2008
TheCompetitiveImperativeofLearningbyAmyC.Edmonson,HarvardBusinessReview,July–August2008
Ulrico,DaveyBrockbank,Wayme,LaPropuestadeValor de Recursos Humanos, Barcelona, EdicionesDeusto,2006.
Watkins, R., Leigh, D., Foshay, R., & Kaufman,R.,Kirkpatrick plus: “Evaluation and continuousimprovement with a community focus”, en:EducationalTechnology,Research,andDevelopment,46,1998.
1�4
Seleccionar formadores
¿Existenfuncionariosque
puedanparticiparcomo
docentes?
AcordardisponibilidadSiquierenSipuedenSilosdejan
¿Huboacuerdoconlos
funcionarios?
Verificarausenciadeexpertoenlaentidad
2
PRODUCTO:Estudio Previo
PrepliegoPliego definitivo
PRODUCTO:Informe
PRODUCTO:Auto comisorio
Viáticos y tiquete
PRODUCTO:ConveniosContratos
RealizarExternamente
Contratación
Contratacióndirecta Licitaciónpública
Estudioprevio
Aperturaycierre
Evaluacióndepropuestas
Adjudicacióndelcontrato
Convenios
Hacerestudioprevio
Elaboraractadecompromiso
LaGuíaDidácticarequiere
ajustes?
SolicitaraldocenteajustarlaGuíade
Aprendizaje
Aplicarevaluaciónfinaldereacciónadocentes
yparticiapntes
PRODUCTOGuía didáctica aprobada
PRODUCTOInforme final
Cumplido a satisfaccióvnActa de liquidación
del contrato
SEGUIMIENTO EVALUACIÓN
6mesesdespúes
Aplicarevaluacióndetransferencia
EJECUCIÓNALISTAMIENTO
Elaboraractadeprogramación
Solicitarpólizas
Efectuarpagoanticipado
Ajustarcontenidos
Solicitarmaterialadocentes
Alistarmaterialparaparticipantes
Concretarcondocentestiemposespaciosyresponsabilidades
Notificarparticipacióndeldocente
Alistamiento
No
No
Sí
DiseñoCurricular
Programarladeteccióndenecesidadesde
capacitación
Asignarcoordinadoracadémico
Seleccionarmetodologíadedeteccióndenecesidadesde
capacitación
Realizarladeteccióndenecesidadesde
capacitación
Realizardiagnóstico
Recibirsolicitudesdecapacitación
Realizardiagnóstico
¿Serealizalacapacitación
solicitada?
Informaralsolicitante
Asignarcoordinador
Planeación
Cambiosnormativos
Causasquegeneransolicitudes
Identificacióndedebilidadesinstitucionales
Evolucióndeunprogramaquerequiere
avances
DecisiónGerencial
(coyunturapaís)
Evoluciónendesarrollode
funcionesmisionales
Presentar proyección deactividades
Reprogramarplandecapacitación
AsignarrecursosdelPresupuesto
AjustarelPlanTrienaldeCapacitación
FormularPOAdelaDivisióndeCapacitación
¿ElConsejoAcadémicoaprobóel
POA?
AjustarelPOA
DivulgaryejecutarelPOA
DivulgaryejecutarelPOA
Registrarprogramasenelmóduloderegistroy
control
PRODUCTOSÁBANA DEPURADA
(Sólo listado)
PRODUCTOPOA
PLAN TRIENAL
PRODUCTOPROGRAMA: logístico
administrativoCURRÍCULO: parte académica
(propuesta)Guía Didáctica
Visión Panorámica del evento
InicioInicio
Estudiar ofertasacadémicas
Definirparaelprogramaacadémico
Identificarcontenidos
Organizarcontenidos
¿Seapruebalaestructura?
Construirobjetivosespecificos
Identificarcompetencias
Determinarperfildelosdocentes
DesarrollarGuíadeAprendizaje
Seleccionarparticipantes
A
DISEÑO CURRICULARPLANEACIÓNDIAGNÓSTICO DENECESIDADES
Inicio Inicio
�Pertinenciaestratégica Cargadecapacitaciónde
lagente�Poblaciónobjeto(cantidad,
cargo,ubicación)�Priorización�Análisisdeantecedente�Propósito�Frecuenciadesolicitud
Sí
No
�Poráreas�Porniveles�Cobertura(central,
territorial)�Población�Presupuesto�Definirmodalidades
�Visióndeutilidad�Objetivo�Indicadores
Sí
�Justificación�Propósito�Plandeestudios�Poblaciónsujeto�Metodología�No.deeventos�Cronograma
No
No
Sí
Sí
No
Sí
Organizar logística del evento
¿Serequierendesplazamientos
oviáticos?
Inicio
�Informaactividad�Hacerequerimientos
(lugar,ayuda,logística,etc.)
�Solicitahacerlaconvocatoria
�Comité:FinancieraJurídicaTécnica
�VerificarlaausenciadeexpertoenlaEntidad.
�Evaluarhojadevidadealmenos3expertos:Experienciadocente.ExperienciaprofesionalespecíficaEstudios(pregrado-postgrado)Publicaciones
�Gestionarentregadedocumentosporpartedecontratistas.
No
Contextualizar docentes y solicitar desarrollo de
la Guía Didáctica
SeapruebalaGuíaDidáctica?
Inicio
Hacer seguimiento académico
Inicio
Fin
Ajustar la Guía Didáctica
Hacer la convocatoria
Realizar sesión introductoria (aplicar evaluación
diagnóstica)
Desarrollar actividades programadas
Seguimiento y Evaluación
Solicitar comisión para docentes, cooperadores y/o
participantes
Enviar comunicación a ciudad sede de la actividad
Verificar cumplimiento
Ejecución
A
Sí
No
2
1
1
No
�Objetivogeneral�Programas�Presupuesto�SolicitarCDP�Elaborarregitro
presupuestal
�Verificarelcumplimientodelcurrículoenobjetivo,contenido,metodología
�Mediante:EvaluacióndeaprendizajeEvaluacióndereacciónReunionesEntrevistas
�Verificarelcumplimientodelasobligacionesdelcontratoensusaspectosadministrativosyfinancieros.
�Verificar:DesplazamientosPagodeviáticosAsistencia(listados)Logística
�Objetivogeneral�Objetivosespecíficos�Programas
�Realizarestudiodemercado
�Evaluartrayectoria(temática,gradodeprofundizacióndelaofertaeneltemaespecífico)
�Ajustedelprogramaconbaseenelpresupuestodisponibleyelresultadodelestudiodemercado(ajustealPOA)
�Realizarestudioprevioporpartedecadacoordinadoracadémico(análisisdeoportunidadyconvivencia)
INTERNAMENTE�Determinarfactoresde
evaluacióndeoferentes(desdelotécnicoyloeconómico)dentrodelospliegosdecondiciones(metodología,evaluacióndelacapacitaciónpropuesta).
Sí
INICIODELCURSO
Sí
Serequiereseguimiento
administrativoexterno?
Hacerseguimientoadministrativoexterno
Sí
No
Sehancumplidolasobligaciones?
Hacerllamadosdeatención
Elaborarinformeparcial
Elaborarcumplidoparcial
No
Elaboraractafinal
Archivo
Hacerseguimientoadministrativointerno
Prepararcertificaciones
Suscribirdiplomas
Aplicarevaluaciónfinaldereacción
Aplicarevaluacióndeaprendizaje
Solicitarinformaciónfinanciera
Elaborarinformefinal
Elaborar cumplido a satisfacción
Verificar pago final
¿Elprogramaacadémicoserepiteyrequiere
modificaciones?
Incluirinformaciónenelsistema
(Ajustarelcurrículo)DiseñoCurricular
Presentar resultados
Sí
Elaborarinformedegestiónanual
No
A B
A B
Seleccionar formadores
¿Existenfuncionariosque
puedanparticiparcomo
docentes?
AcordardisponibilidadSiquierenSipuedenSilosdejan
¿Huboacuerdoconlos
funcionarios?
Verificarausenciadeexpertoenlaentidad
2
PRODUCTO:Estudio Previo
PrepliegoPliego definitivo
PRODUCTO:Informe
PRODUCTO:Auto comisorio
Viáticos y tiquete
PRODUCTO:ConveniosContratos
RealizarExternamente
Contratación
Contratacióndirecta Licitaciónpública
Estudioprevio
Aperturaycierre
Evaluacióndepropuestas
Adjudicacióndelcontrato
Convenios
Hacerestudioprevio
Elaboraractadecompromiso
LaGuíaDidácticarequiere
ajustes?
SolicitaraldocenteajustarlaGuíade
Aprendizaje
Aplicarevaluaciónfinaldereacciónadocentes
yparticiapntes
PRODUCTOGuía didáctica aprobada
PRODUCTOInforme final
Cumplido a satisfaccióvnActa de liquidación
del contrato
SEGUIMIENTO EVALUACIÓN
6mesesdespúes
Aplicarevaluacióndetransferencia
EJECUCIÓNALISTAMIENTO
Elaboraractadeprogramación
Solicitarpólizas
Efectuarpagoanticipado
Ajustarcontenidos
Solicitarmaterialadocentes
Alistarmaterialparaparticipantes
Concretarcondocentestiemposespaciosyresponsabilidades
Notificarparticipacióndeldocente
Alistamiento
No
No
Sí
DiseñoCurricular
Programarladeteccióndenecesidadesde
capacitación
Asignarcoordinadoracadémico
Seleccionarmetodologíadedeteccióndenecesidadesde
capacitación
Realizarladeteccióndenecesidadesde
capacitación
Realizardiagnóstico
Recibirsolicitudesdecapacitación
Realizardiagnóstico
¿Serealizalacapacitación
solicitada?
Informaralsolicitante
Asignarcoordinador
Planeación
Cambiosnormativos
Causasquegeneransolicitudes
Identificacióndedebilidadesinstitucionales
Evolucióndeunprogramaquerequiere
avances
DecisiónGerencial
(coyunturapaís)
Evoluciónendesarrollode
funcionesmisionales
Presentar proyección deactividades
Reprogramarplandecapacitación
AsignarrecursosdelPresupuesto
AjustarelPlanTrienaldeCapacitación
FormularPOAdelaDivisióndeCapacitación
¿ElConsejoAcadémicoaprobóel
POA?
AjustarelPOA
DivulgaryejecutarelPOA
DivulgaryejecutarelPOA
Registrarprogramasenelmóduloderegistroy
control
PRODUCTOSÁBANA DEPURADA
(Sólo listado)
PRODUCTOPOA
PLAN TRIENAL
PRODUCTOPROGRAMA: logístico
administrativoCURRÍCULO: parte académica
(propuesta)Guía Didáctica
Visión Panorámica del evento
InicioInicio
Estudiar ofertasacadémicas
Definirparaelprogramaacadémico
Identificarcontenidos
Organizarcontenidos
¿Seapruebalaestructura?
Construirobjetivosespecificos
Identificarcompetencias
Determinarperfildelosdocentes
DesarrollarGuíadeAprendizaje
Seleccionarparticipantes
A
DISEÑO CURRICULARPLANEACIÓNDIAGNÓSTICO DENECESIDADES
Inicio Inicio
�Pertinenciaestratégica Cargadecapacitaciónde
lagente�Poblaciónobjeto(cantidad,
cargo,ubicación)�Priorización�Análisisdeantecedente�Propósito�Frecuenciadesolicitud
Sí
No
�Poráreas�Porniveles�Cobertura(central,
territorial)�Población�Presupuesto�Definirmodalidades
�Visióndeutilidad�Objetivo�Indicadores
Sí
�Justificación�Propósito�Plandeestudios�Poblaciónsujeto�Metodología�No.deeventos�Cronograma
No
No
Sí
Sí
No
Sí
Organizar logística del evento
¿Serequierendesplazamientos
oviáticos?
Inicio
�Informaactividad�Hacerequerimientos
(lugar,ayuda,logística,etc.)
�Solicitahacerlaconvocatoria
�Comité:FinancieraJurídicaTécnica
�VerificarlaausenciadeexpertoenlaEntidad.
�Evaluarhojadevidadealmenos3expertos:Experienciadocente.ExperienciaprofesionalespecíficaEstudios(pregrado-postgrado)Publicaciones
�Gestionarentregadedocumentosporpartedecontratistas.
No
Contextualizar docentes y solicitar desarrollo de
la Guía Didáctica
SeapruebalaGuíaDidáctica?
Inicio
Hacer seguimiento académico
Inicio
Fin
Ajustar la Guía Didáctica
Hacer la convocatoria
Realizar sesión introductoria (aplicar evaluación
diagnóstica)
Desarrollar actividades programadas
Seguimiento y Evaluación
Solicitar comisión para docentes, cooperadores y/o
participantes
Enviar comunicación a ciudad sede de la actividad
Verificar cumplimiento
Ejecución
A
Sí
No
2
1
1
No
�Objetivogeneral�Programas�Presupuesto�SolicitarCDP�Elaborarregitro
presupuestal
�Verificarelcumplimientodelcurrículoenobjetivo,contenido,metodología
�Mediante:EvaluacióndeaprendizajeEvaluacióndereacciónReunionesEntrevistas
�Verificarelcumplimientodelasobligacionesdelcontratoensusaspectosadministrativosyfinancieros.
�Verificar:DesplazamientosPagodeviáticosAsistencia(listados)Logística
�Objetivogeneral�Objetivosespecíficos�Programas
�Realizarestudiodemercado
�Evaluartrayectoria(temática,gradodeprofundizacióndelaofertaeneltemaespecífico)
�Ajustedelprogramaconbaseenelpresupuestodisponibleyelresultadodelestudiodemercado(ajustealPOA)
�Realizarestudioprevioporpartedecadacoordinadoracadémico(análisisdeoportunidadyconvivencia)
INTERNAMENTE�Determinarfactoresde
evaluacióndeoferentes(desdelotécnicoyloeconómico)dentrodelospliegosdecondiciones(metodología,evaluacióndelacapacitaciónpropuesta).
Sí
INICIODELCURSO
Sí
Serequiereseguimiento
administrativoexterno?
Hacerseguimientoadministrativoexterno
Sí
No
Sehancumplidolasobligaciones?
Hacerllamadosdeatención
Elaborarinformeparcial
Elaborarcumplidoparcial
No
Elaboraractafinal
Archivo
Hacerseguimientoadministrativointerno
Prepararcertificaciones
Suscribirdiplomas
Aplicarevaluaciónfinaldereacción
Aplicarevaluacióndeaprendizaje
Solicitarinformaciónfinanciera
Elaborarinformefinal
Elaborar cumplido a satisfacción
Verificar pago final
¿Elprogramaacadémicoserepiteyrequiere
modificaciones?
Incluirinformaciónenelsistema
(Ajustarelcurrículo)DiseñoCurricular
Presentar resultados
Sí
Elaborarinformedegestiónanual
No
A B
A B
Seleccionar formadores
¿Existenfuncionariosque
puedanparticiparcomo
docentes?
AcordardisponibilidadSiquierenSipuedenSilosdejan
¿Huboacuerdoconlos
funcionarios?
Verificarausenciadeexpertoenlaentidad
2
PRODUCTO:Estudio Previo
PrepliegoPliego definitivo
PRODUCTO:Informe
PRODUCTO:Auto comisorio
Viáticos y tiquete
PRODUCTO:ConveniosContratos
RealizarExternamente
Contratación
Contratacióndirecta Licitaciónpública
Estudioprevio
Aperturaycierre
Evaluacióndepropuestas
Adjudicacióndelcontrato
Convenios
Hacerestudioprevio
Elaboraractadecompromiso
LaGuíaDidácticarequiere
ajustes?
SolicitaraldocenteajustarlaGuíade
Aprendizaje
Aplicarevaluaciónfinaldereacciónadocentes
yparticiapntes
PRODUCTOGuía didáctica aprobada
PRODUCTOInforme final
Cumplido a satisfaccióvnActa de liquidación
del contrato
SEGUIMIENTO EVALUACIÓN
6mesesdespúes
Aplicarevaluacióndetransferencia
EJECUCIÓNALISTAMIENTO
Elaboraractadeprogramación
Solicitarpólizas
Efectuarpagoanticipado
Ajustarcontenidos
Solicitarmaterialadocentes
Alistarmaterialparaparticipantes
Concretarcondocentestiemposespaciosyresponsabilidades
Notificarparticipacióndeldocente
Alistamiento
No
No
Sí
DiseñoCurricular
Programarladeteccióndenecesidadesde
capacitación
Asignarcoordinadoracadémico
Seleccionarmetodologíadedeteccióndenecesidadesde
capacitación
Realizarladeteccióndenecesidadesde
capacitación
Realizardiagnóstico
Recibirsolicitudesdecapacitación
Realizardiagnóstico
¿Serealizalacapacitación
solicitada?
Informaralsolicitante
Asignarcoordinador
Planeación
Cambiosnormativos
Causasquegeneransolicitudes
Identificacióndedebilidadesinstitucionales
Evolucióndeunprogramaquerequiere
avances
DecisiónGerencial
(coyunturapaís)
Evoluciónendesarrollode
funcionesmisionales
Presentar proyección deactividades
Reprogramarplandecapacitación
AsignarrecursosdelPresupuesto
AjustarelPlanTrienaldeCapacitación
FormularPOAdelaDivisióndeCapacitación
¿ElConsejoAcadémicoaprobóel
POA?
AjustarelPOA
DivulgaryejecutarelPOA
DivulgaryejecutarelPOA
Registrarprogramasenelmóduloderegistroy
control
PRODUCTOSÁBANA DEPURADA
(Sólo listado)
PRODUCTOPOA
PLAN TRIENAL
PRODUCTOPROGRAMA: logístico
administrativoCURRÍCULO: parte académica
(propuesta)Guía Didáctica
Visión Panorámica del evento
InicioInicio
Estudiar ofertasacadémicas
Definirparaelprogramaacadémico
Identificarcontenidos
Organizarcontenidos
¿Seapruebalaestructura?
Construirobjetivosespecificos
Identificarcompetencias
Determinarperfildelosdocentes
DesarrollarGuíadeAprendizaje
Seleccionarparticipantes
A
DISEÑO CURRICULARPLANEACIÓNDIAGNÓSTICO DENECESIDADES
Inicio Inicio
�Pertinenciaestratégica Cargadecapacitaciónde
lagente�Poblaciónobjeto(cantidad,
cargo,ubicación)�Priorización�Análisisdeantecedente�Propósito�Frecuenciadesolicitud
Sí
No
�Poráreas�Porniveles�Cobertura(central,
territorial)�Población�Presupuesto�Definirmodalidades
�Visióndeutilidad�Objetivo�Indicadores
Sí
�Justificación�Propósito�Plandeestudios�Poblaciónsujeto�Metodología�No.deeventos�Cronograma
No
No
Sí
Sí
No
Sí
Organizar logística del evento
¿Serequierendesplazamientos
oviáticos?
Inicio
�Informaactividad�Hacerequerimientos
(lugar,ayuda,logística,etc.)
�Solicitahacerlaconvocatoria
�Comité:FinancieraJurídicaTécnica
�VerificarlaausenciadeexpertoenlaEntidad.
�Evaluarhojadevidadealmenos3expertos:Experienciadocente.ExperienciaprofesionalespecíficaEstudios(pregrado-postgrado)Publicaciones
�Gestionarentregadedocumentosporpartedecontratistas.
No
Contextualizar docentes y solicitar desarrollo de
la Guía Didáctica
SeapruebalaGuíaDidáctica?
Inicio
Hacer seguimiento académico
Inicio
Fin
Ajustar la Guía Didáctica
Hacer la convocatoria
Realizar sesión introductoria (aplicar evaluación
diagnóstica)
Desarrollar actividades programadas
Seguimiento y Evaluación
Solicitar comisión para docentes, cooperadores y/o
participantes
Enviar comunicación a ciudad sede de la actividad
Verificar cumplimiento
Ejecución
A
Sí
No
2
1
1
No
�Objetivogeneral�Programas�Presupuesto�SolicitarCDP�Elaborarregitro
presupuestal
�Verificarelcumplimientodelcurrículoenobjetivo,contenido,metodología
�Mediante:EvaluacióndeaprendizajeEvaluacióndereacciónReunionesEntrevistas
�Verificarelcumplimientodelasobligacionesdelcontratoensusaspectosadministrativosyfinancieros.
�Verificar:DesplazamientosPagodeviáticosAsistencia(listados)Logística
�Objetivogeneral�Objetivosespecíficos�Programas
�Realizarestudiodemercado
�Evaluartrayectoria(temática,gradodeprofundizacióndelaofertaeneltemaespecífico)
�Ajustedelprogramaconbaseenelpresupuestodisponibleyelresultadodelestudiodemercado(ajustealPOA)
�Realizarestudioprevioporpartedecadacoordinadoracadémico(análisisdeoportunidadyconvivencia)
INTERNAMENTE�Determinarfactoresde
evaluacióndeoferentes(desdelotécnicoyloeconómico)dentrodelospliegosdecondiciones(metodología,evaluacióndelacapacitaciónpropuesta).
Sí
INICIODELCURSO
Sí
Serequiereseguimiento
administrativoexterno?
Hacerseguimientoadministrativoexterno
Sí
No
Sehancumplidolasobligaciones?
Hacerllamadosdeatención
Elaborarinformeparcial
Elaborarcumplidoparcial
No
Elaboraractafinal
Archivo
Hacerseguimientoadministrativointerno
Prepararcertificaciones
Suscribirdiplomas
Aplicarevaluaciónfinaldereacción
Aplicarevaluacióndeaprendizaje
Solicitarinformaciónfinanciera
Elaborarinformefinal
Elaborar cumplido a satisfacción
Verificar pago final
¿Elprogramaacadémicoserepiteyrequiere
modificaciones?
Incluirinformaciónenelsistema
(Ajustarelcurrículo)DiseñoCurricular
Presentar resultados
Sí
Elaborarinformedegestiónanual
No
A B
A B