vi congresso brasileiro de psicologia organizacional e do trabalho m inicurso - a valiaÇÃo em t...

55
VI Congresso Brasileiro de Psicologia Organizacional e do Tra MINICURSO - AVALIAÇÃO EM TREINAMENTO, DESENVOLVIMENTO E EDUCAÇÃO EM ORGANIZAÇÕES E TRABALHO: MODELOS E MEDIDAS Professora: Dra. Gardênia da Silva Abbad Departamento de Psicologia Social e do Trabalho Instituto de Psicologia

Upload: ian-bardini-cortes

Post on 07-Apr-2016

212 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho

MINICURSO - AVALIAÇÃO EM TREINAMENTO, DESENVOLVIMENTO E EDUCAÇÃO EM ORGANIZAÇÕES E

TRABALHO: MODELOS E MEDIDAS

Professora: Dra. Gardênia da Silva Abbad Departamento de Psicologia Social e do Trabalho

Instituto de Psicologia

Page 2: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

1. Avaliação de Treinamento: Modelos de Avaliação

2. Medidas de avaliação: (1) características da clientela ou público-alvo (2) reações dos participantes (3) aprendizagem, transferência de treinamento

(4) impacto do treinamento no trabalho (5) impacto na organização (6) suporte

RESUMO DOS CONTEÚDOS:

Page 3: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

AVALIAÇÃO DE TREINAMENTO: MODELOS DE AVALIAÇÃO

Avaliar e medir: Qual é a diferença?

Avaliar

Mensurar Julgar

Avaliação: processo que inclui coleta de dados e emissão de juízo de valor sobre a efetividade de um dado sistema instrucional.

Page 4: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

AVALIAÇÃO DE TREINAMENTO: MODELOS DE AVALIAÇÃO

Avaliar e medir: Qual é a diferença?

Page 5: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

AVALIAÇÃO DE TREINAMENTO: MODELOS DE AVALIAÇÃO

Avaliar e medir: Qual é a diferença?

Situação exemplo: Verificação da temperatura corporal de uma criança.

Condições: 1) um instrumento de medida (o termômetro), 2) uma unidade de medida (graus centígrados), 3) procedimentos de aplicação (colocar o termômetro embaixo de um dos braços da criança e mantê-la quieta por três minutos enquanto é feita a mensuração), 4) leitura e interpretação das informações coletadas através do termômetro.

Page 6: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

1. AVALIAÇÃO DE TREINAMENTO: MODELOS DE AVALIAÇÃO

Avaliar e medir: Qual é a diferença?

Situação exemplo: Verificação da temperatura corporal de uma criança

Resultado: Até o momento da leitura da temperatura da criança, estamos apenas realizando uma mensuração (isto é, estamos verificando o quanto a criança possui o atributo temperatura).

Neste exemplo hipotético, o resultado da mensuração foi o seguinte: 39,2 graus Celsius.

O que você diria disto? Sim, você diria que o bebê está com muita febre!!! Isto é um julgamento de valor – avaliação.

Page 7: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

AVALIAÇÃO DE TREINAMENTO: MODELOS DE AVALIAÇÃO

Avalia-se para:

1) verificar cumprimento de objetivos, desempenhos de pessoas e instituições (Tyler, 1949),

2) julgar o mérito de ações (Hamblin, 1978; Scriven, 1991)

3) analisar processos e observar situações a partir do olhar de agentes externos (Worthen, Sanders, & Fitzpatrick, 2004)

4) reconhecer o nexo causal entre ações e eventos (McLauglin & Jordan, 2010; Oston, 2007),

5) julgar e aplicar padrões de qualidade, utilidade, eficácia e efetividade àquilo que foi avaliado (Bloom, Hastings, & Madaus, 1983; Khandker, Koolwal, & Samad, 2010; Vianna, 2000),

6) suscitar reflexão sobre ações (Hoffmann, 1991)

7) fomentar comunicação entre atores sociais diversos (Guba & Lincoln, 1989), dentre eles os stakeholders (Knowlton & Phillips, 2009; McLaughlin & Jordan, 2004; 2010).

Fonte: Souza (2013)

Page 8: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

1. AVALIAÇÃO DE TREINAMENTO: MODELOS DE AVALIAÇÃO

Reação

Aprendizagem

Comportamento

Mudança

Valor Final

Modelos TradicionaisFoco em resultados

Hamblin (1978) Kirkpatrick (1976, 1977)

Page 9: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

1. AVALIAÇÃO DE TREINAMENTO: MODELOS DE AVALIAÇÃO

Reação

Aprendizagem

Comportamento

Resultados

Valor Final

Treinamento

Clientela

Suporte

Preditores Critérios• Alliger e Janak (1989)

observaram após análise de 203 artigos que somente oito artigos relataram correlações entre dois ou mais níveis de avaliação.

• Tannenbaum e Yukl (1992) observaram que não há suporte empírico à suposição de relacionamento direto causal entre os níveis de avaliação.

Page 10: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

1. AVALIAÇÃO DE TREINAMENTO: MODELOS DE AVALIAÇÃO

Benefícios do uso de modelos: (McLaughlin e Jordan, 2010)

1) Planejamento, implementação, monitoramento e avaliação de um programa;

2) Identificação de indicadores de resultados; 3) Desenho e a melhoria das atividades críticas; 4) Construção de um entendimento comum sobre o

programa; 5) Compartilhamento de ideias e a explicitação de

pressupostos sobre relações de causa e efeito; 6) Comunicação entre interessados e constituintes do

programa.

Page 11: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

1. AVALIAÇÃO DE TREINAMENTO: MODELOS DE AVALIAÇÃO

MODELOS INTERNACIONAIS INFLUENTES:• SCRIVEN (1967)

Propôs classificação das avaliações em formativas realizadas durante a implementação das atividades e as somativas realizadas após a conclusão de um ciclo completo de atividades.

• STUFFLEBEAM (1978)

Propôs o modelo CIPP – Context, Input, Process and Product, para avaliar programas educacionais

• WARR, BIRDI E RACKHAM (1970)

Propôs a abordagem CIRO – Context, Input, Reactions and Outcomes (CIRO), para avaliar diferentes componentes, apesar de não incluir explicitamente os processos ou atividades

Page 12: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

AVALIAÇÃO DE TREINAMENTO: MODELOS DE AVALIAÇÃO

• Modelo de Avaliação Integrado e Somativa (MAIS), elaborado por Borges-Andrade (1982),

• Modelo IMPACT, elaborado por Abbad (1999, 2010,2013)

Os modelos de avaliação acima mencionados, assim como os modelos lógicos, foram criados a partir de abordagens sistêmicas.

Essa semelhança facilita a adoção conjunta desses modelos na realização de pesquisas avaliativas, como as conduzidas por Mourão (2004), Meneses (2007), Pereira (2009), Laval (2011), Borges de Souza (2011).

Page 13: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

AVALIAÇÃO DE TREINAMENTO: MODELOS DE AVALIAÇÃO

PROCEDIMENTOS

AMBIENTE: APOIO

AMBIENTE:NECESSIDADES

AMBIENTE:RESULTADOS

A LONGOPRAZO

AMBIENTE: DISSEMINAÇÃO

PROCESSO

PROCESSO

INSUMOS RESULTADOSINSUMOS

Modelo MAIS – Borges-Andrade

Page 14: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

Uso de modelos lógicos de avaliação:

AVALIAÇÃO DE TREINAMENTO: MODELOS DE AVALIAÇÃO

Avaliação de programas inclui (Chen, 2005):

Elementos descritivos : componentes do programa

Elementos prescritivos: o que o programa deveria ser

Explicitação de pressupostos: causas do sucesso ou fracasso

Esse conjunto de informações e conhecimentos denomina-se “teoria do programa”

Page 15: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

Uso de modelos lógicos de avaliação:

1. AVALIAÇÃO DE TREINAMENTO: MODELOS DE AVALIAÇÃO

Page 16: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

1. AVALIAÇÃO DE TREINAMENTO: MODELOS DE AVALIAÇÃO

Representação da Associação do Modelo Lógico com Modelo IMPACT – 2013

RecursosInsumos

AtividadesProcessos

Produtos Resultados

Page 17: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

2. MEDIDAS DE AVALIAÇÃOINSUMOS OU RECURSOS - CARACTERÍSTICAS DA

CLIENTELA OU PÚBLICO-ALVO

Fonte: Meneses e cols. (2006), capítulo 21, p. 425. Medidas: Abbad e cols (2012), capítulos 12,13,14 e 15, p.190-243.

Page 18: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

2. MEDIDAS DE AVALIAÇÃO

REAÇÕES A TREINAMENTOS PRESENCIAIS E A DISTÂNCIA

Capítulo 22

Capítulo 5

Page 19: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

2. MEDIDAS DE AVALIAÇÃOREAÇÕES a Treinamentos Presenciais e a Distância

1. Definir os construtos de interesse de acordo com um modelo.

2. Listar indicadores de avaliação.

3. Identificar e escolher instrumentos de medida.

4. Escolher ou construir e validar instrumentos.

5. Escolher fontes e meios de avaliação.

6. Definir avaliadores.

7. Definir procedimentos de coleta de dados

8. Definir procedimentos de análise de dados.

9. Definir estrutura do relatório e devolução de resultados.

Figura 22.1 Etapas da escolha de procedimentos de avaliação de TD&E. Abbad (2006). P. 447.

Page 20: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

20

CONSTRUTO

INDICADORES INSTRUMENTOS

FONTES, MEIOS E

AVALIADORES

APLICAÇÃO E ANÁLISE DE

DADOS

APOIO À

EXECUÇÃO

Salas de aula: ventilação, tamanho, mobiliário, leiaute, acústica, entre outras.Hospedagem: proximidade do local do curso, quantidade de hóspedes por quarto, alimentação, e outras.Valor das diáriasCoordenação: facilidade de acesso, presteza no atendimento, etc.Instalações: banheiros, salas para estudo, reuniões e consultas a materiais didáticos. Serviços e Recursos de apoio às aulas (equipamentos, materiais e similares)

Questionários de avaliação de reações com itens objetivos e questões abertas.

Fonte primáriaAvaliadores: Participantes

Coletiva e Presencial ao final do curso.Análise quantitativa (questões objetivas)Análise qualitativa para as questões abertas.

O que e como medir reações?

Quadro 22.2. Definição de métodos de avaliação de ações presenciais de TD&E.Adaptado de Borges-Andrade, Abbad e Mourão (2006). P. 448.

Page 21: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

21

O que e como medir reações?

PROCEDIMENTOS – ATIVIDADES

Planejamento ou desenho instrucional:Objetivos instrucionais.Sequência de conteúdos.Estratégias instrucionais.Tempo destinado a atividades práticas.Qualidade e quantidade de materiais didáticos.Avaliações de aprendizagem.

Execução: Desempenho do instrutor.Interações requeridas pelos exercícios e atividades instrucionais.

Questionário de avaliação de reações. Roteiro de análise dos materiais do curso.Roteiros de Observação.

Fontes primárias.ParticipantesInstrutores.Especialistas em TD&E e nos conteúdos.Especialistas em TD&E.

Coletiva e Presencial ao final do curso.Avaliações feitas por duplas (ou mais pessoas) de avaliadores independentes e análise de confiabilidade.

Quadro 22.2. Definição de métodos de avaliação de ações presenciais de TD&E.Adaptado de Borges-Andrade, Abbad e Mourão (2006). P. 449.

CONSTRUTO

INDICADORES INSTRUMENTOS

FONTES, MEIOS E

AVALIADORES

APLICAÇÃO E ANÁLISE DE

DADOS

Page 22: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

22

PROCESSOS INTERMEDIÁRIOS

Resultados de testes intermediários ou exercícios práticos.Motivação durante o curso. Quantidade de tempo de estudo individual.Interações participante-participante, participante-instrutor.Reações às atividades propostas durante o curso.Absenteísmo.Evasão

Testes ou provasRoteiro de Observação ouQuestionário de reações aplicado durante o curso.

Instrutores.

Especialistas InstrutoresParticipantes

Avaliação feita pelos instrutores, geralmente coletiva e presencial.

Avaliação por duplas de avaliadores independentes.

Consulta simples a registros relativos ao curso.

O que e como medir reações?CONSTRUTO

INDICADORES INSTRUMENTOS FONTES, MEIOS E

AVALIADORES

APLICAÇÃO E ANÁLISE DE

DADOS

Quadro 22.2. Definição de métodos de avaliação de ações presenciais de TD&E. Adaptado de Borges-Andrade, Abbad e Mourão (2006). P. 449.

Page 23: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

23

O que e como medir reações?CONSTRUTO

INDICADORES INSTRUMENTOS

FONTES, MEIOS E AVALIADORES

APLICAÇÃO E ANÁLISE DE

DADOS

Quadro 22.5. Definição de métodos de avaliação de ações a distância de TD&E Adaptado de Borges-Andrade, Abbad e Mourão (2006). P. 455.

APOIO

Interface gráfica

Serviço de apoio técnico

Sistema de tutoria: passiva ou ativa, quantidade de alunos por tutor.

Ambiente de estudo: adequação do curso ao computador (acesso e adequação), aos locais, preferências e hábitos de estudos dos participantes, apoio ao participante na administração do tempo para conclusão das unidades do curso.

Questionário de avaliação de reações

Roteiros

Primárias: Participantes

Avaliadores:TutoresDesenhistas instrucionaisEspecialistas em conteúdoDesenvolvedores WEB

SecundáriasDados de arquivo gerenciadores eletrônicos de cursos, conteúdo de e-mails.

Avaliadores:Tutores e profissionais de TD&E.

Aplicação individual com questionário digitalizado e hospedado no site do curso ou da organização.

Análise quantitativa das respostas ao questionário e dos dados secundários.

Análise qualitativa de mensagens dos participantes sobre apoio.

Page 24: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

24

Instrumentos de medidaReações ao Treinamento

Reação ou Satisfação com a Programação

Pontuação

1. Clareza na definição dos objetivos do curso.2. Compatibilidade dos objetivos com as suas necessidades de treinamento.3. Carga horária programada para as atividades teóricas.4. Ordenação dos conteúdos.5. Carga horária programada para as atividades práticas.6. Carga horária diária.7. Adequação do conteúdo programático aos objetivos do curso.8. Qualidade das instalações.9. Qualidade e organização do material didático10. Quantidade de material didático.

Escala: (5) Ótimo, (4) Muito Bom, (3) Bom, (2) Regular, (1) Ruim Fonte: Abbad (1999), e Abbad, Borges-Andrade, Sallorenzo, Gomes-Gama e Morandini (2001). Em: Abbad(2006). P. 458. Abbad e cols (2012), capítulos 5 e 6, p. 78-107.

Page 25: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

25

Instrumentos de medidaReações a treinamento a distância

Quadro 22.9. Fragmentos de escalas de Reações Procedimentos Instrucionais para avaliação de curso a distância, mediado pela WEB. NOTA PROCEDI MENTOS TRADI ONAIS

( ) Seqüência de apresentação dos módulos. ( ) Ligação entre o conteúdo proposto e os objetivos do curso. ( ) Linguagem utilizada no material do curso. ( ) Quantidade de capítulos por módulo. NOTA RECURSOS DA WEB ( ) Discussões nas listas de discussões. ( ) Discussões na comunidade de aprendizagem. ( ) Discussões nos chats. NOTA ATI VIDADES E EXERCÍCIOS ( ) Exercícios de fixação (obrigatórios). ( ) Atividades propostas ao final dos capítulos. ( ) Orientação para solução de erros em exercícios de fixação (obrigatórios).

Escala de 11 pontos, em que 0 (zero) corresponde a Péssimo e 10 a Excelente. Fonte: Zerbini (2003) e Borges-Andrade, Abbad e Mourão (2006). Zerbini e cols (2012), capítulo 6, p.91-107.

Page 26: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

26

Instrumentos de medidaReações ao desempenho do tutor

Quadro 22.10. Fragmentos das escalas de Reações ao desempenho do Tutor de curso a distância, mediado pela WEB. NOTA DESEMPENHO DI DÁTI CO E DOMÍ NIO DO CONTEÚDO ( ) Integra teoria e prática em suas explicações. ( ) Esclarece os motivos dos erros cometidos pelos participantes. ( ) Muda a forma de explicar até que os participantes compreendam os assuntos do

curso. ( ) Apresenta exemplos que ilustram bem o tema discutido. ( ) Aproveita os acertos dos participantes para enfatizar os aspectos mais

importantes do tema. ( ) Cria situações em que os participantes se sintam capazes de resolver.

NOTA USO DE ESTRATÉGI AS MOTI VACI ONAI S ( ) Envia mensagens de incentivo aos participantes. ( ) Incentiva os participantes a concluírem o curso. ( ) Encoraja os participantes a discutirem coletivamente suas dúvidas e

questionamentos. Escala: 0 = nunca a 10 = sempre. Fontes: Carvalho (2003) Abbad (2006). P. 461. Zerbini e cols (2012), capítulo 6, p.91-107.

Page 27: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

TRANSFERÊNCIA DE TREINAMENTO E IMPACTO DO

TREINAMENTO NO TRABALHO – EM

PROFUNDIDADECapítulo 24 – TD&E – 2006Capítulo 8 – Medidas de avaliação -

2012

Page 28: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

Treinamento, resultados e explicações alternativas ou externalidades

Zerbini, Coelho Jr., Abbad, Mourão, Alvim, Loiola – 2012. p.129

Page 29: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

29

Impacto, Transferência e Desempenho

• Transferência de treinamento refere-se à aplicação eficaz, no ambiente de trabalho, de conhecimentos, habilidades ou atitudes adquiridas em situações de treinamento.

• O participante transfere para o trabalho uma nova forma de desempenhar antigas tarefas e/ou leva para o ambiente de trabalho as habilidades, atitudes e/ou conhecimentos necessários à execução de uma nova tarefa.

Page 30: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

Etapas – construção de medidas

Zerbini, Coelho Jr., Abbad, Mourão, Alvim, Loiola – 2012. p.131

Page 31: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

O que medir?

No nível do indivíduo:

• afetivos (atitudes frente a pessoas, objetos, aspectos do trabalho e não trabalho, si próprio e aprendizagem; motivação no trabalho; auto eficácia; bem estar mental)

• cognitivos (uso de informações verbais, conceitos e regras e solução de problemas ou criatividade)

• psicomotores (velocidade, fluidez)• Efeitos instrumentais extrínsecos (aumento, promoção

e novos trabalhos)• Efeitos instrumentais relacionais (networking, relações

de colaboração, capacitação de outras pessoas)• Efeitos instrumentais não relacionados ao trabalho

(mudanças em relações ou desempenhos fora do trabalho, novos papéis em outras esferas de vida).

Page 32: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

• Medir observando ou perguntando?– Dificuldades para

observar desempenhos complexos, ou não rotineiros.

– Perguntas são as melhores alternativas, além de exigirem custos e esforços menores

– Análises de conteúdos de perguntas abertas muito frequentemente apoiam dados quantitativos.

– Uso de dados sobre resultados objetivos de desempenho individual

– Resultados de avaliação de desempenho individual

• Auto (treinandos) ou hetero (supervisores, colegas ou clientes) avaliações?– Combinação seria o

ideal – Validade e alta precisão

confirmadas seguidamente

– Supervisores e colegas às vezes mais rigorosos que treinandos.

– Validar os resultados dessas avaliações baseadas em julgamentos humanos com resultados de desempenho (indicadores duros de produtividade)

• Estudos permitiram avanços importantes nesse nível de avaliação

Como medir impacto no trabalho individual?

Page 33: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

Como medir impacto no trabalho?

• As medidas de transferência são específicas:

– Itens construídos a partir de objetivos instrucionais contidos na documentação do treinamento ou

– extraídos de relatos de instrutores, desenhistas instrucionais, estudantes.

As medidas impacto em amplitude são mais gerais:

• itens gerais e aplicáveis a quaisquer

tipos de treinamentos que objetivam efeitos no desempenho profissional do egresso no trabalho (Abbad, 1999);

• itens que espelham objetivos gerais de programas educacionais ou de capacitação (Carvalho (2003), Pereira (2009), Neto (2009);

• itens de avaliação de desempenho funcional, escolhidos entre aqueles que ilustram dimensões do desempenho possivelmente afetadas pelo programa ou pelo treinamento em foco, como os utilizados por Nóbrega (2003).

• Resultados objetivos do trabalho.

Page 34: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

EXEMPLOS DE ITENS DE AVALIAÇÃO DE TRANSFERÊNCIA OU IMPACTO EM PROFUNDIDADE

Hetero

I MPACTO EM PROFUNDIDADE TREINAMENTO NO TRABALHO - ECONOMIA APLICADA 1. Toma decisões com base nos impactos decorrentes da expansão/ contração dos meios de

pagamento da atividade econômica. 2. Prospecta oportunidades de negócio, gerando soluções inovadoras ao mercado em que

atua. 3. Detecta potenciais/reais ameaças ao desempenho do Banco, antecipando-se à

concorrência na apresentação de soluções. 4. Conduz o processo negocial de acordo com a estrutura do mercado em que o cliente

atua. 5. Utiliza indicadores econômico – financeiros para apoiar decisões negociais. 6. Avalia metas com base em seus indicadores econômicos financeiros. 7. Baliza decisões sobre oferta e demanda de produtos e serviços (exemplo créditos,

seguro) com base na evolução dos principais indicadores macroeconômicos do país (PIB, juros, câmbio, finanças públicas, balança de pagamento) e nas análises setoriais.

8. Conduz o processo negocial de acordo com a análise do contexto da economia internacional (comércio internacional, balança de pagamento, mercado cambial, blocos econômicos, globalização, dívida externa).

Page 35: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

Impacto do Treinamento no Trabalho – Medida em Amplitude

Livro: Medidas de Avaliação em TD&E Capítulo 9 – páginas 145-160

Gardênia da Silva AbbadRonaldo Pilati

Jairo Borges Andrade‑Lucia Henriques Sallorenzo

Page 36: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

O que é impacto em amplitude?

• Impacto em amplitude é o efeito direto da transferência de treinamento sobre o desempenho do egresso.

• Difere do impacto em profundidade em termos da abrangência e da natureza do relacionamento que mantém com o desempenho do egresso no pós treinamento. ‑

• Enquanto a transferência é um efeito direto do treinamento, impacto ou comportamento no cargo nem sempre se refere a efeitos diretos do treinamento no desempenho subsequente do egresso.

Page 37: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

Treinamento, resultados e explicações alternativas ou externalidades

Representação esquemática das relações entre treinamento e resultados, adaptada de Taylor e O`Driscoll (1998)

Page 38: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

Questionário de Autoavaliação de Impacto em Amplitude

Escala de Concordância: 1 - discordo Totalmente e 5 - concordo totalmenteConstruído em 1999 por Abbad, validado em diversas organizações. Estrutura empírica confirmada em 2004 por Pilati e Abbad., 2005

Page 39: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

Questionário de heteroavaliação de impacto do treinamento no trabalho – medida em amplitude

Page 40: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

Exemplos de itens – impacto em amplitudecurso para empreendedores

Carvalho (2003)

Page 41: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

Relatório de avaliação• Os resultados das avaliações devem ser interpretados de modo a responder as seguintes

questões: – O treinamento produziu os efeitos desejados no desempenho do egresso? – Quantas pessoas e qual o perfil dos egressos que estão aplicando as novas

aprendizagens no trabalho? – Em quais unidades organizacionais houve maior impacto do treinamento no

trabalho? – O impacto é maior em unidades em que há maior suporte psicossocial (de chefes e

colegas) à transferência de treinamento?

• Se o treinamento não atingiu os objetivos esperados é preciso compreender porque isso aconteceu. Como podemos investigar isto? Como podemos interpretar os resultados?

– analisando e relacionando impacto com as demais avaliações (reações, aprendizagem e transferência);

– analisando resultados de análises documentais, observações e entrevistas; – Integrando os resultados provenientes de diferentes fontes e técnicas de coleta de

dados, – Interpretando e validando os resultados com os participantes da pesquisa; – Descrevendo falhas e sugerindo aprimoramentos no sistema instrucional como um

todo (retroalimentação científica) ou no treinamento.

Page 42: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

O que mais medir e avaliar?Externalidades - Suporte

Variáveis interferentes – preditivas de resultados:

• Suporte ao treinamento• Suporte externo e interno à transferência

de treinamento

Page 43: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

43

IMPACT: Impacto e Desempenho

Fontes: Abbad (1999) e Abbad; Borges Andrade (2004, 2014)

Page 44: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

..?!!

Page 45: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

Fator 1: Suporte Gerencial e Social à Transferência Freq.

Meu chefe encoraja a aplicação. Meu chefe planeja comigo o uso das novas habilidades. Recebo as informações necessárias ao uso eficaz das novas habilidades. Meu chefe remove obstáculos e dif iculdades ao uso eficaz das novas habilidades. Meu chefe encoraja-me a aplicar no trabalho o que aprendi no treinamento. Recebo elogios pelo uso correto das novas habilidades. Minhas sugestões são levadas em consideração. Recebo as orientações e informações necessárias à aplicação eficaz das novas habilidades. Recebo apoio dos colegas experientes. Minhas tentativas de uso das novas habilidades passam despercebidas. Tenho oportunidades de utilizar no trabalho o que aprendi no curso. São ressaltados os aspectos negativos à aplicação das novas habilidades.

Suporte PSICOSSOCIAL à Transferência: refere-se ao apoio de chefes e colegas ao uso de novas habilidades no trabalho (fator 1).

Abbad, 1999Abbad e Sallorenzo, 2001

Page 46: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

Suporte Material à Transferência: refere-se à disponibilidade e qualidade dos recursos materiais necessárias ao uso eficaz de novas habilidades no trabalho

Suporte Material à Transferência Freq.

Os recursos materiais estão em boas condições de uso.

A organização fornece recursos em quantidade suficiente.

A organização fornece os recursos materiais necessários.

As ferramentas de trabalho são compatíveis com a aplicação eficaz das novas habilidades.

O local de trabalho é adequado à aplicação das novas habilidades.

Suporte Material

Abbad e cols (2012). P. 244-263

Gardênia da Silva Abbad - Universidade de Brasília

Page 47: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

Gardênia da Silva Abbad - Universidade de Brasília

Exemplos de itens de Gestão e carga de trabalhoQuantidade de atribuições e serviços a serem realizados no dia-a-dia de trabalho.Quantidade de funcionários na Agência para atender a outras demandas de trabalho.Quantidade de metas a serem cumpridas além das metas relativas ao DRS.Distribuição de atividades entre os funcionários.Disponibilidade de tempo para aplicar, no trabalho, o que aprendi no curso DRS.Grau de prioridade dada às atividades de DRS em relação às outras atividades de trabalho.Prazos para realização das etapas da metodologia DRS.Número de funcionários treinados na Agência que atuam com DRS.

Suporte Interno

Fonte: Dissertação de mestrado - Stella Cristina Moraes Pereira – 2009 – PSTO

Page 48: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

Exemplos de itens de Suporte Externo à Organização Engajamento da comunidade e dos líderes comunitários em discussões e na busca de soluções para o desenvolvimento regional sustentável.

Interesse da comunidade e dos líderes comunitários pelo sucesso da implementação do plano de negócios DRS.

Apoio de parceiros (órgãos públicos e privados) de acordo com suas competências, para o planejamento e a realização das ações de DRS.Nível de concertação dos membros da equipe DRS.

Potencial econômico do meu Município ou região para implementar a estratégia DRS (atividades produtivas, fatores climáticos, mão-de-obra, desenvolvimento, etc).

Suporte Externo

Fonte: Dissertação de mestrado - Stella Cristina Moraes Pereira – 2009 – PSTO

Page 49: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

AVALIAÇÃO DE TREINAMENTO: MUDANÇA E VALOR FINAL

Mudança refere-se aos efeitos produzidos por eventos educacionais nos processos de trabalho dos grupos e da organização. Podem ser mensurados por meio de indicadores de resultados e/ou de mudanças no desempenho e atitudes de grupos.Valor Final refere-se aos efeitos globais do treinamento sobre indicadores organizacionais de resultados e produtividade.

Freitas e Mourão (2012), capítulo 10, p. 163-176Mourão e Meneses (2012), capítulo 11, 177-189.

Page 50: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

Resultados Longo Prazo

• No nível da equipe:• afetivos (coesão, satisfação, auto-

eficácia, ambigüidade de papéis e orientação para tarefa)

• cognitivos (conhecimento possuído e representado)

• de desempenho (comunicação interna, tomada de decisão, solução de conflitos, níveis de participação)

• instrumentais intrínsecos (responsabilidades e variedade de trabalho recebido)

• instrumentais extrínsecos (bônus)• instrumentais de qualificação

(certificações formais)

• No nível da organização:• relativos a metas de

produtos (quantidade, qualidade, variedade)

• relativos a metas do sistema (crescimento, lucro, retorno de investimentos)

• aquisição de recursos (novos clientes, compra de outras organizações)

• constituintes (satisfação de consumidores e acionistas, imagem)

• de processos internos (novas tecnologias, clima, absenteísmo, rotatividade, taxas de acidentes)

Page 51: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

Como medir impacto nos níveis de mudança organizacional?

• Indicadores objetivos de desempenho organizacional – Foco no comportamento da organização ou de suas

unidades– Mudanças (deduzidas dos objetivos) a serem

detectadas na cultura, valores, metas, estruturas, processos e desempenhos organizacionais ou de equipes

• Faltam sistemas organizacionais de controle e avaliação sensíveis à detecção de efeitos de T&D

• São altos os custos associados à construção de indicadores

• Falta de definição prévia dos níveis de resultados esperados das ações educacionais.

Page 52: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

Questões no nível de VALOR FINAL

• Identificação e cálculo dos parâmetros da avaliação– Que objetivos educacionais aprendidos levariam a

mudanças previstas nas metas do programa? – Quais resultados mostram que o problema que

originou o programa foi resolvido pelas atividades ? – Raramente consegue-se implementar esse nível– Existem relatos de algumas experiências nacionais e

internacionais

Page 53: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

ABBAD, Gardenia da Silva (Org.); MOURÃO, Luciana (Org.) ; MENESES, Pedro Paulo Murce (Org.); ZERBINI, Thaís (Org.) ; BORGES-ANDRADE, Jairo Eduardo (Org.) ; VILAS-BOAS, R. (Org.) . Medidas de Avaliação TD&E: Ferramentas para a Gestão de Pessoas. 1. ed. Porto Alegre - RS: Artmed, 2012. v. 1. 304p .

BORGES-ANDRADE, Jairo Eduardo (Org.) ; ABBAD, Gardenia da Silva (Org.) ; MOURÃO, Luciana (Org.) . Treinamento, Desenvolvimento e Educação em Organizações e Trabalho: Fundamentos para a Gestão de Pessoas.. 1. ed. Porto Alegre -RS: Artmed, 2006. v. 1. 576.p .

MENESES, Pedro Paulo Murce ; ZERBINI, Thaís ; ABBAD, Gardenia da Silva . Manual Prático de Treinamento Organizacional. 1. ed. Porto Alegre-RS: Artmed, 2010. v. 01. 168p

REFERÊNCIAS

Page 54: VI Congresso Brasileiro de Psicologia Organizacional e do Trabalho M INICURSO - A VALIAÇÃO EM T REINAMENTO, D ESENVOLVIMENTO E E DUCAÇÃO EM O RGANIZAÇÕES

REFERÊNCIAS