Globalcode – Open4education
Trilha BigData
Conceitos e Práticas no
Desenvolvimento de Sistemas
PreditivosRodrigo de Moraes e Wagner Luiz Cambruzzi
Mestres em Computação Aplicada
Globalcode – Open4education
ConceitosSistemas Preditivos
Globalcode – Open4education
Sistemas Preditivos
O que é:
Um sistema preditivo é um sistema capaz de analisar
dados e definir um modelo matemático da relação
existente entre os dados de fatos prévios a
determinados acontecimentos.
Como:
Através da aplicação de técnicas de Mineração de
Dados e de Aprendizado de Máquina.
Globalcode – Open4education
Mineração de Dados
Processo de Descoberta do Conhecimento
Processo VS. Etapa
Objetivo: Extração de conhecimento não trivial através
da análise e processamento de dados referentes a fatos
ocorridos no passado
Globalcode – Open4education
Mineração de Dados
Tipos de aprendizado de máquina
Supervisionado
Não supervisionado
Globalcode – Open4education
Mineração de Dados
Tipos de aprendizado de máquina
Supervisionado
Aprendizado sobre dados históricos cujo o resultado de
interesse é conhecido
Não supervisionado
Identificação de padrões semelhantes existentes nos
dados, sem informação prévia de qualquer relação entre
eles
Globalcode – Open4education
Mineração de Dados
Principais objetivos de técnicas de Mineração de
Dados
Regressão / Estimação
Globalcode – Open4education
Mineração de Dados
Principais objetivos de técnicas de Mineração de
Dados
Regressão / Estimação
Objetivo: Estimar o valor de alguma variável baseado na
observação de outras variáveis
Exemplo: Estimar o valor de mercado de uma casa baseado em
sua metragem, número de quartos, número de banheiros e etc...
Globalcode – Open4education
Mineração de Dados
Principais objetivos de técnicas de Mineração de
Dados
Regressão / Estimação
Agrupamento / Clustering
Globalcode – Open4education
Mineração de Dados
Principais objetivos de técnicas de Mineração de
Dados
Regressão / Estimação
Agrupamento / Clustering
Objetivo: Encontrar agrupamentos de amostras de dados com
base na semelhança dos valores de variáveis
Exemplo: Identificação de diferentes perfis de consumidores,
Categorias de documentos textuais...
Globalcode – Open4education
Mineração de Dados
Principais objetivos de técnicas de Mineração de
Dados
Regressão / Estimação
Agrupamento / Clustering
Regras de Associação
Globalcode – Open4education
Mineração de Dados
Principais objetivos de técnicas de Mineração de
Dados
Regressão / Estimação
Agrupamento / Clustering
Regras de Associação
Objetivo: Identificação de concorrência de valores de variáveis
Exemplo: Correlação entre itens em compras, identificação de
padrões de escrita...
Globalcode – Open4education
Mineração de Dados
Principais objetivos de técnicas de Mineração de
Dados
Regressão / Estimação
Agrupamento / Clustering
Regras de Associação
Detecção de anomalias
Globalcode – Open4education
Mineração de Dados
Principais objetivos de técnicas de Mineração de
Dados
Regressão / Estimação
Agrupamento / Clustering
Regras de Associação
Detecção de anomalias
Objetivo: Identificação de situações/comportamentos fora do
padrão
Exemplo: Fraudes em movimentações bancárias / utilização de
cartões de créditos
Globalcode – Open4education
Mineração de Dados
Principais objetivos de técnicas de Mineração de
Dados
Regressão / Estimação
Agrupamento / Clustering
Regras de Associação
Detecção de anomalias
Classificação/Predição
Globalcode – Open4education
Mineração de Dados
Principais objetivos de técnicas de Mineração de
Dados
Regressão / Estimação
Agrupamento / Clustering
Regras de Associação
Detecção de anomalias
Classificação/Predição
Objetivo: Identificação de padrões nos dados capazes de
distinguir diferentes grupos de amostras
Exemplo: Classificação de documentos, Classificação de
polaridade de sentimentos, sucesso ou insucesso acadêmico
Globalcode – Open4education
Classificadores
Naïve Bayes
Fonte: https://computersciencesource.wordpress.com/2010/01/28/year-2-machine-learning-naive-bayes-classifier/
Globalcode – Open4education
Classificadores
Decision Trees (Árvores de Decisão)
Globalcode – Open4education
Classificadores
Decision Trees
Fonte: http://web.tecnico.ulisboa.pt/ana.freitas/bioinformatics.ath.cx/bioinformatics.ath.cx/indexf23d.html?id=199
Globalcode – Open4education
Support Vector Machines (SVM)
Classificadores
Globalcode – Open4education
Support Vector Machines (SVM)
Classificadores
Fonte: http://www.eric-kim.net/eric-kim-net/posts/1/kernel_trick.html
Globalcode – Open4education
Support Vector Machines (SVM)
Fonte: https://www.youtube.com/watch?v=3liCbRZPrZA
Classificadores
Globalcode – Open4education
Support Vector Machines (SVM)
Classificadores
Fonte: http://www.eric-kim.net/eric-kim-net/posts/1/kernel_trick.html
Globalcode – Open4education
Classificadores
Artificial Neural Networks (ANNs)
Globalcode – Open4education
Classificadores
Artificial Neural Networks (ANNs)
Globalcode – Open4education
Séries temporais
Dados que variam “continuamente” no tempo e
que cada um dos valores apresenta certa
dependência em relação aos valores do passado
Exemplos:
Mercado Financeiro
Consumo de energia elétrica
Temperatura
Umidade
Globalcode – Open4education
Séries temporais
Globalcode – Open4education
Os problemas dos dados
Formato do dado / Armazenamento / Integridade
Compatibilidade de histórico
Alterações e migrações de sistemas
Metodologia de definição de variáveis
Existências de poucos dados (amostras) sobre o
problema
Existência de dados supervisionados
Critérios de definição de classes
Desbalanceamento entre classes
Globalcode – Open4education
Estudo de caso de um
sistema preditivo
Globalcode – Open4education
Contexto
Globalcode – Open4education
Perfil da Empresa
• 28 anos de atuação;
• Especialista em Sistema de Gestão Educacional;
• Atuação exclusiva no segmento educacional;
• 700+ clientes no Brasil;
• 130+ colaboradores.
Globalcode – Open4education
Como nasceu o projeto?
• Unidade de Novos Negócios;
• Problema da evasão em IES;
• Projeto RHAE do CNPQ;
• Grupo de Pesquisa e Mestrados;
• Validação da Ideia;
• Produto.
Globalcode – Open4education
O que é o GVwise?
Uma solução que atua na gestão da
retenção de alunos.
Globalcode – Open4education
Dados?
Eventos
Professores e
Tutores
AdministrativoCoordenações
2. Instituição de Ensino
Ambiente Virtual
de Aprendizagem
3. Dados
Atendimento
1. Estudantes
Globalcode – Open4education
1 - Mapeamento de indicadores
2 - Geração e validação de padrões
3 - Predição e emissão de alertas
4 - Avaliação e realização de ações
Como funciona?
Globalcode – Open4education
1 - Mapeamento de indicadores
2 - Geração e validação de padrões
3 - Predição e emissão de alertas
4 - Avaliação e realização de ações
1 – Mapeamento de indicadores
AVEA, ERP, CRM, ...Indicadores
Exploração dos dados
Como funciona?
Globalcode – Open4education
1 - Mapeamento de indicadores
2 - Geração e validação de padrões
3 - Predição e emissão de alertas
4 - Avaliação e realização de ações
Como funciona?
Globalcode – Open4education
1 - Mapeamento de indicadores
2 - Geração e validação de padrões
3 - Predição e emissão de alertas
4 - Avaliação e realização de ações
Como funciona?
Globalcode – Open4education
1 - Mapeamento de indicadores
2 - Geração e validação de padrões
3 - Predição e emissão de alertas
4 - Avaliação e realização de ações
2 - Geração e validação de padrões
Definição de perfis
Indicadores de estudantes (histórico)
Aprovados
Reprovados
Evadidos
Identificação dos grupos de interesse
Mineração de dados e identificação de padrões
Como funciona?
Globalcode – Open4education
1 - Mapeamento de indicadores
2 - Geração e validação de padrões
3 - Predição e emissão de alertas
4 - Avaliação e realização de ações
Como funciona?
Globalcode – Open4education
1 - Mapeamento de indicadores
2 - Geração e validação de padrões
3 - Predição e emissão de alertas
4 - Avaliação e realização de ações
Como funciona?
Globalcode – Open4education
1 - Mapeamento de indicadores
2 - Geração e validação de padrões
3 - Predição e emissão de alertas
4 - Avaliação e realização de ações
3 - Predição e emissão de alertas
Módulo de encaminhamentos
Estudantes classificados conforme o risco
Classificação ou prediçãoIndicadores de estudantes (atuais)
Central de AtendimentoAções automáticas
Equipe de Retenção
Como funciona?
Globalcode – Open4education
1 - Mapeamento de indicadores
2 - Geração e validação de padrões
3 - Predição e emissão de alertas
4 - Avaliação e realização de ações
Como funciona?
Globalcode – Open4education
1 - Mapeamento de indicadores
2 - Geração e validação de padrões
3 - Predição e emissão de alertas
4 - Avaliação e realização de ações
Como funciona?
Globalcode – Open4education
1 - Mapeamento de indicadores
2 - Geração e validação de padrões
3 - Predição e emissão de alertas
4 - Avaliação e realização de ações
4 - Avaliação e realização de ações
Analise dos estudantes em risco Realização de ações
Aumento da Permanência
Gerência do Processo
Como funciona?
Globalcode – Open4education
1 - Mapeamento de indicadores
2 - Geração e validação de padrões
3 - Predição e emissão de alertas
4 - Avaliação e realização de ações
Como funciona?
Globalcode – Open4education
1 - Mapeamento de indicadores
2 - Geração e validação de padrões
3 - Predição e emissão de alertas
4 - Avaliação e realização de ações
Como funciona?
Globalcode – Open4education
1 - Mapeamento de indicadores
2 - Geração e validação de padrões
3 - Predição e emissão de alertas
4 - Avaliação e realização de ações
Como funciona?
Globalcode – Open4education
Como entregamos?
Interface de acompanhamento de uma turma
Globalcode – Open4education
Como entregamos?
Interface de acompanhamento de uma turma
Globalcode – Open4education
Interface de indicadores de um estudante
Como entregamos?
Globalcode – Open4education
Interface de acompanhamento gráfico de indicadores do estudante
Como entregamos?
Globalcode – Open4education
Cadastro de ações
Como entregamos?
Globalcode – Open4education
Histórico de ações
Como entregamos?
Globalcode – Open4education
Resultados de Predição
0,00%
20,00%
40,00%
60,00%
80,00%
100,00%
Módulo 2 Módulo 3 Módulo 4 Módulo 5 Módulo 6 Módulo 7
Geral
Evadidos
Não Evadidos
Globalcode – Open4education
Aprovados: melhoria de 18%
Evadidos: melhoria de 25%
Resultados de Retenção
Globalcode – Open4education
Obrigado!
Rodrigo de Moraes – [email protected]
Wagner Cambruzzi – [email protected]