proposta de modelo de classificação de riscos de contratos públicos
TRANSCRIPT
![Page 1: Proposta de Modelo de Classificação de Riscos de Contratos Públicos](https://reader035.vdocuments.pub/reader035/viewer/2022062823/58719e891a28ab044e8b653d/html5/thumbnails/1.jpg)
Scoring de Risco de Contratos Públicos:
Aprendizagem supervisionada + Multicritério
![Page 2: Proposta de Modelo de Classificação de Riscos de Contratos Públicos](https://reader035.vdocuments.pub/reader035/viewer/2022062823/58719e891a28ab044e8b653d/html5/thumbnails/2.jpg)
ContextualizaçãoFaturamento x Empregados
![Page 3: Proposta de Modelo de Classificação de Riscos de Contratos Públicos](https://reader035.vdocuments.pub/reader035/viewer/2022062823/58719e891a28ab044e8b653d/html5/thumbnails/3.jpg)
ContextualizaçãoPodemos antecipar situações como essa?
Existem características que podem diferenciar empresas boas de ruins?Exemplo: Quantidade de atividades cadastradas
No geral: média de atividades por empresa
Com negócios com o governo:
Com punições suspensivas:
1,996,10
11,61
![Page 4: Proposta de Modelo de Classificação de Riscos de Contratos Públicos](https://reader035.vdocuments.pub/reader035/viewer/2022062823/58719e891a28ab044e8b653d/html5/thumbnails/4.jpg)
Propostas1. Usar técnicas de Machine Learning para
classificar empresas e contratos.
2. Criar modelo de decisão para auditoria, incluindo variáveis logísticas.
Risco do contratoRisco da empresa
Questões Logísticas• Unidade já está no plano de auditoria?• É Capital?• Existe equipe apropriada?
MCDA
![Page 5: Proposta de Modelo de Classificação de Riscos de Contratos Públicos](https://reader035.vdocuments.pub/reader035/viewer/2022062823/58719e891a28ab044e8b653d/html5/thumbnails/5.jpg)
Abordagem MetodológicaModelo de aprendizagem supervisionada para os 2 primeiros modelos
Processo básico de aprendizagem de máquina supervisionada.
Trade off viés x variância
![Page 6: Proposta de Modelo de Classificação de Riscos de Contratos Públicos](https://reader035.vdocuments.pub/reader035/viewer/2022062823/58719e891a28ab044e8b653d/html5/thumbnails/6.jpg)
Abordagem MetodológicaEscolha de varáveis preditoras com base em teorias econômicas
Qtde de lances
Qtde de participantesTipo de produto
Qualidade da Especificação
Frequência do item comprado
Idade das empresas
Frequência de participação dos licitantes
Porte das empresas
Histórico de Punições
SISPP ou SISRP
Idade no SICAF
Economia de Custos de Transação
Teoria dos Leilões
Teoria dos Jogos
Complexidade do objeto
![Page 7: Proposta de Modelo de Classificação de Riscos de Contratos Públicos](https://reader035.vdocuments.pub/reader035/viewer/2022062823/58719e891a28ab044e8b653d/html5/thumbnails/7.jpg)
Modelo 1: Risco do Fornecedor1ª Fase: Identificação das dimensões de risco
• Qtde média de lances por compra
• Percentual de sucesso
• Políticos• Doações de campanha
• Alertas CGU• CNEP/CEPIM/SIASG
• Qtde de Funcionários• Ocupação do sócio• Faturamento / funcionário
Capacidade Operacional
Histórico Punitivo
CompetiçãoVínculos
![Page 8: Proposta de Modelo de Classificação de Riscos de Contratos Públicos](https://reader035.vdocuments.pub/reader035/viewer/2022062823/58719e891a28ab044e8b653d/html5/thumbnails/8.jpg)
Modelo 1: Risco do Fornecedor2ª Fase: Montagem da base de dados
A)1446 empresas, sendo:a. 723 do grupo de “Alto Risco”, eb. 723 do grupo de “Baixo Risco” (Undersampling)
B)49 variáveis preditorasC)1 variável dependente (LABEL)
Critérios para qualificação como de “Alto Risco”:• Ter tido contrato vigente em 2015 ou 2016.• Ter sido punido nesses anos com uma das seguintes penalidades:
• Suspensão temporária de licitar (previsto na Lei nº 8666/93);• Impedimento de licitar e contratar (previsto na Lei nº 10520/02);• Declaração de inidoneidade (previsto na Lei nº 8666/93).
2011 2013 2014 2015 20162012
![Page 9: Proposta de Modelo de Classificação de Riscos de Contratos Públicos](https://reader035.vdocuments.pub/reader035/viewer/2022062823/58719e891a28ab044e8b653d/html5/thumbnails/9.jpg)
Modelo 1: Risco do Fornecedor2ª Fase: Montagem da base de dados
Test(30%)
Learning(70%)
D) Separação em treino e teste
Cross Validation
![Page 10: Proposta de Modelo de Classificação de Riscos de Contratos Públicos](https://reader035.vdocuments.pub/reader035/viewer/2022062823/58719e891a28ab044e8b653d/html5/thumbnails/10.jpg)
Modelo 1: Risco do Fornecedor3ª Fase: Identificação das variáveis mais importantes com algoritmo Stepwise
Selecionadas 29 variáveis
Quantidade de atividades
Valor doado em eleições
Alertas da CGU
Salário dos sócios
Quantidade de funcionários
Idade da empresa
![Page 11: Proposta de Modelo de Classificação de Riscos de Contratos Públicos](https://reader035.vdocuments.pub/reader035/viewer/2022062823/58719e891a28ab044e8b653d/html5/thumbnails/11.jpg)
Modelo 1: Risco do Fornecedor4ª Fase: Tunning
Algoritmo: GLMnet (Regressão Logística)Parâmetros de finais de penalização:
= 0 = 1
![Page 12: Proposta de Modelo de Classificação de Riscos de Contratos Públicos](https://reader035.vdocuments.pub/reader035/viewer/2022062823/58719e891a28ab044e8b653d/html5/thumbnails/12.jpg)
Modelo 1: Risco do Fornecedor5ª Fase: Criação do modelo final utilizando a base de treino completa
Resultados: Matriz de Confusão
6ª Fase: Aplicação do modelo na base de teste
Valor doado em eleições
Alertas da CGU
Quantidade de funcionários
Idade da empresa
Quantidade de atividades
Salário dos sócios
Resultados: Interpretação
![Page 13: Proposta de Modelo de Classificação de Riscos de Contratos Públicos](https://reader035.vdocuments.pub/reader035/viewer/2022062823/58719e891a28ab044e8b653d/html5/thumbnails/13.jpg)
Modelo 2: Risco do Contrato1ª Fase: Identificação das dimensões de risco
• Qtde de funcionários• Porte da empresa
• Complexidade do objeto• Qualidade na especificação
• Qtde de participantes• Qtde de lances
• Alertas da CGU
Irregularidades na
Licitação
Competitividade do
processo
EmpresaAspectos gerais da licitação
tf-idf
![Page 14: Proposta de Modelo de Classificação de Riscos de Contratos Públicos](https://reader035.vdocuments.pub/reader035/viewer/2022062823/58719e891a28ab044e8b653d/html5/thumbnails/14.jpg)
Modelo 2: Risco do Contrato5ª Fase: Criação do modelo final utilizando a base de treino completa
Resultados: Matriz de Confusão6ª Fase: Aplicação do modelo na base de teste
Resultados: Interpretação
Quantidade de atividadesda empresa
Contrato é de serviço
Desconto obtido
Lances por participante
Quantidade de sócios da empresa
Complexidade
![Page 15: Proposta de Modelo de Classificação de Riscos de Contratos Públicos](https://reader035.vdocuments.pub/reader035/viewer/2022062823/58719e891a28ab044e8b653d/html5/thumbnails/15.jpg)
Risco do processo
Risco da empresa
Questões Logísticas
Modelo 3: Seleção de casos para auditoria
+
+
=Score de Auditoria
• Unidade já está no plano de auditoria?
• É Capital?• Existe equipe apropriada?• E o valor?
![Page 16: Proposta de Modelo de Classificação de Riscos de Contratos Públicos](https://reader035.vdocuments.pub/reader035/viewer/2022062823/58719e891a28ab044e8b653d/html5/thumbnails/16.jpg)
Modelo 3: Seleção de casos para auditoria
Decisão MulticritérioAnalytic Hierarchy Process (AHP)
Matriz de comparação dos pares de critérios
![Page 17: Proposta de Modelo de Classificação de Riscos de Contratos Públicos](https://reader035.vdocuments.pub/reader035/viewer/2022062823/58719e891a28ab044e8b653d/html5/thumbnails/17.jpg)
Modelo 3: Seleção de casos para auditoria
Critérios para avaliação final dos contratos
• Risco inerente do fornecedor• Risco do contrato• Unidade auditada fica na Capital?• Unidade auditada já no Plano Anual de Auditoria?• Ação governamental já está priorizada?• Há necessidade/disponibilidade de equipe especializada• Valor
![Page 18: Proposta de Modelo de Classificação de Riscos de Contratos Públicos](https://reader035.vdocuments.pub/reader035/viewer/2022062823/58719e891a28ab044e8b653d/html5/thumbnails/18.jpg)
Modelo 3: Seleção de casos para auditoria
Simulação: aplicando o AHP para contratos com alto risco
• Contrato que tinha o maior risco caiu para 45º. Por que?• Baixo valor• Unidade fora do plano de auditoria
• Contrato que era o 20º em risco subiu para primeiro. Por que?• Capital• Unidade já ia ser auditada• Valor alto
![Page 19: Proposta de Modelo de Classificação de Riscos de Contratos Públicos](https://reader035.vdocuments.pub/reader035/viewer/2022062823/58719e891a28ab044e8b653d/html5/thumbnails/19.jpg)
Conclusões
Como atuar preventivamente?
Aplicação imediata: modelo de risco para compras de TI
Criação de repositório compartilhado de indicadores / códigos