dados abertos do siconfi - sgesp · 8 princípios dos dados abertos governamentais •completo:...
TRANSCRIPT
![Page 1: Dados Abertos do Siconfi - SGESP · 8 princípios dos Dados Abertos Governamentais •Completo: tudo o que pode/deve ser disponibilizado •Primário: sem agregações ou transformações](https://reader034.vdocuments.pub/reader034/viewer/2022050520/5fa3d6603ba1603d65285828/html5/thumbnails/1.jpg)
Dados Abertos do Siconfi
![Page 2: Dados Abertos do Siconfi - SGESP · 8 princípios dos Dados Abertos Governamentais •Completo: tudo o que pode/deve ser disponibilizado •Primário: sem agregações ou transformações](https://reader034.vdocuments.pub/reader034/viewer/2022050520/5fa3d6603ba1603d65285828/html5/thumbnails/2.jpg)
Sumário
• O que são dados abertos?
• Iniciativa do Data Lake do Tesouro
• Qual o tamanho do Siconfi?
• API do Siconfi
• Próximos passos https://essay-lib.com/write-summary-article/
![Page 3: Dados Abertos do Siconfi - SGESP · 8 princípios dos Dados Abertos Governamentais •Completo: tudo o que pode/deve ser disponibilizado •Primário: sem agregações ou transformações](https://reader034.vdocuments.pub/reader034/viewer/2022050520/5fa3d6603ba1603d65285828/html5/thumbnails/3.jpg)
O que são dados abertos?
“dados são abertos quando qualquer pessoa pode livremente acessá-los, utilizá-los, modificá-los e compartilhá-los para qualquer finalidade, estando sujeito a, no máximo, a exigências que visem preservar sua proveniência e sua abertura” (Open Knowledge International)
https://www.economist.com/international/2015/11/21/out-of-the-box
![Page 4: Dados Abertos do Siconfi - SGESP · 8 princípios dos Dados Abertos Governamentais •Completo: tudo o que pode/deve ser disponibilizado •Primário: sem agregações ou transformações](https://reader034.vdocuments.pub/reader034/viewer/2022050520/5fa3d6603ba1603d65285828/html5/thumbnails/4.jpg)
Três leis dos dados abertos (David Eaves):
• Se o dado não pode ser encontrado e indexado na Web, ele não existe;
• Se não estiver aberto e disponível em formato compreensível por máquina, ele não pode ser reaproveitado; e
• Se algum dispositivo legal não permitir sua replicação, ele não é útil.
https://medium.com/data-and-society/myth-of-open-data-in-lebanon-ad74df6f2fb0
![Page 5: Dados Abertos do Siconfi - SGESP · 8 princípios dos Dados Abertos Governamentais •Completo: tudo o que pode/deve ser disponibilizado •Primário: sem agregações ou transformações](https://reader034.vdocuments.pub/reader034/viewer/2022050520/5fa3d6603ba1603d65285828/html5/thumbnails/5.jpg)
8 princípios dos Dados Abertos
Governamentais
• Completo: tudo o que pode/deve ser disponibilizado
• Primário: sem agregações ou transformações
• Atual: rápido o suficiente pra não perder seu valor
• Acessível: público amplo e propósitos variados
• Processável por Máquina: razoavelmente estruturado
• Acesso não discriminatório: disponíveis para todos, sem identificação ou registro
• Formato não proprietário: ninguém tem controle exclusive sobre o formato
• Licença livre: não sujeito a restrições regulatórias
https://www.lynda.com/Business-Intelligence-tutorials/Open-Data-Unleashing-Hidden-Value/490660-2.html
![Page 6: Dados Abertos do Siconfi - SGESP · 8 princípios dos Dados Abertos Governamentais •Completo: tudo o que pode/deve ser disponibilizado •Primário: sem agregações ou transformações](https://reader034.vdocuments.pub/reader034/viewer/2022050520/5fa3d6603ba1603d65285828/html5/thumbnails/6.jpg)
Como faço para saber mais?
tesourotransparente.gov.br
dados.gov.br
escoladedados.org
https://www.datapine.com/blog/data-analysis-questions/
![Page 7: Dados Abertos do Siconfi - SGESP · 8 princípios dos Dados Abertos Governamentais •Completo: tudo o que pode/deve ser disponibilizado •Primário: sem agregações ou transformações](https://reader034.vdocuments.pub/reader034/viewer/2022050520/5fa3d6603ba1603d65285828/html5/thumbnails/7.jpg)
Data Lake
• Repositório onde são armazenados os dados de diversas fontes.
• Armazena dados em seu formato original até que haja a necessidade de utilizá-los
• Componente importante para análise de dados e projetos de Big Data.
https://clusterdata.nl/bericht/news-item/5-
reasons-why-data-lakes-are-vital-for-
startup-analytics/428674-data-lakes-
explained/
![Page 8: Dados Abertos do Siconfi - SGESP · 8 princípios dos Dados Abertos Governamentais •Completo: tudo o que pode/deve ser disponibilizado •Primário: sem agregações ou transformações](https://reader034.vdocuments.pub/reader034/viewer/2022050520/5fa3d6603ba1603d65285828/html5/thumbnails/8.jpg)
Lago de dados do Tesouro Nacional
• Implantado em dezembro de 2018 por meio do projeto Tesouro Data.
• O objetivo foi criar uma base de dados única da instituição que fosse escalável e governável, visando a integração de dados diversos, internos e externos à Secretaria.
• O Tesouro Data já conta com mais de 10 bases de dados, dentre elas: SICONFI, RAIS, CAGED e partes do Tesouro Gerencial.
• Mais de 1TB de dados.
• Todas as novas fontes de dados passam por modelagem conceitual e dicionarização dos dados
![Page 9: Dados Abertos do Siconfi - SGESP · 8 princípios dos Dados Abertos Governamentais •Completo: tudo o que pode/deve ser disponibilizado •Primário: sem agregações ou transformações](https://reader034.vdocuments.pub/reader034/viewer/2022050520/5fa3d6603ba1603d65285828/html5/thumbnails/9.jpg)
Qual o tamanho do Siconfi no Data Lake ref. 19/07/2019
9
![Page 10: Dados Abertos do Siconfi - SGESP · 8 princípios dos Dados Abertos Governamentais •Completo: tudo o que pode/deve ser disponibilizado •Primário: sem agregações ou transformações](https://reader034.vdocuments.pub/reader034/viewer/2022050520/5fa3d6603ba1603d65285828/html5/thumbnails/10.jpg)
Base de relatórios
• Inclui os 261.199 relatórios recebidos desde 2014;
• 99% desde total encontra-se homologado ou retificado
• Apenas 7% dos homologados são retificados
• Os 259 mil relatórios homologados se
desdobram em 189 milhões de registros de valor
24.036
8.986
155.869
Contas Anuais
RGF
RREO
Quantidade de registros por grupo de relatório (milhares)
2.369 7.318
165.385
13.819
Matriz Formulário Planilha Instância
Quantidade de registros por forma de envio (milhares)
![Page 11: Dados Abertos do Siconfi - SGESP · 8 princípios dos Dados Abertos Governamentais •Completo: tudo o que pode/deve ser disponibilizado •Primário: sem agregações ou transformações](https://reader034.vdocuments.pub/reader034/viewer/2022050520/5fa3d6603ba1603d65285828/html5/thumbnails/11.jpg)
Base da Matriz de Saldos Contábeis
• Apenas nas Matrizes enviadas em 2019
• São mais de 23,7 mil arquivos
• O total do executivo não deveria ser igual ao total do legislativo?
Def. Pública 1%
Executivo 49%
Judiciário 2%
Legislativo 47%
Min. Público 1%
Comparativo de matrizes por Poder
Total: 23.740 arquivos
![Page 12: Dados Abertos do Siconfi - SGESP · 8 princípios dos Dados Abertos Governamentais •Completo: tudo o que pode/deve ser disponibilizado •Primário: sem agregações ou transformações](https://reader034.vdocuments.pub/reader034/viewer/2022050520/5fa3d6603ba1603d65285828/html5/thumbnails/12.jpg)
Considerando apenas o Poder Executivo
São 11,7 mil matrizes.
Municípios representam 99% do total de arquivos
Mas quanto esses 11 mil arquivos representam em registros de valor?
6.164
5.561
- 1.000 2.000 3.000 4.000 5.000 6.000 7.000
CSV
XML
Comparativo por Formato de MSC enviada
![Page 13: Dados Abertos do Siconfi - SGESP · 8 princípios dos Dados Abertos Governamentais •Completo: tudo o que pode/deve ser disponibilizado •Primário: sem agregações ou transformações](https://reader034.vdocuments.pub/reader034/viewer/2022050520/5fa3d6603ba1603d65285828/html5/thumbnails/13.jpg)
Envios dos Municípios
![Page 14: Dados Abertos do Siconfi - SGESP · 8 princípios dos Dados Abertos Governamentais •Completo: tudo o que pode/deve ser disponibilizado •Primário: sem agregações ou transformações](https://reader034.vdocuments.pub/reader034/viewer/2022050520/5fa3d6603ba1603d65285828/html5/thumbnails/14.jpg)
188.891
135.105
Volume de Registros de Valor (milhares)
Base Relatórios Base MSC
Base Jun/19 Jul/19 Var %
Base de relatórios
188,6
188,9 0,16%
Base da MSC
89,7
135,1 50,61%
![Page 15: Dados Abertos do Siconfi - SGESP · 8 princípios dos Dados Abertos Governamentais •Completo: tudo o que pode/deve ser disponibilizado •Primário: sem agregações ou transformações](https://reader034.vdocuments.pub/reader034/viewer/2022050520/5fa3d6603ba1603d65285828/html5/thumbnails/15.jpg)
Como estão organizados os dados
Separação inicial de acordo com classe de contas contábeis
• Contas Patrimoniais
• Contas Orçamentárias
• Contas de Controle
8.565.945
14.803.529
111.735.564
CONTROLE PATRIMONIAL ORÇAMENTÁRIA
Comparativo da Base da MSC por Classe de Conta
![Page 16: Dados Abertos do Siconfi - SGESP · 8 princípios dos Dados Abertos Governamentais •Completo: tudo o que pode/deve ser disponibilizado •Primário: sem agregações ou transformações](https://reader034.vdocuments.pub/reader034/viewer/2022050520/5fa3d6603ba1603d65285828/html5/thumbnails/16.jpg)
Problemas encontrados
Em Estados:
• Pará e Tocantins inserir espaços em branco após a natureza da conta (D ou C)
Em Municípios:
• Problemas ao informar campos de função e subfunção
• Não abra CSV no Excel!
95%
5%
Erros Encontrados por Forma de Envio do Arquivo
CSV
XML
![Page 17: Dados Abertos do Siconfi - SGESP · 8 princípios dos Dados Abertos Governamentais •Completo: tudo o que pode/deve ser disponibilizado •Primário: sem agregações ou transformações](https://reader034.vdocuments.pub/reader034/viewer/2022050520/5fa3d6603ba1603d65285828/html5/thumbnails/17.jpg)
Problema e solução
• Como acessar um volume grande de dados?
• Como trabalhar com esse volume?
• Dá para trabalhar no Excel?
API – Interface de Programação de Aplicações
• Facilita a forma como duas aplicações se comunicam
![Page 18: Dados Abertos do Siconfi - SGESP · 8 princípios dos Dados Abertos Governamentais •Completo: tudo o que pode/deve ser disponibilizado •Primário: sem agregações ou transformações](https://reader034.vdocuments.pub/reader034/viewer/2022050520/5fa3d6603ba1603d65285828/html5/thumbnails/18.jpg)
Quem trabalha com API de Dados Abertos?
![Page 19: Dados Abertos do Siconfi - SGESP · 8 princípios dos Dados Abertos Governamentais •Completo: tudo o que pode/deve ser disponibilizado •Primário: sem agregações ou transformações](https://reader034.vdocuments.pub/reader034/viewer/2022050520/5fa3d6603ba1603d65285828/html5/thumbnails/19.jpg)
API de Dados
Abertos do Siconfi
Permitirá acessar os dados do FINBRA (base relatórios) de forma mais rápida e detalhada
Consulta RREO
Consulta RGF
Consulta Contas Anuais
Permitirá acessar os dados da matrizes enviadas (base de MSC) na seguinte segmentação
Consulta Classe Patrimonial
Consulta Classe Orçamentária
Consulta Classe de Controle
![Page 20: Dados Abertos do Siconfi - SGESP · 8 princípios dos Dados Abertos Governamentais •Completo: tudo o que pode/deve ser disponibilizado •Primário: sem agregações ou transformações](https://reader034.vdocuments.pub/reader034/viewer/2022050520/5fa3d6603ba1603d65285828/html5/thumbnails/20.jpg)
Exemplo RREO
![Page 21: Dados Abertos do Siconfi - SGESP · 8 princípios dos Dados Abertos Governamentais •Completo: tudo o que pode/deve ser disponibilizado •Primário: sem agregações ou transformações](https://reader034.vdocuments.pub/reader034/viewer/2022050520/5fa3d6603ba1603d65285828/html5/thumbnails/21.jpg)
Resposta RREO
![Page 22: Dados Abertos do Siconfi - SGESP · 8 princípios dos Dados Abertos Governamentais •Completo: tudo o que pode/deve ser disponibilizado •Primário: sem agregações ou transformações](https://reader034.vdocuments.pub/reader034/viewer/2022050520/5fa3d6603ba1603d65285828/html5/thumbnails/22.jpg)
Exemplo MSC Classe 6
![Page 23: Dados Abertos do Siconfi - SGESP · 8 princípios dos Dados Abertos Governamentais •Completo: tudo o que pode/deve ser disponibilizado •Primário: sem agregações ou transformações](https://reader034.vdocuments.pub/reader034/viewer/2022050520/5fa3d6603ba1603d65285828/html5/thumbnails/23.jpg)
Resposta MSC Classe 6
![Page 24: Dados Abertos do Siconfi - SGESP · 8 princípios dos Dados Abertos Governamentais •Completo: tudo o que pode/deve ser disponibilizado •Primário: sem agregações ou transformações](https://reader034.vdocuments.pub/reader034/viewer/2022050520/5fa3d6603ba1603d65285828/html5/thumbnails/24.jpg)
Você conhece a Jacque? Implementação do Chatbot para auxiliar no atendimento do Fale Conosco do Siconfi
![Page 25: Dados Abertos do Siconfi - SGESP · 8 princípios dos Dados Abertos Governamentais •Completo: tudo o que pode/deve ser disponibilizado •Primário: sem agregações ou transformações](https://reader034.vdocuments.pub/reader034/viewer/2022050520/5fa3d6603ba1603d65285828/html5/thumbnails/25.jpg)
25
Abril/2019 Julho/2019 Dezembro/2019
Início do projeto Lançamento – V1 Análise de dados coletados Lançamento – V2
Setembro/2019
Transformação Digital - Aumento de produtividade na STN - Cronograma
![Page 26: Dados Abertos do Siconfi - SGESP · 8 princípios dos Dados Abertos Governamentais •Completo: tudo o que pode/deve ser disponibilizado •Primário: sem agregações ou transformações](https://reader034.vdocuments.pub/reader034/viewer/2022050520/5fa3d6603ba1603d65285828/html5/thumbnails/26.jpg)
Próximos passos
Lançamento da API de dados abertos no Tesouro Transparente
Lançamento das bibliotecas de consumo da API (Python e Javascript)
Atualização da Jacque permitindo integração com o Datalake Siconfi
Aprimorar os serviços ouvindo vocês!
![Page 27: Dados Abertos do Siconfi - SGESP · 8 princípios dos Dados Abertos Governamentais •Completo: tudo o que pode/deve ser disponibilizado •Primário: sem agregações ou transformações](https://reader034.vdocuments.pub/reader034/viewer/2022050520/5fa3d6603ba1603d65285828/html5/thumbnails/27.jpg)
Obrigado!
tesouro.fazenda.gov.br
Twitter: @_tesouro Acesse o Fórum da Contabilidade: www.tesouro.gov.br/forum
Acesse o Siconfi: www.siconfi.tesouro.gov.br Eventos: casp.cfc.org.br
Subsecretaria de Assuntos Corportativos – SUCOP Coordenação-Geral de Sistemas e Tecnologia da Informação – COSIS