s tÉfani p ires mineração de dados – trimestre 2009.1 prof. marcus sampaio 02/12/2008...
TRANSCRIPT
STÉFANI PIRES
Mineração de Dados – Trimestre 2009.1
Prof. Marcus Sampaio
02/12/2008 Mineração de Dados
O que é Mineração de Processos? Que logs são esses? Motivação Objetivos Log exemplo Tipos de conhecimento
Perspectiva de processo/ organização / caso
Algoritmo α Definições / Passos / Limitações
Técnica Heurística ProM Framework
02
/12
/20
08
Min
era
ção d
e D
ados
2
02
/12
/20
08
Min
era
ção d
e D
ados
3
Extrair conhecimento de logs de eventos gravados
por um sistema de informação.
1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework
Sistemas de informação empresariais armazenam eventos relevantes de alguma forma estruturada.
Ex. de sistemas: ERP (Enterprise Resource Planning)
Registram todas as transações: Ex: preenchimento de formulários, alterações de documentos
CRM (Customer Relationship Management) Registram interações com os consumidores
B2B (Business to Business) Registram trocas de mensagem entre partes;
WFM (Workflow Management) Registram o inicio e conclusão de atividades
02
/12
/20
08
Min
era
ção d
e D
ados
4
1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework
Os sistemas possuem modelos de processos (implícitos ou explícitos).
Oferecem liberdade em sua utilização
Ex: Um sistemas de informação hospitalar com diretrizes clínicas que descrevem o tratamento de uma doença específica.
02
/12
/20
08
Min
era
ção d
e D
ados
5
Modelos de referência descrevem como as pessoas DEVEM trabalhar!
1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework
Relacionado a tendências de gestão (BPR (Business Process Reengineering), BI (Business Intelligence), KM (Knowledge
Management) )
O objetivo é entender o que realmente está acontecendo.
Process Discovery e Delta Analysis
02
/12
/20
08
Min
era
ção d
e D
ados
6
É uma técnica de MONITORAMENTO de sistemas de
informação.
1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework
Delta Analysis – pode também ser usado para comparar diferentes departamentos/organizações que usam o mesmo sistema ERP.
Padrões interessantes podem ser encontrados em diferentes níveis: Componentes de software Processos de negócio Organizações
02
/12
/20
08
Min
era
ção d
e D
ados
7
1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework
02
/12
/20
08
Min
era
ção d
e D
ados
8
1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework
02
/12
/20
08
Min
era
ção d
e D
ados
9
1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework
02
/12
/20
08
Min
era
ção d
e D
ados
10
Perspectiva de Processo
Perspectiva de Organização
Perspectiva de Caso
1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework
Foco no controle de fluxo Expresso em uma Rede de Petri
02
/12
/20
08
Min
era
ção d
e D
ados
11
COMO?1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework
Exemplo Lógico Atividade A é sempre sequida por B; Atividade C e D podem ser
executadas em paralelo;
Exemplo de Performance O tempo médio de processamento da
atividade A é 35 minutos; Atividade A é executada para 80%
dos casos;
02
/12
/20
08
Min
era
ção d
e D
ados
12
1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework
Foco no executor da atividade Construir Rede Social –
transferência de trabalho entre pessoas
02
/12
/20
08
Min
era
ção d
e D
ados
13
QUEM?1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework
Estrutura Organizacional Diagrama “Atividade-Função-
Pessoa”
02
/12
/20
08
Min
era
ção d
e D
ados
14
1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework
Exemplo Lógico John e Mary trabalham no mesmo
time de desenvolvimento; Pete é o admininstrador do
departamento X;
Exemplo de Performance John trabalha em média com 30
casos por dia; Mary e Pete trabalham juntos em
50% dos casos;
02
/12
/20
08
Min
era
ção d
e D
ados
15
1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework
Foco nas propriedades de um caso
Tenta estabelecer relações entre as propriedades de um caso
Requer campos adicionais com características dos casos.
02
/12
/20
08
Min
era
ção d
e D
ados
16
O QUE?1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework
Exemplo Lógico Casos de mais de 5.000 euros são
manipulados por John; Atividade A é executada apenas para
clientes particulares; Exemplo de Performance
80% dos casos de mais de 5.000 euros são concluídos em dois dias;
A média de tempo de conclusão de casos tratados por John e Mary é de duas semanas;
02
/12
/20
08
Min
era
ção d
e D
ados
17
1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework
Objetivo: Inferir a estrutura do processo;
Entrada: Log do sistema
Saída: Uma rede de Petri (P, T, F), onde: P = conjunto de estados T = conjunto de transições F = conjunto de ligações (arcos)
02
/12
/20
08
Min
era
ção d
e D
ados
18
1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework
Entrada:
02
/12
/20
08
Min
era
ção d
e D
ados
19
1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework
Definições: Seja T um conjunto de atividades:
W = {ABCD, ACBD, AED}
Para encontrar o modelo de processos, devem ser procuradas relações de dependência/causa no log de eventos
02
/12
/20
08
Min
era
ção d
e D
ados
20
1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework
.
Ex: A>B, A>C, A>E, B>C, C>D, E>D,
… AB, AC, AE, BD, CD, ED B || C, C || B
02
/12
/20
08
Min
era
ção d
e D
ados
21
1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework
Passos (8):
02
/12
/20
08
Min
era
ção d
e D
ados
22
Tw = {A, B, C, D, E}
Ti= {A}
To = {D}
1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework
Passos (8):
02
/12
/20
08
Min
era
ção d
e D
ados
23
1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework
Passos (8):
02
/12
/20
08
Min
era
ção d
e D
ados
24
1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework
Como funciona:
02
/12
/20
08
Min
era
ção d
e D
ados
25
1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework
02
/12
/20
08
Min
era
ção d
e D
ados
26
1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework
Problemas lógicos (não abordadas aqui) (atividades invisíveis, duplicadas, …)
Não sabe lidar com:RuídosAtividades de baixa frequência Sequência de baixa frequênciaExceções
Uma Solução: Técnicas heurísticas de mineração
02
/12
/20
08
Min
era
ção d
e D
ados
27
1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework
Utiliza a frequência como métrica para indicar grau de certeza que A B
Seja W um log de eventos em T, e a,b T
Observe que o valor da relação está sempre entre -1 e 1
Um valor alto indica maior confiança na existencia da relação AB
02
/12
/20
08
Min
era
ção d
e D
ados
28
1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework
Ex: A >B aparece em 5 sequências e
B>A em nenhuma: AB = 5/6 = 0.833
A >B aparece em 50 sequências e B>A em nenhuma: AB = 50/51 = 0.980
A >B aparece em 50 sequências e B>A aparece 1 vez (ruído): AB = 49/52 = 0.94
Como definir um limiar?
02
/12
/20
08
Min
era
ção d
e D
ados
29
1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework
Não é preciso um limiar, basta escolher o melhor candidato!!!
Ex: 27 eventos do log de ex. anterior + 3 ruídos: ABCED, AECBD, AD )
02
/12
/20
08
Min
era
ção d
e D
ados
30
1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework
Grafo de dependência, com a confiança de cada relação.
Técnica incompleta.
02
/12
/20
08
Min
era
ção d
e D
ados
31
1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework
www.processmining.org Grátis e Open Source
02
/12
/20
08
Min
era
ção d
e D
ados
32
1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework
Prefeitura: Descobrir os caminhos de execução
mais frequentes Minerar processos e comparar com os
modelos implantados Empresa:
Objetivo: reduzir o período de teste dos scanners produzidos
Perguntas: Como os testes então realmente sendo
executados? Os testes estão seguindo o modelo de
referência? Em que partes do processo de teste gasta-
se mais tempo?
02
/12
/20
08
Min
era
ção d
e D
ados
33
STÉFANI PIRES
02/12/2008 Mineração de Dados