c lassificaÇÃo de n Ós ricardo prudêncio. l ink m ining - t arefas relacionadas a objetos...
TRANSCRIPT
![Page 1: C LASSIFICAÇÃO DE N ÓS Ricardo Prudêncio. L INK M INING - T AREFAS Relacionadas a Objetos Relacionadas a Arestas Relacionadas a Grafos Ranking de Nós](https://reader036.vdocuments.pub/reader036/viewer/2022062512/552fc180497959413d8f1ce0/html5/thumbnails/1.jpg)
CLASSIFICAÇÃO DE NÓS
Ricardo Prudêncio
![Page 2: C LASSIFICAÇÃO DE N ÓS Ricardo Prudêncio. L INK M INING - T AREFAS Relacionadas a Objetos Relacionadas a Arestas Relacionadas a Grafos Ranking de Nós](https://reader036.vdocuments.pub/reader036/viewer/2022062512/552fc180497959413d8f1ce0/html5/thumbnails/2.jpg)
LINK MINING - TAREFAS
Relacionadas a Objetos
Relacionadas a Arestas
Relacionadas a Grafos
Ranking de Nós
Classificação de NósDetecção de Grupos
Resolução de Entidades
Predição de Links
Descoberta de Sub-Grafos
Classificação de Grafos
Modelos Geradores
![Page 3: C LASSIFICAÇÃO DE N ÓS Ricardo Prudêncio. L INK M INING - T AREFAS Relacionadas a Objetos Relacionadas a Arestas Relacionadas a Grafos Ranking de Nós](https://reader036.vdocuments.pub/reader036/viewer/2022062512/552fc180497959413d8f1ce0/html5/thumbnails/3.jpg)
CLASSIFICAÇÃO TRADICIONAL
3
v1
v2...v100
Classe (Y)
10...1
A1 A2 ... A10
~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~
~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~
Conjunto de treinamento
v101
v102...v200
Classe (Y)
??...?
A1 A2 ... A10
~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~
~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~
Conjunto de teste
![Page 4: C LASSIFICAÇÃO DE N ÓS Ricardo Prudêncio. L INK M INING - T AREFAS Relacionadas a Objetos Relacionadas a Arestas Relacionadas a Grafos Ranking de Nós](https://reader036.vdocuments.pub/reader036/viewer/2022062512/552fc180497959413d8f1ce0/html5/thumbnails/4.jpg)
CLASSIFICAÇÃO TRADICIONAL
Conjunto de treinamento
Algoritmo
Conjunto de teste
Classificador
v101
v102...v200
10...1
Instâncias independentes: P(Yi|Yj) = P(Yi)
![Page 5: C LASSIFICAÇÃO DE N ÓS Ricardo Prudêncio. L INK M INING - T AREFAS Relacionadas a Objetos Relacionadas a Arestas Relacionadas a Grafos Ranking de Nós](https://reader036.vdocuments.pub/reader036/viewer/2022062512/552fc180497959413d8f1ce0/html5/thumbnails/5.jpg)
CLASSIFICAÇÃO TRADICIONAL
Conjunto de teste
Classificador
00...1
Classificação tradicional falha quando instâncias são dependentes
![Page 6: C LASSIFICAÇÃO DE N ÓS Ricardo Prudêncio. L INK M INING - T AREFAS Relacionadas a Objetos Relacionadas a Arestas Relacionadas a Grafos Ranking de Nós](https://reader036.vdocuments.pub/reader036/viewer/2022062512/552fc180497959413d8f1ce0/html5/thumbnails/6.jpg)
CLASSIFICAÇÃO COLETIVA DE NÓS
Tarefa: Dados uma rede e um
sub-conjunto de nós previamente etiquetados com classes
Classifique corretamente os todos os nós da rede
6
?
?
![Page 7: C LASSIFICAÇÃO DE N ÓS Ricardo Prudêncio. L INK M INING - T AREFAS Relacionadas a Objetos Relacionadas a Arestas Relacionadas a Grafos Ranking de Nós](https://reader036.vdocuments.pub/reader036/viewer/2022062512/552fc180497959413d8f1ce0/html5/thumbnails/7.jpg)
7
?
? VVl
),,( WEVG
lu VVV \
Nós etiquetados com m
classes em У
Nós não-tiquetados
Tarefa: inferir classes Yu dos
nós não-etiquetados do grafo
Classes iniciais ou probabilidade de classes
lY
![Page 8: C LASSIFICAÇÃO DE N ÓS Ricardo Prudêncio. L INK M INING - T AREFAS Relacionadas a Objetos Relacionadas a Arestas Relacionadas a Grafos Ranking de Nós](https://reader036.vdocuments.pub/reader036/viewer/2022062512/552fc180497959413d8f1ce0/html5/thumbnails/8.jpg)
CLASSIFICAÇÃO COLETIVA DE NÓS
Conjunto inicial de nós previamente etiquetados: (1) manualmente por um humano (2) com uso de alguma informação externa (3) com base em conteúdo (e.g. textos
publicados)
Tarefas: classificar nós ainda não etiquetados devido a falta de informação ou limitações de recursos
8
![Page 9: C LASSIFICAÇÃO DE N ÓS Ricardo Prudêncio. L INK M INING - T AREFAS Relacionadas a Objetos Relacionadas a Arestas Relacionadas a Grafos Ranking de Nós](https://reader036.vdocuments.pub/reader036/viewer/2022062512/552fc180497959413d8f1ce0/html5/thumbnails/9.jpg)
CLASSIFICAÇÃO COLETIVA DE NÓS - EXEMPLO
Classificação de opinião em redes sociais
9
![Page 10: C LASSIFICAÇÃO DE N ÓS Ricardo Prudêncio. L INK M INING - T AREFAS Relacionadas a Objetos Relacionadas a Arestas Relacionadas a Grafos Ranking de Nós](https://reader036.vdocuments.pub/reader036/viewer/2022062512/552fc180497959413d8f1ce0/html5/thumbnails/10.jpg)
CLASSIFICAÇÃO COLETIVA DE NÓS
Classificação tradicional Objetos são independentes e identicamente
distribuídos Em geral, apenas atributos dos objetos são usados para
classificação
Classificação coletiva Objetos são relacionados Relacionamentos e atributos são usados na
classificação Assortatividade é importante
![Page 11: C LASSIFICAÇÃO DE N ÓS Ricardo Prudêncio. L INK M INING - T AREFAS Relacionadas a Objetos Relacionadas a Arestas Relacionadas a Grafos Ranking de Nós](https://reader036.vdocuments.pub/reader036/viewer/2022062512/552fc180497959413d8f1ce0/html5/thumbnails/11.jpg)
EXEMPLOS
V: usuários do Facebook
E: amizade entre usuários
У: interesses (hobbies, filmes, músicas,...)
W: força do relacionamento
![Page 12: C LASSIFICAÇÃO DE N ÓS Ricardo Prudêncio. L INK M INING - T AREFAS Relacionadas a Objetos Relacionadas a Arestas Relacionadas a Grafos Ranking de Nós](https://reader036.vdocuments.pub/reader036/viewer/2022062512/552fc180497959413d8f1ce0/html5/thumbnails/12.jpg)
EXEMPLOS
V: usuários do YouTube
E: subscrição, similaridade, amizade,...
У: categorias de vídeos recomendados
W: força da similaridade (vídeos vistos em comum)
![Page 13: C LASSIFICAÇÃO DE N ÓS Ricardo Prudêncio. L INK M INING - T AREFAS Relacionadas a Objetos Relacionadas a Arestas Relacionadas a Grafos Ranking de Nós](https://reader036.vdocuments.pub/reader036/viewer/2022062512/552fc180497959413d8f1ce0/html5/thumbnails/13.jpg)
EXEMPLOS
V: vídeo no YouTube
E: playlists em comum
У: categorias de vídeos
W: tamanho da audiência em comum
![Page 14: C LASSIFICAÇÃO DE N ÓS Ricardo Prudêncio. L INK M INING - T AREFAS Relacionadas a Objetos Relacionadas a Arestas Relacionadas a Grafos Ranking de Nós](https://reader036.vdocuments.pub/reader036/viewer/2022062512/552fc180497959413d8f1ce0/html5/thumbnails/14.jpg)
EXEMPLOS
V: usuários no Twitter
E: seguidores
У: interesses (e.g., posição política)
W: força da iteração (e.g. no de retweets)
![Page 15: C LASSIFICAÇÃO DE N ÓS Ricardo Prudêncio. L INK M INING - T AREFAS Relacionadas a Objetos Relacionadas a Arestas Relacionadas a Grafos Ranking de Nós](https://reader036.vdocuments.pub/reader036/viewer/2022062512/552fc180497959413d8f1ce0/html5/thumbnails/15.jpg)
CLASSIFICAÇÃO COLETIVA
AlgoritmosPropagação de labelsClassificadores locaisClassificadores relacionais…
15
![Page 16: C LASSIFICAÇÃO DE N ÓS Ricardo Prudêncio. L INK M INING - T AREFAS Relacionadas a Objetos Relacionadas a Arestas Relacionadas a Grafos Ranking de Nós](https://reader036.vdocuments.pub/reader036/viewer/2022062512/552fc180497959413d8f1ce0/html5/thumbnails/16.jpg)
CLASSIFICAÇÃO COLETIVA
Usar informações de atributos e classes extraídas dos nós relacionados
Iterative Classification Algorithm (ICA): (1) Usa um classificador local com vetor de
características aumentado E.g., atributos do nós + classe majoritária dos nós
relacionados (2) Repete o processo de classificação
atualização vetores de atributos
![Page 17: C LASSIFICAÇÃO DE N ÓS Ricardo Prudêncio. L INK M INING - T AREFAS Relacionadas a Objetos Relacionadas a Arestas Relacionadas a Grafos Ranking de Nós](https://reader036.vdocuments.pub/reader036/viewer/2022062512/552fc180497959413d8f1ce0/html5/thumbnails/17.jpg)
EXEMPLO
4
3
2
6
7
Atributos:
i: idade do nó cv: classe majoritária dos vizinhosim: Idade média dos vizinhos
1222 ,,, cimcvi Classe Azul
Classe Laranja
1l
5
1
1333 ,,, cimcvi
2444 ,,, cimcvi
2555 ,,, cimcvi
Conjunto de treinamento na iteração 1
![Page 18: C LASSIFICAÇÃO DE N ÓS Ricardo Prudêncio. L INK M INING - T AREFAS Relacionadas a Objetos Relacionadas a Arestas Relacionadas a Grafos Ranking de Nós](https://reader036.vdocuments.pub/reader036/viewer/2022062512/552fc180497959413d8f1ce0/html5/thumbnails/18.jpg)
EXEMPLO
4
3
2
7
Atributos:
i: idade do nó cv: classe majoritária dos vizinhosim: Idade média dos vizinhos
1222 ,,, cimcvi Classe Azul
Classe Laranja
2l
5
1
1333 ,,, cimcvi
2444 ,,, cimcvi
2555 ,,, cimcvi
62666 ,,, cimcvi
Conjunto de treinamento na iteração 2
![Page 19: C LASSIFICAÇÃO DE N ÓS Ricardo Prudêncio. L INK M INING - T AREFAS Relacionadas a Objetos Relacionadas a Arestas Relacionadas a Grafos Ranking de Nós](https://reader036.vdocuments.pub/reader036/viewer/2022062512/552fc180497959413d8f1ce0/html5/thumbnails/19.jpg)
ITERATIVE CLASSIFICATION ALGORITHM:
Fonte: Bhagat et al.
![Page 20: C LASSIFICAÇÃO DE N ÓS Ricardo Prudêncio. L INK M INING - T AREFAS Relacionadas a Objetos Relacionadas a Arestas Relacionadas a Grafos Ranking de Nós](https://reader036.vdocuments.pub/reader036/viewer/2022062512/552fc180497959413d8f1ce0/html5/thumbnails/20.jpg)
RELATIONAL NEIGHBOR CLASSIFIER
Classificação feita verificando apenas a classe majoritária nos vizinhos do nó
4
3
2
1
5 6
7
4
3
2
1
5 6
7
c1: 0.33 c2: 0.66
c1: 1 c2: 0
![Page 21: C LASSIFICAÇÃO DE N ÓS Ricardo Prudêncio. L INK M INING - T AREFAS Relacionadas a Objetos Relacionadas a Arestas Relacionadas a Grafos Ranking de Nós](https://reader036.vdocuments.pub/reader036/viewer/2022062512/552fc180497959413d8f1ce0/html5/thumbnails/21.jpg)
RELATIONAL NEIGHBOR CLASSIFIER
A cada iteração reter apenas os labels de maior probabilidade associada
c1: 1 c2: 0
c1: 0.33 c2: 0.66
c1: 1 c2: 0
Incerteza mais alta
![Page 22: C LASSIFICAÇÃO DE N ÓS Ricardo Prudêncio. L INK M INING - T AREFAS Relacionadas a Objetos Relacionadas a Arestas Relacionadas a Grafos Ranking de Nós](https://reader036.vdocuments.pub/reader036/viewer/2022062512/552fc180497959413d8f1ce0/html5/thumbnails/22.jpg)
RELATIONAL NEIGHBOR CLASSIFIER
Verificar número mínimo de vizinhos etiquetados
c1: 1 c2: 0
c1: 0.33 c2: 0.66
c1: 1 c2: 0
Apenas um vizinho etiquetado
![Page 23: C LASSIFICAÇÃO DE N ÓS Ricardo Prudêncio. L INK M INING - T AREFAS Relacionadas a Objetos Relacionadas a Arestas Relacionadas a Grafos Ranking de Nós](https://reader036.vdocuments.pub/reader036/viewer/2022062512/552fc180497959413d8f1ce0/html5/thumbnails/23.jpg)
LABEL PROPAGATION
Baseados em Random Walks
Classificação Probabilidade de um random walk partindo do nó
vi terminar em nó etiquetado como ym
vi
jump
jump
![Page 24: C LASSIFICAÇÃO DE N ÓS Ricardo Prudêncio. L INK M INING - T AREFAS Relacionadas a Objetos Relacionadas a Arestas Relacionadas a Grafos Ranking de Nós](https://reader036.vdocuments.pub/reader036/viewer/2022062512/552fc180497959413d8f1ce0/html5/thumbnails/24.jpg)
LABEL PROPAGATION
Matriz de transição P para nós não-etiquetadospij: probabilidade de random walk de vi para vj
1/3
1/3
1/3
![Page 25: C LASSIFICAÇÃO DE N ÓS Ricardo Prudêncio. L INK M INING - T AREFAS Relacionadas a Objetos Relacionadas a Arestas Relacionadas a Grafos Ranking de Nós](https://reader036.vdocuments.pub/reader036/viewer/2022062512/552fc180497959413d8f1ce0/html5/thumbnails/25.jpg)
LABEL PROPAGATION
Matriz de transição para nós não-etiquetados considerados pesos nas conexões
2
4
3
2/(2+4+3)=2/9
4/9
3/9
Pesos
![Page 26: C LASSIFICAÇÃO DE N ÓS Ricardo Prudêncio. L INK M INING - T AREFAS Relacionadas a Objetos Relacionadas a Arestas Relacionadas a Grafos Ranking de Nós](https://reader036.vdocuments.pub/reader036/viewer/2022062512/552fc180497959413d8f1ce0/html5/thumbnails/26.jpg)
LABEL PROPAGATION
Para nós etiquetados vi: pii = 1 e pij = 0, para i≠j
0
0
0
Probabilidades de Transição
1
![Page 27: C LASSIFICAÇÃO DE N ÓS Ricardo Prudêncio. L INK M INING - T AREFAS Relacionadas a Objetos Relacionadas a Arestas Relacionadas a Grafos Ranking de Nós](https://reader036.vdocuments.pub/reader036/viewer/2022062512/552fc180497959413d8f1ce0/html5/thumbnails/27.jpg)
LABEL PROPAGATION
Cadeias de Markov
Pt: P x P x .... P (t vezes) pt
ij Probabilidade de atingir nó vj a partir de vi depois de uma seqüência de t random walks
lj Vvj
jiji cypcy|
][][~
YPY ~
Probabilidade da classe c para o nó i
![Page 28: C LASSIFICAÇÃO DE N ÓS Ricardo Prudêncio. L INK M INING - T AREFAS Relacionadas a Objetos Relacionadas a Arestas Relacionadas a Grafos Ranking de Nós](https://reader036.vdocuments.pub/reader036/viewer/2022062512/552fc180497959413d8f1ce0/html5/thumbnails/28.jpg)
ALGORITMO LP-ZHOU
Algoritmo iterativo para calculo de probabilidade das classes ao longo do tempo (Yt)
uuuluuul
lull
PP
I
PP
PPP
0
nXm
lYY
0
0Prob. classes dos l nós etiquetados
n-l zeros (correspondendo aos nós não etiquetados)
Se vi é etiquetado então pii = 1
![Page 29: C LASSIFICAÇÃO DE N ÓS Ricardo Prudêncio. L INK M INING - T AREFAS Relacionadas a Objetos Relacionadas a Arestas Relacionadas a Grafos Ranking de Nós](https://reader036.vdocuments.pub/reader036/viewer/2022062512/552fc180497959413d8f1ce0/html5/thumbnails/29.jpg)
ALGORITMO LP-ZHOU
![Page 30: C LASSIFICAÇÃO DE N ÓS Ricardo Prudêncio. L INK M INING - T AREFAS Relacionadas a Objetos Relacionadas a Arestas Relacionadas a Grafos Ranking de Nós](https://reader036.vdocuments.pub/reader036/viewer/2022062512/552fc180497959413d8f1ce0/html5/thumbnails/30.jpg)
CLASSIFICAÇÃO COLETIVA
Conjunto de nós inicialmente etiquetados é parte essencial do processo de classificação coletiva
Etiquetagem manual de nós escolhidos de forma aleatória na rede Abordagem passiva
Problemas: Custo de etiquetagem manual por humanos Relevância e redundância dos nós etiquetados
30
![Page 31: C LASSIFICAÇÃO DE N ÓS Ricardo Prudêncio. L INK M INING - T AREFAS Relacionadas a Objetos Relacionadas a Arestas Relacionadas a Grafos Ranking de Nós](https://reader036.vdocuments.pub/reader036/viewer/2022062512/552fc180497959413d8f1ce0/html5/thumbnails/31.jpg)
31
Nós irrelevantes
Nós redundantes
![Page 32: C LASSIFICAÇÃO DE N ÓS Ricardo Prudêncio. L INK M INING - T AREFAS Relacionadas a Objetos Relacionadas a Arestas Relacionadas a Grafos Ranking de Nós](https://reader036.vdocuments.pub/reader036/viewer/2022062512/552fc180497959413d8f1ce0/html5/thumbnails/32.jpg)
CLASSIFICAÇÃO COLETIVA ATIVA
Objetivo: Selecionar e etiquetar menor quantidade
possível de nós que maximizem a precisão da classificação
Aprendizagem Ativa para classificação coletiva
Abordagens: Estruturais Baseadas em Incerteza
![Page 33: C LASSIFICAÇÃO DE N ÓS Ricardo Prudêncio. L INK M INING - T AREFAS Relacionadas a Objetos Relacionadas a Arestas Relacionadas a Grafos Ranking de Nós](https://reader036.vdocuments.pub/reader036/viewer/2022062512/552fc180497959413d8f1ce0/html5/thumbnails/33.jpg)
CLASSIFICAÇÃO COLETIVA ATIVA – ABORDAGEM ESTRUTURAL
Seleciona nós com base em centralidade ou posição na rede
Medidas de centralidade Etiquetagem dos nós ordenada por centralidade
Grau e intermediação
Clustering Etiquetagem inicial de nós em clusters diferentes
Visando evitar redundância dos nós etiquetados
![Page 34: C LASSIFICAÇÃO DE N ÓS Ricardo Prudêncio. L INK M INING - T AREFAS Relacionadas a Objetos Relacionadas a Arestas Relacionadas a Grafos Ranking de Nós](https://reader036.vdocuments.pub/reader036/viewer/2022062512/552fc180497959413d8f1ce0/html5/thumbnails/34.jpg)
CLASSIFICAÇÃO COLETIVA ATIVA – BASEADO EM INCERTEZA
Seleciona os exemplos para os quais o classificador atual tenha maior grau de incerteza Motivação: diminuir redundância
Processo iterativo de classificação e seleção (1) Realiza a classificação dos nós não-etiquetados (2) Seleciona exemplos não-etiquetados com maior
grau de incerteza (3) Realiza a etiquetagem do nó e incorpora no
conjunto de nós etiquetados
Medidas de Incerteza: Entropia das classes dos vizinhos
![Page 35: C LASSIFICAÇÃO DE N ÓS Ricardo Prudêncio. L INK M INING - T AREFAS Relacionadas a Objetos Relacionadas a Arestas Relacionadas a Grafos Ranking de Nós](https://reader036.vdocuments.pub/reader036/viewer/2022062512/552fc180497959413d8f1ce0/html5/thumbnails/35.jpg)
35
c1: 1 c2: 0
c1: 0.33 c2: 0.66
c1: 1 c2: 0
Nó selecionado: Entropia mais alta
c1: 0 c2: 1
![Page 36: C LASSIFICAÇÃO DE N ÓS Ricardo Prudêncio. L INK M INING - T AREFAS Relacionadas a Objetos Relacionadas a Arestas Relacionadas a Grafos Ranking de Nós](https://reader036.vdocuments.pub/reader036/viewer/2022062512/552fc180497959413d8f1ce0/html5/thumbnails/36.jpg)
CLASSIFICAÇÃO COLETIVA ATIVA – ALFNET (BILGIC ET AL.)
Combina clustering (abordagem estrutural) e incerteza de classificação
Passos: (1) Aplica algoritmo de clustering (2) Ordena cluster conforme incerteza e
quantidade de nós já etiquetados (3) Etiqueta nós relevantes dentro do clusters
escolhidos
![Page 37: C LASSIFICAÇÃO DE N ÓS Ricardo Prudêncio. L INK M INING - T AREFAS Relacionadas a Objetos Relacionadas a Arestas Relacionadas a Grafos Ranking de Nós](https://reader036.vdocuments.pub/reader036/viewer/2022062512/552fc180497959413d8f1ce0/html5/thumbnails/37.jpg)
REFERÊNCIA
Node classification in social networks. Bhagat et al. (2011)
Collective classification in network data. Sen et al. (2008)
Link mining: a survey. Getoor L., Diehl C. (2005)