sum ario lista de tabelas -...

Material complementar correspondente ao artigo “Algoritmos deAprendizado Multirrotulo utilizando Aprendizado Baseado em

Grafos”, submetido ao X EncontroNacional de Inteligencia Artificial e Computacional (ENIAC 2013).

Sumario

1 Resultados 21.1 Resultados em relacao a F-measure . . . . . . . . . . . . . . . 41.2 Resultados em relacao a Hamming Loss . . . . . . . . . . . . . 101.3 Outros Resultados . . . . . . . . . . . . . . . . . . . . . . . . 16

Lista de Tabelas

1 Descricao dos conjuntos de dados . . . . . . . . . . . . . . . . 32 Resultados da avaliacao em relacao a F-Measure . . . . . . . . 43 Resultados da avaliacao em relacao a Hamming Loss . . . . . 104 Resultados da avaliacao em relacao a Subset Accuracy . . . . . 165 Resultados da avaliacao em relacao a Accuracy . . . . . . . . . 16

Lista de Figuras

1 Desempenho de F-Measure na base de dados Cal500. . . . . . 42 Desempenho de F-Measure na base de dados Corel5k. . . . . . 53 Desempenho de F-Measure na base de dados Emotions. . . . . 54 Desempenho de F-Measure na base de dados Enron. . . . . . . 65 Desempenho de F-Measure na base de dados Genbase. . . . . 66 Desempenho de F-Measure na base de dados Magtag5k. . . . 77 Desempenho de F-Measure na base de dados Medical. . . . . . 78 Desempenho de F-Measure na base de dados Scene. . . . . . . 89 Desempenho de F-Measure na base de dados Slashdot. . . . . 810 Desempenho de F-Measure na base de dados Yeast. . . . . . . 911 Diagramas do pos-teste de Nemenyi para a F-measure . . . . . 9

1

12 Desempenho de Hamming Loss na base de dados Cal500. . . . 1013 Desempenho de Hamming Loss na base de dados Corel5k. . . 1114 Desempenho de Hamming Loss na base de dados Emotions. . 1115 Desempenho de Hamming Loss na base de dados Enron. . . . 1216 Desempenho de Hamming Loss na base de dados Genbase. . . 1217 Desempenho de Hamming Loss na base de dados Magtag5k. . 1318 Desempenho de Hamming Loss na base de dados Medical. . . 1319 Desempenho de Hamming Loss na base de dados Scene. . . . 1420 Desempenho de Hamming Loss na base de dados Slashdot. . . 1421 Desempenho de Hamming Loss na base de dados Yeast. . . . . 1522 Diagramas do pos-teste de Nemenyi para Hamming Loss . . . 1523 Diagramas do pos-teste de Nemenyi para a Accuracy . . . . . 1724 Diagramas do pos-teste de Nemenyi para Subset Accuracy . . 17

1 Resultados

Como mencionado no artigo, para caracterizar um conjunto de dados mul-tirrotuloD e considerando que |L| e a quantidade de rotulos simples, duas me-didas sao frequentemente utilizadas: a Cardinalidade de Rotulo (CR), defi-nida pela Equacao 1, e a Densidade de Rotulo (DR), definida pela Equacao 2.

CR(D) =1

|D|

|D|∑i=1

|Yi| (1) DR(D) =1

|D|

|D|∑i=1

|Yi||L|

. (2)

Na Tabela 1 sao mostradas as caracterısticas dos dez conjuntos de dadosutilizados nos experimentos. Para cada conjunto de dados e especificado onome do conjunto de dados (Nome); domınio de aplicacao (Domınio); numerode exemplos (N); numero de atributos (M); tipo de atributos (Tipo); numerode rotulos (|L|); cardinalidade de rotulos (CR); densidade de rotulos (DR);e numero de multirrotulos diferentes (#Diferentes).

Diferentes medidas baseadas em exemplos foram utilizadas para ava-liar os classificadores construıdos. A medida Hamming Loss, definida pelaEquacao 3, baseia-se na distancia de Hamming, i.e., a diferenca simetricaentre os conjuntos Yi e Zi, denotada por ∆.

Hamming Loss(H,D) =1

N

N∑i=1

|Yi∆Zi||L|

. (3)

2

Tabela 1: Descricao dos conjuntos de dadosNome Domınio N M Tipo |L| CR DR #Diferentes1-Cal500 musica 502 68 numerico 174 26,044 0,150 5022-Corel5k imagem 5000 499 nominal 374 3,522 0,009 31753-Emotions musica 593 72 numerico 6 1,869 0,311 274-Enron texto/e-mails 1702 1001 nominal 53 3,378 0,064 7535-Genbase biologia 662 1186 nominal 27 1,252 0,046 326-Magtag5k musica 5260 68 numerico 136 4,839 0,036 41637-Medical texto/medicina 978 1449 nominal 45 1,245 0,028 948-Scene imagem 2407 294 numerico 6 1,074 0,179 159-Slashdot texto/artigos 3782 1079 numerico 22 1,181 0.041 15610-Yeast biologia 2417 103 numerico 14 4.237 0.303 198

Hamming Loss avalia a frequencia com que o multirrotulo dos exemploscontem um rotulo errado ou um rotulo que deve estar no multirrotulo nao epredito. Assim, quanto menor o valor, melhor a performance do classificador.

As outras medidas utilizadas foram inspiradas, respectivamente, nas me-didas de avaliacao de classificadores monorrotulo. Para essas medidas, quantomaior o valor, melhor a performance do classificador. A medida Subset Ac-curacy, definida pela Equacao 4, onde I(true) = 1 e I(false) = 0, somenteconsidera predicoes totalmente corretas.

SubsetAccuracy(H,D) =1

N

N∑i=1

I(Zi = Yi). (4)

A medida Accuracy, definida pela Equacao 5, considera basicamente osacertos obtidos durante a predicao de rotulos verdadeiros e a ausencia derotulos verdadeiros.

Accuracy(H,D) =1

N

N∑i=1

|Yi ∩ Zi||Yi ∪ Zi|

. (5)

A medida F-Measure, definida pela Equacao 6, calcula a media harmonicaentre as medidas de avaliacao multirrotulo Precision(H,D) = 1

N

∑Ni=1

|Yi∩Zi||Zi|

e Recall(H,D) = 1N

∑Ni=1

|Yi∩Zi||Yi| .

F -Measure(H,D) =1

N

N∑i=1

2|Yi ∩ Zi||Zi| + |Yi|

. (6)

Nas Subsecoes 1.1, 1.2 e 1.3, sao apresentados os resultados obtidosquando os classificadores BRkNN-b, MLε, MLMUT e MLnotMUT , propostos

3

no artigo, e os classificadores BR(SMO), BR(J48) e BR(NB), pertencentesa literatura, foram avaliados usando F-measure, Hamming Loss, Accuracy eSubset Accuracy.

1.1 Resultados em relacao a F-measure

Tabela 2: Resultados da avaliacao em relacao a F-MeasureNome MLMUT MLnotMUT MLε BRkNN-b BR(SMO) BR(J48) BR(NB) GeralB1-Cal500 0,455(3,0) 0,471(1,0) 0,453(4,0) 0,467(2,0) 0,334(6,0) 0,338(5,0) 0,328(7,0) 0,3292-Corel5k 0,193(3,0) 0,179(4,0) 0,200(2,0) 0,167(5,0) 0,106(6,0) 0,092(7,0) 0,218(1,0) 0,0793-Emotions 0,657(1,5) 0,653(3,0) 0,629(5,0) 0,657(1,5) 0,597(6,0) 0,557(7,0) 0,633(4,0) 0,3624-Enron 0,454(3,0) 0,445(4,0) 0,437(5,0) 0,433(6,0) 0,518(2,0) 0,519(1,0) 0,305(7,0) 0,3905-Genbase 0,992(3,0) 0,990(5,5) 0,992(3,0) 0,992(3,0) 0,993(1,0) 0,990(5,5) 0,299(7,0) 0,1166-Magtag5k 0,384(2,0) 0,388(1,0) 0,338(4,0) 0,377(3,0) 0,108(7,0) 0,261(5,0) 0,178(6,0) 0,1027-Medical 0,657(5,0) 0,711(3,0) 0,648(6,0) 0,658(4,0) 0,779(1,0) 0,773(2,0) 0,403(7,0) 0,0178-Scene 0,766(1,0) 0,757(2,0) 0,711(4,0) 0,733(3,0) 0,620(5,0) 0,573(6,0) 0,567(7,0) 0,2539-Slashdot 0,330(4,0) 0,299(5,0) 0,284(6,5) 0,284(6,5) 0,494(1,0) 0,379(3,0) 0,435(2,0) 0,05910-Yeast 0,654(2,5) 0,655(1,0) 0,647(4,0) 0,654(2,5) 0,611(5,0) 0,564(6,0) 0,538(7,0) 0,430ranking medio 2,800 2,950 4,350 3,650 4,000 4,750 5,500

0,25

0,3

0,35

0,4

0,45

0,5

1 7 13 19 25 39 69 99

F-Measure

k

(a) F-Measure vs k

0,25

0,3

0,35

0,4

0,45

0,5

F-Measure

εTHRESHOLD(b) F-Measure vs ε

THRESHOLDMUTUAL NOT_MUTUALMLMUT MLnotMUT MLƐ NONEBRkNN

Figura 1: Desempenho de F-Measure na base de dados Cal500.

4

0,08

0,1

0,12

0,14

0,16

0,18

0,2

1 7 13 19 25 39 69 99

F-Measure

k

(a) F-Measure vs k

0,08

0,1

0,12

0,14

0,16

0,18

0,2

F-Measure



Figura 2: Desempenho de F-Measure na base de dados Corel5k.

0,38

0,42

0,46

0,5

0,54

0,58

0,62

0,66

1 7 13 19 25 39 69 99

F-Measure

k

(a) F-Measure vs k

0,38

0,42

0,46

0,5

0,54

0,58

0,62

0,66

F-Measure



Figura 3: Desempenho de F-Measure na base de dados Emotions.

5

0,35

0,37

0,39

0,41

0,43

0,45

1 7 13 19 25 39 69 99

F-Measure

k

(a) F-Measure vs k

0,35

0,37

0,39

0,41

0,43

0,45

F-Measure



Figura 4: Desempenho de F-Measure na base de dados Enron.

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

1 7 13 19 25 39 69 99

F-Measure

k

(a) F-Measure vs k

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

F-Measure



Figura 5: Desempenho de F-Measure na base de dados Genbase.

6

0,2

0,25

0,3

0,35

0,4

1 7 13 19 25 39 69 99

F-Measure

k

(a) F-Measure vs k

0,2

0,25

0,3

0,35

0,4

F-Measure



Figura 6: Desempenho de F-Measure na base de dados Magtag5k.

0,2

0,3

0,4

0,5

0,6

0,7

1 7 13 19 25 39 69 99

F-Measure

k

(a) F-Measure vs k

0,2

0,3

0,4

0,5

0,6

0,7

F-Measure



Figura 7: Desempenho de F-Measure na base de dados Medical.

7

0,2

0,3

0,4

0,5

0,6

0,7

0,8

1 7 13 19 25 39 69 99

F-Measure

k

(a) F-Measure vs k

0,2

0,3

0,4

0,5

0,6

0,7

0,8

F-Measure



Figura 8: Desempenho de F-Measure na base de dados Scene.

0,1

0,15

0,2

0,25

0,3

0,35

1 7 13 19 25 39 69 99

F-Measure

k

(a) F-Measure vs k

0,1

0,15

0,2

0,25

0,3

0,35

F-Measure



Figura 9: Desempenho de F-Measure na base de dados Slashdot.

8

0,5

0,55

0,6

0,65

0,7

1 7 13 19 25 39 69 99

F-Measure

k

(a) F-Measure vs k

0,5

0,55

0,6

0,65

0,7

F-Measure



Figura 10: Desempenho de F-Measure na base de dados Yeast.

CD

1 2 3 4 5 6 7

MLMUTMLnotMUTBRkNN-b

BR(NB)BR(J48)

MLεBR(SMO)

1

Figura 11: Diagramas do pos-teste de Nemenyi para a F-measure

9

1.2 Resultados em relacao a Hamming Loss

Tabela 3: Resultados da avaliacao em relacao a Hamming LossNome MLMUT MLnotMUT MLε BRkNN-b BR(SMO) BR(J48) BR(NB) GeralB1-Cal500 0,161(4,0) 0,158(2,0) 0,163(6,0) 0,159(3,0) 0,137(1,0) 0,162(5,0) 0,319(7,0) 0,2192-Corel5k 0,015(5,0) 0,015(5,0) 0,016(7,0) 0,015(5,0) 0,011(2,0) 0,010(1,0) 0,013(3,0) 0,0193-Emotions 0,208(2,5) 0,209(4,0) 0,222(5,0) 0,208(2,5) 0,193(1,0) 0,247(6,0) 0,252(7,0) 0,4034-Enron 0,065(5,0) 0,062(3,5) 0,066(6,0) 0,062(3,5) 0,060(2,0) 0,052(1,0) 0,218(7,0) 0,0735-Genbase 0,001(3,5) 0,001(3,5) 0,001(3,5) 0,001(3,5) 0,001(3,5) 0,001(3,5) 0,034(7,0) 0,0756-Magtag5k 0,044(4,0) 0,044(4,0) 0,047(6,0) 0,044(4,0) 0,034(1,0) 0,042(2,0) 0,237(7,0) 0,1047-Medical 0,018(4,5) 0,015(3,0) 0,019(6,0) 0,018(4,5) 0,010(1,5) 0,010(1,5) 0,026(7,0) 0,0498-Scene 0,083(1,0) 0,086(2,0) 0,103(4,0) 0,094(3,0) 0,106(5,0) 0,137(6,0) 0,242(7,0) 0,3799-Slashdot 0,069(4,0) 0,072(5,0) 0,073(6,5) 0,073(6,5) 0,046(2,0) 0,042(1,0) 0,068(3,0) 0,13610-Yeast 0,200(3,0) 0,199(1,5) 0,204(5,0) 0,202(4,0) 0,199(1,5) 0,245(6,0) 0,303(7,0) 0,321ranking medio 3,650 3,350 5,500 3,950 2,050 3,300 6,200

0,14

0,16

0,18

0,2

1 7 13 19 25 39 69 99

Ham

ming-Loss

k

(a) Hamming Loss vs k

0,14

0,16

0,18

0,2

Ham

ming-Loss

εTHRESHOLD(b) Hamming Loss vs ε


Figura 12: Desempenho de Hamming Loss na base de dados Cal500.

10

0,014

0,015

0,016

0,017

1 7 13 19 25 39 69 99

Ham

ming-Loss

k


0,014

0,015

0,016

0,017

Ham

ming-Loss



Figura 13: Desempenho de Hamming Loss na base de dados Corel5k.

0,2

0,25

0,3

0,35

0,4

1 7 13 19 25 39 69 99

Ham

ming-Loss

k


0,2

0,25

0,3

0,35

0,4

Ham

ming-Loss



Figura 14: Desempenho de Hamming Loss na base de dados Emotions.

11

0,06

0,062

0,064

0,066

0,068

0,07

1 7 13 19 25 39 69 99

Ham

ming-Loss

k


0,06

0,062

0,064

0,066

0,068

0,07

Ham

ming-Loss



Figura 15: Desempenho de Hamming Loss na base de dados Enron.

0

0,01

0,02

0,03

0,04

0,05

0,06

0,07

1 7 13 19 25 39 69 99

Ham

ming-Loss

k


0

0,01

0,02

0,03

0,04

0,05

0,06

0,07

Ham

ming-Loss



Figura 16: Desempenho de Hamming Loss na base de dados Genbase.

12

0,04

0,045

0,05

0,055

0,06

1 7 13 19 25 39 69 99

Ham

ming-Loss

k


0,04

0,045

0,05

0,055

0,06

Ham

ming-Loss



Figura 17: Desempenho de Hamming Loss na base de dados Magtag5k.

0,015

0,02

0,025

0,03

0,035

0,04

1 7 13 19 25 39 69 99

Ham

ming-Loss

k


0,015

0,02

0,025

0,03

0,035

0,04

Ham

ming-Loss



Figura 18: Desempenho de Hamming Loss na base de dados Medical.

13

0,08

0,13

0,18

0,23

0,28

1 7 13 19 25 39 69 99

Ham

ming-Loss

k


0,08

0,13

0,18

0,23

0,28

Ham

ming-Loss



Figura 19: Desempenho de Hamming Loss na base de dados Scene.

0,065

0,070

0,075

0,080

0,085

0,090

1 7 13 19 25 39 69 99

Ham

ming-Loss

k


0,065

0,07

0,075

0,08

0,085

0,09

Ham

ming-Loss



Figura 20: Desempenho de Hamming Loss na base de dados Slashdot.

14

0,19

0,2

0,21

0,22

0,23

0,24

0,25

0,26

1 7 13 19 25 39 69 99

Ham

ming-Loss

k


0,19

0,2

0,21

0,22

0,23

0,24

0,25

0,26

Ham

ming-Loss



Figura 21: Desempenho de Hamming Loss na base de dados Yeast.

CD

1 2 3 4 5 6 7

BR(SMO)BR(J48)

MLnotMUT

BR(NB)

MLεBRkNN-bMLMUT

1

Figura 22: Diagramas do pos-teste de Nemenyi para Hamming Loss

15

1.3 Outros Resultados

Tabela 4: Resultados da avaliacao em relacao a Subset AccuracyNome MLMUT MLnotMUT MLε BRkNN-b BR(SMO) BR(J48) BR(NB) GeralB1-Cal500 0,300(3,0) 0,311(1,0) 0,000(5,5) 0,308(2,0) 0,000(5,5) 0,000(5,5) 0,000(5,5) 0,0022-Corel5k 0,024(1,0) 0,004(5,0) 0,000(7,0) 0,007(2,5) 0,007(2,5) 0,003(6,0) 0,005(4,0) 0,0003-Emotions 0,282(2,0) 0,275(3,0) 0,271(4,0) 0,295(1,0) 0,270(5,0) 0,184(7,0) 0,206(6,0) 0,1254-Enron 0,114(2,5) 0,052(6,0) 0,114(2,5) 0,105(4,0) 0,116(1,0) 0,098(5,0) 0,000(7,0) 0,0645-Genbase 0,973(2,0) 0,970(6,0) 0,971(4,0) 0,971(4,0) 0,980(1,0) 0,971(4,0) 0,267(7,0) 0,1106-Magtag5k 0,006(3,0) 0,006(3,0) 0,006(3,0) 0,007(1,0) 0,004(5,5) 0,004(5,5) 0,000(7,0) 0,0007-Medical 0,522(5,0) 0,590(3,0) 0,511(6,0) 0,527(4,0) 0,657(1,0) 0,654(2,0) 0,265(7,0) 0,0168-Scene 0,719(1,0) 0,715(2,0) 0,659(4,0) 0,689(3,0) 0,526(5,0) 0,427(6,0) 0,169(7,0) 0,0169-Slashdot 0,284(3,0) 0,253(4,0) 0,249(5,0) 0,248(6,0) 0,363(1,0) 0,310(2,0) 0,229(7,0) 0,00110-Yeast 0,184(3,0) 0,196(1,0) 0,183(4,0) 0,187(2,0) 0,148(5,0) 0,068(7,0) 0,095(6,0) 0,031ranking medio 2,550 3,400 4,500 2,950 3,250 5,000 6,350

Tabela 5: Resultados da avaliacao em relacao a AccuracyNome MLMUT MLnotMUT MLε BRkNN-b BR(SMO) BR(J48) BR(NB) GeralB1-Cal500 0,460(3,0) 0,472(1,0) 0,297(4,0) 0,469(2,0) 0,204(6,0) 0,207(5,0) 0,203(7,0) 0,2042-Corel5k 0,137(2,0) 0,116(4,0) 0,125(3,0) 0,109(5,0) 0,075(6,0) 0,063(7,0) 0,149(1,0) 0,0483-Emotions 0,561(2,0) 0,556(3,0) 0,537(4,0) 0,563(1,0) 0,517(6,0) 0,462(7,0) 0,529(5,0) 0,2914-Enron 0,360(3,0) 0,334(6,0) 0,346(4,0) 0,338(5,0) 0,408(1,0) 0,406(2,0) 0,193(7,0) 0,2945-Genbase 0,988(3,0) 0,986(5,5) 0,988(3,0) 0,988(3,0) 0,990(1,0) 0,986(5,5) 0,289(7,0) 0,1156-Magtag5k 0,266(2,0) 0,269(1,0) 0,233(4,0) 0,263(3,0) 0,070(7,0) 0,173(5,0) 0,101(6,0) 0,0577-Medical 0,622(5,0) 0,679(3,0) 0,614(6,0) 0,624(4,0) 0,748(1,0) 0,744(2,0) 0,367(7,0) 0,0178-Scene 0,754(1,0) 0,747(2,0) 0,700(4,0) 0,722(3,0) 0,596(5,0) 0,535(6,0) 0,453(7,0) 0,1929-Slashdot 0,318(4,0) 0,287(5,0) 0,275(6,5) 0,275(6,5) 0,460(1,0) 0,361(3,0) 0,377(2,0) 0,04310-Yeast 0,546(2,5) 0,548(1,0) 0,539(4,0) 0,546(2,5) 0,501(5,0) 0,440(6,0) 0,420(7,0) 0,308ranking medio 2,750 3,150 4,250 3,500 3,900 4,850 5,600

16

CD

1 2 3 4 5 6 7

MLMUTMLnotMUTBRkNN-b

BR(NB)BR(J48)

MLεBR(SMO)

1

Figura 23: Diagramas do pos-teste de Nemenyi para a Accuracy

CD

1 2 3 4 5 6 7

MLMUTBRkNN-bBR(SMO)

BR(NB)BR(J48)

MLεMLnotMUT

1

Figura 24: Diagramas do pos-teste de Nemenyi para Subset Accuracy

17

sum ario lista de tabelas -...

Documents