avaliação estatística dos mecanismos de codificação desenvolvidos eliana zandonade...
TRANSCRIPT
![Page 1: Avaliação estatística dos mecanismos de codificação desenvolvidos Eliana Zandonade elianazandonade@uol.com.br E equipe (Lúcia, Regiane e Franciane)](https://reader035.vdocuments.pub/reader035/viewer/2022070311/552fc10c497959413d8c431b/html5/thumbnails/1.jpg)
Avaliação estatística dos mecanismos de codificação
desenvolvidos
Eliana [email protected]
E equipe (Lúcia, Regiane e Franciane)
![Page 2: Avaliação estatística dos mecanismos de codificação desenvolvidos Eliana Zandonade elianazandonade@uol.com.br E equipe (Lúcia, Regiane e Franciane)](https://reader035.vdocuments.pub/reader035/viewer/2022070311/552fc10c497959413d8c431b/html5/thumbnails/2.jpg)
Sumário
• Teste de comparação de duas proporções
pareadas
• Análise de correlação entre duas variáveis
• Teste de comparação de duas médias
![Page 3: Avaliação estatística dos mecanismos de codificação desenvolvidos Eliana Zandonade elianazandonade@uol.com.br E equipe (Lúcia, Regiane e Franciane)](https://reader035.vdocuments.pub/reader035/viewer/2022070311/552fc10c497959413d8c431b/html5/thumbnails/3.jpg)
ÍNDICE KAPPA
0 1 total
0 A B N1
(A+B)
1 C D N2
(C+D)
total N3
(A+C)
N4
(B+D)
n
K= 2(AD – BC) N1N4 + N2N3
![Page 4: Avaliação estatística dos mecanismos de codificação desenvolvidos Eliana Zandonade elianazandonade@uol.com.br E equipe (Lúcia, Regiane e Franciane)](https://reader035.vdocuments.pub/reader035/viewer/2022070311/552fc10c497959413d8c431b/html5/thumbnails/4.jpg)
Teste Mc Nemar
• Comparar se a discordância tem sentido:
• Compara B com C (discordâncias)
![Page 5: Avaliação estatística dos mecanismos de codificação desenvolvidos Eliana Zandonade elianazandonade@uol.com.br E equipe (Lúcia, Regiane e Franciane)](https://reader035.vdocuments.pub/reader035/viewer/2022070311/552fc10c497959413d8c431b/html5/thumbnails/5.jpg)
Correlação
543210-1-2-3-4
15
10
5
0
Eixo Horizontal
Eixo
Ver
tical
Diagrama de Dispersão
![Page 6: Avaliação estatística dos mecanismos de codificação desenvolvidos Eliana Zandonade elianazandonade@uol.com.br E equipe (Lúcia, Regiane e Franciane)](https://reader035.vdocuments.pub/reader035/viewer/2022070311/552fc10c497959413d8c431b/html5/thumbnails/6.jpg)
Covariância
A covariância é uma medida que resume a tendência e a força da relação linear entre duas variáveis.
Covariância entre X e Y: Covar(X,Y)
1/(n-1) *{ Soma [(X - média(X))*(Y - média(Y))]}
![Page 7: Avaliação estatística dos mecanismos de codificação desenvolvidos Eliana Zandonade elianazandonade@uol.com.br E equipe (Lúcia, Regiane e Franciane)](https://reader035.vdocuments.pub/reader035/viewer/2022070311/552fc10c497959413d8c431b/html5/thumbnails/7.jpg)
Coeficiente de Correlação
Para facilitar a relação entre duas variáveis e evitar a unidade de medida da covariância, foi definido o coeficiente de correlação corr(X,Y) ou r(X,Y) como:
r(X,Y) = covar(X,Y) / [DP(X)*DP(Y)]
![Page 8: Avaliação estatística dos mecanismos de codificação desenvolvidos Eliana Zandonade elianazandonade@uol.com.br E equipe (Lúcia, Regiane e Franciane)](https://reader035.vdocuments.pub/reader035/viewer/2022070311/552fc10c497959413d8c431b/html5/thumbnails/8.jpg)
Comparação de duas médias: comparação dos modelos dois a dois
O teste de duas médias é realizado para se comparar as médias de duas populações a partir da análise das médias de suas amostras. Em geral faz-se os testes sobre a diferença entre duas médias populacionais:
sendo na maioria dos casos , o que significa que testa-se a igualdade entre as médias
0D
![Page 9: Avaliação estatística dos mecanismos de codificação desenvolvidos Eliana Zandonade elianazandonade@uol.com.br E equipe (Lúcia, Regiane e Franciane)](https://reader035.vdocuments.pub/reader035/viewer/2022070311/552fc10c497959413d8c431b/html5/thumbnails/9.jpg)
00 D:H
01 D:H
00 D:H
01 D:H
00 D:H01 D:H
As Hipóteses Nula e Alternativa do teste são as seguintes:
Teste bilateral:
Teste unilateral à esquerda:
Teste unilateral à direita:
![Page 10: Avaliação estatística dos mecanismos de codificação desenvolvidos Eliana Zandonade elianazandonade@uol.com.br E equipe (Lúcia, Regiane e Franciane)](https://reader035.vdocuments.pub/reader035/viewer/2022070311/552fc10c497959413d8c431b/html5/thumbnails/10.jpg)
OBS.: No presente estudo, na comparação dos modelos será considerado o teste bilateral.
Na comparação das médias considera-se dois casos: dados emparelhados (populações correlacionadas) e dados não emparelhados (populações não correlacionadas). Neste caso, será considerada a comparação de dados emparelhados, uma vez que, os modelos propostos serão testados com o mesmo conjunto de documentos.
![Page 11: Avaliação estatística dos mecanismos de codificação desenvolvidos Eliana Zandonade elianazandonade@uol.com.br E equipe (Lúcia, Regiane e Franciane)](https://reader035.vdocuments.pub/reader035/viewer/2022070311/552fc10c497959413d8c431b/html5/thumbnails/11.jpg)
Duas médias pareadas: teste t
Faz-se testes de comparações de médias para dados emparelhados quando o resultado de duas amostras são relacionados dois a dois, de acordo com algum critério que fornece uma influência entre os vários pares e sobre os valores de cada par. Para cada par definido, o valor da primeira amostra está associado ao valor da segunda amostra.
![Page 12: Avaliação estatística dos mecanismos de codificação desenvolvidos Eliana Zandonade elianazandonade@uol.com.br E equipe (Lúcia, Regiane e Franciane)](https://reader035.vdocuments.pub/reader035/viewer/2022070311/552fc10c497959413d8c431b/html5/thumbnails/12.jpg)
Dadas duas amostras X1, X2, ..., Xn e Y1, Y2, ..., Yn, sendo as observações pareadas,ou seja, uma amostra de pares, (X1, Y1), (X2, Y2), ..., (Xn, Yn). Definindo-se a v.a. D=X-Y, tem-se a amostra D1, D2, ..., Dn, resultante das diferenças entre os valores de cada par.
Para a aplicação do teste deve-se supor que ambas as amostras são provenientes de populações com distribuição normal, assim, a variável D, supostamente, também tem distribuição normal .
![Page 13: Avaliação estatística dos mecanismos de codificação desenvolvidos Eliana Zandonade elianazandonade@uol.com.br E equipe (Lúcia, Regiane e Franciane)](https://reader035.vdocuments.pub/reader035/viewer/2022070311/552fc10c497959413d8c431b/html5/thumbnails/13.jpg)
Daí pode-se deduzir que
terá distribuição
![Page 14: Avaliação estatística dos mecanismos de codificação desenvolvidos Eliana Zandonade elianazandonade@uol.com.br E equipe (Lúcia, Regiane e Franciane)](https://reader035.vdocuments.pub/reader035/viewer/2022070311/552fc10c497959413d8c431b/html5/thumbnails/14.jpg)
Então a estatística de teste será dada por:
onde t tem distribuição t-Student com n-1 graus de liberdade.
Considere
n
ss D
Donde
![Page 15: Avaliação estatística dos mecanismos de codificação desenvolvidos Eliana Zandonade elianazandonade@uol.com.br E equipe (Lúcia, Regiane e Franciane)](https://reader035.vdocuments.pub/reader035/viewer/2022070311/552fc10c497959413d8c431b/html5/thumbnails/15.jpg)
onde é obtido da tabela da distribuição
t-student, considerando (n-1) graus de liberdade e tomando como o nível de significância do teste.
A regra do teste (teste bilateral) é então rejeitar H0 se
![Page 16: Avaliação estatística dos mecanismos de codificação desenvolvidos Eliana Zandonade elianazandonade@uol.com.br E equipe (Lúcia, Regiane e Franciane)](https://reader035.vdocuments.pub/reader035/viewer/2022070311/552fc10c497959413d8c431b/html5/thumbnails/16.jpg)
Outra maneira de tomar a decisão final sobre a hipótese nula é comparando o valor-p com um valor pré-fixado (nível de significância), usualmente 0,05. Quando o valor-p é menor que este ponto de corte, o resultado é chamado estatisticamente significante e caso contrário é dito não significante.
O valor-p (ou valor de probabilidade) é a probabilidade de obter um valor da estatística amostral de teste no mínimo tão extremo como o que resulta dos dados amostrais, na suposição da hipótese nula ser verdadeira.
![Page 17: Avaliação estatística dos mecanismos de codificação desenvolvidos Eliana Zandonade elianazandonade@uol.com.br E equipe (Lúcia, Regiane e Franciane)](https://reader035.vdocuments.pub/reader035/viewer/2022070311/552fc10c497959413d8c431b/html5/thumbnails/17.jpg)
Exemplo: Suponha que deseja-se comparar os modelos 1 e 2 e que a métrica utilizada tenha sido Hamming Loss (hlossj). A tabela a seguir ilustra algumas situações de aplicação de tais modelos.
No caso do teste bilateral o valo-p é a duas vezes a área da estatística de teste.
dj Cj Pj (Modelo 1) Pj (Modelo 2) Xj Yj Dj
d1 A B C A A B C 0,02 0,00 0,02
d2 A B C D A B C D H I A B D 0,04 0,02 0,02
d3 D E D F I D E 0,06 0,00 0,06… … … … … … …d50 F F G F 0,02 0,00 0,02
![Page 18: Avaliação estatística dos mecanismos de codificação desenvolvidos Eliana Zandonade elianazandonade@uol.com.br E equipe (Lúcia, Regiane e Franciane)](https://reader035.vdocuments.pub/reader035/viewer/2022070311/552fc10c497959413d8c431b/html5/thumbnails/18.jpg)
Sendo
dj: j-ésimo documento;
Cj: conjunto de códigos apropriados para o j-ésimo documento;
Pj (Modelo 1): conjunto de códigos preditos pelo Modelo 1 para o j-ésimo documento;
Pj (Modelo 2): conjunto de códigos preditos pelo Modelo 2 para o j-ésimo documento;
Xj: resultado da métrica obtida para Modelo 1;
Yj: resultado da métrica obtida pelo Modelo 2;
Dj: diferença entre Xj e Yj.
![Page 19: Avaliação estatística dos mecanismos de codificação desenvolvidos Eliana Zandonade elianazandonade@uol.com.br E equipe (Lúcia, Regiane e Franciane)](https://reader035.vdocuments.pub/reader035/viewer/2022070311/552fc10c497959413d8c431b/html5/thumbnails/19.jpg)
Suponha que:
Para o exemplo as hipóteses a serem testadas são:0210 Delomodelomod:H
0211 Delomodelomod:H
0030
020
030
050
,n
ss
,s
,D
,
DD
D
![Page 20: Avaliação estatística dos mecanismos de codificação desenvolvidos Eliana Zandonade elianazandonade@uol.com.br E equipe (Lúcia, Regiane e Franciane)](https://reader035.vdocuments.pub/reader035/viewer/2022070311/552fc10c497959413d8c431b/html5/thumbnails/20.jpg)
Assim,
Como t > t49; 0,025 rejeita-se H0, isto é, rejeita-se a hipótese que os modelos são iguais.
![Page 21: Avaliação estatística dos mecanismos de codificação desenvolvidos Eliana Zandonade elianazandonade@uol.com.br E equipe (Lúcia, Regiane e Franciane)](https://reader035.vdocuments.pub/reader035/viewer/2022070311/552fc10c497959413d8c431b/html5/thumbnails/21.jpg)
Considerando a decisão através do valor-p tem-se:
000010 ,tPpvalor
Como o valor-p < 0,05 então rejeita-se H0.
![Page 22: Avaliação estatística dos mecanismos de codificação desenvolvidos Eliana Zandonade elianazandonade@uol.com.br E equipe (Lúcia, Regiane e Franciane)](https://reader035.vdocuments.pub/reader035/viewer/2022070311/552fc10c497959413d8c431b/html5/thumbnails/22.jpg)
REFERÊNCIAS
BUSSAB, W. O.; MORETTIN, P. A. Estatística Básica. 5ª edição, Editora Saraiva, 2002.
MORETTIN, L. G. Estatística Básica – Volume 2 – Inferência. Editora Makron Books, 2000.
TRIOLA, M. F. Introdução à Estatística. 7ª edição, Editora LTC, 1999.