apprentissage statistique 04-06-2019 automatants · apprentissage statistique apprentissage...
TRANSCRIPT
![Page 1: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/1.jpg)
Amphi de révisionApprentissage Statistique
04-06-2019
Automatants
![Page 2: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/2.jpg)
Apprentissage statistique
Apprentissage statistique
Supervisé Non supervisé
Régression ClassificationRéduction de dimensions
Partitionnement
![Page 3: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/3.jpg)
Apprentissage supervisé
Variable à expliquer
𝑌
Variable explicatives
𝑋
Modèle statistique𝑝𝜃(𝑌|𝑋)
Consommation d’électricité d’une
villeℝ
Température,Heure,
Ensoleillement,Proportion en
vacances…ℝ4
Apprentissage
Estimation des paramètres du modèle 𝜃→ fonction de décision
Nouvelles entrées Prédictions
![Page 4: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/4.jpg)
Apprentissage supervisé
Variable à expliquer
𝑌
Variable explicatives
𝑋
Modèle statistique𝑝𝜃(𝑌|𝑋)
Consommation d’électricité d’une
villeℝ
Température,Heure,
Ensoleillement,Proportion en
vacances…ℝ4
Apprentissage
Estimation des paramètres du modèle 𝜃→ fonction de décision
Nouvelles entrées Prédictions
Régressionℝ𝒎 ℝ𝒏
![Page 5: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/5.jpg)
Apprentissage supervisé
Régressionℝ𝒎 ℝ𝒏
Variables à expliquer
𝑌
Variables explicatives
𝑋
Modèle statistique
linéaire
![Page 6: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/6.jpg)
Apprentissage supervisé
Régressionℝ𝒎 ℝ𝒏
Variables à expliquer
𝑌
Variables explicatives
𝑋
Modèle statistique entrainé
![Page 7: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/7.jpg)
Apprentissage supervisé
Variable à expliquer
𝑌
Variable explicatives
𝑋
Modèle statistique𝑝𝜃(𝑌|𝑋)
Chiffre{1, 2, 3, … }
Valeurs des pixels d’une image
ℝ𝑛
Apprentissage
Estimation des paramètres du modèle 𝜃→ fonction de décision
Nouvelles entrées Prédictions
Classificationℝ𝒎 {𝐴, 𝐵, 𝐶, … }
![Page 8: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/8.jpg)
Apprentissage statistique
Apprentissage statistique
SuperviséPrédire Y connaissant X
Non supervisé
Régression𝑌 ∈ ℝ𝑑
Classification𝑌 ∈ {𝐴, 𝐵, 𝐶, … }
Réduction de dimensions
Partitionnement
![Page 9: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/9.jpg)
Apprentissage non supervisé
Vecteurs de représentation
Variables𝑋
ModèleValeurs des pixels d’une image 8x8
ℝ64
Apprentissage
Estimation des paramètres du modèle 𝜃→ fonction de description
Nouvelles entrées Représentations
Représentation de l’image d’un
chiffre en dimension 2
ℝ2
![Page 10: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/10.jpg)
Apprentissage non supervisé
1 image de chiffre décrite par 64 réels 1 image de chiffre décrite par 2 réels
Variable initialesVecteurs de
représentation obtenues après entrainement
![Page 11: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/11.jpg)
Apprentissage non supervisé
1 vecteur décrit par 3 réels 1 vecteur décrit par 2 réels
Variable initialesVariable de
représentation obtenues après entrainement
![Page 12: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/12.jpg)
Apprentissage non supervisé
Vecteurs de représentation
Variable𝑋
ModèleValeurs des pixels d’une image 8x8
ℝ64
Apprentissage
Estimation des paramètres du modèle 𝜃→ fonction de description
Nouvelles entrées Représentations
Représentation de l’image d’un
chiffre en dimension 2
ℝ2
![Page 13: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/13.jpg)
Apprentissage non supervisé
Vecteurs de représentation
Variable𝑋
ModèleValeurs des pixels d’une image 8x8
ℝ64
Estimation des paramètres du modèle 𝜃→ fonction de description
Nouvelles entrées Représentations
Représentation de l’image d’un
chiffre en dimension 2
ℝ2
Apprentissage
Réduction de dimensions
ℝ𝒎 ℝ𝒏
![Page 14: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/14.jpg)
Apprentissage non supervisé
Vecteurs de représentation
Variable𝑋
Modèle
Âge, temps passé sur FB,
Préférence politique…ℝ3
Estimation des paramètres du modèle 𝜃→ fonction de description
Nouvelles entrées Représentations
1 catégorie par personne
{𝐴, 𝐵, 𝐶, … }
Apprentissage
Clustering /Partitionnement
ℝ𝒎 {𝐴, 𝐵, 𝐶, … }
![Page 15: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/15.jpg)
Apprentissage non supervisé
1 vecteur décrit par 2 réels 1 vecteur décrit par une catégorie
Variable initialeVecteurs de
représentation obtenue après entrainement
![Page 16: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/16.jpg)
Apprentissage statistique
Apprentissage statistique
SuperviséPrédire Y connaissant X
Non superviséCaractériser 𝑋 par ෨𝑋
Régression𝑌 ∈ ℝ𝑑
Classification𝑌 ∈ {𝐴, 𝐵, 𝐶, … }
Réduction de dimensions෨𝑋 ∈ ℝ𝑑
Partitionnement෨𝑋 ∈ {𝐴, 𝐵, 𝐶,… }
![Page 17: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/17.jpg)
Apprentissage supervisé
![Page 18: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/18.jpg)
Apprentissage statistique
Apprentissage statistique
SuperviséPrédire Y connaissant X
Non superviséCaractériser 𝑋 par ෨𝑋
Régression𝑌 ∈ ℝ𝑑
Classification𝑌 ∈ {𝐴, 𝐵, 𝐶, … }
Réduction de dimensions෨𝑋 ∈ ℝ𝑑
Partitionnement෨𝑋 ∈ {𝐴, 𝐵, 𝐶,… }
![Page 19: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/19.jpg)
Régression linéaire
Fonction de prédiction :𝑓𝜃: 𝑥 ↦ 𝜃𝑥
X Y Y prédit
0.2 0.25 0.097393
0.39 1 0.194943
0.68 1.24 0.223750
0.87 1.6 0.251037
![Page 20: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/20.jpg)
Régression linéaire
X Y Y prédit
0.2 0.25 0.097393
0.39 1 0.194943
0.68 1.24 0.223750
0.87 1.6 0.251037
Fonction de perte :𝐿 𝑦, ℎ(𝑥) = ‖𝑦 − ℎ(𝑥)‖²
Fonction de prédiction :ℎ𝜃: 𝑥 ↦ 𝜃𝑥
![Page 21: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/21.jpg)
Régression linéaire
Fonction de prédiction :ℎ𝜃: 𝑥 ↦ 𝜃𝑥
![Page 22: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/22.jpg)
Régression linéaire
Fonction de prédiction :ℎ𝜃: 𝑥 ↦ 𝜃𝑥
![Page 23: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/23.jpg)
D’autres modèles
𝑔 𝔼 𝑌 𝑋 =
𝑚=1
𝑀
𝛽𝑚𝜓𝑚(𝑋)
Ce qu’on cherche à modéliser
Fonction quelconque
Fonctions de base
𝑔 𝔼 𝑌 𝑋 = 𝑥 = 𝛽0 + 𝛽𝑇𝑥
Ce qu’on cherche à modéliser
Fonction quelconque
Modèle linéaire généralisé
Paramètres variables
Modèle linéaire généralisé à expansion de base
![Page 24: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/24.jpg)
Classification : k plus proches voisins
![Page 25: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/25.jpg)
Classification : k plus proches voisins
![Page 26: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/26.jpg)
Classification : k plus proches voisins
![Page 27: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/27.jpg)
Classification : arbres de décision
![Page 28: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/28.jpg)
Classification : arbres de décision
𝑥1
𝑥2
Sélection d’une partition
![Page 29: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/29.jpg)
Classification : arbres de décision
𝑥1
𝑥2
Sélection d’une partition
Sélection d’une variable (et d’un sens
![Page 30: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/30.jpg)
Classification : arbres de décision
𝑥1
𝑥2
Perte : 0.82Sélection d’une partition
Sélection d’une variable (et d’un sens
Estimation de la frontière
![Page 31: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/31.jpg)
Classification : arbres de décision
𝑥1
𝑥2
Perte : 0.82Sélection d’une partition
Sélection d’une variable (et d’un sens
Estimation de la frontière
![Page 32: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/32.jpg)
Classification : arbres de décision
𝑥1
𝑥2
Perte : 0.82
Perte : 0.63
Sélection d’une partition
Sélection d’une variable (et d’un sens
Estimation de la frontière
![Page 33: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/33.jpg)
Classification : arbres de décision
𝑥1
𝑥2
Perte : 0.82
Perte : 0.63
Perte : 0.55
Sélection d’une partition
Sélection d’une variable (et d’un sens
Estimation de la frontière
![Page 34: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/34.jpg)
Classification : arbres de décision
𝑥1
𝑥2
Perte : 0.82
Perte : 0.63
Perte : 0.55
Perte : 0.85
Sélection d’une partition
Sélection d’une variable (et d’un sens
Estimation de la frontière
![Page 35: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/35.jpg)
Classification : arbres de décision
𝑥1
𝑥2
Perte : 0.82
Perte : 0.63
Perte : 0.55
Perte : 0.85
Sélection d’une partition
Sélection d’une variable (et d’un sens
Estimation de la frontière
Sélection de la meilleure frontière
![Page 36: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/36.jpg)
Classification : arbres de décision
𝑥1
𝑥2
Sélection d’une partition
Sélection d’une variable (et d’un sens
Estimation de la frontière
Sélection de la meilleure frontière
![Page 37: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/37.jpg)
Classification : arbres de décision
𝑥1
𝑥2
Sélection d’une partition
Sélection d’une variable (et d’un sens
Estimation de la frontière
Sélection de la meilleure frontière
![Page 38: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/38.jpg)
Classification → Régression
Variable à expliquer
𝑌
Variable explicatives
𝑋
Modèle statistique𝑝𝜃(𝑌|𝑋)
Fruit correspondant{banane, pomme,
orange, …}
Image de fruitℝ192
Apprentissage
Estimation des paramètres du modèle 𝜃→ fonction de décision
Nouvelles entrées Prédictions
Classificationℝ𝒎 {𝑨, 𝑩, 𝑪,… }
![Page 39: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/39.jpg)
Classification → Régression
Variable à expliquer
𝑌
Variable explicatives
𝑋
Modèle statistique𝑝𝜃(𝑌|𝑋)
Fruit correspondantBanane : 0Pomme : 1Orange : 2
ℝ
Image de fruitℝ192
Apprentissage
Estimation des paramètres du modèle 𝜃→ fonction de décision
Nouvelles entrées Prédictions
Régressionℝ𝒎 ℝ𝒏
![Page 40: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/40.jpg)
Classification → Régression
4
3
2
1
0
Modèle ?
![Page 41: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/41.jpg)
Classification → Régression
4
3
2
1
0
Modèle Loss = 1
3
![Page 42: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/42.jpg)
Classification → Régression
4
3
2
1
0
Modèle Loss = 9
3
![Page 43: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/43.jpg)
Classification → Régression
0.01
0.43
0.87
0.02
0.10
0
1
0
0
0
Modèle Sortie : 5 valeurs
![Page 44: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/44.jpg)
Classification → Régression
Variable à expliquer
𝑌
Variable explicatives
𝑋
Modèle statistique𝑝𝜃(𝑌|𝑋)
Fruit correspondantUn réel pour chaque
fruitℝ5
Image de fruitℝ192
Apprentissage
Estimation des paramètres du modèle 𝜃→ fonction de décision
Nouvelles entrées Prédictions
Régressionℝ𝒎 ℝ𝒏
![Page 45: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/45.jpg)
Apprentissage statistique
Apprentissage statistique
SuperviséPrédire Y connaissant X
Non superviséCaractériser 𝑋 par ෨𝑋
Régression𝑌 ∈ ℝ𝑑
Classification𝑌 ∈ {𝐴, 𝐵, 𝐶, … }
Réduction de dimensions෨𝑋 ∈ ℝ𝑑
Partitionnement෨𝑋 ∈ {𝐴, 𝐵, 𝐶,… }
Régression linéaire Modèle
linéaire généraliséRéseaux de
neurones
K plus proches voisins
Arbre de décision
Régression
![Page 46: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/46.jpg)
Apprentissage non supervisé
![Page 47: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/47.jpg)
Apprentissage statistique
Apprentissage statistique
SuperviséPrédire Y connaissant X
Non superviséCaractériser 𝑋 par ෨𝑋
Régression𝑌 ∈ ℝ𝑑
Classification𝑌 ∈ {𝐴, 𝐵, 𝐶, … }
Réduction de dimensions෨𝑋 ∈ ℝ𝑑
Partitionnement෨𝑋 ∈ {𝐴, 𝐵, 𝐶,… }
![Page 48: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/48.jpg)
Réduction de dimension
Nom de la Ville Marseille Arcachon Dinard Calais
Latitude 43.31 44.65 48.63 50.9
Longitude 5.41 -1.17 -2.06 1.87
Température de l’air
30° 22° 20° 17°
Température de l’eau
17° 16° 15° 14°
Prix au m2 3 314 € 5 633 € 3 536 € 1 142 €
![Page 49: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/49.jpg)
Réduction de dimension « linéraire »
Sous-espace affine: q<p
A matrice de taille p×q
Résultat :
![Page 50: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/50.jpg)
Réduction de dimension « linéraire »
Sous-espace affine: q<p
A matrice de taille p×q
Résultat : zi
xi
![Page 51: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/51.jpg)
Réduction de dimension « linéraire »
Sous-espace affine: q<p
A matrice de taille p×q
Résultat : zi
xi
xi˄
![Page 52: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/52.jpg)
ACP et Réduction de dimension
1 - Centrer les Observations
2 - Former la matrice X
3 - Décomposition en valeurs singulières
λ 1, … , λ 𝑞 𝑣𝑎𝑙𝑒𝑢𝑟𝑠 𝑝𝑟𝑜𝑝𝑟𝑒𝑠 ≠ 0 𝑑𝑒 𝑋𝑋𝑇
U orthogonale de taille n×n
V orthogonale de taille p×p
𝑡. 𝑞. 𝑋 = 𝑈𝐷𝑉𝑇
𝐼𝑙 𝑒𝑥𝑖𝑠𝑡𝑒
𝑂𝑛 𝑝𝑟𝑒𝑛𝑑 𝑎𝑙𝑜𝑟𝑠 𝑉𝑞 = 𝑣1 … |𝑣𝑞)
4 - Réduction de dimension 𝒛𝒊 = 𝑽𝒒𝑻𝒙𝒊
![Page 53: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/53.jpg)
Variances et Covariances
Variance (empirique): Covariances (empiriques):
Résultats pour les q composantes
˄
Σ𝑍 =1
𝑛𝑑𝑖𝑎𝑔(λ1, … , λ𝑞)
𝑉𝑎𝑟 𝑧 𝑗 =λ𝑗
𝑛𝐶𝑜𝑣 𝑧 𝑗 , 𝑧 𝑖 = 0
𝑝𝑜𝑢𝑟 𝑖 ≠ 𝑗
![Page 54: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/54.jpg)
Clustering (partitionnement)
Cluster : Sous-ensemble de points
Centroïde : Barycentre du cluster
indice
![Page 55: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/55.jpg)
Les métriques
L’Inertie T = W + B
Inertie intra-cluster W Inertie inter-cluster B
x 5x 6
![Page 56: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/56.jpg)
K-Means ( K Moyennes)
Nos données
![Page 57: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/57.jpg)
K-Means ( K Moyennes)
Placement des barycentres aléatoire
![Page 58: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/58.jpg)
K-Means ( K Moyennes)
Pour chaque point:On sélectionne le
cluster le plus proche
![Page 59: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/59.jpg)
K-Means ( K Moyennes)
![Page 60: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/60.jpg)
K-Means ( K Moyennes)
On fait ça pour tous les points
![Page 61: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/61.jpg)
K-Means ( K Moyennes)
On recalcule les barycentres
![Page 62: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/62.jpg)
K-Means ( K Moyennes)
Et on recommence …Jusqu’à convergence
![Page 63: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/63.jpg)
Valeur de K
Indice de Davies-Bouldin
Indice sur les clusters
Minimiser
Pour des clusters homogènes : S faible
![Page 64: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/64.jpg)
Valeur de K
Indice de Davies-Bouldin
Indice sur les clusters
Minimiser
Pour des clusters homogènes : S faible
S diminue
![Page 65: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/65.jpg)
Valeur de K
Coefficient de Silhouette
Indice sur les points et leur cluster
𝑎 𝑥𝑖 ∶ 𝐷𝑖𝑠𝑡𝑎𝑛𝑐𝑒 𝑚𝑜𝑦𝑒𝑛𝑛𝑒𝑎𝑢𝑥 𝑎𝑢𝑡𝑟𝑒𝑠 𝑝𝑜𝑖𝑛𝑡𝑠 𝑑𝑢 𝑐𝑙𝑢𝑠𝑡𝑒𝑟
𝑏 𝑥𝑖 ∶ min(𝐷𝑖𝑠𝑡𝑎𝑛𝑐𝑒 𝑚𝑜𝑦𝑒𝑛𝑛𝑒𝑎𝑢𝑥 𝑎𝑢𝑡𝑟𝑒𝑠 𝑝𝑜𝑖𝑛𝑡𝑠 𝑑′𝑢𝑛 𝑎𝑢𝑡𝑟𝑒 𝑐𝑙𝑢𝑠𝑡𝑒𝑟)
Pour des clusters éloignés et homogènes : b(xi) >> a(xi)
Maximiser
![Page 66: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/66.jpg)
Valeur de K
Coefficient de Silhouette
Indice sur les points et leur cluster
𝑎 𝑥𝑖 ∶ 𝐷𝑖𝑠𝑡𝑎𝑛𝑐𝑒 𝑚𝑜𝑦𝑒𝑛𝑛𝑒𝑎𝑢𝑥 𝑎𝑢𝑡𝑟𝑒𝑠 𝑝𝑜𝑖𝑛𝑡𝑠 𝑑𝑢 𝑐𝑙𝑢𝑠𝑡𝑒𝑟
𝑏 𝑥𝑖 ∶ min(𝐷𝑖𝑠𝑡𝑎𝑛𝑐𝑒 𝑚𝑜𝑦𝑒𝑛𝑛𝑒𝑎𝑢𝑥 𝑎𝑢𝑡𝑟𝑒𝑠 𝑝𝑜𝑖𝑛𝑡𝑠 𝑑′𝑢𝑛 𝑎𝑢𝑡𝑟𝑒 𝑐𝑙𝑢𝑠𝑡𝑒𝑟)
Pour des clusters éloignés et homogènes : b(xi) >> a(xi)
Maximiser
S augmente
![Page 67: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/67.jpg)
La régression en détailsVers les réseaux de neurones !
![Page 68: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/68.jpg)
Retour sur les statistiques
Le Fréquentisme Le Bayésianisme
𝑇𝑏𝑒𝑠𝑡 = argmax𝑡
ℙ(𝐷|𝑡) ℙ 𝑇 𝐷 = ℙ(𝐷|𝑇)ℙ(𝑇)ℙ(𝐷|𝑇)ℙ 𝑇 + σ𝐴≠𝑇 ℙ(𝐷|𝐴)ℙ(𝐴)
En observant des fréquences, on veut trouver la théorie qui maximise la vraisemblance des données :
En observant des événements,on compare la crédence des théories sachant des données :
Donnée𝑋(𝜔) → Y(𝜔)
Modèle paramétrique
Θ
Modèle général
Modèle fonctionnel ℋ
Risque𝑅 = 𝑓(𝑋, 𝜃)
Quadratique𝑅 = ∥ 𝜃 − 𝜃 ∥2
2
Perte𝐿 = 𝑓 𝑦, ℎ 𝑥
Risque𝑅𝜃(ℎ) = 𝔼 𝑃𝑒𝑟𝑡𝑒𝑅𝑋,𝑌(ℎ) = 𝔼 𝑃𝑒𝑟𝑡𝑒
Pas d’hypothèses sur les lois distributions X et Y
![Page 69: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/69.jpg)
La régression linéaire
Fonction de coût :
𝐽𝑏,𝑤(𝑥(𝑖)) = 1
2(ℎ𝑏,𝑤(𝑥(𝑖)) − 𝑦(𝑖))2
1
ℎ𝑏,𝑤(x)𝑥 y𝑤
𝑏
ℎ𝑏,𝑤(x) = b + w x
𝑏 −=1
𝑛
𝑖=1
𝑛𝜕𝐽𝑏,𝑤 𝑥 𝑖
𝜕𝑏
𝑤 −=1
𝑛
𝑖=1
𝑛𝜕𝐽𝑏,𝑤(𝑥
𝑖 )
𝜕𝑤
𝜃 −= 𝔼(∇𝜃𝐽)
w
![Page 70: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/70.jpg)
Vitesse d’apprentissage : 1er hyperparamètre
𝛼
𝑏 −=𝛼
𝑛
𝑖=1
𝑛𝜕𝐽𝑏,𝑤 𝑥 𝑖
𝜕𝑏𝑤 −=
𝛼
𝑛
𝑖=1
𝑛𝜕𝐽𝑏,𝑤(𝑥
𝑖 )
𝜕𝑤
![Page 71: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/71.jpg)
La descente de gradient stochastique
𝑏 −=𝛼
𝑘
𝑖=1
𝑘𝜕𝐽𝑏,𝑤 𝑥 𝑖
𝜕𝑏𝑤 −=
𝛼
𝑘
𝑖=1
𝑘𝜕𝐽𝑏,𝑤(𝑥
𝑖 )
𝜕𝑤
Τ𝑘 𝑛
![Page 72: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/72.jpg)
Perte L1
Plus robuste, moins sensible
Perte L2 (SCR)
Classique
Modèle linéaire
1
ℎ𝑏,𝑤𝑗(X) y
𝑥2
𝑋
𝑥1
𝑥3
𝑥𝑛
𝛽1
𝛽2
𝛽3
𝛽𝑛
𝛽0
𝛽 ∈ ℳ𝑛,1(ℝ)
Différentiation vectoriel
Estimateur
VarianceEspérance
Estimateur
VarianceEspérance
Fonction de prédiction optimaleℎ∗ = 𝑚𝑒𝑑(𝑌|𝑋 = 𝑥)
Fonction de prédiction optimaleℎ∗ = 𝔼(𝑌|𝑋 = 𝑥)
∇𝛽 𝑣𝑇𝛽 = 𝑣 ∇𝛽 𝛽𝑇𝑀𝛽 = (𝑀 +𝑀𝑇)𝛽
𝐿 𝑦, ℎ 𝑥 = 𝑌 − ℎ 𝑋 22 𝐿 𝑦, ℎ 𝑥 = 𝑌 − ℎ 𝑋 1
1
![Page 73: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/73.jpg)
Perceptron et Modèle linéaire généralisé
1
ℎ𝑏,𝑤𝑗(X) y
𝑥2
𝑋
𝑥1
𝑥3
𝑥𝑛
𝛽1
𝛽2
𝛽3
𝛽𝑛
𝛽0
𝛽 ∈ ℳ𝑛,1(ℝ)
𝑧𝑏,𝑤𝑗(X)
𝑔−1𝑓𝑜𝑛𝑐𝑡𝑖𝑜𝑛 𝑑′𝑎𝑐𝑡𝑖𝑣𝑎𝑡𝑖𝑜𝑛
Perte Logarithmique
Régression logistiqueClassification
𝑌|𝑋 ↝ ℒ𝑓 𝑥 𝑦 = 𝐶 𝜂 ℎ 𝑦 exp(𝜂𝑦)
EMV ⇔ Minimisation de 𝑅(ℎ)
Perte L2 (SCR)
Régression
𝐿 𝑦, ℎ 𝑥 = 𝑌 − ℎ 𝑋 22
𝐿 𝑦, ℎ 𝑥 = −𝑦𝑖 ln ℎ𝑖(𝑋)
Perte L1
Plus robuste, moins sensible
𝐿 𝑦, ℎ 𝑥 = 𝑌 − ℎ 𝑋 11
Décomposition sur une base de fonctions
![Page 74: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/74.jpg)
Données
Le Perceptron : régression multi-variables
+𝜆
2
𝑗=1
𝑛
𝑤𝑗2
Fonction de coût :𝐽𝑏,𝑤(𝑥
(𝑖)) = 12(ℎ𝑏,𝑤(𝑥
(𝑖)) − 𝑦(𝑖))2
Training(60%)
Validation(20%)
Test(20%)
1
ℎ𝑏,𝑤𝑗(X) y
𝑥2
𝑋
𝑥1
𝑥3
𝑥𝑛
𝛽1
𝛽2
𝛽3
𝛽𝑛
𝛽0
𝛽 ∈ ℳ𝑛,1(ℝ)
![Page 75: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/75.jpg)
+𝜆𝑊
Fonction de coût :
𝐽𝑏,𝑤(𝑥(𝑖)) = 1
2(𝐻𝑏,𝑤(𝑥
(𝑖)) − 𝑌(𝑖))2
Descente de gradient stochastique :
𝑏 −=𝛼
𝑘
𝑖=1
𝑘𝜕𝐽𝑏,𝑤(𝑥
𝑖 )
𝜕𝑏
𝑊 −=𝛼
𝑘
𝑖=1
𝑘𝜕𝐽𝑏,𝑊(𝑥
𝑖 )
𝜕𝑊
𝑦1
𝑊 ∈ℳ𝑛,𝑝(ℝ)
𝐻𝑏,𝑤𝑗(𝑋) 𝑌
1
𝑥2
𝑋
𝑥1
𝑥3
𝑥𝑛
ℎ𝑏,𝑊(𝑧1)1𝑧𝑏,𝑊(𝑋)1
𝑧𝑏,𝑊(𝑋)2
𝑧𝑏,𝑊(𝑋)3
𝑧𝑏,𝑊(𝑋)𝑝
𝑦2
𝑦3
𝑦𝑝
ℎ𝑏,𝑊(𝑧2)2
ℎ𝑏,𝑊(𝑧3)3
ℎ𝑏,𝑊(𝑧𝑝)𝑝
𝑍
𝑔
Perceptron : Sortie vectorielle et régularisation
+𝜆
2
𝑗=1
𝑛
𝑤𝑗2
![Page 76: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/76.jpg)
𝑎11
𝑦1
𝑊0 ∈ ℳ𝑛1,𝑛(ℝ) 𝐻𝑏,𝑤𝑗(𝑋) 𝑌𝑋
1
𝑥2
𝑥1
𝑥3
𝑥𝑛
ℎ𝑏,𝑤𝑗(𝑥)1
𝑦2
𝑦3
𝑦𝑝
ℎ𝐵,𝑊𝑙(𝑥)2
ℎ𝐵,𝑊𝑙(𝑥)𝑗
ℎ𝐵,𝑊𝑙(𝑥)𝑝
𝐴1
Le Multi-Perceptron : Ajout de couches intermédiaires
𝑎21
𝑎𝑛11
1
𝑎1𝑙
𝑎2𝑙
𝑎𝑘𝑙
1
𝑎𝑛𝐿𝑙
𝐴𝑙𝑊1 ∈ ℳ𝑛2,𝑛1(ℝ) 𝑊𝐿 ∈ ℳ𝑝,𝑛𝐿(ℝ)
𝑎31
ℎ𝐵,𝑊𝑙(𝑥)1 𝑦1
![Page 77: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/77.jpg)
Validité des Classifieurs
![Page 78: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/78.jpg)
SensibilitéTVP
1 - non détecté
SpécificitéTVN
1 - fausse alarme
Validité des Classifieurs
VNFN
VP FP
Etat réel du patientMalade Sain
Préd
icti
on
Nég
atif
Po
siti
f
𝑇
PrédictionNégatif Positif
SpécificitéTVN
1 - fausse alarme
SensibilitéTVP
1 - non détecté
La précision est insuffisante !
![Page 79: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/79.jpg)
SensibilitéTVP
1 - non détecté
SpécificitéTVN
1 - fausse alarme
Validité des Classifieurs
Courbes ROC
VNFN
VP FP
Etat réel du patientMalade Sain
Préd
icti
on
Nég
atif
Po
siti
f
![Page 80: Apprentissage Statistique 04-06-2019 Automatants · Apprentissage statistique Apprentissage statistique Supervisé Prédire Y connaissant X Non supervisé Caractériser par ෨ Régression](https://reader030.vdocuments.pub/reader030/viewer/2022040111/5e2d919b89eb9d25b60ec97d/html5/thumbnails/80.jpg)
Merci !