metody deep learning - wykład 2
TRANSCRIPT
![Page 1: Metody Deep Learning - Wykład 2](https://reader034.vdocuments.pub/reader034/viewer/2022042615/55c8b6aebb61ebe2778b486a/html5/thumbnails/1.jpg)
Metody Deep LearningWykład 2
http://arxiv.org/pdf/1502.01852.pdf
![Page 2: Metody Deep Learning - Wykład 2](https://reader034.vdocuments.pub/reader034/viewer/2022042615/55c8b6aebb61ebe2778b486a/html5/thumbnails/2.jpg)
Przypomnienie
![Page 3: Metody Deep Learning - Wykład 2](https://reader034.vdocuments.pub/reader034/viewer/2022042615/55c8b6aebb61ebe2778b486a/html5/thumbnails/3.jpg)
Artificial neuron c.d
● Neuron pre-activation
● Neuron activation
● - wagi● - bias● - funkcja aktywacji (activation function)
![Page 4: Metody Deep Learning - Wykład 2](https://reader034.vdocuments.pub/reader034/viewer/2022042615/55c8b6aebb61ebe2778b486a/html5/thumbnails/4.jpg)
Funkcje aktywacji
![Page 5: Metody Deep Learning - Wykład 2](https://reader034.vdocuments.pub/reader034/viewer/2022042615/55c8b6aebb61ebe2778b486a/html5/thumbnails/5.jpg)
Binarna klasyfikacja
![Page 6: Metody Deep Learning - Wykład 2](https://reader034.vdocuments.pub/reader034/viewer/2022042615/55c8b6aebb61ebe2778b486a/html5/thumbnails/6.jpg)
Klasyfikacja
![Page 7: Metody Deep Learning - Wykład 2](https://reader034.vdocuments.pub/reader034/viewer/2022042615/55c8b6aebb61ebe2778b486a/html5/thumbnails/7.jpg)
Klasyfikacja
![Page 8: Metody Deep Learning - Wykład 2](https://reader034.vdocuments.pub/reader034/viewer/2022042615/55c8b6aebb61ebe2778b486a/html5/thumbnails/8.jpg)
Multi-layered neural networks
![Page 9: Metody Deep Learning - Wykład 2](https://reader034.vdocuments.pub/reader034/viewer/2022042615/55c8b6aebb61ebe2778b486a/html5/thumbnails/9.jpg)
![Page 10: Metody Deep Learning - Wykład 2](https://reader034.vdocuments.pub/reader034/viewer/2022042615/55c8b6aebb61ebe2778b486a/html5/thumbnails/10.jpg)
![Page 11: Metody Deep Learning - Wykład 2](https://reader034.vdocuments.pub/reader034/viewer/2022042615/55c8b6aebb61ebe2778b486a/html5/thumbnails/11.jpg)
Zaczynamy
![Page 12: Metody Deep Learning - Wykład 2](https://reader034.vdocuments.pub/reader034/viewer/2022042615/55c8b6aebb61ebe2778b486a/html5/thumbnails/12.jpg)
Mathematical Optimization
● wiki: “[...] finding "best available" values of some objective function given [...] a set of constraints [...]”
![Page 13: Metody Deep Learning - Wykład 2](https://reader034.vdocuments.pub/reader034/viewer/2022042615/55c8b6aebb61ebe2778b486a/html5/thumbnails/13.jpg)
Gradient Descent
![Page 14: Metody Deep Learning - Wykład 2](https://reader034.vdocuments.pub/reader034/viewer/2022042615/55c8b6aebb61ebe2778b486a/html5/thumbnails/14.jpg)
Gradient Descent
![Page 15: Metody Deep Learning - Wykład 2](https://reader034.vdocuments.pub/reader034/viewer/2022042615/55c8b6aebb61ebe2778b486a/html5/thumbnails/15.jpg)
Gradient Descent
● gwarancja zbieżności do minimum lokalnego● łatwe do implementacji● działa dobrze w praktyce
![Page 16: Metody Deep Learning - Wykład 2](https://reader034.vdocuments.pub/reader034/viewer/2022042615/55c8b6aebb61ebe2778b486a/html5/thumbnails/16.jpg)
Gradient Descent
![Page 17: Metody Deep Learning - Wykład 2](https://reader034.vdocuments.pub/reader034/viewer/2022042615/55c8b6aebb61ebe2778b486a/html5/thumbnails/17.jpg)
NN objective (cost) function
Błąd średnio kwadratowy (mean square error)
Entropia krzyżowa (cross entropy)
![Page 18: Metody Deep Learning - Wykład 2](https://reader034.vdocuments.pub/reader034/viewer/2022042615/55c8b6aebb61ebe2778b486a/html5/thumbnails/18.jpg)
Wyprowadzenie
Powtórka z analizy:
![Page 19: Metody Deep Learning - Wykład 2](https://reader034.vdocuments.pub/reader034/viewer/2022042615/55c8b6aebb61ebe2778b486a/html5/thumbnails/19.jpg)
Wyprowadzenie
Powtórka z analizy:
![Page 20: Metody Deep Learning - Wykład 2](https://reader034.vdocuments.pub/reader034/viewer/2022042615/55c8b6aebb61ebe2778b486a/html5/thumbnails/20.jpg)
Feedforward
![Page 21: Metody Deep Learning - Wykład 2](https://reader034.vdocuments.pub/reader034/viewer/2022042615/55c8b6aebb61ebe2778b486a/html5/thumbnails/21.jpg)
Backpropagation
![Page 22: Metody Deep Learning - Wykład 2](https://reader034.vdocuments.pub/reader034/viewer/2022042615/55c8b6aebb61ebe2778b486a/html5/thumbnails/22.jpg)
Warianty gradient descent
![Page 23: Metody Deep Learning - Wykład 2](https://reader034.vdocuments.pub/reader034/viewer/2022042615/55c8b6aebb61ebe2778b486a/html5/thumbnails/23.jpg)
Homework