ma sinsko u cenje. regresija. - home page matematickog...
TRANSCRIPT
![Page 1: Ma sinsko u cenje. Regresija. - Home page Matematickog …poincare.matf.bg.ac.rs/~danijela/VI/12_cas/p_13.pdf · · 2016-05-17Linearna regresija Pretpostavlja se linearna veza između](https://reader030.vdocuments.pub/reader030/viewer/2022020303/5b0e52667f8b9a952f8ec324/html5/thumbnails/1.jpg)
Masinsko ucenje. Regresija.
Danijela Petrovic
May 17, 2016
![Page 2: Ma sinsko u cenje. Regresija. - Home page Matematickog …poincare.matf.bg.ac.rs/~danijela/VI/12_cas/p_13.pdf · · 2016-05-17Linearna regresija Pretpostavlja se linearna veza između](https://reader030.vdocuments.pub/reader030/viewer/2022020303/5b0e52667f8b9a952f8ec324/html5/thumbnails/2.jpg)
Uvod
Problem predviđanja vrednosti neprekidnog atributa nekeinstance na osnovu vrednosti njenih drugih atributa.
Aproksimacija neprekidne ciljne funkcije
![Page 3: Ma sinsko u cenje. Regresija. - Home page Matematickog …poincare.matf.bg.ac.rs/~danijela/VI/12_cas/p_13.pdf · · 2016-05-17Linearna regresija Pretpostavlja se linearna veza između](https://reader030.vdocuments.pub/reader030/viewer/2022020303/5b0e52667f8b9a952f8ec324/html5/thumbnails/3.jpg)
Uvod
Problem predviđanja vrednosti neprekidnog atributa nekeinstance na osnovu vrednosti njenih drugih atributa.
Aproksimacija neprekidne ciljne funkcije
![Page 4: Ma sinsko u cenje. Regresija. - Home page Matematickog …poincare.matf.bg.ac.rs/~danijela/VI/12_cas/p_13.pdf · · 2016-05-17Linearna regresija Pretpostavlja se linearna veza između](https://reader030.vdocuments.pub/reader030/viewer/2022020303/5b0e52667f8b9a952f8ec324/html5/thumbnails/4.jpg)
Linearna regresija
Pretpostavlja se linearna veza između promenljive koja sepredviđa i datih promenljivih (prediktora)
Y = Xω1 + ω0
Y – slucajna promenljiva (trazena promenljiva)
X – poznati prediktori (poznate promenljive)
ω = (ω1, ω0) – nepoznati vektor
Zadatak regresije je da odredimo ω (na osnovu treningpodataka, opazanjima iz iskustva)
Greska se ne modelira
![Page 5: Ma sinsko u cenje. Regresija. - Home page Matematickog …poincare.matf.bg.ac.rs/~danijela/VI/12_cas/p_13.pdf · · 2016-05-17Linearna regresija Pretpostavlja se linearna veza između](https://reader030.vdocuments.pub/reader030/viewer/2022020303/5b0e52667f8b9a952f8ec324/html5/thumbnails/5.jpg)
Linearna regresija
Pretpostavlja se linearna veza između promenljive koja sepredviđa i datih promenljivih (prediktora)
Y = Xω1 + ω0
Y – slucajna promenljiva (trazena promenljiva)
X – poznati prediktori (poznate promenljive)
ω = (ω1, ω0) – nepoznati vektor
Zadatak regresije je da odredimo ω (na osnovu treningpodataka, opazanjima iz iskustva)
Greska se ne modelira
![Page 6: Ma sinsko u cenje. Regresija. - Home page Matematickog …poincare.matf.bg.ac.rs/~danijela/VI/12_cas/p_13.pdf · · 2016-05-17Linearna regresija Pretpostavlja se linearna veza između](https://reader030.vdocuments.pub/reader030/viewer/2022020303/5b0e52667f8b9a952f8ec324/html5/thumbnails/6.jpg)
Linearna regresija
Pretpostavlja se linearna veza između promenljive koja sepredviđa i datih promenljivih (prediktora)
Y = Xω1 + ω0
Y – slucajna promenljiva (trazena promenljiva)
X – poznati prediktori (poznate promenljive)
ω = (ω1, ω0) – nepoznati vektor
Zadatak regresije je da odredimo ω (na osnovu treningpodataka, opazanjima iz iskustva)
Greska se ne modelira
![Page 7: Ma sinsko u cenje. Regresija. - Home page Matematickog …poincare.matf.bg.ac.rs/~danijela/VI/12_cas/p_13.pdf · · 2016-05-17Linearna regresija Pretpostavlja se linearna veza između](https://reader030.vdocuments.pub/reader030/viewer/2022020303/5b0e52667f8b9a952f8ec324/html5/thumbnails/7.jpg)
Linearna regresija
Pretpostavlja se linearna veza između promenljive koja sepredviđa i datih promenljivih (prediktora)
Y = Xω1 + ω0
Y – slucajna promenljiva (trazena promenljiva)
X – poznati prediktori (poznate promenljive)
ω = (ω1, ω0) – nepoznati vektor
Zadatak regresije je da odredimo ω (na osnovu treningpodataka, opazanjima iz iskustva)
Greska se ne modelira
![Page 8: Ma sinsko u cenje. Regresija. - Home page Matematickog …poincare.matf.bg.ac.rs/~danijela/VI/12_cas/p_13.pdf · · 2016-05-17Linearna regresija Pretpostavlja se linearna veza između](https://reader030.vdocuments.pub/reader030/viewer/2022020303/5b0e52667f8b9a952f8ec324/html5/thumbnails/8.jpg)
Linearna regresija
Pretpostavlja se linearna veza između promenljive koja sepredviđa i datih promenljivih (prediktora)
Y = Xω1 + ω0
Y – slucajna promenljiva (trazena promenljiva)
X – poznati prediktori (poznate promenljive)
ω = (ω1, ω0) – nepoznati vektor
Zadatak regresije je da odredimo ω (na osnovu treningpodataka, opazanjima iz iskustva)
Greska se ne modelira
![Page 9: Ma sinsko u cenje. Regresija. - Home page Matematickog …poincare.matf.bg.ac.rs/~danijela/VI/12_cas/p_13.pdf · · 2016-05-17Linearna regresija Pretpostavlja se linearna veza između](https://reader030.vdocuments.pub/reader030/viewer/2022020303/5b0e52667f8b9a952f8ec324/html5/thumbnails/9.jpg)
Linearna regresija
Pretpostavlja se linearna veza između promenljive koja sepredviđa i datih promenljivih (prediktora)
Y = Xω1 + ω0
Y – slucajna promenljiva (trazena promenljiva)
X – poznati prediktori (poznate promenljive)
ω = (ω1, ω0) – nepoznati vektor
Zadatak regresije je da odredimo ω (na osnovu treningpodataka, opazanjima iz iskustva)
Greska se ne modelira
![Page 10: Ma sinsko u cenje. Regresija. - Home page Matematickog …poincare.matf.bg.ac.rs/~danijela/VI/12_cas/p_13.pdf · · 2016-05-17Linearna regresija Pretpostavlja se linearna veza između](https://reader030.vdocuments.pub/reader030/viewer/2022020303/5b0e52667f8b9a952f8ec324/html5/thumbnails/10.jpg)
Linearna regresija
Pretpostavlja se linearna veza između promenljive koja sepredviđa i datih promenljivih (prediktora)
Y = Xω1 + ω0
Y – slucajna promenljiva (trazena promenljiva)
X – poznati prediktori (poznate promenljive)
ω = (ω1, ω0) – nepoznati vektor
Zadatak regresije je da odredimo ω (na osnovu treningpodataka, opazanjima iz iskustva)
Greska se ne modelira
![Page 11: Ma sinsko u cenje. Regresija. - Home page Matematickog …poincare.matf.bg.ac.rs/~danijela/VI/12_cas/p_13.pdf · · 2016-05-17Linearna regresija Pretpostavlja se linearna veza između](https://reader030.vdocuments.pub/reader030/viewer/2022020303/5b0e52667f8b9a952f8ec324/html5/thumbnails/11.jpg)
Linearna regresija
ω = (XTX + λI )−1XTYcesto se za λ uzima vrednost 0
X =
1 x11 x21 x3
Y =
y1y2y3
![Page 12: Ma sinsko u cenje. Regresija. - Home page Matematickog …poincare.matf.bg.ac.rs/~danijela/VI/12_cas/p_13.pdf · · 2016-05-17Linearna regresija Pretpostavlja se linearna veza između](https://reader030.vdocuments.pub/reader030/viewer/2022020303/5b0e52667f8b9a952f8ec324/html5/thumbnails/12.jpg)
Ispitivanje kvaliteta linearne regresije
formalno – koriscenjem statistickih testova
neformalno – pomocu dijagrama
koriscenjem reziduala – ri = yi − ωxi
osnovna mera kvaliteta je srednjekvadratna greska:
E (Y ,Xω) =1
n
n∑i=1
(yi − ωxi )2
Upotrebljava se jos i koeficijent determinacije:
r2(Y ,Xω) = 1 −∑n
i=1(yi − ωxi )2∑n
i=1(yi − y)2
pri cemu je y prosek uzorka.
![Page 13: Ma sinsko u cenje. Regresija. - Home page Matematickog …poincare.matf.bg.ac.rs/~danijela/VI/12_cas/p_13.pdf · · 2016-05-17Linearna regresija Pretpostavlja se linearna veza između](https://reader030.vdocuments.pub/reader030/viewer/2022020303/5b0e52667f8b9a952f8ec324/html5/thumbnails/13.jpg)
Ispitivanje kvaliteta linearne regresije
formalno – koriscenjem statistickih testova
neformalno – pomocu dijagrama
koriscenjem reziduala – ri = yi − ωxi
osnovna mera kvaliteta je srednjekvadratna greska:
E (Y ,Xω) =1
n
n∑i=1
(yi − ωxi )2
Upotrebljava se jos i koeficijent determinacije:
r2(Y ,Xω) = 1 −∑n
i=1(yi − ωxi )2∑n
i=1(yi − y)2
pri cemu je y prosek uzorka.
![Page 14: Ma sinsko u cenje. Regresija. - Home page Matematickog …poincare.matf.bg.ac.rs/~danijela/VI/12_cas/p_13.pdf · · 2016-05-17Linearna regresija Pretpostavlja se linearna veza između](https://reader030.vdocuments.pub/reader030/viewer/2022020303/5b0e52667f8b9a952f8ec324/html5/thumbnails/14.jpg)
Ispitivanje kvaliteta linearne regresije
formalno – koriscenjem statistickih testova
neformalno – pomocu dijagrama
koriscenjem reziduala – ri = yi − ωxi
osnovna mera kvaliteta je srednjekvadratna greska:
E (Y ,Xω) =1
n
n∑i=1
(yi − ωxi )2
Upotrebljava se jos i koeficijent determinacije:
r2(Y ,Xω) = 1 −∑n
i=1(yi − ωxi )2∑n
i=1(yi − y)2
pri cemu je y prosek uzorka.
![Page 15: Ma sinsko u cenje. Regresija. - Home page Matematickog …poincare.matf.bg.ac.rs/~danijela/VI/12_cas/p_13.pdf · · 2016-05-17Linearna regresija Pretpostavlja se linearna veza između](https://reader030.vdocuments.pub/reader030/viewer/2022020303/5b0e52667f8b9a952f8ec324/html5/thumbnails/15.jpg)
Ispitivanje kvaliteta linearne regresije
formalno – koriscenjem statistickih testova
neformalno – pomocu dijagrama
koriscenjem reziduala – ri = yi − ωxi
osnovna mera kvaliteta je srednjekvadratna greska:
E (Y ,Xω) =1
n
n∑i=1
(yi − ωxi )2
Upotrebljava se jos i koeficijent determinacije:
r2(Y ,Xω) = 1 −∑n
i=1(yi − ωxi )2∑n
i=1(yi − y)2
pri cemu je y prosek uzorka.
![Page 16: Ma sinsko u cenje. Regresija. - Home page Matematickog …poincare.matf.bg.ac.rs/~danijela/VI/12_cas/p_13.pdf · · 2016-05-17Linearna regresija Pretpostavlja se linearna veza između](https://reader030.vdocuments.pub/reader030/viewer/2022020303/5b0e52667f8b9a952f8ec324/html5/thumbnails/16.jpg)
Ispitivanje kvaliteta linearne regresije
formalno – koriscenjem statistickih testova
neformalno – pomocu dijagrama
koriscenjem reziduala – ri = yi − ωxi
osnovna mera kvaliteta je srednjekvadratna greska:
E (Y ,Xω) =1
n
n∑i=1
(yi − ωxi )2
Upotrebljava se jos i koeficijent determinacije:
r2(Y ,Xω) = 1 −∑n
i=1(yi − ωxi )2∑n
i=1(yi − y)2
pri cemu je y prosek uzorka.
![Page 17: Ma sinsko u cenje. Regresija. - Home page Matematickog …poincare.matf.bg.ac.rs/~danijela/VI/12_cas/p_13.pdf · · 2016-05-17Linearna regresija Pretpostavlja se linearna veza između](https://reader030.vdocuments.pub/reader030/viewer/2022020303/5b0e52667f8b9a952f8ec324/html5/thumbnails/17.jpg)
Ispitivanje kvaliteta linearne regresije
Ako je vrednost koeficijenta determinacije 1 – postoji potpunopodudaranje stvarnih i predviđenih verdnosti.
Sto je vrednost koeficijenta determinacije manja, to jepoklapanje losije.
![Page 18: Ma sinsko u cenje. Regresija. - Home page Matematickog …poincare.matf.bg.ac.rs/~danijela/VI/12_cas/p_13.pdf · · 2016-05-17Linearna regresija Pretpostavlja se linearna veza između](https://reader030.vdocuments.pub/reader030/viewer/2022020303/5b0e52667f8b9a952f8ec324/html5/thumbnails/18.jpg)
Ispitivanje kvaliteta linearne regresije
Ako je vrednost koeficijenta determinacije 1 – postoji potpunopodudaranje stvarnih i predviđenih verdnosti.
Sto je vrednost koeficijenta determinacije manja, to jepoklapanje losije.
![Page 19: Ma sinsko u cenje. Regresija. - Home page Matematickog …poincare.matf.bg.ac.rs/~danijela/VI/12_cas/p_13.pdf · · 2016-05-17Linearna regresija Pretpostavlja se linearna veza između](https://reader030.vdocuments.pub/reader030/viewer/2022020303/5b0e52667f8b9a952f8ec324/html5/thumbnails/19.jpg)
Primer
Instrument meri brzinu tela u padu. Izmerena brzina je 2m/s upolaznom trenutku, 4 dve desetinke kasnije, a 6.9 pola sekundekasnije (u odnosu na polazni trenutak). Linearnom regresijomodrediti model koji predvidja brzinu tela u buducnosti i procenitibrzinu posle jedne i posle dve sekunde. Na osnovu modelaproceniti ubrzanje sa koje Zemljina teza uzrokuje u kretanju tela.
![Page 20: Ma sinsko u cenje. Regresija. - Home page Matematickog …poincare.matf.bg.ac.rs/~danijela/VI/12_cas/p_13.pdf · · 2016-05-17Linearna regresija Pretpostavlja se linearna veza između](https://reader030.vdocuments.pub/reader030/viewer/2022020303/5b0e52667f8b9a952f8ec324/html5/thumbnails/20.jpg)
Primer
Jedne nedelje januara, u ponedeljak, utorak i petak u podneizmerene su temperature -2, 0 i 1 stepen. Linearnom regresijomproceniti temperaturu u sredu i cetvrtak u podne. Koliki jekoeficijent determinacije za dobijeni linearni model?
![Page 21: Ma sinsko u cenje. Regresija. - Home page Matematickog …poincare.matf.bg.ac.rs/~danijela/VI/12_cas/p_13.pdf · · 2016-05-17Linearna regresija Pretpostavlja se linearna veza između](https://reader030.vdocuments.pub/reader030/viewer/2022020303/5b0e52667f8b9a952f8ec324/html5/thumbnails/21.jpg)
Primer
Za kolicine katalizatora od 0,1 i 2 grama, izmerene su brzinehemijske reakcije od 5, 6 i 1 sekunde. Pomocu koeficijentakorelacije oceniti kvalitet linearnog modela t=6-2m dobijenoglinearnom regresijom iz datih podataka. Odrediti koeficijentdeteminacije. Sta mozemo reci na osnovu njegove vrednosti.
![Page 22: Ma sinsko u cenje. Regresija. - Home page Matematickog …poincare.matf.bg.ac.rs/~danijela/VI/12_cas/p_13.pdf · · 2016-05-17Linearna regresija Pretpostavlja se linearna veza između](https://reader030.vdocuments.pub/reader030/viewer/2022020303/5b0e52667f8b9a952f8ec324/html5/thumbnails/22.jpg)
Primer
Vrednost evra 3. juna je 100 dinara, 4. juna je 101 dinar, a 5. junaje 105 dinara. Pomocu linearne regresije predvideti vrednost evra6., 7. i 8. juna. Stvarne vrednosti tih dana su bile 105, 106 i 107.Kolika je srednjekvadratna greska tih predviđanja?
![Page 23: Ma sinsko u cenje. Regresija. - Home page Matematickog …poincare.matf.bg.ac.rs/~danijela/VI/12_cas/p_13.pdf · · 2016-05-17Linearna regresija Pretpostavlja se linearna veza između](https://reader030.vdocuments.pub/reader030/viewer/2022020303/5b0e52667f8b9a952f8ec324/html5/thumbnails/23.jpg)
Primer
Usled poremecaja na trzistu prirodnog gasa, doslo je do brzog rastacena. U ponedeljak, u utorak i u cetvrtak u podne cene kubnogmetra su bile 3, 5 i 6 dolara. Proceniti cenu gasa u sredu u 04:00hi petak u 18:00h (primenom linearnog regresionog modela).
![Page 24: Ma sinsko u cenje. Regresija. - Home page Matematickog …poincare.matf.bg.ac.rs/~danijela/VI/12_cas/p_13.pdf · · 2016-05-17Linearna regresija Pretpostavlja se linearna veza između](https://reader030.vdocuments.pub/reader030/viewer/2022020303/5b0e52667f8b9a952f8ec324/html5/thumbnails/24.jpg)
Primer
Linearnom regresijom odrediti gustinu tela ako se zna da je telozapremine 5m3 mase 2kg , telo zapremine 10m3 mase 4kg , a telozapremine 18m3 mase 7.2kg .
![Page 25: Ma sinsko u cenje. Regresija. - Home page Matematickog …poincare.matf.bg.ac.rs/~danijela/VI/12_cas/p_13.pdf · · 2016-05-17Linearna regresija Pretpostavlja se linearna veza između](https://reader030.vdocuments.pub/reader030/viewer/2022020303/5b0e52667f8b9a952f8ec324/html5/thumbnails/25.jpg)
Primer
Telo se krece po putu konstanantnom brzinom. Nakon jednesekunde telo je preslo 6m od starta, nakon 2s 8m, a nakon 3s 10m.Koriteci lineranu regresiju odrediti brzinu tela i na kojoj razdaljiniod starta je bilo telo u pocetnom trenutku.
![Page 26: Ma sinsko u cenje. Regresija. - Home page Matematickog …poincare.matf.bg.ac.rs/~danijela/VI/12_cas/p_13.pdf · · 2016-05-17Linearna regresija Pretpostavlja se linearna veza između](https://reader030.vdocuments.pub/reader030/viewer/2022020303/5b0e52667f8b9a952f8ec324/html5/thumbnails/26.jpg)
Primer
U toku dana pracena je temperatura vazduha. U 8:00 ujutru je bilo15 stepeni, a u 10:00 je bilo 18 stepeni. Linearnom regresijomodrediti model koji predvidja temperaturu u buducnosti i procenititemperaturu u 12:00 i 14:00.