Machine Learning –Systemy uczące się

Jerzy StefanowskiInstytut InformatykiPolitechniki Poznańskiej

Fragmenty wykładu studentów Politechniki Poznańskiej Poznań 2020

Co będzie ?Wprowadzenie do problematyki maszynowego uczenia sięStudium przypadku -- sterowanie pojazdem z wykorzystaniem sieci neuronowychKlasyfikacja podstawowych metodReprezentacja przykładów uczących oraz wiedzyAlgorytm eliminacji kandydatówPodsumowanie

Co to jest maszynowe uczenie się ?

Maszynowe uczenie się (ang. MachineLearning) jest analizą procesów uczenia się oraz tworzeniem systemów, które doskonalą swoje działanie na podstawie doświadczeń z przeszłości. Wykład dotyczy dwóch grup metod :

symbolicznego/indukcyjnego uczenia się na przykładach (ang. symbolic/inductive learning)sztucznych sieci neuronowych (ang. artificial neuralnetworks)

Inspiracje: informatyka, statystyka, rozpoznawanie struktur (ang. pattern recognition), psychologia i kognitywistyka

Literatura - przykłady

Mitchell (1989). Machine Learning.http://www.cs.cmu.edu/~tom/mlbook.html

Duda, Hart, & Stork (2000). Pattern Classification.http://rii.ricoh.com/~stork/DHS.html

Hastie, Tibshirani, & Friedman (2001). The Elements of Statistical Learning. http://www-stat.stanford.edu/~tibs/ElemStatLearn/

Literature (cd.)

Russell & Norvig (2004). Artificial Intelligence. http://aima.cs.berkeley.edu/

A must-have for AI Master students. Contains goodchapters on various machine learning techniques

Uczenie maszynMachine Learning (ML) – część sztucznej inteligencji (AI) lub inteligencji obliczeniowej (Computational Intelligence - CI)Systemy adaptujące się, zmieniające swoje wewnętrzne parametry tak, aby rozpoznać charakter danychML umożliwia pozyskiwanie wiedzy na podstawie analizy zachowań ekspertów lub danych doświadczalnych

Systemy uczące się

Uczenie – zmiany w systemie adaptującym się pozwalające mu w przyszłości działać bardziej efektywnie na takich samych zadaniach lub zadaniach o podobnych charakterze (Simon 1983) Nagroda Nobla w

Ekonomii 1978

Inne definicje

Definicja R.Michalskiego"Uczenie sie to konstruowanie i zmiana reprezentacji doświadczanych faktów. W ocenie konstruowanych reprezentacji bierze się pod uwagę:1.wiarygodność - określa stopień w jakim

reprezentacja odpowiada rzeczywistości,2.efektywność - charakteryzuje przydatność repreze-

ntacji do osiągania danego celu.3.poziom abstrakcji - odpowiada zakresowi szczegó-łowości i precyzji pojęć używanych w reprezentacji; określa on tzw. moc opisową reprezentacji.

Reprezentacja jest rozumiana jako np. opisy symboliczne, algorytmy, modele symulacyjne, plany obrazy."

Systemy uczące sięDane często w postaci przykładówEksperci opisując sytuację podają przykłady

Definicja problemu uczeniaUczenie = doskonalenie działania dla pewnych zadańna podstawie doświadczenia

doskonalenie działania dla zadań Tz względu na miarę oceny Poparte na doświadczeniu E

Przykład 1: Gra w szachyT: nauczyć się rozgrywać końcówki szachoweP: % wygranych gierE: zapis rozgrywek bardzo dobrych graczy

Przykład 2: Rozpoznawanie adresu (kodu) pocztowegoT: rozpoznanie adresu (kodu) odbiorcy na liścieP: % sortowanych listów poprawnie przypisanych do miasta odbiorcyE: odpowiednia liczba przykładów ręcznie napisanych adresów ze znanym

adresem przeznaczenia

Rozpoznawanie pisma - SSN

Uczenie:

Rozpoznawanie:

Dlaczego systemy uczące sięZadania eksploracji i analizy danych, gdzie duże rozmiary zbiorów danych uniemożliwiają ich analizęw sposób nieautomatyczny (np. ekonomiczne lub medyczne bazy danych)Środowiska, gdzie system musi się dynamicznie dostosowywać do zmieniających się warunków (np. systemy sterowania)Problemy, które są złożone, trudne do opisu i czestonie posiadają wystarczających modeli teoretycznych albo ich uzyskanie jest bardzo kosztowne lub mało wiarygodneRozwój zastosowań praktycznych

Projekt ALVINN – sterowanie pojazdem z wykorzystaniem sieci neuronowych

ALVINN (Autonomous Land Vehicle In a Neural Network)system uczący się sterowania pojazdu na podstawie obserwacji zachowania kierowcy

(Pomerleau & Jochem)

ALVINN

Architektura systemu: wielowarstwowa sieć neuronowa uczona algorytmem wstecznej propagacji błędów

ALVINN - uczeniePrezentacja zapisu video z kierowania pojazdem skojarzonego z informacją o sposobie kierowaniaALVINN nauczył się kierować pojazdem na kilku rodzajach dróg; w tym z prędkością 70 mph na autostradzie k. PittsburgaEksperymenty z bieżącą obserwacją zachowań kierowcy i kontynuowaniem jego stylu jazdy

ALVINN ;-)Sieć neuronowa „śledzi” zachowanie kierowcy, więc...... uważaj kto jest Twoim nauczycielem !

Realizacja procesu uczenia się

Dobrze zdefiniowane zadanie.Wybrane miary oceny (jedno, dobrze zdefiniowane kryterium).Co jest doświadczeniem (przykładami)?Czego należy się nauczyć?Jak reprezentować przykłady uczące?Jak reprezentować hipotezy/wiedzę?Jaki algorytm uczenia należy wybrać ?

Learning (wiedza a umiejętności)

Rote learning (implementacja wiedzy / uczenie się na pamięć)

Learning foreign words (and their translations)Learning telephone numbers, bank accounts, ..

Inductive learning (uogólnienie)Learning from examplesLearning by observing and discovering

Early work on automatic learningRosenblatt (1957): Perceptrons

Samuel (1963): Rote learning

Winston (1970): Concept learning

Mitchell (1977): Version spaces

(See Russel and Norvig for more details)

Klasyfikacja metod maszynowego uczenia się

W ogólności system zmieniać się może w dwojaki sposób:

system nabywa "nową wiedzę" z zewnętrznych źródeł,system modyfikuje się samodzielnie poprzez intensywne wykorzystywanie posiadanej już wiedzy w sposób bardziej efektywny.

Wnioskowanie Indukcyjne opiera się na zbiorze faktów (obserwacji) oraz ewentualnym zbiorze hipotez a prioridotyczących tych faktów, a w wyniku daję uogólnienie wyjaśniające te fakty. Dedukcja - wyprowadzanie wniosków, które są logiczną konsekwencją posiadanej informacji.

Symboliczne metody ML w odkrywaniu wiedzy z danych

Wiele problemów sprowadza się do tzw. uczenia nadzorowanegoNadzór: przykłady uczące (obiekty) przydzielone są do pewnych znanych wstępnie kategorii (klas decyzyjnych) Cel: nauczyć się zasad przydziału obiektów ze zbioru uczącego do klas na podstawie opisu obiektów - problem klasyfikacji

Uczenie z nadzorem

Uczenie z nadzorem: podział na znane klasy, przekazywanie znanejwiedzy, heteroasocjacja - kojarzenie obiektów i ich własności.

Opis obiektówSystem adaptujący sięWyniki działaniaPożądane odpowiedziFunkcja kosztuAlgorytm uczącyCel uczenia: generalizacja

Zadanie uczenia nadzorowanego

Nieznanafunkcja

x1x2x3x4

y = f (x1, x2, x3, x4 )

Nauczyciel (c - target function) → funkcja c(x) nieznana uczniowi; poszukuje hipotezy h, która ją najlepiej przybliża.

Przykład x1 x2 x3 x4 y

0 0 1 1 0 0 1 0 0 0 0 0 2 0 0 1 1 1 3 1 0 0 1 1 4 0 1 1 0 0 5 1 1 0 0 0 6 0 1 0 1 0

Drzewo decyzyjne

Outlook

overcast

humidity windy

high normal falsetrue

sunny rain

N NP P

P

Klasy metodCzęsto stosowane:

drzewa decyzyjne/ reguły decyzyjneuczenie się z przypadków (IBL, KNN, CBR..)klasyfikatory probabilistycznesieci neuronowezbiory i logika rozmyta

Inne metody:algorytmy genetyczneinduktywne programowanie logiczne (ILP)zbiory przybliżone...

Uczenie bez nadzoru

Wykrywanie nieznanych klas, uczenie spontaniczne, odkrywanie ciekawych struktur w przestrzeni danych, korelacja zachowań systemu ze zmianą tych struktur.Dominuje w okresie niemowlęcym.

Opis obiektów pi

System adaptujący sięTworzenie klasMiary podobieństwaFunkcja jakości grupowaniaAlgorytm uczący

p3p2

p1

s2s3

Uczenie zachowańUczenie z krytykiem lub „ z wzmocnieniem” pożądanych zachowań po dłuższym okresie.Optymalizacja zysków na dłuższą metę.Gry z przeciwnikiem: przegrana lub wygrana na końcu partii.Uczenie dojrzałe (nabieranie „mądrości”), behawioralne.

Opis obiektów/stanów pi

Opis reguł działaniaSystem adaptujący sięTworzenie strategii/planówMiara sukcesuAlgorytm uczący

Uczenie się ze wzmocnieniemProgramming agents by reward and punishmentNo need to specifying HOW the task is to be achievedAgent learns behavior through trial-and-error interactions with a dynamic environment

EnvironmentAgent

State

Action

Reinforcement

Draft RL Algorithm

For each time step t do:1. Perceive current state xt ,2. Choose action at to be

performed,3. Perform selected action at ,4. Watch for current state xt+1

and reinforcement rt ,5. Learn basing on new

experience:< xt , at , rt , xt+1>.

€☺

£

Parę uwag o klasyfikacji metod

Uczenie się z wykorzystaniem wiedzy

Terminologia związana z indukcyjnym uczeniem się

Dziedzina XPrzykład uczący xXAtrybut aiKlasa, pojęcie docelowe CiX c: X {0,1}

Ci = {xX : c(x)=i}Przykład etykietowany dla uczenia z nadzorem <x,c(x)>Przykład pozytywny dla pojęcia c - taki xX że c(x)=1Przykład negatywny dla pojęcia c - taki xX że c(x)=0Hipoteza h - funkcja f : X {0,1}Przestrzeń hipotez HZbiór uczący Błąd stosowania hipotezy h dla zbioru treningowego DIndukcyjne ukierunkowanie (inductive bias)

Reprezentacja przykładów uczących

Przykłady – zbiór obiektów, których dotyczy nabywana wiedza; mogą to być przedmioty, osoby, obserwacje, …Atrybuty to pewne cechy charakteryzujące właściwości rozważanych obiektów.Zbiór przykładów (obiektów) U jest opisany za pomocą skończonego, niepustego zbioru atrybutów A = {a1,a2,…,am} i reprezentowany jest w postaci tabeli informacyjnej IT = (U,A)

Przykład dydaktycznyTabela 1. Zbiór przykładów opisujących samochody za pomocązbioru 4 atrybutów {Typ samochodu, Cena, Prędkość, Zużycie

paliwa}; Pierwsza kolumna zawiera numer identyfikujący samochód

średnieprzeciętnyakceptowalnaduży9

wysokieprzeciętnydrogiduży8

średniewolnydrogikompakt7

średnieprzeciętnyakceptowalnakompakt6

średniewolnydrogimały5

wysokieszybkidrogiduży4

średnieszybkidrogikompakt3

średnieszybkiakceptowalnaduży2

małeprzeciętnyakceptowalnamały1

ZużyciePrędkośćCenaTyplp.

Uczenie się pojęćPojęcie (ang. concept) – ogólne określenie oznaczające zbiór obiektów posiadających wspólne właściwości, które odróżniają je od innych pojęć.Pojęcie to jedna z postaci wiedzy o świecie, używana do opisywania systemów interpretowania obserwacji oraz abstrakcyjnych idei. Pojęcia – pozwalają na klasyfikowanie pewnych obiektów na zbiory (kategorie / klasy).Pojedyncze pojęcie wyznacza podział zbioru obiektów na przykłady pozytywne oraz przykłady negatywne(kontrprzykłady) tego pojęcia.Pojęcia wielokrotne – klasyfikacja

Przykład ilustracyjny opisu samochodówRozważane pojęcie - „samochód, którym chciałbym jeździ”Do przykładów tego pojęcia zaliczmy samochody {2,3,6,9}.Kontrprzykładami, czyli przykładami negatywnymi tego pojęcia, są samochody {1,4,5,7,8}.Wspólne właściwości definiujące pojęcie:

(zużycie=średni)∧((cena=akceptowalna)∨(prędkość=szybki))Definicja znana „nauczycielowi” – niedostępna jawnie systemowi uczącemu się.Cel: system w trakcie procesu uczenia się ma odkryć / znaleźć nieznaną mu definicję pojęcia na podstawie dostarczonych przykładów problemów kontrprzykładów tego pojęcia

Przestrzeń wersji (CEA) – Algorytm eliminacji kandydatów

Przykład pojęcia „EnjoySport”

Example Sky AirTemp

Humidity Wind Water Forecast EnjoySport

0 Sunny Warm Normal Strong Warm Same Yes1 Sunny Warm High Strong Warm Same Yes2 Rainy Cold High Strong Warm Change No3 Sunny Warm High Strong Cool Change Yes

Specyfikacja problemuPrzykłady X opisane 6 atrybutami: Sky, Temp, Humidity, Wind, Water, Forecast

Pojęcia binarne c: EnjoySport : X → {0,1) // no, yes

Hipoteza ucznia: Koniunkcja wyrażeń elementarnych

Sky AirTemp Humidity Wind Water Forecast<Sunny ? ? Strong ? Same>

Ograniczenia: konkretna wartość (Water = Warm); don’t care (“Water = ?”)oraz wartość niedozwolona „∅”.

Concept Learning and Version Spaces

Concept Learning as Search through HHypothesis space H as a state space

Learning: finding the correct hypothesis

General-to-Specific Ordering over HPartially-ordered set: Less-Specific-Than (More-General-Than) relation

Upper and lower bounds in H

Version Space Candidate Elimination AlgorithmS and G boundaries characterize learner’s uncertainty

Version space can be used to make predictions over unseen cases

Learner Can Generate Useful Queries

Inne zagadnienia?

Przykłady, hipotezy i ich uporządkowanieLess-Specific-Than

Przykłady X Hipotezy H

x1 = <Sunny, Warm, High, Strong, Cool, Same>x2 = <Sunny, Warm, High, Light, Warm, Same>

h1 = <Sunny, ?, ?, Strong, ?, ?>h2 = <Sunny, ?, ?, ?, ?, ?>h3 = <Sunny, ?, ?, ?, Cool, ?>

h2 ≤P h1 h2 ≤P h3

x1

x2

Specific

General

h1 h3

h2

≤P ≡ Less-Specific-Than ≡ More-General-Than

Version Spaces – przestrzeń wersjiDefinicja: Spójna hipoteza

Hipoteza h jest spójna ze zbiorem uczącym D pewnego pojęcia c iff h(x) = c(x)dla każdego przykładu uczącego <x, c(x)> w D.

Consistent (h, D) ≡ ∀ <x, c(x)> ∈ D . h(x) = c(x)

Definicja: Przestrzeń wersjiPrzestrzeń wersji VSH,D , ze względu na przestrzeń hipotez H i zbiór uczący D, jest podzbiorem przestrzeni hipotez H spójnych ze wszystkim przykładami uczącymi D.

VSH,D ≡ { h ∈ H | Consistent (h, D) }

Def: General BoundaryGeneral boundary G of version space VSH,D : set of most general members

Most general ≡ minimal elements of VSH,D ≡ “set of necessary conditions”

Def: Specific BoundarySpecific boundary S of version space VSH,D : set of most specific members

Most specific ≡ maximal elements of VSH,D ≡ “set of sufficient conditions”

The List-Then-Eliminate Algorithm

1. Initialization: VersionSpace ← a list containing every hypothesis in H2. For each training example <x, c(x)>

Remove from VersionSpace any hypothesis h for which h(x) ≠ c(x)

3. Output the list of hypotheses in VersionSpace

<Sunny, ?, ?, Strong, ?, ?> <Sunny, Warm, ?, ?, ?, ?> <?, Warm, ?, Strong, ?, ?>

Example Version Space

<Sunny, Warm, ?, Strong, ?, ?>S:

G: <Sunny, ?, ?, ?, ?, ?> <?, Warm, ?, ?, ?, ?>

Algorytm CEAinicjalizuj S i G odpowiednio jako zbiory maksymalnie szczegółowych i maksymalnie ogólnych hipotez w H; dla każdego przykładu x wykonaj

jeśli x jest przykładem negatywnym (c(x)=0) to pozostaw w S tylko hipotezy, które nie pokrywają x; każdą hipotezę g w G, która pokrywa x, zastąp hipotezami bardziej szczegółowymi które nie pokrywają x tak, aby każda z nich pozostała tak samo lub bardziej ogólna niż pewna hipoteza z S; usuń z G każdą hipotezę bardziej szczegółową niż jakakolwiek inna hipoteza z G;

jeśli x jest przykładem pozytywnym (c(x)=1) to pozostaw w G tylko hipotezy, które pokrywają x; każdą hipotezę s w S, która nie pokrywa x, zastąp hipotezami bardziej ogólnymi które pokrywają x tak, aby każda z nich pozostała tak samo lub bardziej szczegółowa niż pewna hipoteza z G; usuń z S każdą hipotezę bardziej ogólną niż jakakolwiek inna hipoteza z S.

<Sunny, Warm, ?, Strong, Warm, Same>S2

= G2

Przykład ilustracyjny<Ø, Ø, Ø, Ø, Ø, Ø>S0

<?, ?, ?, ?, ?, ?>G0

d1: <Sunny, Warm, Normal, Strong, Warm, Same, Yes>

d2: <Sunny, Warm, High, Strong, Warm, Same, Yes>

d3: <Rainy, Cold, High, Strong, Warm, Change, No>

d4: <Sunny, Warm, High, Strong, Cool, Change, Yes>= S3

<Sunny, ?, ?, ?, ?, ?> <?, Warm, ?, ?, ?, ?> <?, ?, ?, ?, ?, Same>G3

<Sunny, ?, ?, Strong, ?, ?> <Sunny, Warm, ?, ?, ?, ?> <?, Warm, ?, Strong, ?, ?>

<Sunny, Warm, ?, Strong, ?, ?>S4

G4 <Sunny, ?, ?, ?, ?, ?> <?, Warm, ?, ?, ?, ?>

<Sunny, Warm, Normal, Strong, Warm, Same>S1

= G1

Jaki powinien być kolejny przykład?

<Sunny, ?, ?, Strong, ?, ?> <Sunny, Warm, ?, ?, ?, ?> <?, Warm, ?, Strong, ?, ?>

<Sunny, Warm, ?, Strong, ?, ?>S:

G: <Sunny, ?, ?, ?, ?, ?> <?, Warm, ?, ?, ?, ?>

Jakie pytanie może zadać nauczycielowi system uczący się?

Jak sklasyfikować następujące przykłady?<Sunny, Warm, Normal, Strong, Cool, Change>

<Rainy, Cold, Normal, Light, Warm, Same>

<Sunny, Warm, Normal, Light, Warm, Same>

Wybrane zastosowania ML

Liczne zastosowania medyczne (diagnozowanie chorób, dobór terapii, analiza danych laboratoryjnych i diagnostycznych), farmacja, biologia, genetyka (DNA)Dużo zastosowań w przemyśle maszynowym, chemicznym, telekomunikacyjnym i finansachSystemy sterowania, automatyka, robotyka Eksploracja baz danych, e-commerce, Web-miningZastosowania naukowe, np. katalogowanie obiektów astronomicznych, odkrywanie prawAnaliza i rozpoznawanie obrazów, mowy i pisma

Systemy uczące się Podsumowanie

Aktualny stanwiele różnych metodstosowane do dobrze zdefiniowanych baz danychwiększość zastosowań dotyczy problemów uczenia nadzorowanego„proste” strategie uczenia nie wykorzystujące wiedzy „wyższego poziomu”

Systemy uczące się - Podsumowanie

Przyszłość ?odkrywanie wiedzy z różnego rodzaju danychzłożone systemy uczące sięstatystyczna interpretacja teorii uczenia się.uczenie „dojrzałe”; intensywniejsze wykorzystanie wiedzy dziedzinowejzastosowania do złożonych problemówoprogramowanie z wbudowanymi zdolnościami samoadaptacji ?

Gdzie szukać dalej ?Książki

P.Cichosz: Systemy uczące się.K.Krawiec, J.Stefanowski: Uczenia

maszynowe i sieci neuronowe.W. Duch i in. (red.): Sieci neuronowe.T.Mitchell: Machine learning.

Internetwww.cs.put.poznan.pl/jstefanowski/mlteaching.htmlwww.phys.uni.torun.pl/~duch/ai-ml.htmlwww.aic.nrl.navy.mil/~aha/research/machine-

learning.html

Dziękuję za uwagę !e-mail: Jerzy.Stefanowski@cs.put.poznan.pl