inteligentní agenti

Inteligentní agenti

Agent

• vnímá své okolí prostřednictvím senzorů• zasahuje do okolí prostřednictvím efektorů• člověk, robot, softwarový agent

Racionální agent• agent, který dělá správné věci

Správná akce• akce, která způsobí, že agent bude nejús-

pěšnější

Agent

prostředí

vjemy

akce

senzory

efektory

Problém: kdy a jak vyhodnocovat úspěch agenta

Míra výkonu (performance measure)• objektivní kritéria pro měření úspěšnosti

agenta• výkon za dlouhou dobu (směna,

životnost)

Racionalita versus vševědoucnost• očekávaný úspěch na základě vnímaného

Racionálnost akce

• míra výkonu, která definuje stupeň úspěchu

• všechny vjemy vnímané do daného okamžiku (posloupnost vjemů)

• znalosti agenta o prostředí• akce, které agent může vykonat

Ideální racionální agent

• pro každou možnou posloupnost vjemů ideální racionální agent na základě faktů získaných posloupnosti vjemů a veškerých zabudovaných znalostí vykoná akci, u které je možné očekávat, že maximalizuje míru jeho výkonnosti

Autonomie

• systém je autonomní do té míry, jakou jeho vlastní zkušenost ovlivňuje jeho chování

• jestliže se akce agenta zakládají pouze na zabudovaných znalostech, pak agent postrádá autonomii

• opravdu autonomní inteligentní agent by měl být schopen úspěšně fungovat v rozmanitých prostředích, jestliže mu je poskytnut dosta-tečný čas na adaptaci

Struktura inteligentních agentů

• program agenta:– funkce zobrazující vjemy na akce

• architektura:– výpočetní prostředek (počítač, speciální

HW)

• agent = architektura + program

Zobrazení vjem akce

Zobrazení posloupnosti vjemů na akce• ke každé posloupnosti vjemů přiřadíme

akci• výčet všech možností: ideální zobrazení• nemusí být explicitní (např. funkce)

• rozdíl mezi ”skutečným” a ”umělým” prostředím není důležitý

• důležitá je složitost vztahu mezi – chováním agenta– posloupností vjemů vytvořenou

prostředím– cíli, kterých má agent dosáhnout

Příklad:

• robot kontrolující součástky na běžícím pásu

• softbot řídící let Boeingu 747 na simulátoru

• softbot třídící informace z on-line zdrojů• prostředí Turingova testu

Typ agenta Vjemy Akce Cíle Prostředí

systémmedicínskédiagnostiky

symptomy,nálezy,pacientovyodpovědi

otázky, testy,léčba

zdravý pa-cient, mini-mální náklady

pacient,nemocnice

systém ana-lýzy družico-vých snímků

pixely různéintenzity abarvy

tisk zařazeníscény

správnézařazení

snímkyz orbitálnídružice

robot propřesunsoučástek

pixely různéintenzity

zvednutísoučástky atřídení do košů

umístění sou-částek dosprávnýchkošů

běžící pásse sou-částkami

kontrolorv rafinerii

měřeníteploty, tlaku

otevření,zavření ventilů,nastaveníteploty

maximálníčistota, zisk,bezpečnost

rafinerie

interaktivníučitelangličtiny

psaná slova tisk cvičení,návrhů, oprav

maximálnípočet bodůstudenta

množinastudentů

Programy agenta

function Kostra-agenta (vjem) akce• paměť, agentova paměť obsahující svět

– paměť Aktualizace_paměti (paměť, vjem)– akce Výběr_nejlepší_akce (paměť)– paměť Aktualizace_paměti (paměť, akce)

• return akce

• vstupní údaj je jeden vjem• cíl nebo míra výkonu není součástí programu

Nejjednodušší program: tabulka

function agent_řízený_tabulkou (vjem) akce• vjemy; posloupnost, na počátku prázdná• tabulka; tabulka, indexovaná podle

posloup-ností vjemů, na počátku plně definovaná– přidej vjem na konec posloupnosti vjemů– akce Vyhledej (vjemy, tabulka)

• return akce

Nevýhody

• tabulka pro jednoduchého agenta hrajícího šachy by obsahovala 35100 položek

• programátorovi by trvalo dlouho sestavit takovou tabulku

• agent nemá žádnou autonomii• i s mechanismem učení by trvalo dlouho

naučit se správné hodnoty pro všechny položky tabulky

Typ agenta řidič taxíkuVjemy kamery, tachometr, lokalizátor, sonar,

mikrofonAkce zatáčet, přidat plyn, brzdit, mluvit

s pasažéremCíle bezpečný, rychlý, dodržující pravidla,

pohodlná jízda, maximální ziskProstředí cesty, jiní účastníci provozu, chodci,

zákazníci

Příklad:automatizovaný řidič taxíku

Čtyři typy programu agenta

• agent jednoduchého reflexu• agent zaznamenávající změny ve světě• agent řízený cílem• agent řízený užitečností

Agent jednoduchého reflexu

• místo tabulky shrneme společně se vyskytující asociace vstup-výstup do pravidel

• funguje správně, jestliže je možné správnou akci zvolit pouze na základě aktuálního vjemu

Reflex agent

Jaký je svět teď

Jakou akci mám vykonat

teď

Pravidla podmínka-akce

Pro

stře

dí

Senzory

Efektory

Fungování agenta

function agent_jednoduchého_reflexu (vjem) akce

• pravidla, množina pravidel podmínka-akce– stav interpretace_vstupu (vjem)– pravidlo nalezení_pravidla (stav, pravidla)– akce akce_pravidla (pravidlo)

• return akce

Agent zaznamenávající změny světa

• znalosti o tom, jak se mění svět nezávisle na agentovi

• znalosti o tom, jak akce agenta ovlivňují svět

Reflex agent s interním stavem

Jaký je svět teď

Jakou akci mám vykonat

teď

Stav

Jak se svět vyvíjí

Co dělají moje akce

Pro

stře

dí

Pravidla podmínka-akce

Senzory

Efektory

Fungování agenta

function agent_reflexu_se_stavem (vjem) akce• stav, popis aktuálního stavu světa• pravidla, množina pravidel podmínka-akce

– stav aktualizace_stavu (stav, vjem)– pravidlo napasování_pravidla (stav,

pravidla)– akce akce_pravidla (pravidlo)– stav aktualizace_stavu (stav, akce)

• return akce

Agent řízený cílem

• poznatky o světě ne vždy postačují k rozhod-nutí co dělat

• cíl popisuje situace, které jsou žádoucí

• agent může kombinovat cíle s informací o důsledcích svých možných akcí při výběru akce vedoucí k cíli

Agent řízený cílem

• rozhodování agenta řízeného cílem bere v úvahu budoucnost:– Co se stane, když udělám to a to?– Budu mít z toho radost?

• agent řízený cílem je pružnější

Agent s cíli

Jaký je svět teď

Jaký by byl svět, jestliže vykonám akci

A

Jakou akci mám vykonat

teď

Stav

Jak se svět vyvíjí

Co dělají moje akce

Cíle

Pro

stře

dí

Senzory

Efektory

Agent řízený užitečností

• cíle nepostačují k vytvoření chování vysoké kvality, ten samý cíl je možné dosáhnout různými způsoby

Užitečnost• jestliže nějakému stavu světa dáme

přednost před jiným, pak ten stav je užitečnější

Výhody funkce užitečnosti

• cíle si navzájem odporují• několik cílů, žádný není dosažitelný

s jistotou

• každý racionální agent může být popsán jako agent řízený užitečností

Agent s užitečností

Jaký je svět teď

Senzory

Efektory

Jaký by byl svět, jestliže vykonám akci

AJak šťastný bych byl v takovém

světěJakou akci

mám vykonat teď

Stav

Jak se svět vyvíjí

Co dělají moje akce

Užitečnost

Pro

stře

dí

Prostředí - vlastnosti

• dostupné vs. nedostupné– všechny aspekty důležité pro výběr akce

jsou dostupné prostřednictvím senzorů• deterministické vs. nedeterministické

– příští stav je plně určen současným stavem a akcemi agenta

• epizodické vs. neepizodické– události následujících epizod nesouvisí

se současnými událostmi

Prostředí - vlastnosti

• statické vs. dynamické– prostředí se mění během agentova

uvažování• diskrétní vs. spojité

– počet jasně definovaných vjemů a akcí je konečný

• nejobtížnější prostředí je nedostupné, neepi-zodické, dynamické a spojité

Prostředí – příklady

prostředí přístup-né

determ. epizo-dické

static-ké

diskrét-ní

šach bez hodin A A N A Apoker N N N A Ařízení taxíku N N N N Ndiagnostický sys-tém v medicíně

N N N N N

systém analýzyobrazů

A A A polo N

kontrolerv rafinérii

N N N N N

interaktivní učitelangličtiny

N N N N A