planejamento (cap. 11 do russell) prof. paulo santos mestrado fei aula baseada nos slides de tom...
Post on 17-Apr-2015
111 Views
Preview:
TRANSCRIPT
Planejamento (Cap. 11 do Russell)
Prof. Paulo Santos
Mestrado FEI
Aula baseada nos slides de Tom Lenaerts(INRIA)
2
Planning
O problema de planejamento Planejamento como busca em espaço de
estados Planejamento de ordem parcial Grafos de Planejamento Planejamento em lógica proposicional
3
O problema de planejamento
Gerar sequências de ações para executar tarefas e atingir objetivos. Representação: states, actions and goals
Busca por soluções de problemas sobre um espaço de planos.
Auxiliar em aplicações práticas, ex.: design e produção operações militares jogos exploração espacial
4
O problema de planejamento
aumento de escala para problemas complexos (comparando com os agentes busca e lógico vistos até aqui)
Planejamento clássico: ambientes completamente observáveis, determinísticos,
finitos, estáticos e discretos
(Planejamento não-clássico: ambientes parcialmente observáveis ou estocásticos)
5
Questões centrais
Para um agente de planejamento utilizando métodos de busca… Quais ações são relevantes? Encontrar boas funções heurísticas?
Estimativa para o custo de um estado? Heurística dependente ou independente do problema
como tirar proveito da decomposição do problema? Suposição: a maioria dos problemas reais é quase-decomponível.
I.e., o planejador pode trabalhar em sub-objetivos independentemente, mas talvez deva realizar algum trabalho adicional para combinar os subplanos resultantes.
6
A linguagem de problemas de planejamento O que seria uma “boa” linguagem?
Suficientemente expressiva para descrever uma grande variedade de problemas.
Restritiva o bastante para permitir que algoritmos eficientes operem sobre ela.
Deve permitir a decomposição de problema em subproblemas.
Linguagens: STRIPS: Stanford Research Institute Problem Solver ADL: Action Description Language ... PDDL: Planning Domain Definition Language
7
Características gerais das linguagens
Representação de estados Decompor o mundo em condições lógicas que representam um
estado como uma conjunção de literais positivos literais proposicionais: Poor Unknown literais de 1a ordem (básicos -- grounded e livres de funções):
At(Plane1, Melbourne) At(Plane2, Sydney) Hipótese de mundo fechado
(quaisquer condições não mencionadas em um estado são falsas)
Representação de objetivos (goals) Estado parcialmente especificado, representado como uma
conjunção de literais básicos positivos Um estado proposicional s satisfaz a um objetivo g se s contém
todos os literais em g (e possivelmente outros).
8
Características gerais das linguagens
Representação de ações Ação = Precondição + Efeito
Action(Fly(p,from, to),PRECOND: At(p,from) Plane(p) Airport(from) Airport(to)
EFFECT: ¬AT(p,from) At(p,to))= esquema de ação (p, from, to devem ser instanciadas)
Nome da ação e lista de parâmetros PRECOND: Precondição (conj. de literais livres de função)
o que deve ser verdadeiro em um estado antes da aplicação da ação
EFFECT : Efeito (conj. de literais livres de função que descrevem como o estado se altera quando a ação é executada)
literais positivos devem ser considerados verdadeiros no estado sucessor à ação; e negativos, falsos.
Add-list vs delete-list in Effect
9
Semântica da linguagem
Como as ações afetam os estados... Uma ação é aplicável em todos os estados que
satisfazem as suas precondições. Para esquemas de ações de primeira ordem, as suas
aplicabilidades envolvem uma substituição para as variáveis em PRECOND.
At(P1,JFK) At(P2,SFO) Plane(P1) Plane(P2) Airport(JFK) Airport(SFO)
Satisfazem : At(p,from) Plane(p) Airport(from) Airport(to)
com ={p/P1,from/JFK,to/SFO}
Portanto, a ação Action(Fly(p,from, to) é aplicável.
10
Semântica da linguagem
O resultado da execução da ação a em um estado s é o estado s’, em que: s’ é o mesmo que s exceto que
Qualquer literal positivo P no efeito de a é adicionado a s’ Qualquer literal negativo ¬P é removido de s’
At(P1,SFO) At(P2,SFO) Plane(P1) Plane(P2) Airport(JFK) Airport(SFO)
Hipótese de STRIPS: todo literal não mencionado em efeito permanece inalterado (evita o problema do quadro representacional)
11
Expressividade e extensões
STRIPS: tornar os alg. de planejamento mais simples e eficientes simplificação principal: literais livres de função permite a proposicionalização de qualquer esquema de ação
STRIPS é insuficientemente expressiva para alguns domínios reais:
Variante do STRIPS:Action Description language (ADL)Action(Fly(p:Plane, from: Airport, to: Airport),
PRECOND: At(p,from) (from to)EFFECT: ¬At(p,from) At(p,to))
12
Expressividade e extensões
Vários formalismos de planejamento foram sistematizados em uma linguagem padrão: Planning domain definition language (PDDL) permitindo que diferentes sistemas permutem problemas benchmark e
comparem seus resultados; Inclui sublinguagens correspondentes a STRIPS, ADL e às redes
hierárquicas
13
Ex: Transporte aéreo de cargasRepresentação do problema de planejamento STRIPS:
Init(At(C1, SFO) At(C2,JFK) At(P1,SFO) At(P2,JFK) Cargo(C1) Cargo(C2) Plane(P1) Plane(P2) Airport(JFK) Airport(SFO))
Goal(At(C1,JFK) At(C2,SFO))Action(Load(c,p,a)
PRECOND: At(c,a) At(p,a) Cargo(c) Plane(p) Airport(a)EFFECT: ¬At(c,a) In(c,p)
Action(Unload(c,p,a)PRECOND: In(c,p) At(p,a) Cargo(c) Plane(p) Airport(a)EFFECT: At(c,a) ¬In(c,p)
Action(Fly(p,from,to)PRECOND: At(p,from) Plane(p) Airport(from) Airport(to)EFFECT: ¬ At(p,from) At(p,to)
Possível plano:
[Load(C1,P1,SFO), Fly(P1,SFO,JFK), Load(C2,P2,JFK), Fly(P2,JFK,SFO)]
14
Ex: Pneu sobressalenteRepresentação do problema em ADL:
Este exemplo está alem do STRIPS: literal negativo na pre-condição
Init(At(Flat, Axle) At(Spare,trunk))Goal(At(Spare,Axle))Action(Remove(Spare,Trunk)
PRECOND: At(Spare,Trunk)EFFECT: ¬At(Spare,Trunk) At(Spare,Ground))
Action(Remove(Flat,Axle)PRECOND: At(Flat,Axle)EFFECT: ¬At(Flat,Axle) At(Flat,Ground))
Action(PutOn(Spare,Axle)PRECOND: At(Spare,Ground) ¬At(Flat,Axle)EFFECT: At(Spare,Axle) ¬At(Spare,Ground))
Action(LeaveOvernightPRECOND:EFFECT: ¬ At(Spare,Ground) ¬ At(Spare,Axle) ¬ At(Spare,trunk) ¬ At(Flat,Ground) ¬ At(Flat,Axle) )
15
Ex: Mundo dos blocos
Init(On(A, Table) On(B,Table) On(C,Table) Block(A) Block(B) Block(C) Clear(A) Clear(B) Clear(C))
Goal(On(A,B) On(B,C))Action(Move(b,x,y)
PRECOND: On(b,x) Clear(b) Clear(y) Block(b) (b x) (b y) (x y) EFFECT: On(b,y) Clear(x) ¬ On(b,x) ¬ Clear(y))
Action(MoveToTable(b,x)PRECOND: On(b,x) Clear(b) Block(b) (b x) EFFECT: On(b,Table) Clear(x) ¬ On(b,x))
Ações espúrias são possíveis: Move(B,C,C)
16
Planejamento como busca em espaço de estados São possíveis ambos: encadeamento para frente e para
trás Planejamento por progressão
busca por encadeamento para frente Considerar os efeitos de TODAS as ações em um dado estado
Planejamento por regressão busca por encadeamento para trás Para atingir um objetivo, buscar o que deve ser verdadeiro no
estado anterior (e assim recursivamente).
17
Progressão e regressão
18
Algoritmo de progressão Formulação como busca em um espaço de estados:
estado inicial = estado inicial do problema de planejamento Literais não presentes são falsos
Ações = aplicáveis se precondições são satisfeitas Adicionar efeitos positivos, excluir (deletar) os negativos
Teste de objetivo = verifica se o estado satisfaz o objetivo do problema de planejamento
custo do passo = cada ação custa 1
Sem símbolos funcionais … qualquer algoritmo (completo) de busca é um algoritmo de planejamento completo.
Ineficiente: (1) muitas ações irrelevantes são geradas (2) a abordagem fracassa sem uma boa heurística.
19
Algoritmo de Regressão
Como determinar predecessores? Quais são os estados a partir dos quais a aplicação de uma dada ação
leva ao objetivo?Objetivo = At(C1, B) At(C2, B) … At(C20, B)Ação relevante para o primeiro literal: Unload(C1,p,B)Funciona somente se as precondições forem satisfeitas. I.e. qqr estado predecessor deve
incluir estas precondições, no caso: At(C1, p) At(p, B) Predecessor = In(C1, p) At(p, B) At(C2, B) … At(C20, B)o subobjetivo At(C1,B) não deve estar presente neste estado.
Ações não devem desfazer literais desejados: ações devem ser consistentes)
Vantagem principal: somente ações relevantes são consideradas (fator de ramificação < que progressão). Uma ação é relevante para um objetivo se ela alcança um dos
elementos da conjunção do objetivo.
20
Algoritmo de Regressão Processo geral para a construção de predecessores
Dada uma descrição de objetivo G, seja A uma ação relevante e consistente
O predecessor correspondente é descrito a seguir: Quaisquer efeitos positivos de A que aparecem em G são eliminados. Cada literal de precondição de A é adicionado, a menos que já apareça.
Qualquer dos algoritmos de busca pode ser usado para executar a busca.
O término acontece quando é gerada uma descrição de predecessor que é satisfeita pelo estado inicial do problema de planejamento. No caso de 1a ordem, a satisfação pode requerer uma
substituição de variáveis na descrição de predecessor.
21
Algoritmo de Regressão
A principal vantagem da busca por regressão é que ela nos permite gerar somente ações relevantes.
considere o problema de ter 20 itens no aeroporto B:In(C1,B) ^ In(C2,B) ^ ... ^ In(C20,B)
Regredir do objetivo até a açãoDescarregar(C1, p, B)
gera o primeiro elemento da conjunção, levando a um predecessor:In(C1,p) ^ In(p,B) ^ ... ^ In(C20,B)
Este estado é satisfeito pelo estado inicial:In(C1,P12) ^ In(P12, B) ^ In(C2,B) ^ ... ^ In(C20,B)
considerando-se a substituição {p/P12} e a ação Descarregar(C1,P12,B)
22
Heuristicas para planejamento em espaço de estados
Nenhum dos algoritmos de progressão ou regressão são eficientes sem uma boa heurística Quantas ações são necessária para atingir o objetivo? A solução completa é NP-difícil, deve-se encontrar uma boa
estimativa
23
Heuristicas para planejamento em espaço de estados Dois procedimentos para se encontrar uma heurística
admissível: Encontrar a solução ótima para um problema relaxado.
Remover todas as precondições das ações hipótese de independência de subobjetivo:
O custo de resolver uma conjunção de objetivos é aproximadamente igual ao somatório dos custos de resolver cada subobjetivo independentemente.
Otimista: quando existem interações negativas entre os subplanos correspondentes a cada subobjetivo (e.g. quando uma ação em um subplano exclui um objetivo atingido por outro subplano)
Pessimista (inadmissível): quando os subplanos contêm ações redundantes
24
Planejamento de ordem parcial
Planejamento por progressão ou regressão no espaço de estado são formas de busca de planos totalmente ordenados. Exploram sequências estritamente lineares de ações
conectadas de forma direta ao início ou ao objetivo. Não podem tirar proveito da decomposição do problema.
Sempre tomam decisões sobre como definir sequências de ações sobre todos os subproblemas
25
Planejamento de ordem parcial
A idéia é desenvolver um algoritmo que funcionasse independentemente sobre vários subobjetivos, os resolvesse com subplanos e depois combinasse os subplanos
Estratégia do compromisso mínimo (Least commitment strategy): retardar a escolha da ordem de aplicação de algumas
ações durante a busca.
26
Exemplo: calçar um par de sapatos
Goal(RightShoeOn LeftShoeOn)Init()Action(RightShoe, PRECOND: RightSockOn
EFFECT: RightShoeOn)Action(RightSock, PRECOND:
EFFECT: RightSockOn)Action(LeftShoe, PRECOND: LeftSockOn
EFFECT: LeftShoeOn)Action(LeftSock, PRECOND:
EFFECT: LeftSockOn)
Planejador: combinar duas sequências de ações (1)leftsock, leftshoe (2)rightsock, rightshoe
27
Planejamento de ordem parcial
Qualquer algoritmo de planejamento que possa inserir duas ações em um plano sem especificar qual delas deve ser executada primeiro.
28
Planejamento de ordem parcial
29
POL : problema de busca Estados são planos não terminados.
O plano vazio contém somente as ações início e fim.
Cada plano possui 4 componentes: Um conjunto de ações (passos do plano) Um conjunto de restrições de ordenação: A < B
Cíclos representam contradições. Um conjunto de vínculos causais (causal links)
Um plano não pode ser estendido com a adição de uma nova ação C que entra em conflito com o vínculo causal (se o efeito de C for ¬p e se C pode vir depois de A e antes de B)
Um conjunto de precondições abertas. Precondição aberta: não é alcançada por alguma ação no plano. Os
planejadores trabalharão para reduzir o número de precondições abertas até o conjunto vazio (sem inserir contradições)
A p B
30
POL : problema de busca
Um plano é consistente sse não existirem ciclos nas restrições de ordenação e nem conflitos com os vínculos causais..
Um plano consistente sem precondições abertas é uma solução.
Toda linearização de uma solução de ordem parcial é uma solução de ordem total cuja execução a partir do estado inicial alcançará um estado objetivo.
31
Resolvendo POL
Assumindo problemas de planejamento proposicionais: O plano inicial contém Start e Finish, a restrição de
ordenação Start < Finish, nenhum vínculo causal, e todas as precondições em Finish abertas.
Função successor: escolhe uma precondição aberta p em uma ação B e gera um plano sucessor para todo modo consistente
possível para escolher uma ação A que alcance p. Teste de objetivo
32
Impondo consistência
Quando da geração de um plano sucessor: O vínculo causal A--p->B e a restrição de ordenação A <
B é adicionada ao plano. se A é novo, adicione também start < A
Resolver conflitos entre novos vínculos causais e todas as ações existentes no plano
Resolver conflitos entre a ação A (se nova no plano) e todos os vínculos existentes no plano.
33
Exemplo: problema do pneu furadoInit(At(Flat, Axle) At(Spare,trunk))Goal(At(Spare,Axle))Action(Remove(Spare,Trunk)
PRECOND: At(Spare,Trunk)EFFECT: ¬At(Spare,Trunk) At(Spare,Ground))
Action(Remove(Flat,Axle)PRECOND: At(Flat,Axle)EFFECT: ¬At(Flat,Axle) At(Flat,Ground))
Action(PutOn(Spare,Axle)PRECOND: At(Spare,Groundp) ¬At(Flat,Axle)EFFECT: At(Spare,Axle) ¬Ar(Spare,Ground))
Action(LeaveOvernightPRECOND:EFFECT: ¬ At(Spare,Ground) ¬ At(Spare,Axle) ¬ At(Spare,trunk) ¬ At(Flat,Ground) ¬ At(Flat,Axle) )
34
Pneu furado
Plano inicial: iniciar com os EFFECTS da ação Start e as PRECOND da ação Finish.
35
Tomar uma precondição aberta: At(Spare, Axle) Somente PutOn(Spare, Axle) é aplicável Adicione vínculo causal: Adicione restrição : PutOn(Spare, Axle) < Finish
PutOn(Spare,Axle) At(Spare ,Axle ) Finish
36
Tomar outra precondição aberta: At(Spare, Ground) Somente Remove(Spare, Trunk) é aplicável Adicione o vínculo causal: Adicionar restrição : Remove(Spare, Trunk) < PutOn(Spare,Axle)
),(),(Re ),( AxleSparePutOnTrunkSparemove GroundSpareAt
37
Re move(Spare,Trunk) At(Spare,Ground ) PutOn(Spare,Axle)
Tomar uma precondição aberta: At(Spare, Axle) LeaveOverNight é aplicável conflito: Para resolver, adicionar restrição :
LeaveOverNight < Remove(Spare, Trunk) Adicionar vínculo causal:
LeaveOverNight At(Spare,Ground ) PutOn(Spare, Axle)
38
Tomar uma precondição aberta: At(Spare, Trunk) Somente Start é aplicável Adicionar vínculo: Conflito: do vínculo com o efeito At(Spare,Trunk) de LeaveOverNight
Nenhum reordenamento é possível.
retroceder
Start At(Spare ,Trunk ) Re move(Spare,Trunk)
39
Remover LeaveOverNight e vínculos causais Adicionar agora Remove(Flat, Axle) Termina o plano
40
Grafos de planejamento (Para vosso divertimento) Utilizados para produzir boas heurísticas
Soluções podem ser também obtidas por GRAPHPLAN.
Consistem de uma sequência de níveis correspondentes a passos no plano . Nível 0 é o estado inicial. Cada nível consiste de um conjunto de literais e ações.
Literais = tudo o que poderia ser verdade naquele instante, dependendo das ações executadas nos passos anteriores.
Ações = todas as ações que poderiam ter suas precondições satisfeitas, dependendo dos literais verdadeiros naquele passo.
41
Exemplo: Bolo
Init(Have(Cake))Goal(Have(Cake) Eaten(Cake))Action(Eat(Cake), PRECOND: Have(Cake)
EFFECT: ¬Have(Cake) Eaten(Cake))Action(Bake(Cake), PRECOND: ¬ Have(Cake)
EFFECT: Have(Cake))
42
Inicia no nível S0 e determina o próximo nível de ações A0 e o próximo nível S1. A0 >> todas as ações cujas precondições são satisfeitas nos níveis anteriores. Conectar precondições e efeitos das ações S0 --> S1 Inação é representada por “ações de persistência”.
Nível A0 contém as ações que podem ocorrer Conflitos entre ações são representados por vínculos mutex (vínculos de exclusão mútua).
43
Continuar até que dois níveis consecutivos sejam idênticos: nivelamenteo
44
Um vínvulo mutex ocorre quando duas ações: efeitos inconsistentes: uma ação nega os efeitos de uma outra. Interferência: um dos efeitos de uma ação é a negação de uma precondição de uma outra ação. Necessidades concorrentes: uma das precondições de uma ação é mutuamente excludente com
uma das precondições de outra ação.
Um vínculo mutex ocorre entre dois literais se (inconsistent support): um é a negação do outro OU Se cada par possível de ações que alcançariam os dois literais são mutuamente exclusivas
45
Grafos de planejamento e heurísticas
GP’s fornecem informações sobre o problema Um literal que não aparece no último nível do grafo não pode
ser alcançado por qualquer plano. Um literal inatingível tem custo h(n) = infinito.
O nível em que todos os literais do objetivo aparecem O grafo pode ser utilizado como um problema relaxado.
46
The GRAPHPLAN Algorithm
Como extrair soluções diretamente do grafo
function GRAPHPLAN(problem) return solution or failure
graph INITIAL-PLANNING-GRAPH(problem)
goals GOALS[problem]
loop do
if goals all non-mutex in last level of graph then do
solution EXTRACT-SOLUTION(graph, goals, LENGTH(graph))
if solution failure then return solution
else if NO-SOLUTION-POSSIBLE(graph) then return failure
graph EXPAND-GRAPH(graph, problem)
47
GRAPHPLAN example
Inicialmente o plano consiste dos 5 literais do estado inicial e da hipótese de mundo fechado (S0).
Adicionar ações cujas precondições são satisfeitas por EXPAND-GRAPH (A0) adicionar ações de persistência e vínculos mutex. Adicionar os efeitos no nível S1 Repetir até que o objetivo esteja no nível Si
48
GRAPHPLAN example
Em S2, os literais do objetivo existem e não são mutex com nenhum outro Uma solução pode existir e EXTRACT-SOLUTION tentará encontra-la
Processo de busca de caminho em um grafo.
top related