principios de interaÇÃo entre humano e … modelo mental é uma explicação do processo de...

Profa. Roseli Aparecida Francelin Romero Coordenadora do CROB-USP e do

LAR-USP

PRINCIPIOS DE INTERAÇÃO ENTRE HUMANO E ROBÔ

LAR-ICMC-2016

INTERAÇÃO HUMANO-ROBÔ

HRI consiste em entender e moldar as interações entre um ou mais seres humanos e um ou mais robôs.

Interações entre seres humanos e robôs são inerentemente presentes em toda robótica, mesmo para os robôs denominados autônomos - afinal, ainda são utilizados por seres humanos.


TÓPICOS A SEREM ABORDADOS• Percepção • Robos Sociais• Arquiteturas para HRI • Proxemica (proxemics)• Computação Afetiva • Modelos Mentais

• Design de Interação • Engenharia de Sistemas

• Autonomia • Futuro dos Robos e Singularidade

• Robótica Educacional • Robotica Assistiva

TÓPICOS ENVOLVIDOS


Arquiteturas Cognitivas para HRI

Inspiradas pela cognição humana, a ênfase está na derivação de um conjunto de princípios de funcionamento não restritas a uma tarefa ou contexto específico.

Projetista:mergulhar em mecanismos computacionais e considerar o tipo de funcionalidade que precisa estar presente, e como isso se relaciona com outras competências cognitivas.

Exemplos: SOAR (criada por John Laird, Allen Newell, and Paul Rosenbloom, CMU; ACT-R ("Adaptive Control of Thought—Rational"), criada por John Robert Anderson, CMU e CLARION (“Connectionist Learning with Adaptive Rule Induction On-line”) – Ron Sun, Rensselaer Polytechnic Institute, NY, USA.

EU FP7 DREAM at Plymouth University, UK – aspectos cognitivos e comportamentais de controle de robôs para apoiar terapia assistida/robô para crianças autistas

NOVA ZELANDIA – 11TH ACM/IEEE Int. Conf. On HRI – Cognitive Arquitectures for Social HRI, 7-10 março de 2016; ITALIA – 8th COGNITIVE´2016 – 20-24/03/2016.

Cognição?????????

ARQUITETURAS COGNITIVAS PARA HRI


• Visual• Sensorial• Proximidade• Auditiva – sons (musicais, ruídos, buzinas, ...), vozes• Reconhecimento de Gestos• Reconhecimento de Movimentos Corporais• Expressão e Direção

PERCEPÇÃO


Um modelo mental é uma explicação do processo de pensamento de alguém sobre como algo funciona no mundo real. É uma representação do mundo ao redor, as relações entre as suas diversas partes e percepção intuitiva de uma pessoa sobre seus próprios atos e suas consequências. Os modelos mentais podem ajudar a formar um comportamento e definir uma abordagem para resolver problemas (semelhante a um algoritmo de pessoal) e fazer as tarefas.

Um modelo mental é uma espécie de símbolo interno ou representação da realidade externa, a hipótese de desempenhar um papel importante na cognição, raciocínio e tomada de decisão. Em 1943, Kenneth Craik sugeriu que a mente constrói "modelos de pequena escala" da realidade que ele usa para antecipar eventos.

MODELOS MENTAIS


MODELOS MENTAIS


Jay Wright Forrester definiu modelos mentais gerais como:

A imagem do mundo em torno de nós, que levamos na nossa cabeça, é apenas um modelo. Ninguém, em sua cabeça, imagina todo o mundo, o governo ou país. A pessoa tem conceitos selecionados apenas e as relações entre eles e os utiliza para representar o sistema real.

Na psicologia, modelos mentais são por vezes utilizados para se referir a representações mentais ou simulação mental, em geral. Em outros momentos, ele é usado para se referir a modelos mentais e raciocínio e à teoria de modelo mental de raciocínio desenvolvido por Philip Johnson-Laird e Ruth M. J. Byrne.[Wikipedia]

ROBÔS SOCIAIS

Reconhecer outros robôs ou seres humanos

Realizar interações sociais

Possuir percepções

Conseguir interpretar o ambiente no qual estão inseridos

Comunicar-se, aprender e se relacionar com seres humanos de uma maneira natural

Perceber e entender o comportamento humano para interagir com estes

Possuir capacidade de: rastrear características humanas/interpretar a fala/incorporar mecanismos para o reconhecimento de expressões faciais, gestos e atividades humanas/ integrar as percepções visuais e auditivas

INTERAÇÃO HOMEM-MÁQUINA

59

Maggie (Salichs et al., 2006)

Integra interfaces com visão, voz e personificação corporal


ROBOS SOCIAIS

60

Arisco (Dominguez et al., 2006)

expressar comportamentos emocionais por meio de expressões faciais

reconhecer comandos de vozlocalizar a direção do somdetectar faces humanas e regiões coloridasdetectar movimentos

Sistema de atenção compartilhada para garantir melhor interação com o usuário, auxiliando o robô a aprender informações sobre novos objetos e eventos

Arisco desenvolve novas crenças e cria associações por meio das interações sociais

As novas experiências adquiridas servem para que novos comportamentos possam ser aprendidos e utilizados em interações futuras


ROBOS SOCIAIS

61

ROBOS SOCIAIS

No trabalho de Kirby et al. (2010) foi desenvolvido um modelo afetivo para robôs sociais

Criar afeto natural

Incluir distinções entre respostas emocionais imediatas, o humor total do robô, e atitudes de longo prazo para cada visitante do robô

Desenvolver relações mais duradouras entre o humano e o robô Roboceptionist


62

Faces gráficas usadas no Roboceptionist. Na esquerda é o Tank, mostrando felicidade e na direita é a Valerie, mostrando tristeza.


ROBOS SOCIAIS

63

Kismet - Breazeal (2002, 2003)

um dos principais trabalhos que incorpora emoções em um robô

interage face-a-face com o ser humano expressões faciais

As emoções são disparadas por vários eventos que são avaliados com sendo de importância para o bem-estar do robô

Cada emoção disparada serve a um conjunto particular de funções para estabelecer uma relação desejada entre o robô e o ambiente

As novas experiências adquiridas servem para que novos comportamentos possam ser aprendidos e utilizados em interações futuras


ROBOS SOCIAIS

64

Breazel 2015 – MIT LabMedia – Boston

JIBO (Robo social residência):ver, ouvir, falar, aprender, assistente

"Family Robots" - 2017 will be the year of Service Robotshttps://www.facebook.com/futurism/videos/579238158922054/


ROBOS SOCIAIS

https://www.facebook.com/futurism/videos/579238158922054/

• Contribuição para diálogos em português e no ICMC• Banco de Dados do ICMC (Professores, Bancas,

Eventos, Notícias, Mapa)• Uso de Word.Net e POS Tagger para o auxílio no

casamento de padrões• Ontologias podem auxiliar na compreensão dos

dados

• Sistema de sugestões com base nos interesses do

Usuário

Projeto realizado em conjunto com a Carnegie Mellon University

Hi!I am the Avatar

Válerie!Thanks to all this

work I can talk about the ICMC-USP

ROBOS SOCIAIS


• Reconhecimento de emoções • Classificação de emoções em vídeos • Análise de expressões faciais;• Análise de expressões faciais associadas com voz e texto • Classificação de emoções em sistemas de diálogo, para que o dialogo

fique mais atrativo.• Uso de ontologias para organização da base de dados e

estabelecimentos de relações entre os componentes da base de dados• Proximidade: Uso de sensores kinects para detecção de pessoas ao

redor de um robô para iniciar a interação.

COMPUTAÇÃO AFETIVA


Proxêmica

Substantivo feminino

1. Estudo das distâncias físicas que as pessoas estabelecem espontaneamente entre si no convívio social, e das variações dessas distâncias de acordo com as condições ambientais e os diversos grupos ou situações sociais e culturais em que se encontram

2. Estudo das manifestações culturais (arquitetônicas, urbanísticas, linguísticas etc.), das tendências ou necessidades de as pessoas distribuírem-se espacialmente de maneira determinada, estabelecendo distâncias entre si

O desenvolvimento de métodos de interação entre pessoas e robôs para gerenciar o convívio e trabalho mútuo.


PROXIMIDADE ASSOCIADA A NAVEGAÇÃO

TEGA – Um robô social: conta estórias, ensina,Entrete e brinca com crianças

https://www.youtube.com/watch?v=sF0tRCqvyT0


ROBÓTICA EDUCACIONAL

Google’s Robot Army - Boston Dynamics, a robotics firm best known for products like Big Dog, a four-legged device that carries cargo across rough terrain, and the Cheetah, which can run faster than Usain Bolt. (16/12/2013)

ATLAS

Até agora trabalhamos com maquinas que estão sob nosso controle:Microondas, tostadores e smart fones, etc... E como será no futuro?

Hoje, drones estão ocupando o espaço;

Robôs autônomos irão mexer com o nosso senso de controle exatamente porque eles estão fora de nosso controle, mas é algo que teremos que conviver,pois ocupam o mundo físico e exigem a nossa atenção.

PERGUNTAS QUE CHEGAM?????


A interação com os robôs será limitada???

Mesmo que os robôs exijam apenas uma base constante para interagir conosco, os gestos e expressões que facilitam interação homem- a-homem será de uso limitado?

Vai existir um padrão federal sobre como os robôs devem agir?



Perguntas que chegam?• Considere um drone da Amazon , ele sabe meu nome, meu endereço, meus hábitos de leitura e compra.• Se é um robô da Google e se usamos um telefone

Android, ele sabe onde eu tenho dirigido, em que lugar jantei e os meus compromissos para amanhã.

Essas interações exigirão muita atenção na resolução de problemas da nossa parte. Até que ponto isto tudo poderá afetar nossas vidas?



O FATO É: ROBOS NA CLOUD

ROBOS NA CLOUD ?????Um smartphone todos os dias já transmite como seu proprietário se move através do espaço; robôs com visão computacional podem acompanhar onde olhamos, discernir as nossas emoções através da análise facial, e ler a nossa linguagem corporal através de reconhecimento de gestos .



Interação com robôs

• https://vimeo.com/42703118 Um exemplo de estudo sobre HRI• • http://

techcrunch.com/2016/02/18/google-opens-its-cloud-vision-api-to-all-developers



Rod Map http://robotics-vo.us/sites/default/files/2013%20Robotics%20Roadmap-rs.pdf

https://vimeo.com/42703118

http://techcrunch.com/2016/02/18/google-opens-its-cloud-vision-api-to-all-developers



http://robotics-vo.us/sites/default/files/2013%20Robotics%20Roadmap-rs.pdf

Desafio DARPA veículos autônomos devem se mover em um contextourbano, deve passar por diversos pontos da cidade e desviar de

obstáculos, que podem ser outros carros. incorpora planejamento de trajetória

Thrun et. al 2010 - Google

Previsão Tecnológica Paul Saffo, especialista em tecnologias do futuro, em um artigo publicado em The Sunday Times,

25/10/2009, intitulado:What´s your place in the brave new future? mencionou:

"Na década de 1980, foi o computador pessoal: saiu da garagem, mudou o mundo. Na década de 1990, foi a Web. O próximo grande dispositivo a passear em nossas vidas é o robô ". Robôs em breve irão aparecer em todas as áreas de nossas vidas e vai assumir as coisas que fazemos agora como as tarefas diárias, disse Saffo. Dirigir é um bom exemplo. Sebastian Thrun, um colega de Saffo, em Stanford, prevê que em 2015, comboios serão conduzidos por robôs, e que serão comuns nas vias públicas até 2030.

SISTEMA DENAVEGAÇÃO AUTÔNOMA

GRANDE DESAFIO DA DARPA em IHR

Descricao das tarefas ... em http://spectrum.ieee.org/automaton/robotics/humanoids/how-kaist-drc-hubo-won-darpa-robotics-challenge/?utm_source=techalert&utm_medium=email&utm_campaign=061115

Video rapido em https://www.youtube.com/watch?v=v6-heLIg85o

http://spectrum.ieee.org/automaton/robotics/humanoids/how-kaist-drc-hubo-won-darpa-robotics-challenge/?utm_source=techalert&utm_medium=email&utm_campaign=061115

https://www.youtube.com/watch?v=v6-heLIg85o

ProfessoresRoseli A. F. RomeroGlauco A. de P. CaurinAdriano A. G. SiqueiraFernando OsórioValdir Grassi Jr.Kalinka R. L. J. Castelo BrancoMarcelo BeckerMarco H. TerraDenis WolfDaniel V. Magalhães

Áreas de atuação

•Robótica móvel•Robótica agrícola •Robótica aérea•Robótica de reabilitação •Robótica social•Robótica de manipulação•Robótica cooperativa

Robôs e equipamentos do CROB

Livros

Um sistema de imitação de movimentos corporais e reconhecimento incorporado a um robô humanoide

Fernando ZuherRoseli Aparecida Francelin Romero

USP | São Carlos, SP, Brazil 2016

• Como a IMITAÇÃO PODE SER REALIZADA PELO ROBO NAO?

• Usando um Kinect para capturar informações das juntas do corpo humano

• convertendo os angulos para angulos de Euler.• uma adaptação para o corpo do robo é realizada.

33

2. Works: Developed

Método de Pesquisa

34

1

2

3

T1

T2

J1

J2

Body joints/parts taken in the teleoperation:

• Head.• Neck.• Shoulder.• Elbow.• Hand.• Hip.• Knee.• And foot.

2. Works: DevelopedSkeleton mask

35

S1

S3

2. Works: DevelopedStep pace control

• 7 modos de controles gerais mias 3 modos de comportamentos:1. Transição .2. Pausa.3. Imitação da cabeça.4. Imitação dos braços.5. Imitação das pernas.

36

2. Works: DevelopedFuncionalidades

• 10 voluntários

37

A

B CD E

FG H I J

AVALIAÇÃO2. Works: Developed

AVALIAÇÃO

38

What evaluate MOS Percentage

ImitationHead 4,4 88%Arms 4,1 82%

Walk 3,7 74%Scenario test 3,8 76%

2. Works: Developed

ALGUNS EXEMPLOS

39

• Caso 1 – Imitação de braços e cabeça; controle de comportamentos:• https://www.youtube.com/watch?v=ZLAAHoc9mJY

• Case 2 – Imitação de pernas:• https://www.youtube.com/watch?v=VQZgxjTRL_Y

2. Works: Developed

https://www.youtube.com/watch?v=ZLAAHoc9mJY

https://www.youtube.com/watch?v=VQZgxjTRL_Y

Imitação e reconhecimento de expressões faciais para emoções

Valéria Carvalho e Giampaolo Libralon

Profª. Drª. Roseli A. F. Romero

• Automatic extraction of face features• Recognition and generation of facial expressions• Basic emotions: neutral, happiness, anger, sadness and surprise

Saragih, J., Lucey, S., and Cohn, J. (2011). Deformable Model Fitting by Regularized Landmark Mean-Shift. International Journal of Computer Vision, 91(2):200-215.

Extracting features of the face

Imitação de expressões faciais

Pontos selecionados a partir do Face Trackerpara classificar emoções

Para os experimentos,foram definidas quatro configurações de pontos faciais compostas, respectivamente,pelos 66 pontos originalmente mapeados, assim como configurações simplificadas,com 16, 26 ou 33 pontos característicos, distribuídos de maneira distinta entre oselementos faciais.

RESULTADOS

• A taxa de acerto média obtida por emoção, independente do classificador e representação facial utilizados é de

- 88.2% para a expressão neutra- 98.9% para a alegria- 85.7% para a tristeza SVM classificou melhor- 90.5% para medo que C4.5 e MLPs- 86.5% para raiva- 97.0% para surpresa e- 92.7% para aversão.

Um sistema de reconhecimento de objetos incorporado a um robô humanoide com aplicação

na educaçãoAdam Henrique Moreira Pinto

Roseli Aparecida Francelin Romero


Fluxograma da aplicação

Figura 1. Fluxograma do sistema, com o reconhecimento de um triângulo

Experimentação•Foram realizados experimentos com 62 alunos•3 etapas: um questionário de conhecimentos anterioes, a atividade com o robô e uma prova de conhecimentos após a atividade•Os experimentos foram realizados com alunos entre 11 e 14 anos de escolas públicas e particulares da cidade de São Carlos •Um grupo de 10 estudantes fez a mesma atividade, porém a atividade de reconhecimento foi com um professor humano, caracterizando o grupo de controle

Experimentação•As crianças tiveram atividades com aumento gradativo de dificuldade•Os experimentos envolviam apenas mostrar a forma que era solicitada pelo robô (como mostra a Fig. 1) até encontrar a quantidade de formas existentes em uma figura com imagens sobrepostas•Após os experimentos, as crianças tinham espaço para fazer críticas e sugestões e muitas foram acatadas no desenvolver da pesquisa

Imagens dos experimentos

Exemplo de imagem sobreposta

Resultados•Com relação a acurácia, o robô classificou corretamenta as figuras em 80% dos casos•Todas as crianças gostaram das atividades com o robô e disseram que aprenderam mais sobre figuras geométricas com o robô•O grupo que fez as atividades com o robô teve, na prova após as atividades com o robô, aproximadamente 21% de acertos a mais do que o grupo de controle

USO DE UM HUMANOIDE PARA SESSÕES DE FISIOTERAPIA

• IHR como suporte no contexto da fisioterapia par aplicações de recuperação de crianças com problemas de coordenação neuro-motora.

Author: Ricardo Gambirasio (Mestrado)

54

Clinica de Fisioterapia em São Carlos

An Emotion-Based Interaction Strategy to Improve Human-Robot Interaction

Caetano Mazzoni RanieriAdvisor: Roseli Aparecida Francelin Romero


Considerations• Human emotions provide relevant non-verbal information and

influence decision-making.• Studies have shown that people may feel empathic toward robots,

in certain situations.• We have proposed an application to investigate whether an agent

expressing a set of behaviors through different verbal and visual cues, according to an inferred emotional context, may increase the feeling of empathy and improve the quality of the interaction.

Proposed Application• An embodied virtual character, provided with a set of adaptable

behaviors, aggregated to an Android app for smartphones.• The system repeatedly calls an emotion recognizer, developed in a

previous research performed in our lab, to analyze the user’s facial expression.

• Two interaction paradigms: friendly and normal.

• Among other functions, a simple words-based game was implemented.

Proposed Application

Figure 1. Character aspect (a) friendly; (b) normal.

Proposed Application

Figure 2. Application interface.

Experimental Setup• Within-subject approaches.• Is the proposed interaction strategy more pleasant and empathic

than a strategy which shows only the friendly paradigm?• All 11 participants were 18 to 21 year-old Computer Science

freshman students from UNESP.• The participants answered whether they felt empathy towards the

virtual character and evaluated some desirable characteristics, such as realism, kindness, pleasantness and competence.

Results and Discussion• The experiment have shown interesting results concerning the

empathy feeling of the users.• Differences on the perception of the other characteristics has shown

no statistical significance.• Concerning the question about having felt empathy, a paired t-test

obtained p=0.052, which shows a strong tendency towards statistical significance.

• This result points that the described approach is likely to increase the feeling of empathy of a human user towards an artificial agent.

Conclusion• This work consisted on developing an environment for human-

robot interaction, which produces adaptive interaction strategies based on user's emotions.

• In future works, we intend to create more applications using the proposed architecture.

• We also intend to improve the emotion recognizer.

OBRIGADA!

NAP – CROBNúcleo de Apoio à Pesquisa em Robótica da

Universidade de São Paulo

Detecção e classificação de objetos em imagens para rastreamento de veículos

Raphael MontanariProfª. Drª. Roseli Aparecida Francelin Romero


Impressoras projetadas no ICMC-USP

- ABS- PLA- Nylon

TEMPO: 90% e no CUSTO: 70% para fabricação

CUSTO: ABS: 120,00/Kg; PLA: 160,00/Kg (importado)

Tecnologia aumenta o tamanho da peça a ser impressa, impressão de peça maior que a área de impressão

Calibração deu trabalho e não é qualquer usuário que pode calibrar

Multicor

Impressoras projetadas no ICMC-USP

Esta impressora é filha da primeira impressora 3D montada no Instituto

ContextUnmanned aerial vehicleo An unmanned aerial vehicle (UAV) is an aircraft without a human pilot aboard.

o The flight of UAVs may be controlled either autonomously by onboard computers or by the remote control of a pilot on the ground or in another vehicle.

o Main UAV usages: Unknown environments Mapping; Search and Rescue; Patrol and perimeter surveillance; Monitoring of other robots; Agriculture; Military activities; Aerial imaging; Inspection of power lines.

ContextLARVANTARo Lab group researching technologies on UAV.

o Researches on control, cooperative robotics, task allocation, communication, mapping, SLAM and tracking.

o Main project goal is to build a surveillance system.

VIDEOS DO QUADRIROTORDESENVOLVIDO NO LAR-ICMC

https://www.youtube.com/watch?v=nZ_8akWyFnw

https://www.youtube.com/watch?v=mDbMvWhSbnwhttps://www.youtube.com/watch?v=CF-C0Qt3I_w

https://www.youtube.com/watch?v=lv6ThubjUlI

https://www.youtube.com/watch?v=nZ_8akWyFnw

https://www.youtube.com/watch?v=mDbMvWhSbnw

https://www.youtube.com/watch?v=CF-C0Qt3I_w

https://www.youtube.com/watch?v=lv6ThubjUlI

Input frame from vídeo.

Generated saliency map.

Segments to be classified.

Results of the detection after classification.

Robotica CooperativaWarthog

robotics

Warthog Robotics Team• Twice champion in IEEE Very Small Size category• Vice-champion in the Robocup Simulation 2D category• 4th Place in the Small Size League category

Desenvolvimento de Arquitetura de ControleDistribuído de Sistemas Multi-Robóticos

Rafael Guedes Lang

Robôs reais

05/50

principios de interaÇÃo entre humano e … modelo mental é uma explicação do processo de...

Documents