sobre la visión por computador aplicada a los humanos ... · sobre la visión por computador...
TRANSCRIPT
![Page 1: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/1.jpg)
Sobre la visión por computador
aplicada a los humanos:
problemas abiertos y aplicaciones.
Jordi VitriàJordi VitriàBCN Perceptual Computing Lab
Departament de Matemàtica Aplicada i Anàlisi, Facultat de Matemàtiques, Universitat de Barcelona,
Gran Via de les Corts Catalanes, 585, 08007 Barcelona
&
Centre de Visió per Computador
Edifici O, Campus de la UAB, Bellaterra, 08193 Barcelona
bcnpcl.wordpress.com
![Page 2: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/2.jpg)
Human-robot interaction is not possible without rich, robust models for the
perception (in the broadest sense) of humans.
![Page 3: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/3.jpg)
13/09/2010 Jordi Vitrià | Septiembre 2010 3
![Page 4: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/4.jpg)
13/09/2010 Jordi Vitrià | Septiembre 2010 4
![Page 5: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/5.jpg)
Humans are not a common object, such as cars,
trees or buildings:
Humans display rich behaviors with rich
information that is useful for predicting actions
and decisions.
13/09/2010 Jordi Vitrià | Septiembre 2010 5
and decisions.
Humans communicate by perceiving and
producing visual signals.
![Page 6: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/6.jpg)
13/09/2010 Jordi Vitrià | Septiembre 2010 6
From David Marr's book: Vision, 1982.
![Page 7: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/7.jpg)
Definition:
As a scientific discipline, computer vision is concernedwith the theory and technology for building artificialsystems that obtain information from images. Theimage data can take many forms, such as a videosequence, views from multiple cameras, or multi-
13/09/2010 Jordi Vitrià | Septiembre 2010 7
sequence, views from multiple cameras, or multi-dimensional data from a medical scanner.
obtain information from images =
physical word description
![Page 8: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/8.jpg)
Object detection, recognition and tracking...
13/09/2010 Jordi Vitrià | Septiembre 2010 8
![Page 9: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/9.jpg)
But, what about understanding people?
THE CANONICAL VIEW
1. There is a great need for computer programs that can
describe and predict people activities from video,
2. This is difficult to do, because it is hard to detect,
identify and track people in video sequences, because
we have no common vocabulary for describing what
13/09/2010 Jordi Vitrià | Septiembre 2010 9
we have no common vocabulary for describing what
people are doing, and because the interpretation of
what people are doing depends very strongly on
context.
That’s true, but this is not the whole truth: there is
also a lack of appropriate models for understanding
people and their social world.
![Page 10: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/10.jpg)
13/09/2010 Jordi Vitrià | Septiembre 2010 10
Human sensing =
«bounding box» problem + pose problem + attributes problem +
interaction problem + gestures + social signals +…
![Page 11: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/11.jpg)
Face detection Full body detection
The «bounding box» problem.
Upper body detection
13/09/2010 Jordi Vitrià | Septiembre 2010 11
![Page 12: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/12.jpg)
The «bounding box» problem: face detection
13/09/2010 Jordi Vitrià | Septiembre 2010 12
![Page 13: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/13.jpg)
Basic idea: slide a (multiscale) window across image and
evaluate a face model at every location.
The «bounding box» problem: face detection
Templates: 20, 30, 40, 50, 60 px
Image: 640x480 px
Translation: 5 px
Speed: 10fps
------------------------------------------
Total: 62135 searches -> 1,6μs/search
13/09/2010 Jordi Vitrià | Septiembre 2010 13
![Page 14: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/14.jpg)
The «bounding box» problem: face detection
Fast Feature Computation: Integral Image
13/09/2010 Jordi Vitrià | Septiembre 2010 14
Smallest
Scale
Larger
Scale
![Page 15: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/15.jpg)
The «bounding box» problem: face detection
Face detection solution: efficient features +
machine learning on very large datasets of
examples.
13/09/2010 Jordi Vitrià | Septiembre 2010 15
![Page 16: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/16.jpg)
State of the art: 89%
The «bounding box» problem: face detection
13/09/2010 Jordi Vitrià | Septiembre 2010 16
“Large-scale Privacy Protection in Google Street View”, Andrea Frome, German Cheung, Ahmad Abdulkader, Marco Zennaro, Bo Wu, Alessandro Bissacco, Hartwig Adam, Hartmut Neven, Luc
Vincent, IEEE International Conference on Computer Vision, 2009.
![Page 17: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/17.jpg)
Person Person
The «bounding box» problem: body detection
13/09/2010 Jordi Vitrià | Septiembre 2010 17
![Page 18: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/18.jpg)
The «bounding box» problem: full body detection
13/09/2010 Jordi Vitrià | Septiembre 2010 18
Pedestrian detection using histograms of oriented gradients (Dalal and Triggs 2005)
![Page 19: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/19.jpg)
Upper Body
The «bounding box» problem: upper body detection
13/09/2010 Jordi Vitrià | Septiembre 2010 19
Upper-body detector by Manuel J. Marín-Jiménez, Vittorio Ferrari and Andrew Zisserman
![Page 20: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/20.jpg)
The «bounding box» problem: person detection
13/09/2010 Jordi Vitrià | Septiembre 2010 20
Part-based object detection (Felzenszwalb et al. 2008)
![Page 21: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/21.jpg)
The «bounding box» problem: person detection
13/09/2010 Jordi Vitrià | Septiembre 2010 21
Part-based object detection (Felzenszwalb et al. 2008)
![Page 22: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/22.jpg)
The «bounding box» problem: person detection
13/09/2010 Jordi Vitrià | Septiembre 2010 22
Lubomir Bourdev, Jitendra Malik, Poselets: Body Part Detectors Trained
Using 3D Human Pose Annotations, ICCV 2009
![Page 23: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/23.jpg)
The «bounding box» problem: person detection
• Detect poselets
(SVM)
• Hough-vote for each
torso location
• Score each cluster:
13/09/2010 Jordi Vitrià | Septiembre 2010 23
)(xaiScore of poselet iat location x
iwWeight of poselet ilearned via M2HT[Maji/Malik CVPR09]
![Page 24: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/24.jpg)
The «bounding box» problem: person detection
13/09/2010 Jordi Vitrià | Septiembre 2010 24
![Page 25: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/25.jpg)
Head
Head
The «bounding box» problem: human layout
13/09/2010 Jordi Vitrià | Septiembre 2010 25
The PASCAL Visual Object Classes Challenge 2010
![Page 26: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/26.jpg)
The «bounding box» problem: human layout
The head is detected by integrating several state-of-the-art part detectors:
13/09/2010 Jordi Vitrià | Septiembre 2010 26
Face (frontal +
lateral) detection
Person detection
using poseletsPerson detection
using Pictorial
Model
Person
Detection
using
Discriminatively
Trained Part-
Based Models
![Page 27: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/27.jpg)
The «bounding box» problem: human layout
EXAMPLE: PASCAL Human Layout Challenge 2010
Faces were detected with OpenCV 2.1.
Details of the implementation:
• We use the following cascades:
• Frontal face (default, alt, alt2, alt_tree).
• Lateral face (profile).
• Each cascade return several (from 0 up to N) hypothesis
about head position.
• To integrate the results we use hierarchical clustering.
13/09/2010 Jordi Vitrià | Septiembre 2010 27
Face (frontal +
lateral) detection
• To integrate the results we use hierarchical clustering.
• The final head box is the one with the maximum score
given by hierarchical clustering.
References: Viola, Jones: Robust Real-time Object Detection, IJCV 2001
0 0.1 0.2 0.3 0.4 0.5 0.6 0.70.8
0.9
1
recall
prec
isio
n
subset: val, part: head, AP = 0.530
![Page 28: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/28.jpg)
The «bounding box» problem: human layout
We use a person detection system proposed by
Felzenszwalb et al. to detect the body.
Details of the implementation:
• Software version: Discriminatively Trained
Deformable Part Models Version 4.
• Based on model aspect analysis we choose 4 models
which best detect the head position.
• For each model we choose the component related with
head position in order to fix the box.
13/09/2010 Jordi Vitrià | Septiembre 2010 28
head position in order to fix the box.
References:
• P. Felzenszwalb, R. Girshick, D. McAllester, D. Ramanan, Object Detection with
Discriminatively Trained Part Based Models, PAMI 2009
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7
0.70.80.9
recall
prec
isio
nsubset: val, part: head, AP = 0.459
Person
detection
![Page 29: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/29.jpg)
The «bounding box» problem: human layout
We use the body detection system proposed by Bourdev
et al.
• Initially, we used the set of 1138 poselets trained from the H3D
database.
• The poselets were trained to vote for position and size of the
head.
• In order to improve results a hierarchical clustering per poselet
was introduced.
• From original poselets set, we selected the 239 poselets which
gives the best, in terms of reliability, votes for the head position.
The used selection criteria was the standard deviation (std) of
13/09/2010 Jordi Vitrià | Septiembre 2010 29
Poselets
detection
The used selection criteria was the standard deviation (std) of
votes for head.
• If std was smaller than a defined threshold then the poselet was
defined as reliable.
Reference:
• Lubomir Bourdev, Jitendra Malik, Poselets: Body Part Detectors Trained Using 3D Human Pose
Annotations, ICCV 2009.
0 0.05 0.1 0.15 0.2 0.25 0.3 0.35 0.4 0.45 0.5
0.70.80.9
recall
prec
isio
n
subset: val, part: head, AP = 0.425
![Page 30: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/30.jpg)
The «bounding box» problem: human layout
Confidence 0.5 Confidence 0.8 Confidence 1.6 Confidence 2.25
13/09/2010 Jordi Vitrià | Septiembre 2010 30
Confidence 0.5 Confidence 0.8 Confidence 1.6 Confidence 2.25
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8
0.70.80.9
recall
prec
isio
n
subset: val, part: head, AP = 0.753
subset: val, part: hand, AP = 0.000
![Page 31: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/31.jpg)
The «bounding box» problem: human layout
13/09/2010 Jordi Vitrià | Septiembre 2010 31
![Page 32: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/32.jpg)
The «bounding box» problem: human layout
13/09/2010 Jordi Vitrià | Septiembre 2010 32
![Page 33: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/33.jpg)
Hand
Hand
Foot
Foot
The «bounding box» problem: human layout
13/09/2010 Jordi Vitrià | Septiembre 2010 33
Hands
Foot
![Page 34: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/34.jpg)
The «bounding box» problem: human layout
Hand detection is a SEARCH problem.
13/09/2010 Jordi Vitrià | Septiembre 2010 34
Hands
Karlinsky Leonid, Dinerstein Michael, Daniel Harari, and Ullman Shimon.
The chains model for detecting parts by their context, CVPR 2010.
![Page 35: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/35.jpg)
The «bounding box» problem: human layout
Hand detection is a SEARCH problem.
13/09/2010 Jordi Vitrià | Septiembre 2010 35
Karlinsky Leonid, Dinerstein Michael, Daniel Harari, and Ullman Shimon.
The chains model for detecting parts by their context, CVPR 2010.
![Page 36: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/36.jpg)
The «bounding box» problem: human layout
Hand detection is a SEARCH problem.
fL)3(TF
)1(TF)2(TF
hL
2F6F
7F
5F
13/09/2010 Jordi Vitrià | Septiembre 2010 36
Karlinsky Leonid, Dinerstein Michael, Daniel Harari, and Ullman Shimon.
The chains model for detecting parts by their context, CVPR 2010.
M,T
Chains model
)2(TF4F
1F
3F
6F
![Page 37: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/37.jpg)
The «bounding box» problem: human layout
Hand detection is a SEARCH problem.
13/09/2010 Jordi Vitrià | Septiembre 2010 37
Karlinsky Leonid, Dinerstein Michael, Daniel Harari, and Ullman Shimon.
The chains model for detecting parts by their context, CVPR 2010.
![Page 38: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/38.jpg)
Gender Ethnicity Age
Facial Attributes
Hair
Glasses
Facial Traits
Aggressiveness
The attributes problem.
13/09/2010 Jordi Vitrià | Septiembre 2010 38
Identity
Facial Expressions
Affect
Emblems
Head pose
![Page 39: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/39.jpg)
Automatic Point-based Facial
Trait Judgments Evaluation
The attributes problem.
![Page 40: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/40.jpg)
Automatic Point-based Facial
Trait Judgments Evaluation
• People are extremely efficient
at making trait judgments (e.g.,
competent, trustworthy) from
faces.
The attributes problem.
faces.
• Rapid, unreflective judgments
of competence based solely on
facial appearance predict
election outcomes.Physiognomy
![Page 41: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/41.jpg)
Automatic Point-based Facial
Trait Judgments Evaluation
Darwin was almost denied the
chance to take the historic
Beagle voyage on account
of his nose.
The attributes problem.
Apparently, the Captain [a fan of
Lavater] did not believe that a
person with such a nose would
“possess sufficient energy and
determination.”
![Page 42: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/42.jpg)
Automatic Point-based Facial
Trait Judgments Evaluation
Evaluating faces = Judging the book by its cover.
• 100 ms exposure is sufficient for a variety of person
judgments
The attributes problem.
– Competence
– Trustworthiness
– Aggressiveness
– Likeability
• Additional time exposure increases confidence in Judgments
• Single glance impressions
![Page 43: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/43.jpg)
Automatic Point-based Facial
Trait Judgments Evaluation
Predicting Senate Elections
The attributes problem.
![Page 44: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/44.jpg)
Automatic Point-based Facial
Trait Judgments Evaluation
The attributes problem.
![Page 45: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/45.jpg)
Automatic Point-based Facial
Trait Judgments Evaluation
The attributes problem.
![Page 46: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/46.jpg)
13/09/2010 Jordi Vitrià | Septiembre 2010 46
From: A.Vinciarelli, M.Pantic, H.Boulard, Social signal processing: Survey of an emerging domain, Image and Vision Computing, Volume 27, Issue 12, November
2009, Pages 1743-1759
![Page 47: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/47.jpg)
Body Pose/Postures
The pose problem.
13/09/2010 Jordi Vitrià | Septiembre 2010 47
![Page 48: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/48.jpg)
The pose problem.
13/09/2010 Jordi Vitrià | Septiembre 2010 48
![Page 49: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/49.jpg)
The pose problem.
13/09/2010 Jordi Vitrià | Septiembre 2010 49
http://www.vision.ee.ethz.ch/~hpedemo/
![Page 50: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/50.jpg)
Human2Human Human2Object
Proxemics Manipulation
The interaction problem.
![Page 51: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/51.jpg)
The interaction problem.
B. Yao and L. Fei-Fei. Modeling Mutual Context of Object and Human Pose in
Human-Object Interaction Activities. IEEE Computer Vision and Pattern Recognition
(CVPR). 2010.
![Page 52: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/52.jpg)
The interaction problem.
B. Yao and L. Fei-Fei. Modeling Mutual Context of Object and Human Pose in
Human-Object Interaction Activities. IEEE Computer Vision and Pattern Recognition
(CVPR). 2010.
![Page 53: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/53.jpg)
The interaction problem.
B. Yao and L. Fei-Fei. Grouplet: a Structured Image Representation for Recognizing
Human and Object Interactions. IEEE Computer Vision and Pattern Recognition
(CVPR). 2010.
![Page 54: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/54.jpg)
The interaction problem.
![Page 55: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/55.jpg)
Context
We can use context!(from Andrew C. Gallagher, A Framework for Using Context to Understand Images of People, PhD Thesis, Carnegie Mellon University, 2009)
Pixel Level
Clothing, other people, relative pose, posture, ...
Capture Content
Time, location, calibration, flash, ...
13/09/2010 Jordi Vitrià | Septiembre 2010 55
Social Context
First name, age, gender, social relationship,
anthropometric data, personal calendar, ...
![Page 56: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/56.jpg)
Context
Contextual features that capture the structure of a group
of people, and the position of individuals within the
group.
13/09/2010 Jordi Vitrià | Septiembre 2010 56
Minimum Spanning Tree Nearest Neighbors
![Page 57: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/57.jpg)
And all this knowledge can be used in real applications…
![Page 58: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/58.jpg)
Agitation in ICU
![Page 59: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/59.jpg)
![Page 60: Sobre la visión por computador aplicada a los humanos ... · Sobre la visión por computador aplicada a los humanos: problemas abiertos y aplicaciones. Jordi Vitrià BCN Perceptual](https://reader035.vdocuments.pub/reader035/viewer/2022081407/60563a4a2920cf5b53531769/html5/thumbnails/60.jpg)
Conclusion
To build “people perception models” is an Internet vision
problem (= visual feature extraction + machine learning + large
databases) that is still in its infancy.