1

Små enheter i fysisk och digital omgivning

Anders Henrysson

2

Syfte

• Ge överblick över områden som involverar mindre enheter och användare

• Koncept, visioner, definitioner och exempel

• Tänka utanför boxen

Inte:• Tekniska detaljer, standarder, historisk

genomgång

3

Enheter…

…i omgivningen …på kroppen …på skrivbordet …runt om oss

Dolda Omslutande

4

Enheter…

…i omgivningen …på kroppen …på skrivbordet …runt om oss

5

Små enheter…

…i omgivningen …på kroppen …i handen

6

A brief history of time… and computing

Miljö Bord Hand Kropp

2

7

Distribution av vadå?

• Indata distribuerat mellan UI och digital/fysisk omgivning

• Distribution av enheter

8

Vision

• Överbrygga den fysiska verkligheten och den digitala domänen

9

Innehåll

• Wearable Computing• Context Awareness

– Context Aware Retrieval– Pervasive Gaming

• Augmented Reality• Ubiquitous Computing

– Intelligenta hem– Sensornätverk

Wearable Computing

11

Vision

• Bärbar dator integrerad i den vardagliga utstyrseln för att alltid vara behjälplig i olika situationer

1. Förstärkt perception 2. Kommunikationskapacitet3. Tillgång till beräkningskraft och data i

realtid12

Wearable Computing

• Kroppsburen• Alltid på• Alltid tillgänglig

• Förstärkning – Databehandling är INTE det primära

• Inkapsling – Dubbelriktad avskildhet

3

13

Egenskaper

1. Ickebegränsande2. Ej monopol på uppmärksamhet3. Observerbar4. Kontrollerbar5. Påpasslig6. Kommunikativ

7. Proteslik14

KomponenterDator Skärm Input

15

Exempel på system

• Xybernaut• Nomad• Land Warrior

16

Forskning

MIThril

Video

17

Applikationsområden• Rekreation

– Träning, spela, surfa

• Arbete– Beräkningskraft i bortom

skrivbordet

• Hjälpmedel för handikappade– Känna igen hinder,

ansikten etc.

• Augmented Reality18

Diskussion

• Socialt acceptabelt?• Industriellt intresse?

4

Context Awareness

20

Vad är kontext?

• Kontext är den information som kan användas för att beskriva en enhets situation. En enhet är en person, plats eller objekt som anses vara relevant för interaktionen mellan en användare och en applikation, inklusive användaren och applikationen själva.

21

Vad innebär det att vara kontextmedveten?

• Ett system är kontextmedvetet om det använder kontext för att förse användaren med relevant information eller tjänster där relevansen beror på användarens uppgift.

22

Varför kontext?

• Situationsrelaterad information är nödvändig för beslutsfattande och kommunikation

• Förenkla interaktionen med datorer. – Minska användarens input

23

Kontextparametrar• Fysiska

– Position– Tid– Temperatur

• Virtuella– Applikation

• Sociala– Vänner– Medarbetare

• Hälsotillstånd

24

Kontextparametrar

5

25

Inhämtning av kontext

• Fysisk och virtuell information– Bearbetning av rådata och modellering av kontext– Sensorfusion

• Att vara mobil = fysiska kontexten förändras (gradvis)– Förutsäga framtida kontext

26

Trend – Sensorer i mobiler• GPS

– Var är användaren?• Accelerometrar och gyron

– Aktivitet?• Kameror

– Vad tittar användaren på?– Streckkoder för identifikation av

objekt• Mikrofon

– Bakgrundsljud, samtalspartner?• Kompass• RFID

27

Personalisering

• Anpassning av tjänst till användare

28

Applikationsområden

29

Applikationsområden

30

Applikationsområden

• Positionering• Trafikinformation• Affärer, restauranger

etc.

• Posta meddelande påen fysisk plats.

6

31

Applikationsområden

32

Active Badge

• Positionering inomhus• Öppna dörrar, hitta kolleger

33

Memory Glasses

• Sublima påminnelser• Flasha namn,

inköpslista etc. • Undermedveten

förstärkning av minnet.

34

PhoneGuide

• Datorseende• BlueToothsändare

för grovsortering

35

Context Aware Retrieval• Hämta den information som användaren kan

tänkas ha nytta av i en given situation.

• Inte begränsad till specialanpassade applikationer som t.ex. turistguide.

• Trivialt exempel: googla den adress man befinner sig på.

• Märkning (Semantic Web) eller intelligens (textanalys)?

36

JITIR - Jimminy

• Fysisk kontext – position, närvarande personer, tid och samtalsämne

• Användning:– När man går in i ett rum hämtas anteckningar

tagna där– När en person kommer in i rummet hämtas

anteckningar som gjorts med denna person närvarande

7

37

IDEXIS

38

Diskussion

• Säkerhet?• Office-gemet i fysisk kontext?

39

Pervasive Gaming

40

Pervasive Gaming

• Datorspel med verkligheten som spelplan• Kontextmedvetet spel

41

Can You See Me Now?

• 3 Runners– GPS– WLAN

• 15 Online– 3D-modell

42

Uncle Roy All Around You

• Gatuspelare• Onlinespelare

• Webbkameror, textmeddelanden

8

43

Diskussion

• Fasta och tidsbegränsade installationer?

44

Augmented Reality

45

Augmented Reality• Kontextmedvetet gränssnitt• Världen genom datorn• Förstärkt Verklighet

1. Mix av virtuell och verklig information (jmf VR)

2. Registrerad i 3D3. Realtid (jmf SFX)

• ”Genomskinlig” skärm

46

Potential

• Intelligensförstärkning• Ökad produktivitet• Bättre perception av

och interaktion med den verkliga världen

• Eliminera kontextbyte– Problemdomän– Visualiseringsdomän

47

Milgrams kontinuumMixed Reality

RealEnvironment

AugmentedReality (AR)

AugmentedVirtuality (AV)

VirtualEnvironment

48

Milgrams kontinuumMixed Reality

RealEnvironment

AugmentedReality (AR)

AugmentedVirtuality (AV)

VirtualEnvironment

9

49

Vad krävs?

• Gemensamt koordinatsystem (riktiga och virtuella världen)

• Tracking = ”positionering” i 6 dimensioner (position + orientering)

• ELLER använda datorseende • Registrering (på pixelnivå!)• Skärm som tillåter mix av virtuell och

verklig information50

Skärmar

• Optiskt genomskinlig (+VRD)

• Videogenomskinlig

• Projicera påverkligheten

51

Skärmar

• Stationära– ”Fönster”

• Huvudburen– ”Glasögon”

• Handhållen– ”Förstoringsglas”– ”Ficklampa”

52

Applikationsområde 1 - Medicin

53

Applikationsområde 2 –Montering och underhåll

54

Applikationsområde 2 –Montering och underhåll

10

55

Applikationsområde 3 –Annotering av byggnader

56

Övriga applikationsområden

57

Övriga applikationsområden

Två exempel:

•AR Scalemodel

•CMAR

58

MagicBook

• Gränssnitt som spänner över hela Milgramkontinuumet

• Bok + display• Kombination av tryckt 2D, AR och VR• Gradvis övergång

59

Augmented Reality Gaming

60

Epidemic Menace

• Jaga virus

11

61

ARQuake

• CAD-modell som Quakebana

• Renderas ej –enbart för att göra spelfigurer synliga på rätt plats vid rätt tillfälle

• Bärbar dator (Tinmith)

62

Invisible Train

• PDA-baserat• Träbana• Sköt växlar

mha pennan

63

ARTennis

• Mobiltelefon som racket

• Skärmen som input

64

AR LEGO

• Inget spel• 6 frihetsgrader på en

mobiltelefon!• Alla traditionella spel

(schack etc.)?

Ubiquitous Computing

66

Datorkraft överallt

• Små billiga datorer inbyggda i vardagsobjekt

• Datorn som en del av vår miljö

• Jmf text, klockor, elektricitet m.m. Är idag ”Ubiquitous”

• Pervasive-, Ambient-, CalmComputing

12

67

Tredje vågen• Stordatorn

– 1 dator – flera användare

• Personlig dator– 1 dator – 1 användare

• Ubiquitous Computing– flera datorer – 1 användare

68

Gränssnitt för osynliga datorer

• Röst• Gester• Penna• Tangible UI

Sensorer är viktiga!

69

Gränssnitt för osynliga datorer

• Enheter kan upptäcka varandra

• ”Digital kontextmedvetenhet”

• Fjärrgränssnitt på t.ex. mobiltelefon

Ad-hoc-nätverk (Service Discovery) är viktigt!

70

Weisers skala• Tum

– Tab– individuell

• Fot– Pad– individuell

• Yard– Board– Grupp

• Transparent integration• eClass – UbiComp i klassrummet• Project Oxygen (video)

71

Datorn i periferin

• En stor del av vår hjärnkapacitet används för att analysera händelser i periferin

• Centrum – Periferi – centrum.• The Dangeling String

– 8 fot plast slinga– Elmotor kopplad till ethernetkabel– Rörelse (och ljud) baserad på

trafik• Väder som Mondrian

– Färgkodat väder från sex städer 72

MediaCup

• Position• Temperatur• Användning

13

73

Intelligenta hem

74

Intelligenta hem

• Ubiquitous Computingi vardagsrummet

• Övervaka genom sensorer– Fukt, intrång, brand– Larm via sms etc.

• Spåra innehåll– När går mjölken ut?

• Styr över Internet– Stäng av spisen– Starta mikron

75

Aware Home

• Video

76

Intelligenta hem

• Roomba• Trilobit

– SLAM

77

Sensornätverk• Små kontextmedvetna element• Mäter:

– Fukt, värme, närvaro, ljus, ljud, lukt, tryck, vibration m.m

• När dessa utrustas med positionering och trådlös kommunikation öppnas nya möjligheter att förstå miljön

• Kontextmedvetenhet innan: hämta digital information som är relevant i en viss kontext

• Med sensornätverk: skapa digital information som beskriver en viss kontext

78

Sensornätverk

• Sensornätverk måste ”skördas”• Med t.ex organisk elektronik kommer man

kunna bygga mycket billiga sensorer• Tusentals trådlösa sensorer skapar

mycket data som måste analyseras.

14

79

Reality Mining

• Data mining av sensordata• Surfa verkligheten• Få direkt insikt i aktuella

förhållanden– Trafiksituation– Väder– Skogsbränder– Övervakning

80

Surfa verkligheten• Se sensorer som pixlar• Raster av sensornätverk• Mappa till färgvärde• Visualisera

81

Visualisering av sensornätverk med Augmented Reality

• Skörda sensornätverket• Mappa till färgvärden• Interpolera • Registrera med

verkligheten• Tracking med kameran och

markör• Mobiltelefon som magisk

lins• Video

82

Diskussion

• Storebrorssamhället?• Säkerhet vs. Ad-hoc?

83

Tangible Computing/UI

84

Tangible Computing

• Människans finmotorik utnyttjas inte till fullo av dagens datorer och dess gränssnitt

• Miniatyrisering tillåter datorer att manipuleras som objekt

“Human beings are visually oriented, hands on and curious by nature. We may want to keep tangible interfaces to the real world and retain at least the impression that we know what is

going on.”

Ian Pearson, BT Futurologist

15

85

Active Cube

• Datorn känner av vad som byggs

• Video

86

Tangible Bits

• I/O Brush• Topobo• IP Network Design Workbench

87

Tablescape Plus

• Video

88

Coola projekt

89

Augmented Coliseum

• Video

90

Human Pacman

• Video

16

91

NeonRacer

• video

92

Kick Real

93

Invisible - The Shadow Chaser• Jaga osynliga

spöken• Se skuggorna• Hör fotsteg• Ljud + haptik

94

bYOB

• video

95

Mer utanför-lådan-material

• Se www.we-make-money-not-art.com för fler projekt

96

Summering

• Fått med det mesta, men har bara skrapat på ytan

• Sammansmältning av fysiskt och digitalt• Mycket forskning återstår innan detta blir

verklighet. Kan det överhuvudtaget realiseras?

17

97

Referenser

1. Googla2. Hör av er till andhe@itn.liu.se ifall det är

något speciellt ni vill ha mer info om