Interact järjestelmäarkkitehtuuriInteract järjestelmäarkkitehtuuri+ vuorovaikutustekniikoista ja evaluoinnista+ vuorovaikutustekniikoista ja evaluoinnista

Markku TurunenTampereen yliopistoTietojenkäsittelytieteiden laitos

Interact - kevätpäiväTaiK, Helsinki, 28.5.2002

TampereUnit forComputerHumanInteraction

Arkkitehtuurin yleiskaavioArkkitehtuurin yleiskaavio

Info

rma

tio

n M

an

ag

em

en

t <?xml version="1.0"?><add> <route> <tag>preferences</tag> <tag>recognizer</tag> </route> <content> <port>8200</port> </content></add>

<?xml version="1.0"?> <result> success </result>

SocketInterface(server)

InformationManager

Implementation(Java)

InformationManager

Implementation(Perl)

InformationManager

Implementation(etc.)

Information Storage

<?xml version="1.0"?><state> <internal> </internal> <user> </user> <history> </history> <technical> </technical> <external> </external></state>

DialogueManagement

DialogueAgent

DialogueAgent

DialogueAgent

DialogueAgentDialogue

Agent

evaluatorscapability evaluatorcons is tency evaluator...

Dialogue Manager

DialogueAgent

PresentationManagement

Presentation Manager

evaluators

PresentationAgentPresentation

Agent

PresentationAgent

PresentationAgent

PresentationAgent

capability evaluatorlanguage evaluator...

CommunicationManagement

Server Client Device

Client Device

Co

mm

un

ica

tion

Ma

na

ge

r

1:1 n:m

InputEvaluator

InputAgentInput

AgentInputAgent

Engine

Engine

InputEvaluatorInput

Evaluator

1:1

InteractionManager

NLU

NLG

DB

Arkkitehtuuri 1Arkkitehtuuri 1Jaettu tietämys

• Kaikki keskeinen informaatio säilytetään yhteisessä tietovarastossa

• kaikki järjestelmän komponentit voivat hyödyntää toisten komponenttien tuottamaa tietoa – keskeinen asia adaptiivisissa järjestelmissä (adaptiivisuus järjestelmän tasolla, ei pelkästään kokoelma adaptiivisia komponentteja)

• esitysmuodolla on keskeinen merkitys, jotta tietoa saadaan hyödynnettyä => yhteisiä esitysmuotoja (esim. Annotation Graphs)

Arkkitehtuuri 2Arkkitehtuuri 2Agentit, evaluaattorit ja managerit

• agentit hoitavat erilaisia vuorovaikutustilanteita toteuttamalla vuorovaikutustekniikoita

• evaluaattorit valitsevat kuhunkin tilanteeseen parhaiten soveltuvimmat agentit

• managerit hoitavat koordinoinnin

• tarjoaa joustavan pohjan hajautettuihin järjestelmiin, uudelleenkäytettäviin komponentteihin ja adaptiivisiin vuorovaikutusratkaisuihin

VuorovaikutuskomponentitVuorovaikutuskomponentit

Interaction ManagerCoordinate Coordinate

Dialogue Model

Dialogue Agents DialogueEvaluators

Evaluate

Dialogue ManagerSelec t Use

Coordinate

Input Model

Input Agents Input Evaluators

Input ManagerUse Use

Coordinate

Presentation Model

PresentationAgents

PresentationEvaluators

Evaluate

Presentation ManagerSelec t Use

Coordinate

Coordinate

Interact arkkitehtuuriInteract arkkitehtuuriInteractin pohjana on arkkitehtuuri

- yleinen puhesovellusten arkkitehtuuri - suunniteltu erityisesti adaptiviisiin sovelluksiin- vapaasti saatavilla- Java + XML

ja - kehityskulku

- moduuleista on siirretty osittain agentteihin- joitakin evaluaattoreita- jaettu tietämys (tietovarasto) ja osittain yhteinen esitysmuoto (AG)- hajautettu prosessointi usealla koneella

- kolmannen vuoden keskeinen asia: ”dialoginhallinnan” ja ”vuorovaikutustekniikoiden” integroiminen toimiviksi vuorovaikutusagenteiksi evaluoinnin pohjalta

Tekninen arkkitehtuuriTekninen arkkitehtuuri

Puheteknologian integrointi järjestelmään

• Useita suomenkielisiä puheentunnistimia kokeiltu, XML pohjainen palvelinarkkitehtuuri, Annotation Graph esitysmuoto koko järjestelmässä

• Usean tunnistimen (erilaisen tunnistinkomponentin, kieliopin, sanaston) hyödyntäminen

• Puhentunnistukseen liittyvien apukomponenttien lisääminen (VAD), laajennettu JSML synteesinohjaus, SuoPuhe projektin synteesiä testattu

VuorovaikutustekniikatVuorovaikutustekniikat

Kohti monipuolista vuorovaikutusta

• Kehitetyssä järjestelmässä on vahvat pohjaratkaisut kaikilla osa-alueilla => hyvä lähtökohta monipuolisen ja joustavan vuorovaikutuksen luomiseksi

• Paljon kiinnostavia vuorovaikutukseen liittyviä kysymyksiä: virheiden hallinta, miellyttävät ja ymmärrettävät puhetulosteet jne.

• Vuorovaikutustason ratkaisujen kehittämiseen tarvitaan käyttökokemuksia

EvaluointiEvaluointi

Järjestelmän evaluointi ja kehittäminen

• Järjestelmästä olemassa toiminnallinen prototyyppi, jonka käytettävyyttä evaluoidaan erilaisilla menetelmillä kesän ja syksyn aikana

• Sekä aitoa järjestelmän käyttöä kenttäkokeilla että yksittäisten osa-alueiden ”laboratorio”-testejä

• vuorovaikutustekniikoiden iteratiivinen kehittäminen käyttäjätestien tulosten pohjalta

• datan kerääminen järjestelmän eri komponenttien kehittämiseksi (oppivat menetelmät, tunnistus)

http://www.cs.uta.fi/hci/spi/mturunen@cs.uta.fi

TampereUnit forComputerHumanInteraction

Department of Computer and Information Sciences

http://www.mlab.uiah.fi/interact/