itslp1100 introduksjon til kognitive vitenskaper · uke 7-8: lingvistikk og nlp. semantikk, syntaks...

29
1 ITSLP1100 Introduksjon til kognitive vitenskaper Erik Velldal 15/01/2008

Upload: others

Post on 11-Oct-2020

1 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: ITSLP1100 Introduksjon til kognitive vitenskaper · Uke 7-8: Lingvistikk og NLP. Semantikk, syntaks og grammatikker. Stephan Oepen. 4 Forelesningsplan (del 2) ... Forsøker å prestere

1

ITSLP1100Introduksjon til kognitive vitenskaper

Erik Velldal15/01/2008

Page 2: ITSLP1100 Introduksjon til kognitive vitenskaper · Uke 7-8: Lingvistikk og NLP. Semantikk, syntaks og grammatikker. Stephan Oepen. 4 Forelesningsplan (del 2) ... Forsøker å prestere

2

Praktisk

Pensum: Copeland (1993): Artificial Intelligence Flere “ gjesteforelesninger” av andre fra LNS, basert på

egne tilleggsartikler. Kontakt: erik.velldal [AT] ifi.uio.no www.uio.no/studier/emner/matnat/ifi/ITSLP1100 3 timers skoleeksamen. 2 obligatoriske presentasjoner i gruppene. Selvvalgt tema.

Page 3: ITSLP1100 Introduksjon til kognitive vitenskaper · Uke 7-8: Lingvistikk og NLP. Semantikk, syntaks og grammatikker. Stephan Oepen. 4 Forelesningsplan (del 2) ... Forsøker å prestere

3

Forelesningsplan (del 1)

Uke 3: Introduksjon. Tidlig AI. Copeland 1-2. Uke 4: Turingtesten og symbolsystem-hypotesen.

Cop. 3-5. Uke 5-6: Turingmaskiner, logikk, syntaks og

symbolske systemer. Herman Ruge Jervell. Uke 7-8: Lingvistikk og NLP. Semantikk, syntaks og

grammatikker. Stephan Oepen.

Page 4: ITSLP1100 Introduksjon til kognitive vitenskaper · Uke 7-8: Lingvistikk og NLP. Semantikk, syntaks og grammatikker. Stephan Oepen. 4 Forelesningsplan (del 2) ... Forsøker å prestere

4

Forelesningsplan (del 2)

Uke 9: Searle og “ det kinesiske rommet” . Asbjørn Brændeland. Cop. 6.

Uke 10-11: Determinisme og bevissthet. Cop. 7-9. Uke 12-14: Fri (påske + midttermineksamen) Uke 15: Sub-symbolsk AI, nevrale nettverk,

maskinlæring. Cop. 10. Uke 16: Maskinlæring. Eksempler fra klassifikasjon. Uke 17: Fremtiden, transhumanisme og singularitet.

Oppsummering.

Page 5: ITSLP1100 Introduksjon til kognitive vitenskaper · Uke 7-8: Lingvistikk og NLP. Semantikk, syntaks og grammatikker. Stephan Oepen. 4 Forelesningsplan (del 2) ... Forsøker å prestere

5

I dag..

Introduksjon til AI. Kort oversikt over de første datamaskinene. Eksempler på noen tidlige og historisk viktige AI-programmer.

Page 6: ITSLP1100 Introduksjon til kognitive vitenskaper · Uke 7-8: Lingvistikk og NLP. Semantikk, syntaks og grammatikker. Stephan Oepen. 4 Forelesningsplan (del 2) ... Forsøker å prestere

6

Alan Turing

Kryptograf og matematiker. I propose to consider the question, 'Can machines think?' (A Turing, Computing Machinery and Intelligence, 1950)

Beskrev den første generelle datamaskinen med lagret program i 1936.

Vi skal i senere forelesninger høre mer om turingmaskiner og turingtesten.

Page 7: ITSLP1100 Introduksjon til kognitive vitenskaper · Uke 7-8: Lingvistikk og NLP. Semantikk, syntaks og grammatikker. Stephan Oepen. 4 Forelesningsplan (del 2) ... Forsøker å prestere

7

Kunstig Intelligens (KI / AI)

John McCarthy om AI: «the science and engineering of making intelligent machines.»

Dartmouth-konferansen i 1956. Fra programmet: «Every aspect of learning or any other feature of intelligence can be so precisely described that a machine can be made to simulate it.»

Page 8: ITSLP1100 Introduksjon til kognitive vitenskaper · Uke 7-8: Lingvistikk og NLP. Semantikk, syntaks og grammatikker. Stephan Oepen. 4 Forelesningsplan (del 2) ... Forsøker å prestere

8

Tverrfaglighet

Page 9: ITSLP1100 Introduksjon til kognitive vitenskaper · Uke 7-8: Lingvistikk og NLP. Semantikk, syntaks og grammatikker. Stephan Oepen. 4 Forelesningsplan (del 2) ... Forsøker å prestere

9

De første datamaskinene

De første elektroniske maskinene ble utviklet uavhengig i Tyskland, USA, og England på ca samme tid.

Z3, Tyskland, 1941. Verdens første generelle programmerbare datamaskin.

Colossus, England, 1943. Kodeknekker. ASCC (= Harvard Mark I), USA, 1944. Verdens største elektro-mekaniske kalkulator.

Page 10: ITSLP1100 Introduksjon til kognitive vitenskaper · Uke 7-8: Lingvistikk og NLP. Semantikk, syntaks og grammatikker. Stephan Oepen. 4 Forelesningsplan (del 2) ... Forsøker å prestere

10

De første datamaskinene ENIAC, USA, 1945, verdens første fullstendig elektroniske generelle datamaskin.

The Baby / Manchester Mark I, England, 1948. Første maskinen med von Neumann-arkitektur og elektromagnetisk lagret program.

Page 11: ITSLP1100 Introduksjon til kognitive vitenskaper · Uke 7-8: Lingvistikk og NLP. Semantikk, syntaks og grammatikker. Stephan Oepen. 4 Forelesningsplan (del 2) ... Forsøker å prestere

11

Tidlige og klassiske AI-programmer vi skal se nærmere på

Chatbots: ELIZA, Parry, m.fl. Shrdlu. Hacker. Logiske teorembevisere. Ekspertsystemer. Spillprogrammer.

Page 12: ITSLP1100 Introduksjon til kognitive vitenskaper · Uke 7-8: Lingvistikk og NLP. Semantikk, syntaks og grammatikker. Stephan Oepen. 4 Forelesningsplan (del 2) ... Forsøker å prestere

12

ELIZA

Skrevet av Joseph Weizenbaum i 1966 (MIT) Tidlig eksempel på chatbot / conversational agent

Simulerer (eller parodierer) en psykoterapeut Første program som etterlikner menneskelig interaksjon

(Forsøk å kjøre 'M-x doctor' i GNU Emacs)

Page 13: ITSLP1100 Introduksjon til kognitive vitenskaper · Uke 7-8: Lingvistikk og NLP. Semantikk, syntaks og grammatikker. Stephan Oepen. 4 Forelesningsplan (del 2) ... Forsøker å prestere

13

Brukerdialog med ELIZAPerson: Men are all alike.

ELIZA: In what way?Person: They're always bugging us about something or other.

ELIZA: Can you think of a specific example?Person: Well, my boyfriend made me come here.

ELIZA: Your boyfriend made you come here?Person: He says I'm depressed much of the time.ELIZA: I am sorry to hear that you are depressed.

Person: It's true. I am unhappy.ELIZA: Do you think coming here will help you not to be unhappy?

Person: I need some help, that much seems certain.ELIZA: What would it mean to you if you got some help?

Person: Perhaps I could learn to get along with my mother.ELIZA: Tell me more about your family.

Page 14: ITSLP1100 Introduksjon til kognitive vitenskaper · Uke 7-8: Lingvistikk og NLP. Semantikk, syntaks og grammatikker. Stephan Oepen. 4 Forelesningsplan (del 2) ... Forsøker å prestere

14

Parrythe paranoid program

Skrevet av psykiateren Kenneth Colby i 1972 (ved Stanford)

En humørsyk og schizofren paranoid chatbot ELIZA og Parry ble flere ganger koblet sammen som samtalepartnere over ARPA-nettet

Page 15: ITSLP1100 Introduksjon til kognitive vitenskaper · Uke 7-8: Lingvistikk og NLP. Semantikk, syntaks og grammatikker. Stephan Oepen. 4 Forelesningsplan (del 2) ... Forsøker å prestere

15

Samtale mellom ELIZA og Parry (1)

Parry: People get on my nerves sometimes.Eliza: I am not sure I understand you fully.Parry: You should pay more attention.Eliza: Suppose you should pay more attention?Parry: You're entitled to your opinion.Eliza: What makes you think I'm entitled to my opinion?Parry: It bothers me just to be around people.Eliza: Please go on.

[Parry continues with some paranoid ramblings about horseracing, bookies, and the Mafia]

Page 16: ITSLP1100 Introduksjon til kognitive vitenskaper · Uke 7-8: Lingvistikk og NLP. Semantikk, syntaks og grammatikker. Stephan Oepen. 4 Forelesningsplan (del 2) ... Forsøker å prestere

16

Samtale mellom ELIZA og Parry (2)Parry: I know the mob controls the big rackets.Eliza: Who are you really talking about?Parry: Have you ever really thought about the Mafia?Eliza: Suppose you ever really thought about the Mafia?Parry: Let's talk about something else.Eliza: I am not sure I understand you fully.Parry: You keep asking me the same things, why not

change the topic?Eliza: In what way?Parry: I am getting tired of answering the same questions

over and over.Eliza: What resemblance do you see?Parry: Why do you need to know that?Eliza: What do you think?

Page 17: ITSLP1100 Introduksjon til kognitive vitenskaper · Uke 7-8: Lingvistikk og NLP. Semantikk, syntaks og grammatikker. Stephan Oepen. 4 Forelesningsplan (del 2) ... Forsøker å prestere

17

Samtale mellom ELIZA og Parry (3)

Parry: You harp on the same questions too much.Eliza: What does that similarity suggest to you?Parry: I don't get you.Eliza: Do you wish that you did get it?Parry: It's about time you showed some interest in my

feelings.Eliza: Oh, I showed some interest in your feelings?

(fra George Johnson, The Machinery Of The Mind, 1986)

Page 18: ITSLP1100 Introduksjon til kognitive vitenskaper · Uke 7-8: Lingvistikk og NLP. Semantikk, syntaks og grammatikker. Stephan Oepen. 4 Forelesningsplan (del 2) ... Forsøker å prestere

18

Hvordan ELIZA virker Enkle grammatiske transformasjoner. Gjentar tidligere input-setninger og sammen med enkle fraser.Parry: You're entitled to your opinion.

Eliza: What makes you think I'm entitled to my opinion? Utnytter nøkkelord

..mother.. --> Tell me more about your family. Generelle fraser som siste utvei:

Please go on. Tell me more. Svært begrenset representasjon, uten semantikk eller dialogstruktur.

Page 19: ITSLP1100 Introduksjon til kognitive vitenskaper · Uke 7-8: Lingvistikk og NLP. Semantikk, syntaks og grammatikker. Stephan Oepen. 4 Forelesningsplan (del 2) ... Forsøker å prestere

19

Moderne eksempler på chatbots:ALICE og Jabberwacky

En samtale mellom ALICE og Jabberwacky:

ALICE: Who created you?Jabberwacky: My mother gave birth to me. Is that what

you mean?ALICE: Jabberwacky, I meant exactly what I said.Jabber.: Do you believe in God?ALICE: Of course I believe in God.Jabber.: Why do you believe in God?ALICE: The Bible tells us to believe in God.Jabber.: That’ s circular reasoning.ALICE: I’ m glad we have that all cleared up.

Page 20: ITSLP1100 Introduksjon til kognitive vitenskaper · Uke 7-8: Lingvistikk og NLP. Semantikk, syntaks og grammatikker. Stephan Oepen. 4 Forelesningsplan (del 2) ... Forsøker å prestere

20

Shrdlu

Skrevet av Terry Winograd ved MIT, 1968-70. En virtuell robot som utfører kommandoer i en «mikro-verden» bestående av geometriske figurer med forskjellig form og farge.

Tre typer kunnskap: Syntaks Semantikk Deduksjon

Page 21: ITSLP1100 Introduksjon til kognitive vitenskaper · Uke 7-8: Lingvistikk og NLP. Semantikk, syntaks og grammatikker. Stephan Oepen. 4 Forelesningsplan (del 2) ... Forsøker å prestere

21

Hacker

Skrevet av Gerald Sussman ved MIT, 1973. Program for enkel problemløsning i en begrenset mikro-verden (slik som Shrdlu).

Kan automatisk lære seg nye funksjoner. Regler for selv-programmering ved å transformere tidligere funksjons-definisjoner.

Vi skal senere se flere eksempler på maskinlæring, -programmer som kan trenes opp og bli bedre gjennom erfaring.

Page 22: ITSLP1100 Introduksjon til kognitive vitenskaper · Uke 7-8: Lingvistikk og NLP. Semantikk, syntaks og grammatikker. Stephan Oepen. 4 Forelesningsplan (del 2) ... Forsøker å prestere

22

Ekspertsystemer

Hva er en ekspert? Har ferdigheter, kunnskap og erfaring utover det normale på

et begrenset felt. Har spesialkompetanse til å fatte gode og effektive beslutninger.

Kan løse standardproblemer ved hjelp av «snarveier» og tommelfingerregler.

Hva er et ekspertsystem? Et system for automatiserte ekspertløsninger på komplekse

problemer. Forsøker å prestere på linje med menneskelige eksperter.

Basert på en kunnskapsbase og heuristiske slutningsregler.

Page 23: ITSLP1100 Introduksjon til kognitive vitenskaper · Uke 7-8: Lingvistikk og NLP. Semantikk, syntaks og grammatikker. Stephan Oepen. 4 Forelesningsplan (del 2) ... Forsøker å prestere

23

Mycin Eksempel på et tidlig ekspertsystem, utviklet på Stanford på begynnelsen av 70-tallet.

Diagnostiserer bakterielle blodinfeksjoner. Hver diagnose gis med en «sikkerhetsfaktor». Foreslår ev. tilpasset antibiotika-behandling. Knowledge engineering: hvordan best ekstrahere og representere den menneskelige ekspertisen og kunnskapen.

Page 24: ITSLP1100 Introduksjon til kognitive vitenskaper · Uke 7-8: Lingvistikk og NLP. Semantikk, syntaks og grammatikker. Stephan Oepen. 4 Forelesningsplan (del 2) ... Forsøker å prestere

24

Spillprogrammer: Sjakk

Også eksempel på et slags ekspertsystem. Feng-hsiung Hsu: ChipTest + Deep Thought (CMU) og Deep Blue (IBM).

Deep Thought tapte mot verdensmesteren Garry Kasparov i 1989...

Men Deep Blue vant over Kasparov i 1997. Kasparov beskyldte IBM for juks og mente at trekkene til Deep Blue var så intelligente og kreative at mennesker var nødt til å stå bak.

Page 25: ITSLP1100 Introduksjon til kognitive vitenskaper · Uke 7-8: Lingvistikk og NLP. Semantikk, syntaks og grammatikker. Stephan Oepen. 4 Forelesningsplan (del 2) ... Forsøker å prestere

25

Chess is the Drosophila of Artificial Intelligence. (Alexander Kronrod i 1965, russisk matematiker)

However, computer chess has developed much as genetics might have if the geneticists had concentrated their efforts starting in 1910 on breeding racing Drosophila. We would have some science, but mainly we would have very fast fruit flies. (John McCarthy, 1997)

Page 26: ITSLP1100 Introduksjon til kognitive vitenskaper · Uke 7-8: Lingvistikk og NLP. Semantikk, syntaks og grammatikker. Stephan Oepen. 4 Forelesningsplan (del 2) ... Forsøker å prestere

26

Eksemplene viser programmer som;

..kommuniserer med oss via et naturlig språk. ..innen et avgrenset område kan gjøre det bedre enn menneskelige eksperter, inkludert programmereren selv.

..lærer av erfaring. ..programmerer seg selv. ..kan resonnere logisk.

Page 27: ITSLP1100 Introduksjon til kognitive vitenskaper · Uke 7-8: Lingvistikk og NLP. Semantikk, syntaks og grammatikker. Stephan Oepen. 4 Forelesningsplan (del 2) ... Forsøker å prestere

27

«Human AI vs. Alien AI»

Herbert A. Simon: AI can have two purposes. One is to use the power of computers to augment human thinking, just as we use motors to augment human or horse power. Robotics and expert systems are major branches of that. The other is to use a computer's artificial intelligence to understand how humans think. In a humanoid way. If you test your programs not merely by what they can accomplish, but how they accomplish it, then you're really doing cognitive science; you're using AI to understand the human mind. (The Sciences of the Artificial, 1996)

Page 28: ITSLP1100 Introduksjon til kognitive vitenskaper · Uke 7-8: Lingvistikk og NLP. Semantikk, syntaks og grammatikker. Stephan Oepen. 4 Forelesningsplan (del 2) ... Forsøker å prestere

28

«Human AI vs. Alien AI»

To forskjellige perspektiver og motiver:

A) Målet er bare å lage systemer som fungerer bra. Pragmatisk og ingeniørmessig tilnærming.

B) Målet er å si noe om hvordan menneskelig kognisjon fungerer.

Page 29: ITSLP1100 Introduksjon til kognitive vitenskaper · Uke 7-8: Lingvistikk og NLP. Semantikk, syntaks og grammatikker. Stephan Oepen. 4 Forelesningsplan (del 2) ... Forsøker å prestere

29(xkcd.com)