Język: jak robią to mózgi ?Język: jak robią to mózgi ?

Włodzisław DuchWłodzisław Duch

Katedra Informatyki StosowanejKatedra Informatyki Stosowanej, , Uniwersytet Mikołaja Kopernika, ToruńUniwersytet Mikołaja Kopernika, Toruń

Google: Google: W. W. DuchDuch

III Krakowska Konferencja Kognitywistyczna: Język odnaleziony.III Krakowska Konferencja Kognitywistyczna: Język odnaleziony.Kraków 13-15.03.2009Kraków 13-15.03.2009

PlanPlan

2. Lingwistyka i informatyka neurokognitywna.3. Słowa w mózgu i ich komputerowe modele.4. Wgląd i rola prawej półkuli. 5. Skojarzenia i kreatywność. 6. Neurokognitywny model wyższych czynności

psychicznych.7. Przykłady zastosowań: tworzenie nowych słów,

zagadki i gry słowne. 8. Kreatywność słowotwórcza.9. Zastosowania medyczne. 10. Przyszłość.

Wielkie wyzwaniWielkie wyzwanie AI: e AI: językjęzyk• Test Turinga – pierwotny test zbyt trudny.

• Warianty: pytania: tak/nie; osobisty test Turinga (Carpenter & Freeman), program udaje osobę, którą dobrze znamy.

• Nagroda Loebnera: w stylu testu Turinga, od prawie 20 lat zawody botów i ludzi rozmawiających z sędziami, większość oparta na szablonach i dopasowaniu wzorców = oszustwo daje dość dużo.

• Systemy Q/A, oceniane na Text Retrieval Conference (TREC).

• Gry słowne, np. gra w 20 pytań, wymagająca znajomości pojęć i ich własności, ale nie złożonych relacji pomiędzy nimi. Postępy w uczeniu się naturalnego języka zależą od automatycznego tworzenia, rozwijania i używania obszernych baz wiedzy.

• Inteligentne systemy wspomagające nauczanie, kombinacja rozumowania i kompetencji językowych, trudne do oceny?

Projekty NLPProjekty NLPOpen Mind Common Sense Project (MIT): projekt kolaboracyjny WWW , ponad 15 000 autorów, którzy wpisali ponad 710 000 faktów; wyniki posłużyły do utworzenia

ConceptNet, bardzo dużej sieci semantycznej.

Commonsense Computing @ MediaLab, MIT, miał stworzyć skalowalny system oparty na zdroworozsądkowej wiedzy, zbieranej z tekstów, zautomatyzowanych obserwacji i w projektach kolaboracyjnych.

LifeNet zbiera informację o wydarzeniach w życiu, opiera się na wersji Multi-Lingual ConceptNet używając sieci semantycznej, która ma 300 000 węzłów; informacja o zdarzeniach ma być zbierana z sensorów. Honda Open Mind Indor Common Sense zbiera nadal info zadając pytania.

Inne projekty: HowNet (Chinese Academy of Science), FrameNet (Berkeley), różne duże ontologie, MindNet (Microsoft), początkowo do tłumaczenia. Próbują zgromadzić fakty o świecie, ale mózgi robią to inaczej ...

Lingwistyka NeurokognitywnaLingwistyka NeurokognitywnaJerome A. Feldman, From Molecule to Metaphor:

A Neural Theory of Language. MIT Press 2006

• Thought is structured neural activity.

• Language is inextricable from thought and experience.

Większość lingwistów specjalizuje się w fonetyce, fonologii, morfologii, syntaktyce, leksykografii, ontologiach, semantyce, pragmatyce ... ale język jest wielo-modalny, zintegrowany z percepcją i myśleniem. Tylko neuronowe teorie języka (NTL) mogą prawidłowo opisać wszystkie jego aspekty, łącznie z dynamiką.

Nawet proste mózg-podobne przetwarzanie informacji daje psychologicznie interesujące rezultaty => złożoność mózgu nie jest głównym problemem! Trzeba robić modele odpowiednich struktur.

Informatyka neurokognitywna: uproszczone modele wyższych czynności poznawczych, myślenia, rozwiązywania problemów, uwagi, kontroli zachowania, świadomości, języka => praktyczne algorytmy, lepsze zrozumienie procesów.

Język i ucieleśnienieJęzyk i ucieleśnienie

Ucieleśnienie jest modne ale nie takie nowe, eg: • R. Brooks, Elephants Don’t Play Chess (1990),

R. Brooks, L.A. Stein, Building Brains for Bodies (1993), Cog project manifesto (1993-2003).

• Varela, Thompson, Rosch, The embodied mind 1991W lingwistyce: • Lakoff & Johnson, Philosophy In The Flesh (1999).• Lakoff & Nunez, Where Mathematics Comes From? How the

Embodied Mind Brings Mathematics into Being (2000).

Postępy lingwistyki komputerowej są powolne, wielu ekspertów utraciło wiarę w metody formalne, pojawiły się metody statystyczne korzystające z ogromnych korpusów, oraz idee ucieleśnienia i enaktywizmu.

Kilka większych projektów realizowanych jest w ramach FP6.

•Protojęzyki w komunikacji robotów (Kismet, Aibo) – konf. w Toruniu!

•Matematyka kognitywna (Lakoff) tłumaczy metafory leżace u podstaw rozumienia abstrakcyjnych koncepcji.

Jakie ucieleśnienie?Jakie ucieleśnienie?

Jak mogą wyglądać "ucieleśnione" reprezentacje? • Brak reprezentacji, jedynie reakcje sensomotoryczne? • Wszystkie pojęcia są ucielesnione, czy tylko pojęcia pierwotne?

Aaron Sloman (2007): wszystkie proste pojęcia wywodzą się z cielesnych doświadczeń, inne są wymyślane, złożone, abstrakcyjne.David Hume podał przykład pojęcia złożonego: “złota góra”. Zamiast ugruntowania symboli Sloman proponuje jedynie ich zaczepienie.

Pojęcia jako “obiekty umysłu”Pojęcia jako “obiekty umysłu”

W 1994 przedstawiłem podobny model: pierwotne obiekty umysłu powstają z danych zmysłowych (wzrok, słuch, dotyk, wrażenia kinestetyczne i inne), a obiekty wtórne tworzą się jako abstrakcyjne kategorie, oparte na pierwotnych.

Peter Gärdenfors opracował podobny model geometryczny (Conceptual Spaces).

Przestrzeń pojęć definiuje wymiary, w których można zdefiniować stan umysłu związany z doświadczeniem wewnętrznym, wrażeniami specyficznych jakości, intencjami.

Kluczowa metafora: świadomy umysł jest cieniem neurodynamiki, więc wszystkie zdarzenia trzeba z niej wyprowadzić.

Metafora systemu dynamicznegoMetafora systemu dynamicznegoUmysł/mózg jak system dynamiczny:

• Thelen E. and Smith L.B. A Dynamic Systems Approach to the Development of Cognition and Action. MIT Press 1994.

• Smith L.B. and Thelen E, Eds. A Dynamic Systems Approach to the Development. MIT Press 1994.

• J. A. Scott Kelso, Dynamic Patterns. The Self-Organization of Brain and Behavior. MIT Press 1995

Jak połączyć neuro i psyche ?

• R. Shepard (BBS, 2001): uniwersalne prawa należy sformułować w odpowiednich abstrakcyjnych przestrzeniach psychologicznych; próba uproszczenia neurodynamiki => geometryczne modele umysłu.

• K. Lewin, koncepcyjna reprezentacja i pomiary siły psychologicznych (1938), stan kognitywny jako ruch w p-ni fenomenologicznej.

• George Kelly (1955), personal construct psychology (PCP), geometria p-ni psychologicznych jako alternatywa dla logiki.

Model czytaniaModel czytania

Uczenie: przypadkowy wybór jednej z 3 warstw (ortografia, fonologia,

semantyka) jako wejścia, a pozostałych dwóch jako wyjścia, czyli mapowanie

jednego aspektu na dwa inne.

Symulacje można robić za pomocą

gotowych programów pozwalających

na robienie eksperymentów.

Model czytania uwzględnia

ortografię, fonologię i semantykę,

warstwę której pobudzenia

identyfikują jednoznacznie sens.

Uczenie zarówno korelacyjne jak

i konkurencyjne.

TrajektorieTrajektorie

• Sieci zbiegają do interpretacji różnymi drogami, możemy badać dynamikę

tego procesu, np: reakcje warstwy semantycznej dla poszczególnych słów:

rent; tart, wave cost (skojarzenie semantyczne), tent (fonologiczne).

Trajektorie - energieTrajektorie - energie

P.McLeod, T. Shallice, D.C. Plaut, Attractor dynamics in word recognition: converging evidence from errors by normal subjects, dyslexic patients and a connectionist model. Cognition 74 (2000) 91-113.

Maskowanie krótko widzianych słów przez kolejne; pokazuje dynamikę atraktorową procesów czytania, błędy semantyczne i fonologiczne.

Parę pytań i odpowiedziParę pytań i odpowiedzi

• Jakie procesy zaangażowane są w proces czytania i dlaczego czasami zawodzą (dysleksja, pomyłki w czytaniu)? Mamy rozproszone reprezentacja leksykalne, interakcje między rozpoz- nawaniem znaków, poziomem pisowni (ortografia), fonologii i semantyki.

• Skąd bierze się znaczenie słów? Dzięki ko-okurencji z innymi słowami oraz oddziaływaniom z reprezentacjami danych z różnych zmysłów.

• W jaki sposób czytamy znane słówka: cat, yacht, a jak wymyślone, np. nust? Dzięki kontekstowo aktywowanym reprezentacjom dającym kontinuum pomiędzy regularnymi formami a wyjątkami.

• Czemu dzieci mówią „I goed” zamiast „I went”? Z powodu dynamicznej równowagi pomiędzy mapowaniem form regularnych i wyjątków.

• Jak od słów przejść do zdań? Pozwala na to „gestalt zdań”, ograniczone trajektorie wynikające z prezentacji słów, które można zrozumieć jako przybliżone reguły gramatyczne.

• Jak to jednak zrobić na dużą skalę w systemach NLP?

Słowa w mózguSłowa w mózguEksperymenty psycholingwistyczne dotyczące mowy pokazują, że w mózgu mamy dyskretne reprezentacje fonologiczne, a nie akustyczne.

Sygnał akustyczny => fonemy => słowa => koncepcje semantyczne.

Aktywacje semantyczne następują 90 ms po fonologicznych (N200 ERPs).

F. Pulvermuller (2003) The Neuroscience of Language. On Brain Circuits of Words and Serial Order. Cambridge University Press.

Fonologiczna gęstość otoczenia słowa = liczba słów brzmiących podobnie jak dane słowo, czyli dająca podobne pobudzenia mózgu.

Semantyczna gęstość otoczenia słowa = liczba słów o podobnym znaczeniu (rozszerzona podsieć aktywacji).

Sieci działania – postrzegania, wnioski z badań ERP i fMRI.

Symbole w mózguSymbole w mózguJak pojęcia słyszane, pomyślane, widziane aktywują mózgi?

Eksperymenty z użyciem fMRI pozwalają na rozpoznanie aktywnych obszarów, zwykle w lewym płacie skroniowym (Cohen i inn. 2004).

Różne aspekty: ortografia, fonologia, artykulacja, semantyka.

Lateral inferotemporal multimodal area (LIMA) reagują zarówno na wzrokową jak i słuchową stymulację, wykazują fonemiczne i leksykalne korelacje krosmodalne. Visual word form area (VWFA), leży w pobliżu w bruździe potyliczno-skroniowej.

AWFA dla słuchu, w lewym przednim górnym zakręcie skroniowym?

Położenie tych regionów w różnych obszarach mózgu jest zróznicowane.

Lewa półkula: precyzyjna reprezentacja koncepcji (odnośniki i składowe fonetyczne); prawa półkula? Reaguje na zróżnicowane pobudzenia.

Neuroobrazowanie słów?Neuroobrazowanie słów?Predicting Human Brain Activity Associated with the Meanings of Nouns," T. M. Mitchell et al, Science, 320, 1191, May 30, 2008

•Czy możemy zobaczyć reprezentacje pojęć w mózgu? Po raz pierwszy udało się zobaczyć w miarę stabilne obrazy fMRI ludzi, którzy widzą, słyszą lub myślą o jakimś pojęciu.

•Czytanie słów, jak i oglądanie obrazków, które przywodzą na myśl dany obiekt, wywołuje podobne aktywacje - mózgowy kod sensu pojęć.

•Indywidualne różnice są spore ale aktywacje pomiędzy różnymi ludźmi są na tyle podobne, że klasyfikator może się tego nauczyć.

•Model nauczony na ~10 fMRI skanach + dużym korpusie słów (1012) przewiduje aktywność fMRI dla ponad 100 rzeczowników.

Aktywacje mózgu dla różnych słów mogą służyć za rozkłady bazowe pozwalające za pomocą korelacji pomiędzy słowami przewidzieć aktywacje dla nowych pojęć; pobudzenia mózgu = naturalna baza reprezentacji.

Przykłady fMRI dla czasowników .

Rozpoznawanie obiektówRozpoznawanie obiektówTeroia S. Edelmana (1997) ; co trzeba wyjaśnić ? Podobieństwo obiektów. Wystarcz ado tego nisko-wymiarowa przestrzeń (<300) "pól recepcyjnych". Rozkłady prawdopodobieństwa aktywacji populacji kolumn korowych działają jak słabe klasyfikatory działające jako całość (komitet).

BICA BICA jako aproksymacjajako aproksymacja• Znaczne postępy poczyniono wykorzystując

inspiracje z badań nad mózgiem do analizy percepcji, mniejsze dla wyższych czynności poznawczych.

• Neurokognitywne podejście do lingwistyki stosowano do analizy zjawisk lingwistycznych, ale ma to niewielki wpływ na NLP.

• Potrzebne są nowe matematyczne techniki by opisać procesy obliczeniowe w terminach “wzorców stanów mózgu” i rozchodzenia się aktywacji między takimi wzorcami. Jak to zrobić?

• Prototypy dla stanów neuronowych? Możliwe, dobre rezultaty z analizy EEG => ruchy ręki lub ruchy oczu.

• Quasi-stacjonarne fale pobudzeń opisujące globalne stany mózgu w określonym kontekście Ψ(w,Cont)?

• Jak wyglądają ścieżki rozchodzenia się aktywacji w mózgu? Praktyczny algorytm rozszerza rep. pojęcia o te kategorie skojarzeń, które są pomocne w klasteryzacji i klasyfikacji (Duch i inn, Neural Networks 2008), usuwając słabe skojarzenia przez filtrowanie cech.

Mental modelsMental models

P. Johnson-Laird, 1983 book and papers. Imagination: mental rotation, time ~ angle, about 60o/sec.Internal models of relations between objects, hypothesized to play a major role in cognition and decision-making. AI: direct representations are very useful, direct in some aspects only!

Reasoning: imaging relations, “seeing” mental picture, semantic? Systematic fallacies: a sort of cognitive illusions.

•If the test is to continue then the turbine must be rotating fast enough to generate emergency electricity.•The turbine is not rotating fast enough to generate this electricity.•What, if anything, follows? Chernobyl disaster …

If A=>B; then ~B => ~A, but only about 2/3 students answer correctly..

Kenneth Craik, 1943 book “The Nature of Explanation”, G-H Luquet attributed mental models to children in 1927.

Trudne modeleTrudne modele

Neurodynamika jest odpowiedzialna za rozumowanie; tylko proste skojarzeniowe formy rozumowania są łatwe.

A=>B i B=>C to łatwo kojarzymy, że A=>C, ale weźmy taki schemat:

•Wszyscy akademicy to uczeni.•Żaden mędrzec nie jest akademikiem.•Co możemy powiedzieć o relacjach pomiędzy uczonymi i mędrcami?

Po tygodniach namysłu studenci nadal nie potrafią odpowiedzieć.

Na egzaminie pomimo wcześniejszych wyjaśnień ponad połowa podaje błędną odpowiedź.

Wniosek: myślenie biegnie utartymi drogami, trudno jest myśleć nieschematycznie.

Mental models summaryMental models summary

1. MM represent explicitly what is true, but not what is false; this may lead naive reasoner into systematic error.

2. Large number of complex models => poor performance. 3. Tendency to focus on a few possible models => erroneous conclusions and

irrational decisions.

Cognitive illusions are just like visual illusions.M. Piattelli-Palmarini, Inevitable Illusions: How Mistakes of Reason Rule Our

Minds (1996)R. Pohl, Cognitive Illusions: A Handbook on Fallacies and Biases in Thinking,

Judgement and Memory (2005)

Amazing, but mental models theory ignores everything we know aboutlearning in any form! How and why do we reason the way we do? I’m innocent! My brain made me do it!

The mental model theory is an alternative to the view that deduction depends on formal rules of inference.

Kiedy powstają świadome wrażenia?Kiedy powstają świadome wrażenia?Konieczna aktywność kory zmysłowej, np. V4=kolor, MT/V5=ruch.

Strumienie wstępujące i zstępujące łączą się, tworząc stany rezonansowe. Co dzieje się gdy przepływ infromacji w jedną ze stron jest słaby?

C. Gilbert, M. Sigman, Brain States: Top-Down Influences in Sensory Processing.Neuron 54(5), 677-696, 2007

Przetwarzanie informacji ze zmysłów w korze i wzgórzu podlega silnym wpływom "odgórnym", w których złożone hipotezy zmieniają procesy na niskim poziomie. Kora funkcjonuje jako system adaptacyjny, zmieniając aktywność pod wpływem uwagi, oczekiwań, zadań związanych z percepcją. Stany mózgu tworzą się przez interakcję pomiędzy wieloma obszarami, w tym modulację lokalnych mikro-obwodów przez sprzężenia zwrotne. Zakłócenia tego przepływu informacji mogą prowadzić do zaburzeń behawioralnych.

Dehaene i inn, Conscious, preconscious, and subliminal processing. TCS 2006Siła wpływu informacji wstępującej i uwaga (informacja zstępująca), dają 4 sytuacje, w których bodźce i uwaga są konieczne do świadomej percepcji.

Neurocognitive reps.Neurocognitive reps.How is a word (concept) w represented in the brain?

Word w = (wf,ws) has

•phonological (+visual) component wf, word form;

•extended semantic representation ws, word meaning;

•and is always defined in the context Cont (enactive).

Ψ(w,Cont,t) prob. distribution of brain activations, changing in time.

Hearing or thinking a word w , or seeing an object labeled as w

adds to the overall brain activation, unfortunately in a non-linear way.

How? Maximizing overall self-consistency, mutual activations, meanings that don’t fit to current context are automatically inhibited.

Result: almost continuous variation of this meaning.

This process is rather difficult to approximate using typical knowledge representation techniques, such as connectionist models, semantic networks, frames or probabilistic networks.

Approximate reps.Approximate reps.States Ψ(w,Cont) lexicographical meanings:

•clusterize Ψ(w,Cont) for all contexts;

•define prototypes Ψ(wk,Cont) for different meanings wk.

A1: use spreading activation in semantic networks to define Ψ. A2: take a snapshot of activation Ψ in discrete space (vector approach).

Meaning of the word is a result of priming, spreading activation to speech, motor and associative brain areas, creating affordances.

Ψ(w,Cont) ~ quasi-stationary wave, with phonological/visual core activations wf and variable extended representation ws selected by Cont.

Ψ(w,Cont) state into components, because the semantic representation

E. Schrödinger (1935): best possible knowledge of a whole does not include the best possible knowledge of its parts! Not only in quantum case.

Left semantic network LH contains wf coupled with the RH.

What is the role of right semantic network RH?

Semantic => vector repsSemantic => vector repsSome associations are subjective, some are universal.

How to find the activation pathways in the brain? Try this algorithm:

• Perform text pre-processing steps: stemming, stop-list, spell-checking ...• Map text to some ontology to discover concepts (ex. UMLS ontology). • Use relations (Wordnet, ULMS), selecting those types only that help to

distinguish between concepts.• Create first-order cosets (terms + all new terms from included relations),

expanding the space – acts like a set of filters that evaluate various aspects of concepts.

• Use feature ranking to reduce dimensionality of the first-order coset space, leave all original features.

• Repeat last two steps iteratively to create second- and higher-order enhanced spaces, first expanding, then shrinking the space.

Result: a set of X vectors representing concepts in enhanced spaces, partially including effects of spreading activation.

Graphs of consistent conceptsGraphs of consistent conceptsGeneral idea: when the text is read and analyzed activation of semantic subnetwork is spread; new words automatically assume meanings that increases overall activation, or the consistency of interpretation.

Many variants, all depend on quality of semantic network, some include explicit competition among network nodes.

1. Recognition of concepts associated with a given concept:

1.1 look at collocations, and close co-occurrences, sort using average distance and # occurrences;

1.2 accept if this is a ULMS concept; manually verify if not;

1.3 determine fine semantic types, what states/adjectives can be applied.

5. Create semantic network:

2.1 link all concepts, determine initial connection weights (non-symmetric);

2.2 add states/possible adjectives to each node (yes/no/confirmed …).

GCC analysisGCC analysisAfter recognition of concepts and creation of semantic network:

2. Analyze text, create active subnetwork (episodic working memory) to

make inferences, disambiguate, and interpret the text.

3.1 find main unambiguous concepts, activate and spread their activations within semantic network; all linked concepts become partially active, depending on connection weights.

3.2 Polysemous words, acronyms/abbreviations in expanded form, add to the overall activation; active subnetwork activates appropriate meanings stronger than other meaning, inhibition between competing interpretations decreases alternative meanings.

3.3 Use grammatical parsing and hierarchical semantic types constraints (Optimality Theory) to infer the state of the concepts.

3.4 Leave only nodes with activity above some threshold (activity decay).

4. Associate combinations of particular activations with billing codes etc.

Rozumienie tekstówRozumienie tekstów

Grafy spójnych koncepcji, aktywna część pamięci semantycznej z hamowaniem i rozchodzeniem się aktywacji, pozwalają na ujednoznacznienie sensu pojęć.

Dla tekstów medycznych mamy >2 mln koncepcji, 15 mln relacji …

MDS mapping of 4534 documents divided in 10 classes, using cosine distances.

3. Initial representation, 807 features.4. Enhanced by 26 selected semantic types, two steps, 2237 concepts

with CC >0.02 for at least one class.Two steps create feedback loops A B between concepts.

Structure appears ... is it interesting to experts? Are these specific subtypes (clinotypes)?

Clusterization on enhanced dataClusterization on enhanced data

Discover topics, subclusters, more focused than general categories.

Map text on the 2007 MeSH (Medical Subject Headings) ontology, more precise than ULMS. Filter rare concepts (appearing in <1% docs) and very common concepts (>99% docs); remove documents with too few concepts (<1% of all) => smaller but better defined clusters.Leave only 26 semantic types.

Ward’s clustering used, with silhouette measure of clustering quality. Only 3 classes: two classes that mix most strongly (Pneumonia and Otitis media), add the smallest class JRA.

Initial filtering: 570 concepts with 1%<tf<99%,1002 documents.Semantic (26 types): 224 concepts, 908 docs with >1% concepts. These 224 concepts have about 70.000 ULMS relations, only 500 belong to the 26 semantic types. Enhancement: very restrictive, only ~25 most correlated added.

Searching for topicsSearching for topics

ResultsResultsStart, iterations 2, 3 and 4 shown, 5 clinotypes may be distinguished.

PubMed queriesPubMed queriesSearching for:

"Alzheimer disease"[MeSH Terms] AND "apolipoproteins e"[MeSH Terms] AND "humans"[MeSH Terms]

Returns 2899 citations with 1924 MeSH terms.

Out of 16 MeSH hierarchical trees only 4 trees have been selected: Anatomy; Diseases; Chemicals & Drugs; Analytical, Diagnostic and Therapeutic Techniques & Equipment. The number of concepts is 1190.

Loop over:

Cluster analysis;

Feature space enhancement through ULMS relations between MeSH concepts;

Inhibition, leading to filtering of concepts.

Create graphical representation.

Jak zostać ekspertem?Jak zostać ekspertem?Wiedza podręcznikowa: szczegółowy opis wszystkich możliwości.

Efekt: aktywacja wynikająca z obserwacji rozchodzi się na wszystkie możliwe strony, trudno o prawidłową diagnozę.

Brakuje korelacji pomiędzy indywidualnymi obserwacjami tworzących spójny obraz.

Przykład: 3 choroby, reprezentacja opisu przypadków.

5)System nauczony pojęć podręcznikowych.

6)System douczony na realnych przypadkach.

7)Ekspert.

Wniosek: materiał nie powinien być prezentowany w abstrakcyjny sposób, lepiej wprowadzać go z odpowiednią częstością na konkretnych przykładach.

Słyszę i zapominam.

Widzę i pamiętam.

Robię i rozumiem.

Konfucjusz, -500 r.

Problemy wymagające wgląduProblemy wymagające wgląduMamy 31 domin i szchownicę z której usunięto przeciwległe rogi; czy można ją pokryć dominami?

Analityczne rozwiązanie: spróbuj różnych pokryć.Nie da się ... za dużo kombinacji!Analityczne podejście nie ma Analityczne podejście nie ma szans by wywołać odpowiednie szans by wywołać odpowiednie aktywacje w mózgu, łącząc aktywacje w mózgu, łącząc nowe idee, trzeba się od niego nowe idee, trzeba się od niego oderwać, unikając licznych oderwać, unikając licznych skojarzeń, które prowadzą na skojarzeń, które prowadzą na manowce. manowce.

Wgląd <= prawa półkula Wgląd <= prawa półkula reprezentuje meta-poziom bez reprezentuje meta-poziom bez fonologicznych (symbolicznych) fonologicznych (symbolicznych) składowych ... czyli co? składowych ... czyli co?

dd oo

mmii

nnoo

phonological repsphonological reps

chess boardchess board

blackblackwhitewhite

dominodomino

Wglądy i mózgiWglądy i mózgiMożna badać aktywność mózgu w czasie rozwiązywania problemów, które wymagają wglądu lub które rozwiązywane są schematycznie. E.M. Bowden, M. Jung-Beeman, J. Fleck, J. Kounios, „New approaches to demystifying insight”. Trends in Cognitive Science 2005.Po rozwiązaniu problemu badani za pomocą EEG i fMRI sami określali, czy w czasie rozwiązywania pojawił się wgląd, czy nie.

Około 300 ms przed pojawieniem się wglądu w zakręcie skroniowym górnym prawej półkuli (RH-aSTG) obserwowano salwę aktywności gamma.

Interpretacja autorów: „making connections across distantly related information during comprehension ... that allow them to see connections that previously eluded them”.

Moja: lewa półkula reprezentująca w STG konkretne obiekty nie może znaleźć pomiędzy nimi związku =>impas; prawa STG widzi jej aktywność na meta-poziomie, ogólne abstrakcyjne kategorie, które może powiązać; salwa gamma zwiększa jednoczesną aktywność reprezentacji w lewej półkuli, emocje Eureka konieczne są do utrwalenia bezpośrednich koneksji.

InterpretacjaInterpretacja

Co się tu dzieje?

• LH-STG reprezentuje pojęcia, S=Start, K=koniec• Rozumienie, rozwiązanie = krok po kroku przejście z S do K• jeśli nie udaje się go znaleźć to pojawia się impas; • RH-STG ‘widzi’ aktywność LH na meta-poziomie, klasteryzacja pojęć w

abstrakcyjne kategorie (cosets, constrained sets) na wiele sposobów;• połączenia pomiędzy S i K na meta-poziomie możliwe są łatwiej w RH,

dając wrażenie nadchodzacego rozwiązania, wzbudzając emocje. • Pakiety wyładowań gamma pobudzają reprezentacje LH związane z S i

K oraz konfiguracje pośrednie; dają wewnętrzny priming.• To pozwala na identyfikację pośredniech kroków od S do K.• Odkrycie rozwiązania Aha! jest nagradzane dopaminą, jest to konieczne

by zwiększyć plastyczność mózgu i zapamiętać rozwiązanie. • Można to wykorzystać praktycznie: synsety + typy sem + inne oceny.

Pamięć i kreatywnośćPamięć i kreatywnośćMózgi osób kreatywnych reagują na więcej sygnałów dochodzących ze środowiska, nie blokują mocno sygnałów, które wcześniej były nieistotne, nie ulegając łatwo habituacji (Carson, 2003). Może się to wiązać z bogatszą reprezentacją koncepcji i sytuacji w umysłach osób kreatywnych. Podobne zachowania obserwowano u mnichów Zen. PRIMA, technika skojarzeń par słów pozwala badać, czy w mózgu danej osoby jest ścieżka, łącząca dane koncepcje.

A. Gruszka, E. Nęcka, Creativity Research Journal 2002.

Słowa mogą być łatwe lub trudne do skojarzenia; słowa torujące mogą być pomocne lub neutralne; pomocne to skojarzenie semantyczne lub fonologiczne (hogse do horse); neutralne mogą być bezsensowne lub nie związane z prezentowaną parą.

Rezultaty dla grupy ludzi silnie/słabo kreatywnych są zadziwiające …

Słowo 1 Torowanie 0,2 s Słowo 2

Skojarzenia i kreatywnośćSkojarzenia i kreatywnośćHipoteza: kreatywność zależy od pamięci skojarzeniowej, zdolności do łączenia odległych koncepcji ze sobą. Rezultat: kreatywność jest skorelowana ze zdolnością do skojarzeń i podatnością na torowanie; trudniejsze skojarzenia mają dłuższe latencje.Torowanie neutralne działa dziwnie:

• dla prostych skojarzeń nonsensowne słowa torujące przeszkadzają osobom kreatywnym, pomagają reszcie; w pozostałych przypadkach pomagają!

• dla odległych skojarzeń torowanie zawsze zwiększa siłę skojarzeń, u osób kreatywnych dając najsilniejszy efekt. Podobnie zagadkowe są wyniki dla czasów reakcji.

Konkluzje autorów:

Gęstsze połączenia => lepsze skojarzenia => większa kreatywność.

Wyniki dla neutralnych słów torujących są niezrozumiałe.

Skojarzenia łatweSkojarzenia łatweTorowanie neutralne dla prostych skojarzeń i nonsensownych słów torujących pogarsza wyniki osób kreatywnych.Dlaczego? Słowo A Słowo torujące N Słowo B

•Niska kreatywność <= słabe skojarzenia pomiędzy korowymi kolumnami <= niewiele połączeń, słabe połączenia. •Dodanie szumu (nonsensownych słów N) trochę wzmacnia istniejącą aktywność A i B, co umożliwia wzajemne pobudzenia AB.

•Wysoka kreatywność <= silne skojarzenia <= gęste połączenia.•Aktywność rozchodzi się szybko wywołując wzajemne pobudzenia. •Dla silniej połączonej sieci neuronowej i prostych skojarzeń prowadzi to do zamieszania, gdyż pobudza wiele stanów. •Rozpoznanie skojarzenia wymaga pojawienia się przepływu aktywności AB ale za dużo energii = aktywność rozpływa się na wiele sposobów i trudno rozpoznać skojarzenie.

Skojarzenia trudneSkojarzenia trudneDlaczego dla trudnych skojarzeń dodawanie szumu

działa inaczej?

• Trudne skojarzenia: brak bezpośrednich połączeń pomiędzy AB.

• U osób słabo kreatywnych dodanie słów N nie pomoże ze względu na brak połączeń, słowa torujące powodują jedynie chaos.

• Dla osób kreatywnych wywołanie rezonansu miedzy odległymi mikroobwodami jest możliwe, bo mają więcej połączeń.

• Rodzaj rezonansu stochastycznego – dodawanie szumu zwiększa S/N.

Dla słów torujących ortograficznie podobnych:

•przy bliskich skojarzeniach pobudza to aktywność reprezentacji drugiego słowa, zawsze zwiększając szansę rezonansu i skracając latencję.

•Dla odległych skojarzeń to nie pomoże bo nie pobudzi pośrednich obwodów, które muszą być aktywne by powstał rezonans.

Słowa nonsensowne mogą wzmagać efekt torowania dodając energię.

SłowaSłowa: : prosty modelprosty modelCele: • zrobić najprostszy model kreatywnego myślenia; • tworzyć interesujące nowe nazwy, oddające cechy produktów;• zrozumieć nowe słowa, których nie ma w słowniku.Model zainspirowany przez procesy zachodzące w mózgu w czasie wymyślania nowych słów. Dany jest zbiór słów kluczowych, które pobudzają korę słuchową.

Fonemy (allofony) są rezonansami, uporządkowane pobudzenie fonemów aktywuje zarówno znane słowa jak i nowe kombinacje; kontekst + hamowanie w procesie zwycięzca bierze wszystko zostawia jedno słowo.

Kreatywność = wyobraźnia (fluktuacje) + filtrowanie (konkurencja)

Wyobraźnia: wiele chwilowych rezonansów powstaje równolegle, aktywując reprezentacje słów i nie-słów, zależnie od siły połączeń oscylatorów. Fil trowanie: skojarzenia, emocje, gęstość fonologiczna/semantyczna.

Słowa: algorytmSłowa: algorytm

Jak to modelować? Sieci skojarzeniowe, model adaptacyjnego rezonansu (~ ARTWORD).Uproszczone modele sieci skojarzeniowych, modele statystyczne.

• Utworzyć model sieci prawdopodobieństw łączących fonemy i sylaby• utworzyć funkcję oceny gęstości fonologicznej i semantycznej wyrazów.

Algorytm szukania nowych słów:

• Przeczytać początkową pulę słów opisujących danych obiekt. • Rozszerzyć ją o słowa skojarzone fonologicznie i semantycznie.• Rozbić słowa na fragmenty składające się z fonemów, sylab, morfemów. • Wyobraźnia: tworzyć kombinacje fragmentów zgodnie z rozkładami prawdopodobieństwa dla n-gramów. • Filtrowanie: utworzyć ranking na podstawie gęstości semantycznej wokół morfemów tworzących nowy wyraz.

Słowa: eksperymentySłowa: eksperymentyList od przyjaciela: I am looking for a word that would capture the following qualities: portal to new worlds of imagination and creativity, a place where visitors embark on a journey discovering their inner selves, awakening the Peter Pan within. A place where we can travel through time and space (from the origin to the future and back), so, its about time, about space, infinite possibilities.FAST!!! I need it sooooooooooooooooooooooon.creativital, creatival (creativity, portal), używane creatival.comcreativery (creativity, discovery), creativery.com (strategy+creativity)discoverity = {disc, disco, discover, verity} (discovery, creativity, verity)digventure ={dig, digital, venture, adventure} , nowe! imativity (imagination, creativity); infinitime (infinitive, time) infinition (infinitive, imagination), nazwa firmyjournativity (journey, creativity) learnativity (taken, see http://www.learnativity.com)portravel (portal, travel); sportal (space, sport, portal), używanetimagination (time, imagination); timativity (time, creativity)tivery (time, discovery); trime (travel, time)

More experimentsMore experiments

• Probabilistic model, rather complex, including various linguistic peculiarities; includes priming.

Search for good name for electronic book reader (Kindle?):

Priming set (After some stemming):• Acquir, collect, gather , air, light, lighter, lightest, paper, pocket,

portable, anyplace, anytime, anywhere, cable, detach, global, globe, go, went, gone, going, goes, goer, journey, move, moving, network, remote, road\$, roads\$, travel, wire, world, book, data, informati, knowledge, librar, memor, news, word, words, comfort, easi, easy, gentl, human, natural, personal, computer, electronic, discover, educat, learn, read, reads, reading, explor.

Exclusion list (for inhibition): • aird, airin, airs, bookie, collectic, collectiv, globali, globed, papere,

papering, pocketf, travelog.

More wordsMore words

Created word Word count and # domains in Google• librazone 968 1 • inforizine -- -- • librable 188 -- • bookists 216 -- • inforld 30 -- • newsests 3 -- • memorld 78 1 • goinews 31 -- • libravel 972 -- • rearnews 8 -- • booktion 49 -- • newravel 7 -- • lighbooks 1 -- + popular infooks , inforion, datnews, infonews, journics

Phonological filterPhonological filter• Train the autoassociative network on words from some dictionary.• Create strings of words with “phonological probability”>threshold.• Many nice Polish words … good for science-fiction poem• ardyczulać ardychstronność• ardywialiwić ardykloność• ardywializować ardywianacje• argadolić argadziancje• arganiastość arganastyczna• arganianalność arganiczna• argasknie argasknika• argaszyczny argaszynek• argażni argulachny argatywista• argumialent argumiadać argumialenie argumialiwić• argumializować argumialność• argumowny argumofon argumował argumowalność

Awatar, HIT: interfejs graficzny

Magazynowanie

Zastosowania, np gra w 20 pytań.

Zapy-tanie

Pamięć semantyczna

Parser

Oznaczanie części mowyi ekstrakcja frac

Słowniki, ontologie,informacja tekstowa

ręczne poporawki

weryfikacja

Przyszłość?Przyszłość?• 2000 Sony patentuje technologie przekazu informacji prosto do mózgu.

• 2015 Firma Len-gwij przedstawia program do tłumaczenia maszynowego na platformie Google Android pozwalając na uniwersalną komunikację.

• 2025 Nauka czytania i pisania to strata czasu – stwierdza Singapurski minister edukacji – dzieci tylko tracą wzrok na odcyfrowywanie małych znaczków na ekranach, zostawmy to maszynom.

• 2035 Pojawiają się wszczepy do ucha środkowego zwane "Bable Fish", rozpoznające język i dokonujące automatycznych tłumaczeń; znika potrzeba nauki języków obcych.

• 2045 System wszczepów zamieniono na telepatimy, wykorzystując bezpośrednie pobudzenia mózgu, co umożliwia komunikację werbalną i niewerbalną.

• Ludzie zaczynają rozumieć się bez słów! Nie wszystkim wychodzi to na dobre ...

• 2060 Rozwija się noosfera komunikacyjna łącząca ludzi i artilekty.

• 2100 Artilekty przestają się interesować sferą ludzi uznając, że istotny ograniczone do trójwymiarowej wyobraźni nie zasługują na miano homo sapiens ...

Few conclusionsFew conclusionsNeurocognitive informatics: inspirations beyond perceptron.

Neurocognitive NLP leads to interesting inspirations(Sydney Lamb, Rice Univ, quite general book).

Creation of novel interesting words is possible at the human competence level, opening a new vista in creativity research and suggesting new experiments.

Various approximations to knowledge representation in brain networks should be studied: from the use of a priori knowledge based on reference vectors, through ontology-based enhancements, to graphs of consistent concepts in spreading activation networks.

Specific (drastically simplified) representation of semantic knowledge is sufficient in word games and query precisiation applications. More work on semantic memory for common sense and specialized applications is needed.

Thank Thank youyoufor for

lending lending your your ears ears

......

Google: W. Duch => Papers/presentations/projects