soru cevaplama - yazokulu.bilimakademisi.orgbir çok işlemsel göreve qa olarak bakabiliriz....
TRANSCRIPT
![Page 1: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/1.jpg)
Soru Cevaplama
Reyyan Yeniterzi
Özyeğin Üniversitesi
Bilgisayar Mühendisliği Bölümü
![Page 2: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/2.jpg)
Lisans & Yüksek Lisans Yüksek Lisans & Doktora
İş Deneyimi
Özgeçmiş
2
![Page 3: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/3.jpg)
Doğal Dil İşleme - Natural Language Processing (NLP)
Bilgi Alımı ve Çıkarımı - Information Retrieval (IR) & Extraction (IE)
Metin Madenciği - Text Mining (TM)
Arama Motorları - Search Engines (SE)
Makine Öğrenmesi - Machine Learning (ML)
Sosyal Medya ve Ağ Analizi - Social Media & Network Analysis
Araştırma Alanları
Big Text DataIR + SE Small Relevant
Data
NLP + TM + IE Knowledge
3
![Page 4: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/4.jpg)
Soru Cevaplama
Question Answering (QA)
Question Answer
4
![Page 5: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/5.jpg)
Soru Cevaplama
Question Answer
5
Bu sunumda kullanılan tüm kaynaklar
sunumun sonunda listelenmiştir.
![Page 6: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/6.jpg)
Bir çok işlemsel göreve QA olarak bakabiliriz.
Konuşma İşleme
İşlemşel Biyoloji
Doğal Dil İşleme
Dizi Etiketleme (Varlık Tanıma (NER), Sözcük Etiketleme (POS))
Makine Çevirisi
Metin Sınıflandırma (Duygu Analizi)
Soru Cevaplama (QA)
6
![Page 7: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/7.jpg)
Soru Cevaplama AI-complete bir problemdir!
7
![Page 8: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/8.jpg)
Kısa Gerçekçi Sorular
Basit gerçeklerle cevaplanabilir sorular
Soru Çeşitleri
Kimya alanında 2015 Nobel Ödülünü kim kazandı?
Kolombiya-İngiltere maçının skoru neydi?
Türk milli futbol takımı antrenörü kaç yaşındadır?
8
![Page 9: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/9.jpg)
Kısa Gerçekçi Sorular
Basit gerçeklerle cevaplanabilir sorular
Karmaşık (Anlatımsal) Sorular
Bir açıklama gerektirir
Soru Çeşitleri
Almanya’nın 2018 Dünya Kupasından erken çıkışının nedenleri nelerdir?
20 yaşındayım. Nobel ödülünü kazanmak için önümüzdeki 30-40 yılda ne yapmalıyım?
9
![Page 10: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/10.jpg)
Kısa Gerçekçi Sorular
Basit gerçeklerle cevaplanabilir sorular
Karmaşık (Anlatımsal) Sorular
Bir açıklama gerektirir
Soru Çeşitleri
10
![Page 11: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/11.jpg)
Bilgi Tabanlı (Knowledge Base) Soru Cevaplama
Yapısal Veri
Soru Cevaplama Yaklaşımları
11
![Page 12: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/12.jpg)
Bilgi Tabanlı Soru Cevaplama
Yapısal Veri
Soru Cevaplama Yaklaşımları
12
İlk Soru Cevaplama Sistemi
Baseball: An Automatic Question-Answerer (Green et al. 1961)
‘‘Where did each team play on July 7?’’
![Page 13: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/13.jpg)
Bilgi Tabanlı SC
What is the capital city of Turkey?
Semantic
Parsingcapital_city(Turkey, ?x)
Ankara
13
Knowledge
Base
![Page 14: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/14.jpg)
Bilgi Tabanlı SC
What is the capital city of Turkey?
Semantic
Parsingcapital_city(Turkey, ?x)
Relational
DB
Ankara
Wikidata
Knowledge Graph
FreeBase
OpenStreetMap
14
Knowledge
Base
![Page 15: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/15.jpg)
Bilgi Tabanlı SC
What is the capital city of Turkey?
Semantic
Parsingcapital_city(Turkey, ?x)
Knowledge
Base
Ankara
Metinten ilişki çıkarımı
• Kural Tabanlı (Reg Exps)
• Denetimli MÖ
• Yarı Denetimli MÖ
• Denetimsiz MÖ
15
![Page 16: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/16.jpg)
Bilgi Tabanlı Soru Cevaplama
Yapısal Veri
Bilgi Çıkarımı (IR) Tabanlı Soru Cevaplama
Yapısal Olmayan Veri
Soru Cevaplama Yaklaşımları
16
![Page 17: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/17.jpg)
Retrieval
IR-Based QAWhen was the Turkish Republic founded?
Oct 29, 1923
17
Question Processing
Query
Formulation
Answer Type
Selection
Document Retrieval
Relevant
Documents
Passages
Passage Retrieval
Answer Processing
Candidate
Ranking
Answer
Extraction
Document
Index
![Page 18: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/18.jpg)
Text REtrieval Conference (TREC)... büyük metin koleksiyonlarından bilgi edinme
araştırmasını teşvik etmek
18
![Page 19: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/19.jpg)
TREC QA
TREC QA
1999 – 2007
TREC Live QA
2015 – 2017
Gerçek kullanıcıların Yahoo Answers sitesine gönderdikleri en
yeni soruları yanıtlayan "canlı" soru yanıtlama
19
![Page 20: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/20.jpg)
Bilgi Tabanlı Soru Cevaplama
Yapısal Veri
Bilgi Çıkarımı Tabanlı Soru Cevaplama
Yapısal Olmayan Veri
Melez Soru Cevaplama
Yapısal ve Yapısal OlmayanVeri
IBM Watson & DeepQA
20
Soru Cevaplama Yaklaşımları
![Page 21: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/21.jpg)
![Page 22: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/22.jpg)
22
![Page 23: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/23.jpg)
23
![Page 24: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/24.jpg)
Jeopardy! (Türkiye’de Riziko)
24
![Page 25: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/25.jpg)
25
Jeopardy!
![Page 26: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/26.jpg)
26
Jeopardy!
What are Greece and Iran?
![Page 27: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/27.jpg)
27
Jeopardy!
Farklı soru tipleri:
BEFORE & AFTER
The Jerry Maguire star who automatically
maintains your vehicle’s speed.
![Page 28: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/28.jpg)
28
Jeopardy!
Farklı soru tipleri:
BEFORE & AFTER
The Jerry Maguire star who automatically
maintains your vehicle’s speed.
Tom Cruise control
![Page 29: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/29.jpg)
Deep Blue vs. Jeopardy!
Satranç
Sonlu ve iyi tanımlanmış arama alanı
Sınırlı sayıda hamle ve durum
Jeopardy!
Doğal dili anlamak büyük bir mücadeledir
Aynı şeyi ifade etmenin sonsuz sayıda yolu
Belirsizdir, içeriğe bağlıdır
29
![Page 30: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/30.jpg)
30
Yüksek bulma
Yüksek güven
Yüksek hız
Ortalama 3 saniye cevaplama süresi
Jeopardy!
![Page 31: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/31.jpg)
31
PIQUANT
IBM
OpenEphyra
Carnegie Mellon University
Başlangıç Sistemleri
![Page 32: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/32.jpg)
Başlangıç Performansı
32
KazananlarKen Jennings,
arka arkaya 74
oyun kazandı
2007
Başlangıç
Sistemi
![Page 33: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/33.jpg)
33
PIQUANT
IBM
OpenEphyra
Carnegie Mellon University (CMU)
Bunları uyarlama girişimleri başarısız oldu!
Diğer yayınlanmış araştırmaları çoğaltmak da zor
Hızlı geliştirme için yol yok
Başlangıç Sistemleri
![Page 34: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/34.jpg)
DeepQA Mimarisi
34
![Page 35: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/35.jpg)
35
Question100s Possible
Answers
1000’s of
Pieces of Evidence
Multiple
Interpretations
100,000’s scores from many simultaneous
Text Analysis Algorithms100s sources
. . .
Answer &
Confidence
DeepQA Mimarisi
Kitlesel Paralel Olasılıksal Kanıta Dayalı Mimari
Birçok algoritma (> 100) ve birçok hipotez
Varsayım: Bileşenlerin hiçbiri soruyu tam olarak anlamadı
![Page 36: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/36.jpg)
DeepQA Mimarisi
36
Cevap Türü:
20.000 Jeopardy soru örneğinde 2500
cevap tipi
En sık görülen 15 soru tipi: o, ülke, şehir,
adam, film, devlet, o, yazar, grup, burada,
şirket, başkan, sermaye, yıldız, roman
Soru ayrıştırma
![Page 37: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/37.jpg)
DeepQA Mimarisi
37
Dışarıya kapalı bir sistem
İnternette web araması yapamaz
hatta internete bağlantı dahi yok
Başka sistem veya insanla etkileşim yok
![Page 38: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/38.jpg)
DeepQA Mimarisi
38
Primary Search (Birincil Arama):
Mümkün olduğunca potansiyel olarak yanıt içeren içeriğin
bulunması
Tutturma (Recall) >>> Bulma (Precision)
![Page 39: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/39.jpg)
DeepQA Mimarisi
39
Kanıtların Çekilmesi
Ek kanıt bulmak için aday cevap ve
soruların birlikte kullanılması
Puanlama: Birçok farklı yaklaşım (> 50)
geçiş kaynağı güvenilirliği
coğrafi konum
zamansal ilişkiler
taksonomik sınıflandırma
diğerleri ...
![Page 40: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/40.jpg)
DeepQA Mimarisi
40
Yanıtların Birleştirilmesi:
Bazı adayların farklı yazımları olabilir. Bunların
birleştirilmesi
J.F.K ve John F. Kennedy
Güven Tahmini ve Sıralaması:
Makine Öğrenme modelleri
Farklı soru türleri farklı ağırlık
![Page 41: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/41.jpg)
DeepQA Mimarisi
41
![Page 42: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/42.jpg)
42
Performans Değişimi
![Page 43: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/43.jpg)
43
Şampiyonlarla Yarışma
14 Ocak 2011
![Page 44: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/44.jpg)
44
Alt Görevlerin Performansı
Alınacak Mesajlar
Mükemmel olmayan NLP hala kullanışlıdır!
Hala iyileştirme yapılması gereken yerler var!
![Page 45: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/45.jpg)
Derin Öğrenme
Yaklaşımları
![Page 46: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/46.jpg)
46
Taslak
Kelime Kodlamaları (Word Embeddings)
Evrişimsel Sinir Ağları (CNN)
![Page 47: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/47.jpg)
47
Word2Vec
Mikolov, Tomas, et al. "Efficient estimation of word representations in vector space." (2013).
![Page 48: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/48.jpg)
48
Kelime Kodlamaları (Word Embeddings)
![Page 49: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/49.jpg)
49
Kelime Kodlamaları (Word Embeddings)
![Page 50: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/50.jpg)
50
Yoon Kim. Convolutional Neural Networks for Sentence Classification. EMNLP 2014.
Doğal Dil İşlemede CNN Uygulaması
![Page 51: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/51.jpg)
51
Taslak
Kelime Kodlamaları (Word Embeddings)
Evrişimsel Sinir Ağları (CNN)
‘‘Deep learning for answer sentence selection’’ (2014)
![Page 52: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/52.jpg)
52
Yanıt Cümle Seçimi
Görev:
Girdi: Soru ve Aday Cevap Cümleleri
Çıktı: Belirlenen yanıt içeren cümleler (İkili değerlendirme: 0 veya 1)
Varsayım:
Yanıt içeren cümleler sorulara çok benzer
Önceki Yaklaşımlar:
Sözdizimsel bilgilere ve el yapımı semantik kaynaklara (WordNet
gibi) dayalı benzerlik
![Page 53: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/53.jpg)
53
Yanıt Cümle Seçimi
Soru (q) ve cevapları (a) d boyutunda vector olarak modelle
Benzerlik Ölçüsü:
Generatif yaklaşım:
M bir dxd dönüşüm matrisi
a verildiğinde, dönüşüm matrisini kullanarak alakalı bir soru üretin q´= Ma
Üretilen q´ ve orjinal q vektörleri arasındaki benzerliği ölçün
Sigmoid: Benzerlik puanını olasılıklara dönüştürür
Eğitim hedefi: Çapraz entropiyi en aza indirir
![Page 54: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/54.jpg)
54
q ve a vektörlerin oluşturulması
CNN ile Bigram modeli:
Önceden Eğitilmiş Semantik Kelime Temsilleri
Bir CNN katmanı (bigramları birleştirmek için)
Ortalama (Toplam) Havuzlama katmanı (bigram özniteliklerini
birleştirmek için)
Cümle vektörü
Yanıt Cümle Seçimi
![Page 55: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/55.jpg)
55
Önceden eğitilmiş kelime kodlama vektörlerinden kaynaklanan
bir zayıflık
Kardinal sayılar ve varlık isimleri
Çözüm: Ek Öznitellikler
F1: Soru ve cevapda geçen ortak kelime sayısı
F2: i.d.f ağırlıklı F1
Son Model:
Lojistik regresyon applied to (1) dağılımsal benzerlik modeli (2) F1
ve (3) F2 ye uygulanmıştır.
Yanıt Cümle Seçimi
![Page 56: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/56.jpg)
56
Yüksek sonuçlar
Diğer dillere kolaylıkla uygulanabilir
Herhangi bir dile ait özel kaynak gerektirmez
Yanıt Cümle Seçimi
![Page 57: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/57.jpg)
57
Taslak
Kelime Kodlamaları (Word Embeddings)
Evrişimsel Sinir Ağları (CNN)
‘‘Deep learning for answer sentence selection’’ (2014)
Tekrarlayan Sinir Ağları (RNN)
![Page 58: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/58.jpg)
58
Tekrarlayan Sinir Ağları (RNN)
http://colah.github.io
![Page 59: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/59.jpg)
59
Tekrarlayan Sinir Ağları (RNN)
http://colah.github.io
the clouds are in the sky
![Page 60: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/60.jpg)
60
Tekrarlayan Sinir Ağları (RNN)
http://colah.github.io
I grew up in France… I speak fluent French.
![Page 61: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/61.jpg)
61
Uzun Kısa Süreli Bellek Ağları (LSTM)
http://colah.github.io
![Page 62: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/62.jpg)
62
Uzun Kısa Süreli Bellek Ağları (LSTM)
http://colah.github.io
Hücre Durumu (Cell State)
Bu hücrelerden bazı bilgiler
çıkarılabilir veya eklenebilir. Bu
da kapılarla (gates) mümkündür
Unutma (Forget gate)
Girdi (Input gate)
Çıktı (Output gate)
![Page 63: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/63.jpg)
63
Makine Çevirisinden Bir Örnek
![Page 64: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/64.jpg)
64
Makine Çevirisinden Bir Örnek
![Page 65: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/65.jpg)
65
Makine Çevirisinden Bir Örnek
![Page 66: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/66.jpg)
66 http://www.wildml.com
Makine Çevirisi
![Page 67: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/67.jpg)
67 http://www.wildml.com
Dikkat (Attention) Mekanizması
Her bir çıktı terim üretimi sırasında
girdinin farklı bölümlerine dikkat etmek
ağırlıklar
![Page 68: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/68.jpg)
68 http://www.wildml.com
Dikkat (Attention) Mekanizması
![Page 69: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/69.jpg)
69
Taslak
Kelime Kodlamaları (Word Embeddings)
Evrişimsel Sinir Ağları (CNN)
‘‘Deep learning for answer sentence selection’’ (2014)
Tekrarlayan Sinir Ağları (RNN)
‘‘Teaching machines to read and comprehend’’ (2015 NIPS)
‘‘Ask me anything: Dynamic memory networks for natural
language processing’’ (2016 ICML)
![Page 70: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/70.jpg)
70
Okuduğunu Anlama
![Page 71: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/71.jpg)
71
Derin LSTM Okuyucu
![Page 72: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/72.jpg)
72
Dikkatli Okuyucu (The Attentive Reader)
![Page 73: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/73.jpg)
73
Dikkatli Okuyucudan dikkat ısı haritaları
![Page 74: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/74.jpg)
74
Taslak
Kelime Kodlamaları (Word Embeddings)
Evrişimsel Sinir Ağları (CNN)
‘‘Deep learning for answer sentence selection’’ (2014)
Tekrarlayan Sinir Ağları (RNN)
‘‘Teaching machines to read and comprehend’’ (2015 NIPS)
‘‘Ask me anything: Dynamic memory networks for natural
language processing’’ (2016 ICML)
![Page 75: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/75.jpg)
Herhangi bir QA Görevi için Genel Mimari
Dinamik Bellek Ağları (DMN)
Görev: Okuduğunu Anlama
Bir giriş metni ve bir soru ele alındığında, gerekli geçişli akıl
yürütmeleri gerçekleştirmek ve soruyu cevaplamak
75
![Page 76: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/76.jpg)
Dynamic Memory Network
76
![Page 77: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/77.jpg)
Semantik Bellek Modülü
Kelime kodlamaları hem girdi metin hem de soru
metni için kullanılır.
77
![Page 78: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/78.jpg)
Metin Giriş Modülü
Tekrarlayan Sinir Ağları
Giriş dizisi tek cümle ise, modül RNN içindeki tüm saklı durumları çıkarır
(# çıktı gösterimi = # kelime)
Giriş dizisi bir cümle listesiyse, modül sadece her cümlenin sonundaki gizli
durumları çıkarır (# çıktı gösterimi = # cümle)
78
![Page 79: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/79.jpg)
Soru Modülü
Tekrarlayan Sinir Ağları
Modül, son gizli durumunu epizodik bellek
modülüne girdi olarak verir.
79
![Page 80: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/80.jpg)
Dynamic Memory Network (DMN)
80
![Page 81: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/81.jpg)
81
Bir cümle, soru ya da hafıza ile ilgili
ise, kapılar aktive edilir
![Page 82: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/82.jpg)
82
![Page 83: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/83.jpg)
83
Tekrarlayan Sinir Ağları
Göreve bağlı olarak, bu modül ya en sonda yada her bir girdi
için tetiklenir.
Cevap Modülü
![Page 84: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/84.jpg)
Dynamic Memory Network (DMN)
84
![Page 85: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/85.jpg)
Deneyler
Aşağıdaki görevlere uygulandı:
Soru Cevaplama
Duygu Analizi (Metin Sınıflandırması)
Sözcük Etiketleme (Sıralı Etiketleme)
Elde edilen en yüksek performans!
85
![Page 86: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/86.jpg)
Analizler
86
Epizodik Bellek Modülünde Geçiş Sayısı Analizi
![Page 87: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/87.jpg)
87
Analizler
![Page 88: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/88.jpg)
Dynamic Memory Networks
Uçtan uca eğitim sistemi
QA görevi olarak görerek çok görevli öğrenme
Tüm bu görevler için tek bir mimari
Hiperparametreler değişebilir
Giriş metnini tam olarak anlayabilmek için görev daha da
zorlaştıkça daha fazla geçiş gerekli hale gelmekte
88
![Page 89: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/89.jpg)
89
Kaynaklar
Bilgi Tabanlı ve Bilgi Çıkarımı Tabanlı Sistemler
Jurafsky, Dan, and James H. Martin. Speech and language processing. Vol. 3. London: Pearson, 2014.
TREC Proceedings
CS224: Deep Learning for NLP (Stanford)
Oxford Deep NLP (University of Oxford + DeepMind)
IBM WatsonFerrucci, David, et al. "Building Watson: An overview of the DeepQA
project." AI magazine 31.3 (2010): 59-79.
IBM Journal of Research and Development 56.3.4 (2012)
Ferrucci, David A. "Introduction to “This is Watson”."
![Page 90: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/90.jpg)
90
Kaynaklar
Derin Öğrenme
Yu, Lei, et al. "Deep learning for answer sentence
selection." arXiv preprint arXiv:1412.1632 (2014).
Hermann, Karl Moritz, et al. "Teaching machines to read and
comprehend." NIPS 2015.
Kumar, Ankit, et al. "Ask me anything: Dynamic memory networks
for natural language processing." ICML 2016.
![Page 91: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/91.jpg)
91
Erişilebilir Faydalı Dersler
Machine Learning (Coursera)
Deep Learning Specialization (Coursera)
Neural Networks for Machine Learning (Coursera)
CS230: Deep Learning (Stanford)
CS231: CNN for Visual Recognition (Stanford)
CS224: Deep Learning for NLP (Stanford)
Oxford Deep NLP (University of Oxford + DeepMind)
![Page 92: Soru Cevaplama - yazokulu.bilimakademisi.orgBir çok işlemsel göreve QA olarak bakabiliriz. Konuşma İşleme İşlemşel Biyoloji Doğal Dil İşleme Dizi Etiketleme (Varlık Tanıma](https://reader030.vdocuments.pub/reader030/viewer/2022040813/5e585fcf328d4c637e7456a9/html5/thumbnails/92.jpg)
92