BÜYÜK VERİ TEKNOLOJİLERİ

● Her zamankinden daha fazla veri üretiyoruz

○ Satış verileri○ Kullanıcı bilgileri○ Web sitesi hareketleri○ Sosyal medya○ E-Posta○ Sunucu logları○ Sensör verileri○ Lokasyon bilgisi○ ...

Veri Bombardımanı

Veri Bombardımanı

● Her zamankinden daha hızlı veri üretiyoruz

○ Twitter 143,199 TPS. ~500 milyon tweet

○ Google günde 5,922,000,000 arama

○ Facebook her 20 dk da 3,000,000 mesaj

○ eBay dakikada 950+ alışveriş, 180+ mobilden

○ Amazon saniyede 426 ürün satışı

○ Apple dakikada 81 iPad, 925 iPhone satışı

Veri Bombardımanı

● Her zamankinden çok çeşitli veri üretiyoruz○ Binary○ Text, CSV○ XML, JSON○ Resim, Ses, Video○ Sıkıştırılmış / Sıkıştırılmamış

● Yapılandırılmış / Yapılandırılmamış Veri○ %90 veri yapılandırılmamış, sabit bir formatı yok

Büyük Veri Nedir?

● Büyük veri içerisinde çok değerli bilgiler var

○ Pazarlama analizi○ Talep analizi○ Müşteri segmentasyonu○ Sahtecilik önleme○ Gerçek zamanlı raporlama○ Kullanıcı deneyimini geliştirme○ Ürün önerileri○ Sunucu faaliyetlerini izleme○ … ve daha fazlası

Neler Yapılabilir?

● Büyük veriyi saklamak○ Sürekli büyüyen veri ○ Storage maliyetleri○ Arşivleme zorunluluğu

● Büyük veriyi işlemek○ Donanım limitlerine takılmamalı○ 100 GB veriyi sadece okumak ~22 dk!○ Ağ darboğazı

Nasıl Yapılabilir?

● RDBMS○ Yapılandırılmamış veriye uygun değil○ Ölçeklenme problemi○ Lisans ücretleri

● Donanım Limitleri○ CPU, RAM, Disk, Network

● Yazılımsal Karmaşıklık○ Senkronizasyon, bant genişliği, erişilebilirlik, hata

toleransı

Geleneksel Yöntemlerin Problemleri

● Google File System (2003)● MapReduce (2004)● BigTable (2006)● Dremel (2010)● Sawzall (2010)

İlk Kim Başardı?

Kimler Kullanıyor?

● Esnek○ Her türlü veriyi işleyebilmeli

● Ölçeklenebilir○ İhtiyaca göre genişleyebilmeli

● Veri Garantili○ Veriler yedekli ve erişilebilir olmalı

● Düşük Maliyetli○ Açık kaynaklı projeler

Büyük Veri Teknolojileri

Açık Kaynak

● Arama motoru○ Akıllı Sıralama○ İlgili Aramalar○ Otomatik Tamamlama○ Bunu mu demek istediniz?○ Baskın kategori

● Kişiselleştirme○ İlginizi Çekebilecek Ürünler○ BBBB○ Ürün önerileri

GittiGidiyor’da Büyük Veri

● Pazarlama○ Detaylı kullanıcı profilleri○ Hedef kitle belirleme

● Segmentasyon○ Alışveriş geçmişi○ Ziyaret geçmişi

● Raporlama○ Veriambarı, Analitik Verileri, A/B Testleri○ Özel raporlar

GittiGidiyor’da Büyük Veri

Arama Motoru

Baskın kategori: Nokia kelimesiyle daha ilgili olduğu için Cep telefonu kategorisi daha üstte yer alıyor

İlgili diğer aramalar

Bunu mu demek istediniz?: Nokkia aratılmış ama Nokia olarak düzeltilmiş

İlginizi Çekebilecek ÜrünlerAna sayfada kullanıcının hareketlerine göre ürün önerisi

Buna Bakan Buna Baktı

Bu ürüne bakan kullanıcıların baktıkları diğer ürünler

Diğer Örnekler"Metallica" ile ilgili diğer aramalar

Mobil uygulama ana sayfada kişiselleştirilmiş ürün gösterimi

Autocomplete verisi

● Sınıflandırma (Classification)○ Hatalı kategorilerin tespiti○ Dolandırıcılıkla mücadele○ Duygu analizi

● Kümeleme (Clustering)○ Kullanıcıların kümelenmesi○ Ürünlerin gruplanması

● Öneri sistemleri (Recommendation)○ İçerik tabanlı○ Kullanıcı / Ürün tabanlı

Yapay Öğrenme

Büyük Veri Altyapısı

Teşekkürler!