Big Data / Büyük Veri Nedir? Önemli olan verinin büyüklüğü mü? Yoksa bu veriyi

nasıl kullandığınız mı? Veli Bahçecivelibahceci.com

Veri (data) nedir?İngilizce ve Latincede datum kelimesinin çoğuluna verilen ad; datadır.

Ham (işlenmemiş) gerçek enformasyon parçacığına verilen addır.

Yapılandırılmış veri: Faturalar, banka ödemeleri,sınav sonuçları, e-devlet kayıtları vb.

Yapılandırılmamış veri: Sosyal medya, web gezinmeleri,reklam tıklamaları vb.

Büyük veri nedir? Ne kadar büyük?Büyük veri terimi teknik olarak 100 terabayt ile 1 petabayt arasındaki yelpazeyi kapsar ama sizin için verilerin miktarı değil, onu nasıl analiz ettiğiniz önemlidir.

Dünyadaki bütün verinin%90’ı son iki yılda oluşturulmuştur.

2013’de 2.712.239.573 internet kullanıcısı, Google’da yaklaşık olarak 1,2 trilyon arama yapmıştır.

Günün her dakikasında 570’in üzerinde yeni websitesi kurulmaktadır.

Aylık 271 milyon aktif kullanıcıya sahip olan Twitter’da günde 500 milyon tweet atılmaktadır.

200 milyon aktif aylık kullanıcısıolan Instagram’da günde 60 milyon fotoğraf paylaşılıyor.

LinkedIn, 200’ün üzerinde ülkeden 300 milyondan fazla üyeyi ve 3 milyondanfazla firmayı barındırıyor.

Büyük veri ve geleneksel analitikBüyük Veri Geleneksel Analitik

Veri tipi Yapılandırılmamış format Satır – sütun şeklinde yapılandırılmış format

Veri hacmi 100 terabayt’tan 1 petabayt’a kadar

100 terabayt’tan daha az

Veri akışı Sürekli Statik veri havuzu

Analiz yöntemi

Makine öğrenmesi Hipoteze dayalı

Birincil amaç

Veriye dayalı ürünler İç karar desteği ve hizmetler

Büyük veri bileşenleri [V (3 + 2) Kuralı] Büyük veri projelerinde üç V şöyledir;

Volume: hacimVariety: çeşitlilikVelocity: hız Eğer odaklı düşünmek mümkünse bunlara iki V daha eklenmelidir;

Veracity: doğrulukValue: değer

Büyük veri bileşenleri (I/II)1. Miktar (Volume): Veri büyüklüğü artık, terabyte ve petabytedan daha büyük hale geldiğinden, depolama ve analiz süreçleri için geleneksel yaklaşımlar yetersiz kalmaktadır.

2. Hız (Velocity): Daha hızlı üreyen veri, o veriye muhtaç olan işlem sayısının ve çeşitliliğinin de aynı hızda artması sonucunu doğurmaktadır.

3. Çeşitlilik (Variety): Üretilen verinin yüzde 80’i yapısal değildir ve her yeni teknoloji, farklı formatlarda veri üretmektedir. Telefonlardan, tabletlerden, bütünleşik devrelerden gelen çeşitli veri tipi ile uğraşılması ve birbirlerine dönüşmeleri gerekmektedir.

Büyük veri bileşenleri (II/II)4. Doğrulama (Verification): Bu bilgi yoğunluğu içinde verinin akışı sırasında güvenli olması da bir diğer bileşendir.

Akış sırasında, doğru katmandan, olması gerektiği güvenlik seviyesinde izlenmesi, doğru kişiler tarafından görünebilir veya gizli kalması gerekmektedir.

5. Değer (Value): Büyük verinin veri üretim ve işleme katmanlarından sonra kurum içinbir artı değer yaratıyor olması, karar veriş süreçlerine anlık olarak etki etmesi, doğru kararı vermede hemen el altında olması gerekmektedir.

Büyük veri; verilerin dijitalleşmesi ve farklı boyutlarda alınan verilerin toplanıp, düzenlenmesiyle insan davranışlarını anlama, tahminler yapma ve işletmelerin sahip olduğu verilerden yola çıkarak akıllı yönetim imkânı sağlamaktadır.

Büyük veri hedef ve aşamalarıBüyük veri projelerinde ana hedefler•Maliyet tasarrufu•Zaman tasarrufu•Yeni teklifler geliştirmek•İş kararlarını desteklemek

Proje aşamaları•Keşif: Elinizdeki verilerin tanımlanması, içeriğinin belirlenmesi, size ne gibi faydalar sağlayabileceği

•Üretim: Uygulamaları ölçeklendirerek üretim süreçlerine dahil etmek

Veri kullanımı ve analizi terminolojisiTerim Zaman

aralığıÖzel anlam

Karar desteği 1970 – 1985 Karar vermeyi destekleme için veri analizi kullanımı

Yönetici desteği 1980 – 1990 Üst düzey yönetici kararları için veri analizi kullanımı

Online analitik işlem

1990 – 2000 Çok boyutlu veri tablolarının analizi için kullanılan yazılımlar

İş zekası 1989 – 2005 Veri odaklı karar vermeyi desteklemek için kullanılan raporlama ağırlıklı araçlar

Analitik 2005 – 2010 İstatistiki ve matematiksel analiz odaklı karar verme

Büyük veri 2010 – günümüz

Çok büyük, yapılandırılmamış, hızlı hareket eden veri kullanımı

Büyük verinin sektörlere katkıları (I/II)1. İşletme: Müşteri kişiselleştirme, müşteri kaybı sebeplerini belirleme, dağıtım ve lojistik optimizasyonu

2. Teknoloji: İşlem süresini azaltma, gerçek zamanlı analiz, kriz dönemlerinde hızlı cevap üretme, riskleri azaltmak için otomatik sistemler ile karar verme

3. Sağlık: Hastalık tespiti, seyrinin takibi ve sağlığı güçlendirmek için kişisel DNA analizi yapma

4. Kamu Sektörü: Verilere erişilebilirlik sağlayarak şeffaflık oluşturma, uygun ürün ve hizmetler için eylemlerin uyarlanması

Büyük veri teknolojisi

Büyük veri ve Analitik 3.0Analitik 1.0 Analitik 2.0 Analitik 3.0

Şirket tipleri Büyük kurumlar Online ve startup firmalar

Hepsi – «veri ekonomisi»

Analitik hedef İç kararlar Yeni ürünler Karar ve ürünler

Veri tipi Küçük, yapılandırılmış Büyük, yapılandırılmamış

Karışık

Yaratılış yaklaşımı Uzun – döngü toplu işlem

Kısa döngü, çevik Kısa döngü, çevik

Esas teknoloji Yazılım paketleri Açık kaynaklı Kapsamlı portföy

Esas analitik tipi Açıklayıcı Açıklayıcı, öngörücü Normatif

İş ilişkisi Geri hizmet «Köprüde» İşbirlikçi

Analitik 3.0 özellikleri (I/II)•Genellikle birleştirilen çoklu veri tipleri

•Dış ve iç veri kaynakları•Yapılandırılmış ve yapılandırılmamış veri formatları•Öngörücü ve normatif modellemeler

•Çok daha hızlı teknoloji ve yöntemler•Hadoop/MapReduce •Machine learning

•Entegre ve dahili modeller

Analitik 3.0 özellikleri (II/II)•Yeni ve hibrid teknoloji ortamları

•Apache kafka•Storm (gerçek zamanlı mesajlaşma ve işleme araçları)

•Veri bilimi / Analitik / BT takımları•Güvenilir hackerlar•Veri bilimcisi mesleği

•Analitik genel müdürleri ve denkleri (CAO)•Chief science officer / chier analytics officers

•Normatif analitiğin artan kullanımı•Açıklayıcı, öngörücü yerine normatif yani; optimal davranış ve aksiyonların belirlenmesi

Bonus – Dizi ve Film Önerilerim•Çizgi film: Jetgiller•Film: Moneyball (Brad Pitt)•Dizi: Black Mirror (3 Sezon)•Dizi: Person of Interest (Video analiz)•TED Talks: Kenneth Cukier - Big data is better data•PDF: At the Big Data Crossroads: turning towards a smarter travel experience (Amadeus)

Çünkü sunum bitti teşekkürler…