Büyük VeriVeri

Büyük Verinin Stratejik ÖnemiDünyada Büyük Veri

Ülkemizde Büyük VeriÖneriler

Büyük Veri ve Büyük Verinin AnaliziBig Data and Its Analysis

H. Erbay1 H. Kör2

1Bilgisayar MühendisligiKırıkkale Üniversitesi

2Bilgisayar TeknolojileriHitit Üniversitesi

Uluslararası Bilim ve Teknoloji Konferansı 3-6 Ekim, 2016 Ankara - TürkiyeInternational Conference on Science and Technology October 3-6, 2016 Ankara -

Turkey

H. Erbay, H. Kör Büyük Veri ve Büyük Verinin Analizi

Büyük VeriVeri

Büyük Verinin Stratejik ÖnemiDünyada Büyük Veri

Ülkemizde Büyük VeriÖneriler

Özet

1 Büyük Veri

2 Veri

3 Büyük Verinin Stratejik Önemi

4 Dünyada Büyük Veri

5 Ülkemizde Büyük Veri

6 Öneriler

H. Erbay, H. Kör Büyük Veri ve Büyük Verinin Analizi

Büyük VeriVeri

Büyük Verinin Stratejik ÖnemiDünyada Büyük Veri

Ülkemizde Büyük VeriÖneriler

Büyük veri

Büyük veri nedir?2000’li yıllara kadar büyük veri: hacim anlamında büyükmiktardaki verinin saklanması ve analiz edilmesidir.

Paylasılmıs Disk Dosya Sistemleri(Shared Disk FileSystem), Dagıtık Dosya sistemler(Distributed File System)Yazılım : Haoop, Google File System.Bulut Tabanlı Dagıtık Dosya sistemler (Cloud-basedDistributed File System). Bazı örnekler: Google CloudPlatform, CenturyLink Cloud

H. Erbay, H. Kör Büyük Veri ve Büyük Verinin Analizi

Büyük VeriVeri

Büyük Verinin Stratejik ÖnemiDünyada Büyük Veri

Ülkemizde Büyük VeriÖneriler

Büyük Veri

2000’li yıllarda büyük veri üç bilesenli karakterize edilir1 ve3V ile gösterilir.

Hacim : Olusturulan verinin miktarı ve saklanan veridikkate alınır. Veri miktarı, degerini ve potansiyel içanlamını belirler, sonuçta o verinin gerçekte büyük veri olupolmadıgını düsünülür.

Veri farklı kaynaklardan olusturulur. IDC(International DataCorporation) istatistiklerine göre: veri 44 farklı araçtanüretilir. Sensörlerden super bilgisayarlara, kisiselbilgisayarlardan sunuculara, arabalardan uçaklara.IDC istatistiklerine göre 2013’ten 2020’ye veri miktarı 4.4trilyon gigabyte’tan 44 trilyona çıkacak.IDC istatistiklerine göre 2013’te dijital verinin %20’si buluttaislem görürken 2020’de %40 olacak.

1Doug Laney. 3D Data Management: Controlling Data Volume, Velocityand Variety. Tech. rep. Meta Group, 2001.

H. Erbay, H. Kör Büyük Veri ve Büyük Verinin Analizi

Büyük VeriVeri

Büyük Verinin Stratejik ÖnemiDünyada Büyük Veri

Ülkemizde Büyük VeriÖneriler

Büyük Veri

Hız : Gelen ve giden verinin hızı dikkate alınır.Verinin üretilmesi ve islenmesi beklentileri karsılaması hızolarak düsünülür. Veri sel gibi akmaktadır ve gerçekzamana yakın ele alınmalıdır.

Veri çesitliligi : Veri farklı kaynaklardan ve farklıformatlarda üretilir. Veri sayısal, metinsel, görüntü, ses,video olabilir, yani, yapısal veya yapısal olmayanbiçimdedir.

Dijital verilerin %70-%80 yapısal olmayan veriler olusturur2.Faydalı bilgilerin %80-%90 yapısal olmayan verilerden eldeedilir.Veri madenciligi, Dogal Dil isleme v.b. bilim dalları buverileri yorumlamaya çalısır.

2Unstructured data. 2016. URL:https://en.wikipedia.org/wiki/Unstructured_data (visited on10/02/2016). H. Erbay, H. Kör Büyük Veri ve Büyük Verinin Analizi

Büyük VeriVeri

Büyük Verinin Stratejik ÖnemiDünyada Büyük Veri

Ülkemizde Büyük VeriÖneriler

Büyük Veri

Günümüzde büyük veri kavramına 2 bilesen ilave ederek5V ile ile anarız34. Bu yeni iki boyut:

Veri kalitesi : Veri dogrulugu, veri güvenligi, isletmelerinveriye güvenerek kritik karar almaları anlasılır.Veri degeri : Veriden bilgi üretebimedir. En önemlibilesendir ve verinin önemini belirler.

3What is Big Data? URL:http://www.villanovau.com/resources/bi/what-is-big-data/#.V_DkeiiLRaQ (visited on 10/02/2016).

4Neil Biehn. The Missing Vs in Big Data: Viability and Value. 2016. URL:https://www.wired.com/insights/2013/05/the-missing-vs-in-big-data-viability-and-value/ (visited on 10/02/2016).

H. Erbay, H. Kör Büyük Veri ve Büyük Verinin Analizi

Büyük VeriVeri

Büyük Verinin Stratejik ÖnemiDünyada Büyük Veri

Ülkemizde Büyük VeriÖneriler

Veri

Veri; gerçeklerin, fikirlerin ve komutların insan veya makinetarafından iletisim, yorumlama veya islemeye uygun olarakbelli bir düzende soyutlanmasıdır.Bilgi ekosisteminde veri petrol gibidir5. Veri, sadece hampetroldür, rafine edilmezse, degeri vardır ama kullanılabilirdegildir6.

5Michael Palmer. Data is the New Oil. 2006. URL: http://ana.blogs.com/maestros/2006/11/data_is_the_new.html(visited on 07/30/2016).

6Perry Rotella. Is Data The New Oil? 2012. URL:http://www.forbes.com/sites/perryrotella/2012/04/02/is-data-the-new-oil/#3f71592177a9 (visited on 07/25/2016).

H. Erbay, H. Kör Büyük Veri ve Büyük Verinin Analizi

Büyük VeriVeri

Büyük Verinin Stratejik ÖnemiDünyada Büyük Veri

Ülkemizde Büyük VeriÖneriler

Veri

Bazı istatistiki degerler:Wal-Mart her saat 1 milyon müsterinin islemlerini yapıp,bunları veri tabanına kaydeder. Bu 2.5 petabyte veridir.Google günlük 20 petabyte veriyi isler.Akamai daha iyi reklam hedefi için günlük 75 milyon olayıanaliz eder.YouTube kullanıcıları günün her dakikasında 48 saatlikvideo yüklerler.Günlük tweet sayısı 175 milyon.Facebook’ta paylasılan aylık içerik sayısı 30 milyar.

H. Erbay, H. Kör Büyük Veri ve Büyük Verinin Analizi

Büyük VeriVeri

Büyük Verinin Stratejik ÖnemiDünyada Büyük Veri

Ülkemizde Büyük VeriÖneriler

Büyük Verinin Stratejik Önemi

Verinin ne kadar degerli oldugunu ortaya koyan en önemlikriter, verinin kritik karar sürecinde kattıgı degerdir.Büyük veri suç önleme, savunma, güvenlik, gelir yönetimi,tasımacılık vb birçok alanda kullanılmaktadır.Amerika’nın Seattle, Los Angeles sehirlerde "Önleyici PolisHizmetleri" adlandırılan uygulama hayata geçirilmistir7.Islenen suçların zamanı, yeri ve içerigi incelenmistir.4 aylık bir zaman diliminde cinayet oranını yüzde 12 gibi biroranda düsmüstür.Hırsızlık, yüzde 26 azalmıstır.

7Mara Hvistendahl. Can ‘predictive policing’ prevent crime before ithappens? 2016. URL:http://www.sciencemag.org/news/2016/09/can-predictive-policing-prevent-crime-it-happens (visited on 08/29/2016).

H. Erbay, H. Kör Büyük Veri ve Büyük Verinin Analizi

Büyük VeriVeri

Büyük Verinin Stratejik ÖnemiDünyada Büyük Veri

Ülkemizde Büyük VeriÖneriler

. .

H. Erbay, H. Kör Büyük Veri ve Büyük Verinin Analizi

Büyük VeriVeri

Büyük Verinin Stratejik ÖnemiDünyada Büyük Veri

Ülkemizde Büyük VeriÖneriler

Büyük Verinin Stratejik Önemi

H. Erbay, H. Kör Büyük Veri ve Büyük Verinin Analizi

Büyük VeriVeri

Büyük Verinin Stratejik ÖnemiDünyada Büyük Veri

Ülkemizde Büyük VeriÖneriler

Büyük Verinin Stratejik Önemi

Hollanda istatistik birimi, yollarda bulunan sensörlerdentoplanan verileri toplayarak yolların kullanım oranlarınıtespit etmistir8.Sensörler önünden geçen her aracın hızını ve tipini (araba,kamyon ve benzeri) algılayarak merkezi sistemebildirmektedir.Bu çalısmayla ulasımda alınması gereken önlemlerbelirlenmistir.Projede toplanan veri miktarının yüksekligi nedeniylebüyük veri teknolojileri tercih edilmistir.

8Talia Domenico. “Clouds for Scalable Big Data Analytics”. In: IEEEComputer Society 46 (2013), pp. 98–101.

H. Erbay, H. Kör Büyük Veri ve Büyük Verinin Analizi

Büyük VeriVeri

Büyük Verinin Stratejik ÖnemiDünyada Büyük Veri

Ülkemizde Büyük VeriÖneriler

Büyük Verinin Stratejik Önemi

PriceStats çevrimiçi fiyatlardan faydalanarak enflasyontahmini yapan doktora ögrencisi Alberto Cavallo tarafındangelistirilen suan ise genis kapsamlı bir projedir910.2012 yılında "The Economist" dergisi, Arjantin devletininresmi enflasyon rakamları yerine bu proje kapsamındahesaplanan enflasyon verilerini kullanmaya baslamıstır.Ekonomistlerin PriceStats’ın büyük veriyi kullanarakhesapladıgı rakamların ülkelerin resmi istatistikleri yerinedaha güvenilir bulunmaktadır.2014 yılında ülkemizide proje kapsamına almıstır.

9Alberto Cavallo. “Scraped Data and Sticky Prices: Frequency, Hazards,and Synchronization”. PhD thesis. Harvard University, 2007.

10Alberto Cavallo. PriceStats. 2016. URL:http://www.pricestats.com/ (visited on 08/29/2016).

H. Erbay, H. Kör Büyük Veri ve Büyük Verinin Analizi

Büyük VeriVeri

Büyük Verinin Stratejik ÖnemiDünyada Büyük Veri

Ülkemizde Büyük VeriÖneriler

Büyük Verinin Stratejik Önemi

2011 tarihli arastırmalar gösteriyor ki sadace AmerikaBirlesik Devletlerinde, ileri derecede büyük veri analizibecerisine sahip (makine ögrenmesi ve gelismisistatistiksel analizler dahil) tahmin edilen arzın %50-60fazlası oranındadır11.2018 yılına kadar 140000-190000 arası veri bilimciyeihtiyaç oldugu belirtilmektedir.1.5 milyon büyük verinin nasıl islendigi konusunda hakimyönetici ve analiste ihtiyaç oldugu ifade edilmektedir.

11James Manyika Brad Brown Michael Chui. Are you ready for the era ofbig data? 2006. URL: http://www.mckinsey.com/business-functions/strategy-and-corporate-finance/our-insights/are-you-ready-for-the-era-of-big-data (visited on06/29/2016).

H. Erbay, H. Kör Büyük Veri ve Büyük Verinin Analizi

Büyük VeriVeri

Büyük Verinin Stratejik ÖnemiDünyada Büyük Veri

Ülkemizde Büyük VeriÖneriler

Büyük Verinin Stratejik Önemi

Gartner’ın 2013 raporuna göre ABD’deki sirketlerin yüzde64’ü ya Büyük Veri’ye yatırım yapıyor ya da yapmayıplanlıyor12.Ancak Büyük Veri’nin sadece yüzde 8’i verimli sekildekullanıyor13.

12Predicts 2014: Big Data. 2014. URL:https://www.gartner.com/doc/2626815/predicts--big-data(visited on 08/29/2016).

13Büyük Veri, Bilgi Yagmurundan Anlam Yaratmak. 2014. URL:http://www.theoptimist.com (visited on 07/25/2016).

H. Erbay, H. Kör Büyük Veri ve Büyük Verinin Analizi

Büyük VeriVeri

Büyük Verinin Stratejik ÖnemiDünyada Büyük Veri

Ülkemizde Büyük VeriÖneriler

Dünyada Büyük Veri

NSA (National Security Agency - ABD Ulusal GüvenlikAjansı) günde 1,7 milyar elektronik posta, telefongörüsmeleri ve diger iletisim cihazlarından toplanan verileridepolamaktadır14.Microsoft, Yahoo, Google, Facebook, PalTalk, YouTube,Skype, AOL ve Apple Prism adlı programa katılarak NSAile isbirligi yapmaktadır.15.

14Viktor Mayer-Schönberger and Kenneth Cukier. Büyük Veri - Yasama,Çalısma ve Düsünme Seklimizi Dönüstürecek Bir Devrim. Paloma Yayınevi,2013.

15M. Dogan. “Büyük Verinin Kisiler ve Kurumlar Üzerindeki Etkileri”.MA thesis. Istanbul Bilgi Üniversitesi, 2014.

H. Erbay, H. Kör Büyük Veri ve Büyük Verinin Analizi

Büyük VeriVeri

Büyük Verinin Stratejik ÖnemiDünyada Büyük Veri

Ülkemizde Büyük VeriÖneriler

Dünyada Büyük Veri

Yeniden islenebilir verinin bir sekilde yani rapor, özet,süzülmüs veri veya pdf olarak degil veri dosyası (xls, csvvb.) üçüncü taraflarla hatta “api” adı verilen arayüzyazılımları aracılıgıyla makinelerle paylasılmasına açık veridenilmektedir.Bu arayüzler aracılıgıyla ABD’de 192.000, Ingiltere’de22.000 veriseti paylasılıyor. Hayatı kolaylastıran, hizmetleridaha verimli kılan, devlet üzerinde daha etkili bir kamuoyudenetimine imkan veren arastırmalar, yazılımlar buverisetleri üzerinden gelistirilebiliyor16.

16book:tepav2016.H. Erbay, H. Kör Büyük Veri ve Büyük Verinin Analizi

Büyük VeriVeri

Büyük Verinin Stratejik ÖnemiDünyada Büyük Veri

Ülkemizde Büyük VeriÖneriler

Dünyada Büyük Veri

Ingiltere, büyük verinin kamuda avantajını kullanarak yıllık16-33 milyar pound tasarruf saglamaktadır17.Kamu islemlerindeki yönetim performası gelistiripkaçakçılıgı ve hatayı azaltarak.

17V. Morabito. “Big Data and Analytics for Government Innovation”. In: BigData and Analytics (2015), pp. 23–45.

H. Erbay, H. Kör Büyük Veri ve Büyük Verinin Analizi

Büyük VeriVeri

Büyük Verinin Stratejik ÖnemiDünyada Büyük Veri

Ülkemizde Büyük VeriÖneriler

Ülkemizde Büyük Veri

Ülkemizde büyük veri kullanımı 1V düzeyindedir.Kalkınma Bakanlıgı 2014-2018 Bilgi Toplumu Stratejisi veEylem Planı Taslagı 50. Eylemi “Kamuda Büyük Veri PilotUygulaması Gerçeklestirilmesi” 2014-2016 yıllarındatamamlanması planlanmıstır. Bu eylem ile büyük verininekonomik degere dönüsmesi saglanması ve sosyalgüvenlik, saglık, vergi, güvenlik gibi alanlar basta olmaküzere kamuda büyük veri uygulamalarının gelistirilmesihedeflenmistir18.

18Türkiye Bilisim Dernegi. Büyük Veri Uygulamaları. 2016. URL:http://www.kamu-bib.org.tr/CG4-Buyuk-Veri-Uygulamalari-2016.pdf (visited on 08/20/2016).

H. Erbay, H. Kör Büyük Veri ve Büyük Verinin Analizi

Büyük VeriVeri

Büyük Verinin Stratejik ÖnemiDünyada Büyük Veri

Ülkemizde Büyük VeriÖneriler

Ülkemizde Büyük Veri

Dünya analitik lideri SAS destegiyle Sabancı Üniversitesive Massachusetts Institute of Technology (MIT)’ninortaklıgıyla Türkiye’nin ilk ve tek Büyük Veri DavranıssalAnaliz ve Görsellestirme Laboratuvarı kurulmustur.Bu laboratuvar, insanların günlük hayattaki ve sosyalortamlardaki davranıslarını farklı kaynaklardan toplanabilen‘Büyük Veri’nin analizi ile açıklamaya çalısmakta vesözkonusu davranısları tahmin etmeye yönelikmatematiksel modeller ve teknikler gelistirmektedir.19.

19Sabancı Üniversitesi. Türkiye’nin Ilk Büyük Veri Laboratuvarı’nın AnalitikOrtagı SAS. . 2016. URL:http://gazetesu.sabanciuniv.edu/tr/2016-01/turkiyenin-ilk-buyuk-veri-laboratuvarinin-analitik-ortagi-sas (visitedon 07/20/2016).

H. Erbay, H. Kör Büyük Veri ve Büyük Verinin Analizi

Büyük VeriVeri

Büyük Verinin Stratejik ÖnemiDünyada Büyük Veri

Ülkemizde Büyük VeriÖneriler

Ülkemizde Büyük Veri

Türkiye’de Büyük Veri Uygulamaları

Saglık B.

e-Nabız Muayene, tetkik ve tedavi bilgileri v.b. saglık verilerini yönetir ve

hastanın tıbbi özgeçmise ulasılmasını saglar

UBYS Bireysel saglık bilgileri yanısıra tüm kurum ve kurulusların insan

gücü, tasınır, tasınmaz, idari ve mali verilerini saklar

MHRS Saglık Bakanlıgı 2. Ve 3. basamak hastaneler ile agız ve dis

saglıgı merkezleri için hastaların randevu almasını saglar

Ası Takip Sistemi Ası Takip Sistemi Ülkemiz genelindeki asıların stok kontrolünden,

tasınmasının yapıldıgı ve barındırıldıgı her noktadaki ısı

maruziyetine, uygulanan kisi ve yerine kadar her türlü bilgiyi saklar

H. Erbay, H. Kör Büyük Veri ve Büyük Verinin Analizi

Büyük VeriVeri

Büyük Verinin Stratejik ÖnemiDünyada Büyük Veri

Ülkemizde Büyük VeriÖneriler

Ülkemizde Büyük Veri

Türkiye’de Büyük Veri Uygulamaları

Kurum Uygulama Kullanım Amacı

SGK

e-Bildirge Sistemi Sigorta prim tahsillerinin ve isyeri tescil kayıtlarının takibi

MEDULA Saglık ödemelerinin takibi

ALO 170 Çalısma ve Sosyal Güvenlik iletisim Merkezi’nin hizmetlerinin

bilgilendirmesi, çözüm önerilerinin sunulması

Veri Ambarı Saglık, sigortalama, emeklilik konularında raporlama

H. Erbay, H. Kör Büyük Veri ve Büyük Verinin Analizi

Büyük VeriVeri

Büyük Verinin Stratejik ÖnemiDünyada Büyük Veri

Ülkemizde Büyük VeriÖneriler

Ülkemizde Büyük Veri

Türkiye’de Büyük Veri Uygulamaları

Kurum Uygulama Kullanım Amacı

MEB

MEBBIS Milli Egitim Bakanlıgı bilgi islem modülü platformu

E-okul Ögrencilerin okula kaydından mezuniyete kadar tüm süreci takip eder,

bilgilendirme yapar

FATIH Bilgi toplumu yaratmak hedefiyle egitimde teknolojiyi etkin kullanımını saglar.

e-YAYGIN Halk egitim merkezi, mesleki egitim merkezi, olgunlasma enstitüsü ve turizm

egitim merkezi v.b. yaygın egitim kurumlarının düzenledigi seminer, faaliyet ve

kurslara iliskin tüm is ve islemleri yürütür

ALO 147 Milli Egitim Bakanlı gının görev ve sorumluluklarıyla ilgili her türlü talep,

sikâyet, görüs ve öneri, ihbar, bilgi edinme soruları ile bakanlıgın vermis oldugu

tüm hizmetler hakkında bilgiyi etkin ve hızlı bir biçimde sunar

H. Erbay, H. Kör Büyük Veri ve Büyük Verinin Analizi

Büyük VeriVeri

Büyük Verinin Stratejik ÖnemiDünyada Büyük Veri

Ülkemizde Büyük VeriÖneriler

Öneriler

Veri analizi becerisine sahip veri bilimcilerin yetistirilmesi,Kamu kurumlarında büyük veriden etkin sekildeyararlanmak için alt yapı yatırımlarının artırılması,Büyük veri bilincinin gerek kamu gerekse özel sektöre iyianlatılması,Büyük veri ile alakalı ulusal / uluslararası isbirliklerinözendirilmesi, desteklenmesi.

H. Erbay, H. Kör Büyük Veri ve Büyük Verinin Analizi

Büyük VeriVeri

Büyük Verinin Stratejik ÖnemiDünyada Büyük Veri

Ülkemizde Büyük VeriÖneriler

Öneriler

Ülkemizde de Amerika ve Ingiltereye benzer açık veripaylasımlarının yapılması (data.gov gibi) devlethizmetlerinin daha yararlı yapılmasını saglayacaktır.Sabancı Üniversitesi ve Massachusetts Institute ofTechnology(MIT) ortaklıgında kurulan ‘Büyük Veri’ analizlaboratuvarları yaygınlastırılmalı ve çalısma alanlarıgenisletilmelidir.

H. Erbay, H. Kör Büyük Veri ve Büyük Verinin Analizi