internet wszechrzeczy. w kierunku big data
DESCRIPTION
Prezentacja z konferencji Internet w świecie cyfrowym 2013. (Wersja skrócona). Jak to jest z danymi a informacjami? Czemu dużo danych to problem? Gdzie tu jest jeszcze informatyka?TRANSCRIPT
Internet wszechrzeczyW KIERUNKU REALLY BIG DATA
Kwestie fundamentalneKtóre z poniższych rozumieć jako treści:
• Dane
• Informacje
• Wiedza
Czym jest Sieć?
Internet of things
Internet of everything
Do obejrzenia:
http://www.youtube.com/
watch?v=higj9P_SZEM
Treści w Internecie
Czasy wykładnicze:
Liczba SMSów wysłanych dziennie przekracza populację ziemską – dwadzieścia lat temu nie było SMSów
31 miliardów zapytań do Google co miesiąc (2,7 miliarda w 2006) – trzynaście lat temu nie było Google
Przez Twitter przebiega 50 milionów postów dziennie (to około 600 na sekundę) – pięć lat temu nie było Twittera
Szacuje się, że w tym roku zostanie wygenerowane ok. 4 eksabajtów (1018) unikalnych informacji.
Jest to tyle, ile przez ostatnie 5000 lat
Consumer + producer = prosumer(Uczestnik jest odbiorcą ORAZ autorem treści)
Za: Fisch K. Did You Know 3.0 (Officially updated for 2012) HD Youtube video
Treści w Internecie
Czasy wykładnicze:
Liczba SMSów wysłanych dziennie przekracza populację ziemską – dwadzieścia lat temu nie było SMSów
31 miliardów zapytań do Google co miesiąc (2,7 miliarda w 2006) – trzynaście lat temu nie było Google
Przez Twitter przebiega 50 milionów postów dziennie (to około 600 na sekundę) – pięć lat temu nie było Twittera
Szacuje się, że w tym roku zostanie wygenerowane ok. 4 eksabajtów (1018) unikalnych informacji.
Jest to tyle, ile przez ostatnie 5000 lat
Consumer + producer = prosumer(Uczestnik jest odbiorcą ORAZ autorem treści)
Za: Fisch K. Did You Know 3.0 (Officially updated for 2012) HD Youtube video
Ludzie i ilość danych
Ekonomia uwagi
„W świecie informacyjnym bogactwo informacji oznacza ubóstwo czego innego: niedostatek czegoś co ta informacja pożera. Odpowiedź na pytanie co zabiera informacja, jest raczej oczywista: zabiera uwagę odbiorców. Dlatego bogactwo informacji skutkuje niedostatkiem uwagi i potrzebą efektywnego dzielenia tej uwagi między mogącymi ją pochłonąć wieloma źródłami informacji.”
Herbert Simon (1978)
Wymuszony ruch„Życie w erze informacyjnej jest jak picie wody z węża strażackiego” (J. Porter)
Otrzymujemy ogromne dawki informacji Otrzymujemy informacje ciągle i nieustannie Podejmujemy ogromną ilość decyzji
Zbyt wiele informacjiZbyt wiele produktów PARALIŻ DECYZYJNY
PORTER J.: Sieci Społecznościowe. Projektowanie. Helion, Gliwice 2010
Ludzkie zachowanie a Internet◦ Równanie Lewina
◦ Zachowanie to funkcja osobowości oraz otoczenia
Człowiek, który wystawia komentarz na Allegro, wpływa na zachowanie innych
W jakim stopniu pogoda dyktuje Ci, jak się ubrać, a w jakim – działania, zachowania innych, a także Twoja chęć wpływu na ich reakcje i działania?
Jesteśmy pod dużo głębszym wpływem ludzi, których znamy i grup, do których należymy, niż nam się wydaje
Będąc częścią Sieci jesteśmy częścią samoorganizującego systemu
Wniosek: trendy zachowań, działania w Sieci można badać niczym prądy morskie
Sieć socjalna„Zwłaszcza młodzież jest absolutnie sieciowa. We wszystkich przejawach życia”. (J. Morbitzer)
STOCKER Rob Green David G and Newth David (2001), Consensus and cohesion in simulated social networks. Journal of Artificial Societies and Social Simulations, Volume 4 Issue 4. (http://jasss.soc.surrey.ac.uk/4/4/5.html)
Struktura sieciowa
- Porządek chaotyczny- Brak autorytetów
Struktura hierarchiczna
- Jasny porządek- Autorytety „odgórne”
Struktura z superwęzłami (z większym autorytetem)
Sieci społecznościoweW sumie znane od początków społeczeństwa!
Znajomi
Znajomi znajomych
Poznani w sieci
Poznani poza siecią
Autorytety „odgórne”? Raczej „superwęzły”
Web 3.0 czyli pomoc informatykiInformatyka tworzy narzędzia:
Wielokierunkowej transmisji informacji
Translacji danych i informacji
Filtrowania treści
Tworzenia metainformacji (informacji o informacji)
Wyszukiwania i metawyszukiwania
Pojęcie „bogatej sieci” (Rich Web)
- koncentrującej się na bazach wiedzy
Za: metafluence.com
Przemysł i ilość danych
Istota problemuBiznes/przemysł stoi przed podobnym problemem co pojedynczy odbiorca sieci:
Otrzymuje ogromne ilości danych
Duża ilość danych nie oznacza dużej ilości informacji
Duża ilość informacji nie oznacza większej wiedzy
Organizacja
Sensory
Dane z transakcji
Badania (np. ankiety)
Dane z procesów
Kłopoty z danymiDane:◦ Strukturalne◦ Niestrukturalne
Volume (ilość)
Variety (różnorodność)
Veracity (wiarygodność)
Velocity (terminowość)
Kłopoty z danymiDane:◦ Strukturalne◦ Niestrukturalne
Volume (ilość)
Variety (różnorodność)
Veracity (wiarygodność)
Velocity (terminowość)
Przykład danych strukturalnych:
Imię: __________Nazwisko: ____________
Proszę ocenić jakość pracy dziekanatu (w skali 1-10):
_____________
Proszę ocenić jakość przeprowadzonych zajęć
(b.słaba, słaba, dobra, b. dobra, nie mam zdania):
_____________
Maszyna przetwarzająca WIE, jakiego formatu danych się spodziewać
Maszyna przetwarzająca wie, jaki kontekst będą miały otrzymane dane
Łatwo z danych uzyskujemy informacje
Przykład danych niestrukturalnych:
Imię: __________Nazwisko: ____________
Jak oceniają Państwo dziekanat Uczelni?______________________________________________________________________
Co zmienilibyście Państwo w zajęciach?
_____________________________________________________________________
Maszyna przetwarzająca NIE wie, jakiego formatu danych się spodziewać
Maszyna przetwarzająca nie będzie potrafiła prostymi sposobami przetworzyć
danych na informacje
Ogólne ujęcie systemów Big Data
Eksport
Strumieniew czasie
rzeczywistym
Dane niestrukturalne
Bazy danych ustruktury- zowanych
Duże bazy danych
Przetwarzanie wsadowe
PrzetwarzanieAnalityka
Źródło: McDougall R.: Architecting Virtualised Infrastructure for Big Data, Strata Conference 2012
Infrastruktury przechowywania danych
Zmniejszenie złożoności
Uproszczenie działania i
utrzymania
Umożliwienie elastycznego, szybkiego dostarczania usług
Reakcja na spodziewane oraz nagłe potrzeby biznesu
Dziękuję[email protected]
HTTP://MRDEAN.WORDPRESS.COM
HTTP://TWITTER.COM/MROSTANSKI
HTTP://FACEBOOK.COM/MACIEJ.ROSTANSKI