data-driven jako nové paradigma

Data-driven jako nové paradigma31. 10. 2011, Josef Šlerka, Studia nových médiíPrecamp #2, Krásný ztráty, Praha

Wednesday, November 2, 11

Data jsou (velmi naivně)vyjádření skutečností formálním způsobem tak, aby je bylo možno přenášet nebo zpracovat (např. počítačem)

číselné nebo jiné symbolicky vyjádřené (reprezentované) údaje a hodnoty nějakých entit nebo událostí

jakékoliv fyzicky (materiálně) zaznamenané znalosti (vědomosti), poznatky, zkušenosti nebo výsledky pozorování procesů, projevů, činností a prvků reálného světa (reality)

surovina, z níž se tvoří informaceWikipedia


Čtyři paradigmata vědy

1. empirický - založeno na pozorování přírody

2. teoretický - vytváří modely, generalizuje

3. komputační - simulace komplexních systémů

4. datový - založený na analýze data


Paradigma

Paradigma (je) souhrn základních domněnek, předpokladů, představ dané skupiny vědců. Ke každému paradigmatu patří i metodická pravidla řešení, intuitivní postoje a hodnocení problémů. Proměna vědeckého paradigmatu se děje zvraty (tzv. vědeckými revolucemi). (Wikipedia)


Společenské paradigma

An information society is a society in which the creation, distribution, diffusion, use, integration and manipulation of information is a significant economic, political, and cultural activity. (Wikipedia)


Data divide: nové bojiště

1. Digital Divide

2. Mobile Divide

3. Data Divide


Pozor na “čistá” data


BTW: Open Datajsou politická otázka!nikoli technická!


Sexy job?

“I keep saying that the sexy job in the next 10 years will be statisticians...”

Hal Varian, chief economist at Google.


Data science je lepší


Stupně práce s daty

1. Obtain: pointing and clicking does not scale.

2. Scrub: the world is a messy place

3. Explore: You can see a lot by looking

4. Models: always bad, sometimes ugly

5. iNterpret: “The purpose of computing is insight, not numbers.”

Text

http://www.dataists.com/2010/09/a-taxonomy-of-data-science/




Demokratizace datNoSQL databáze (CouchDB, Redis, Big Table)

Storage (S3, HDFS)

Servery (EC2, Google App Engine)

Processing / Čištění (Elastic Search, R, Google Refine)

NLP / Machine Learning (NLP Toolkit, Open Calais)

Vizualizace (Gephi, Protovis, Processing)


Pro nás ostatníGoogle Fusion Tables (http://www.google.com/fusiontables/Home/)

Google Docs (docs.google.com)

Google Refine (http://code.google.com/p/google-refine/)

Yahoo Pipes (http://pipes.yahoo.com/)

Many Eyes (http://www-958.ibm.com/software/data/cognos/manyeyes/)


http://www.google.com/fusiontables/Home/




http://code.google.com/p/google-refine/




http://pipes.yahoo.com/

http://pipes.yahoo.com/

http://www-958.ibm.com/software/data/cognos/manyeyes/




Naše problémy

nevůle lidí data vůbec dávat, strach z kontroly

ne-demokratičnost

málo dat v strojově čitelném formátu

minumum českých aplikací s API

absence českých NLP nástrojů


Ale na časy se blýská...

http://www.rozpocetverejne.cz/

http://zindex.cz/

http://opendata.cz/




http://zindex.cz/

http://zindex.cz/

http://opendata.cz/

http://opendata.cz/

Čas na diskusi...

email: [email protected]

twitter: http://twitter.com/josefslerka


mailto:[email protected]

mailto:[email protected]

http://twitter.com/josefslerka

http://twitter.com/josefslerka

data-driven jako nové paradigma

Education

sexy job

cz http

google

data

http

wikipedia

wednesday

november 2