Предварительная подготовка данных к публикации и...

Высшая школа экономики, Москва, 2013

www.hse.ru

Радченко Ирина Алексеевна кандидат технических наук, доцент http://about.me/Irina.Radchenko http://iRadche.ru

Предварительная подготовка данных к публикации и оценка качества открытых данных

2

Валидация и очистка наборов данных

Одна из важных проблем при публикации наборов данных –

наличие ошибок

3

Типичные ошибки в наборах данных

1. Смешивание различных форматов (временных, географических и т.д.)

4

Типичные ошибки в наборах данных

2. Различное представление одних и тех же значений (г., гор., город)

5

Типичные ошибки в наборах данных

3. Дублирование записей

6

Типичные ошибки в наборах данных

4. Использование разных размерностей

7

Типичные ошибки в наборах данных

5. Ошибки аббревиатур

8

Решение – использование инструментария для очистки данных

Open Refine

9

Бесплатное программное обеспечение

Совместим со всеми браузерами

Существует возможность работать в оффлайне

Нет необходимости в пересылке данных по интернету

Существует возможность работать с историей внесенных изменений

Существует возможность визуализации различных характеристик наборов данных

Существует возможность работать с данными различных машиночитаемых форматов

Преимущества Open Refine

10

Инструментарий для очистки данных

11

Очистка данных

12

Очистка данных

13

Очистка данных

14

Очистка данных

15

Очистка данных

16

Очистка данных

17

Очистка данных

18

Очистка данных

19

Источник: https://theodi.org/

Сертификация открытых данных

20

Источник: https://certificates.theodi.org/

Сертификация открытых данных

21

Источник: https://certificates.theodi.org/about

Сертификация открытых данных

22

Источник: https://certificates.theodi.org/about

Сертификация открытых данных

23

Источник: https://certificates.theodi.org/about

Сертификация открытых данных

24

Источник: https://www.gov.uk/government/publications/open-data-charter/g8-open-data-charter-and-technical-annex

Хартия G8 открытых данных

25

Источник: http://census.okfn.org

Глобальная Перепись открытых данных

26

Источник: http://blog.okfn.org/2013/10/28/government-data-still-not-open-enough/

Глобальная Перепись открытых данных

27

Источник: http://census.okfn.org/country/

Глобальная Перепись открытых данных

http://iRadche.livejournal.com/

https://www.facebook.com/iRadche

@iRadche

http://www.slideshare.net/iRadche

Спасибо за внимание! http://iRadche.ru

http://about.me/Irina.Radchenko