![Page 1: «Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин](https://reader030.vdocuments.pub/reader030/viewer/2022013121/554e78bab4c90545698b4e44/html5/thumbnails/1.jpg)
Андрей Устюжанин
Обработка данных физики высоких энергий
2 июля 2014
![Page 2: «Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин](https://reader030.vdocuments.pub/reader030/viewer/2022013121/554e78bab4c90545698b4e44/html5/thumbnails/2.jpg)
Из чего сделана наша вселенная?
Универсальные законы?
Как их проверить?
Что такое антиматерия? темная материя?
Переход от микро-мирак макро-миру?
2
Вопросы «на миллион»
![Page 3: «Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин](https://reader030.vdocuments.pub/reader030/viewer/2022013121/554e78bab4c90545698b4e44/html5/thumbnails/3.jpg)
Экспериментальная наука вчера
3
![Page 4: «Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин](https://reader030.vdocuments.pub/reader030/viewer/2022013121/554e78bab4c90545698b4e44/html5/thumbnails/4.jpg)
Эксперименты сегодня
4
![Page 5: «Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин](https://reader030.vdocuments.pub/reader030/viewer/2022013121/554e78bab4c90545698b4e44/html5/thumbnails/5.jpg)
5
![Page 6: «Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин](https://reader030.vdocuments.pub/reader030/viewer/2022013121/554e78bab4c90545698b4e44/html5/thumbnails/6.jpg)
6
![Page 7: «Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин](https://reader030.vdocuments.pub/reader030/viewer/2022013121/554e78bab4c90545698b4e44/html5/thumbnails/7.jpg)
7
![Page 8: «Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин](https://reader030.vdocuments.pub/reader030/viewer/2022013121/554e78bab4c90545698b4e44/html5/thumbnails/8.jpg)
8
![Page 9: «Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин](https://reader030.vdocuments.pub/reader030/viewer/2022013121/554e78bab4c90545698b4e44/html5/thumbnails/9.jpg)
9
![Page 10: «Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин](https://reader030.vdocuments.pub/reader030/viewer/2022013121/554e78bab4c90545698b4e44/html5/thumbnails/10.jpg)
10
![Page 11: «Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин](https://reader030.vdocuments.pub/reader030/viewer/2022013121/554e78bab4c90545698b4e44/html5/thumbnails/11.jpg)
Модели вычислений
![Page 12: «Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин](https://reader030.vdocuments.pub/reader030/viewer/2022013121/554e78bab4c90545698b4e44/html5/thumbnails/12.jpg)
![Page 13: «Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин](https://reader030.vdocuments.pub/reader030/viewer/2022013121/554e78bab4c90545698b4e44/html5/thumbnails/13.jpg)
![Page 14: «Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин](https://reader030.vdocuments.pub/reader030/viewer/2022013121/554e78bab4c90545698b4e44/html5/thumbnails/14.jpg)
![Page 15: «Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин](https://reader030.vdocuments.pub/reader030/viewer/2022013121/554e78bab4c90545698b4e44/html5/thumbnails/15.jpg)
![Page 16: «Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин](https://reader030.vdocuments.pub/reader030/viewer/2022013121/554e78bab4c90545698b4e44/html5/thumbnails/16.jpg)
Skynet
![Page 17: «Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин](https://reader030.vdocuments.pub/reader030/viewer/2022013121/554e78bab4c90545698b4e44/html5/thumbnails/17.jpg)
Использование ресурсов GRID
![Page 18: «Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин](https://reader030.vdocuments.pub/reader030/viewer/2022013121/554e78bab4c90545698b4e44/html5/thumbnails/18.jpg)
«Узкие» места GRID
Сложность настройки
Фиксированные настройки окружения
Долгое масштабирование
Опалата времени работы, а не фактических вычислений
18
![Page 19: «Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин](https://reader030.vdocuments.pub/reader030/viewer/2022013121/554e78bab4c90545698b4e44/html5/thumbnails/19.jpg)
Облачные технологии
Предоставление вычислительной инфраструктуры как сервиса
Виртуализация аппаратных ресурсов
Динамическое выделение ресурсов под конкретные нужды
Оплата только за фактическое использование
Широка поддержка open-source & commercial (Amazon EC2, Rackspace OpenStack, T-Systems, Helix Nebula, …)
19
![Page 20: «Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин](https://reader030.vdocuments.pub/reader030/viewer/2022013121/554e78bab4c90545698b4e44/html5/thumbnails/20.jpg)
Облачные технологии
20
Applica'ons+Run+Na'vely+in#Hadoop+
HDFS2+(Redundant,*Reliable*Storage)*
YARN+(Cluster*Resource*Management)***
BATCH+(MapReduce)+
INTERACTIVE+(Tez)+
STREAMING+(Storm,+S4,…)+
GRAPH+(Giraph)+
INLMEMORY+(Spark)+
HPC+MPI+(OpenMPI)+
ONLINE+(HBase)+
OTHER+(Search)+(Weave…)+
…
![Page 21: «Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин](https://reader030.vdocuments.pub/reader030/viewer/2022013121/554e78bab4c90545698b4e44/html5/thumbnails/21.jpg)
YARN
21
![Page 24: «Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин](https://reader030.vdocuments.pub/reader030/viewer/2022013121/554e78bab4c90545698b4e44/html5/thumbnails/24.jpg)
Примеры задач
Симуляция событий (MC)
Поиск реальных и MC-событий
Онлайн анализ
Офлайн анализ
Сохранение данных (интерфейс доступа)
Сохранение кода и структуры анализа
24
![Page 25: «Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин](https://reader030.vdocuments.pub/reader030/viewer/2022013121/554e78bab4c90545698b4e44/html5/thumbnails/25.jpg)
Анализ данных
![Page 26: «Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин](https://reader030.vdocuments.pub/reader030/viewer/2022013121/554e78bab4c90545698b4e44/html5/thumbnails/26.jpg)
Индикаторы сложности
‘Каким способом я сгененировал график 13?’
‘Новый студент хочет воспользоваться моделью, опубликованной мной 3 года назад, но я не могу воспроизвести ни одного графика’
‘Я думал, что использую те же параметры, но у меня получаются другие результаты!?I’
‘Где взять события, отобранные предыдущей версией моих скриптов?’
‘Оно работало еще вчера!’
‘Зачем я это сделал?’
26
![Page 27: «Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин](https://reader030.vdocuments.pub/reader030/viewer/2022013121/554e78bab4c90545698b4e44/html5/thumbnails/27.jpg)
Источники сложности
Физика
Работа с данными
Стратегия анализа (http://bit.ly/SqDDE4)
Шаги анализа
Командное взаимодействие
27
![Page 28: «Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин](https://reader030.vdocuments.pub/reader030/viewer/2022013121/554e78bab4c90545698b4e44/html5/thumbnails/28.jpg)
Экосистема для экспериментов
Программная среда для поддержки экосистемы совместной исследовательской работы над общими задачами, позволяющая:
выполнять численные эксперименты над большими объемами данных
получать воспроизводимые результаты,
использовать единообразные критерии качества.
28
![Page 29: «Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин](https://reader030.vdocuments.pub/reader030/viewer/2022013121/554e78bab4c90545698b4e44/html5/thumbnails/29.jpg)
ROOT PyROOT
Plotly, D3s
Matplotlib SciKit-Learn
EF Python Wrapper
!!!!!
EF0
29
MN
…
![Page 30: «Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин](https://reader030.vdocuments.pub/reader030/viewer/2022013121/554e78bab4c90545698b4e44/html5/thumbnails/30.jpg)
Основные компоненты
30
![Page 31: «Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин](https://reader030.vdocuments.pub/reader030/viewer/2022013121/554e78bab4c90545698b4e44/html5/thumbnails/31.jpg)
Текст перед кодом:
self.rsp.removeHeader("Transfer-Encoding");
Заголовок (не длинней одной строки)
31
![Page 32: «Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин](https://reader030.vdocuments.pub/reader030/viewer/2022013121/554e78bab4c90545698b4e44/html5/thumbnails/32.jpg)
Школа Анализа Данных
![Page 33: «Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин](https://reader030.vdocuments.pub/reader030/viewer/2022013121/554e78bab4c90545698b4e44/html5/thumbnails/33.jpg)
33
Студенты ШАД
Физика 25%
! !!Математика 70%
Инженерные 5%
![Page 34: «Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин](https://reader030.vdocuments.pub/reader030/viewer/2022013121/554e78bab4c90545698b4e44/html5/thumbnails/34.jpg)
34
Алгоритмы и структуры данных
Машинное обучение
Дискретная математика
Теория вероятности, статистика
Обработка текстов на естественных языках
Теория графов
Основные курсы
![Page 35: «Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин](https://reader030.vdocuments.pub/reader030/viewer/2022013121/554e78bab4c90545698b4e44/html5/thumbnails/35.jpg)
Школа Анализа Данных Яндекса
35
!
Кафедра в ведущих ВУЗах (МФТИ, МГУ, ВШЭ, …)
Факультет теоретической информатики ВШЭ
Аспирантура в МФТИ, ВШЭ,
Публикации в ведущих изданиях
Стажировка студентов из европейских ВУЗов
Исследовательские работы
![Page 36: «Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин](https://reader030.vdocuments.pub/reader030/viewer/2022013121/554e78bab4c90545698b4e44/html5/thumbnails/36.jpg)
36
109
cuts
N
M
+ I
II?
Bs ! µ+µ�
Bs ! 4µ⌧ ! 3µB ! K⇤µ+µ�
· · ·
Сравнение гипотез
![Page 37: «Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин](https://reader030.vdocuments.pub/reader030/viewer/2022013121/554e78bab4c90545698b4e44/html5/thumbnails/37.jpg)
Равномерность эффективности
37
ROC:
Равномерность:
![Page 38: «Совместные IT-проекты ШАД и SHIP», Андрей Устюжанин](https://reader030.vdocuments.pub/reader030/viewer/2022013121/554e78bab4c90545698b4e44/html5/thumbnails/38.jpg)
Заключение
Наши сервисы могут быть востребованы в SHIP
– event index – event filter
Задачи SHIP - новое направление исследований
– модель распределенных вычислений У нас есть технологии, для развития этого направления
Это интересно ШАДу, а Вам?
38