Аналитическая платформа sas viya нового поколения ·...

Copyright © SAS Inst itute Inc. A l l r ights reserved.

Аналитическая платформа нового поколенияSAS Viya


Драйверы цифровой

трансформации

ПОТРЕБНОСТИЦЕЛИ БИЗНЕС-ДРАЙВЕРЫ

Снижение затрат

Увеличение выручки

Развитие отношений с клиентами

Развитие кадровогопотенциала

Повышение эффективности продаж

Снижение операционных рисков

Повышение эффективности бизнес-процессов

Снижение совокупнойстоимостивладения ИТ

Проверка большегокол-ва бизнес-гипотез

Построение большего кол-ва моделей

Решение новыхнепрофильных задач

Моделирование на большом объеме данных

Управление жизненным циклом моделей

Увеличение скоростивыхода на рынок(time-to-market)


Big Data & Machine Learning

Почему это популярно

сейчас?

ДанныеВычислительные

мощности Алгоритмы

+ + +Обработка данных

любого размера или сложности

Использование современных

вычислительных технологий

Обширная библиотека современных и надёжных

методов машинного обучения

ПреимуществаSAS

в машинном обучении


САС ВАЙЯ

SAS Viya

Вийя

Виуа

Уайя

Вуя Вия

Виа


SAS Viya

Пакетная обработка, вып-ие отложенных задач

Один пользователь

Много пользователей

Высокая доступность, устойчивость к отказам оборудования

Интеграция с Hadoop

Движок HPAУскорение очень сложных алгоритмов

Движок LASRИнтерактивный анализ данных

Многократное использование менее сложных алгоритмов

SAS ViyaОтвечает на запросы HPA и LASR

Обработка данных в памяти и на дискахДвижок HPA

Ускорение очень сложных алгоритмовПакетная обработка, выполнение отложенных задачОдин пользователь

Много пользователей

Интеграция с Hadoop

История рождения технологии Big Data


Par

alle

l & S

eria

l, P

ub

/ S

ub

, W

eb S

ervi

ces,

MQ

s

Источники данных

Microservices

UAA

QueryGen

Folders

CAS Mgmt

Data Source Mgmt

AnalyticsGUIs

etc…

BIGUIs

EnvMgr

ModelMgmt

Log

Audit

UAAUAA

Data Mgmt GUIs

In-Memory Runtime Engine

In-Database

In-Hadoop

In-Stream

Ре

шен

ия

Пр

огр

амм

ны

еИ

нте

рф

ейсы

Аналитика

Управление данными

Безопасность и противодействие мошенничеству

Бизнес-визуализацияУправление

рисками

!

Клиентская аналитика

Cloud Analytics Services (CAS)

SAS Viya


SAS Viya – Новая открытая архитектураРазные интерфейсы для разных пользователей

Интерактивные графические интерфейсы

Программный интерфейс

SAS Viya

Веб-вызовы

REST API


SAS Viya и Open Source

SAS Scripting Wrapper for Analytics TransferAPI пакет из Python или R в CAS

Позволяет пользователям загружать данные в память

Интеграция SAS Analyticsв Python / R код

SWAT

Позволяет выполнять CAS действия по преобразованию, агрегации, моделированию и скорингу данных

Поддержка Jupyter Notebook


Участники процесса анализа данных

SAS Visual

Analytics

Исследование данных

Бизнес-аналитики

SASData

Preparation

Управлениеданными

Инженеры данных

SAS Visual Data Mining & Machine Learning

Data Scientist-ы

Машинное обучение

SAS Visual

Statistics

Статистики и аналитики

Прогнозная аналитика


Платформа SAS ViyaЖизненный цикл аналитики и технологии

Исследование

Данные

Внедрение

Подготовка данных Визуализация

Машинное обучение

Прогнози-рование

Отчетность

Управлениемоделями

Управлениерешениями

Текстовая аналитика

Оптимизация


• Доступ к разным источникам данных

• Создание новых признаков

• Объединение нескольких источников данных

• Подготовка данных бизнес-пользователями

• Управление качеством данных и профилирование

• Совместная работа

Подготовка данныхSAS Data Studio + SAS Data Preparation


• Матрица корреляций

• Облако слов

• Гистограммы

• Гео-карты

• Box-plot

• Тепло-карта

Визуальный анализ данныхSAS Visual Analytics

+ более 40 видов визуализаций


• Кластеризация k-средних

• Линейная регрессия

• Логистическая регрессия

• Непараметрическая логистическая регрессия

• Обобщенная линейная модель

• Обобщенная аддитивная модель

• Деревья решений

Описательная аналитикаSAS Visual Statistics

+ более 15 алгоритмов в программном интерфейсе


• Случайный лес

• Нейронные сети

• Градиентный бустинг

• Машина опорных векторов

• Факторизационные машины

Машинное обучение для бизнес-аналитикаSAS Visual Data Mining and Machine Learning

+ более 25 алгоритмов в программном интерфейсе


• Диаграммы процесса анализа данных

• Графический интерфейс + Встраивание SAS кода

• Асинхронное выполнение узлов

• Диаграммы из Visual Analytics

• Набор готовых шаблонов диаграмм

• Создание пользовательских шаблонов

Конвейеры анализа данныхSAS Model Studio


• Табличное сравнение моделей

• Интерактивная оценка качества моделей

• Графики с показателями качества для разных выборок

• Публикация скорингового кода в CAS, в базу данных*

* Для публикации в СУБД необходима лицензия In-Database Technologies

Сравнение и внедрение моделейSAS Model Studio


• Лингвистическая предобработка текста

• Автоматическое выделение тематик

• Выделение объектов из текста

• Категоризация

• Выделение фактов из текста

Текстовая аналитикаSAS Visual Text Analytics


• Построение моделей временных рядов семейства ARIMA(X), UCM, IDM, ESM

• Архитектура построения проектов (pipeline)

• Сценарный анализ

Прогнозирование временных рядов и показателейSAS Visual Forecasting


SAS Visual Data Mining and Machine LearningАлгоритмы

В их числе:Frequency / Crosstab

Data Transpose Variable Cardinality Analysis

Variable BinningVariable Summary

Sampling and PartitioningMissing Value Imputation

Variable Selection Model Assessment

DS2 & FedSQL

В их числе:Decision Trees & Design Matrix

General Additive ModelsGeneralized Linear Models

K-means and K-modes ClusteringLinear & Logistic Regression

Nonlinear Regression Ordinary Least Squares Regression

Partial Least Squares RegressionPearson Correlation

Principal Component Analysis

В их числе:Boolean Rules

Factorization MachinesGradient Boosting & K Nearest Neighbor

Image Processing & Market Basket Analysis Moving Windows PCA

Network Analytics/Community DetectionNeural Networks / Deep Learning

Random Forest & Robust PCASupport Vector Data Description

Методов обработки данных

более

25Статистических

алгоритмов

более

15Алгоритмов

машинного обучения

более

25


Автонастройка гиперпараметровмоделей машинного обучения

Автонастройка SAS использует передовые методы оптимизации

Создание более точных моделей быстрее

по сравнению с ручным перебором

Борьба с переобучением модели

за счет ограничения сложности модели

Повышение предсказуемости модели

на независимом наборе данных

Байесовская оптимизация (суррогатная модель гауссовского процесса, кригинг)

Генетический алгоритм Случайный перебор методом простой случайной выборки

Случайный перебор методом латинского гиперкубаПолный перебор


SAS Model Manager & SAS Decision ManagerОсновные возможности

ДанныеSAS Data

Preparation

SAS Model

Manager

SAS Decision Manager

• Централизованное файловое хранилищелюбых моделей

• Перестроение моделей из Model Studio

• Публикация моделей в CAS, Hadoop, Teradata

• Мониторинг качества моделей

• Разработка схем принятия решений на основе бизнес-правил и аналитических моделей

• Публикация построенных решений в СУБД (Hadoop или Teradata) и в CAS для пакетной обработки

SAS Model studio

SAS VA & VS &

VDMML

Ad-hoc исследование

Аналитический проект


Единая платформа SAS Viya – единый интерфейс


Business Analyst

SAS Data Scientist

Open Source Data Scientist

Единаяинтегрированная

платформадля разных

пользователей

SAS Statistician

IT & Application Management

SAS Viya


Реализация цифровой трансформацииОт идеи до работающего процесса. От данных к готовым моделям.

Проверка гипотез

Задача

Данные

Модели

Подготовка данных для

пилотов

Подготовка моделей для

пилотов

Инициация и реализация проектов

Доработка хранилища данных для регулярной

поставки данных

Разработка моделей

ИДЕЯ РЕАЛИЗАЦИЯ ИЗМЕНЕНИЙ ЭКСПЛУАТАЦИЯ

Операционный процесс

Регулярная поставка данных из хранилища и копий исходных данных

Применение моделей и мониторинг точности


Компьютерное зрениеSAS Viya


От изображений к даннымИнструменты SAS Viya для обработки изображений

Изображение RGB –распределение

(преобразование изобр. в таблицу)

Аугментации

Horizontal Fliplighten Rotate Left

Выбор алгоритма моделирования

Шаблоны

Custom

Классификация

Распознавание объектов (object detection)

Сравнение изображения с коллекцией (matchimages)

Поиск ключевых особенностей(keypoints)

Построение модели

Результаты модели.

Интерпретация


Глубокое обучениеНейронные сети

- Перцептрон

- Сеть прямого распространения; Radial Basis сеть

- Машина опорных векторов

- Глубокая нейронная сеть

- Сверточнаянейронная сеть



http://www.asimovinstitute.org/neural-network-zoo/


Распознавание облаков на спутниковых снимках с использованием глубокого обучения


Как оценить поле, если его не видно?Территория Башкортостана со спутника

МесяцКоличество ясных дней

Количество дней с малой с облачностью

Апрель 6 10

Май 4 14

Июнь 0 14

Июль 1 16

Август 11 7

Сентябрь 5 7

Октябрь 3 7

* 2017 год

Sources: Sentinel & Gismeteo


Существующие подходыАлгоритм FMASK

MAJA Fmask

Precision 81.75 % 88.65 %

Проблемы:

1. Необходимо настраивать под каждый конкретный спутник.

2. Пространственные характеристики используются только для поиска теней.

3. Чувствителен к изменению пороговых значений.

4. Проблемы с некоторыми типами облачности.

* попиксельная точность

Source: CESBIO


Viya Deep Neural Network Model

Output classes:1 – Cloudy0 – Not cloudy

VGG-16

128

12

8

F1: 0.95Precision: 0.97Recall: 0.93


Классификация облачностиРазметка

128*128

Clear

Thin cloud

Cloudy

Partly cloudy


Анализ поведения водителей за рулем с использованием глубокого обучения


Безопасное вождение (С0)

Печатает на телефоне (С1)

Разговаривает по телефону (С2)

Разговаривает с пассажирами (С9)


Классификация Object detection Keypoints

Viya CV Model Zoo


Посмотрим, что получилось

с0 с1 с2 с9

с0 173 0 0 3

с1 2 55 0 9

с2 2 8 28 22

с9 2 0 1 55

Матрица ошибок

Precision: 0.89Recall: 0.86


Анализ результатов применения модели

Безопасное вождение

Печатает по телефону


Анализ результатов применения модели

Разговаривает с пассажиром

Разговаривает по телефону


Футбольная аналитика в реальном времени


SciSports

Основана в 2013 году при университете Твенте

48 сотрудников

Офисы в Нидерландах, Германии, Франции

Сотрудничество с 31 клубом по всему миру

Самая инновационная футбольная компания (The HYPE Foundation)


SciSports

SciSkill-Самый современный

и надежный рейтинг игроков

SciSkill отражает силу и потенциал футболистов.

Основой SciSkill является результат атакующего и защитного вклада игрока в результат команды.

Алгоритм также учитывает уровень клуба и конкуренции.


SciSportsAI в футболе


Deep Learning

Edge Computing (cameras)

Real-time Deep Learning

Deployment

Direct Insights

Player/Ball Detection

Large amounts of data


SciSports

SciSkill-Полностью автоматизированная система

с еженедельным обновлением рейтинга

на основе сыгранных матчей:

90 000 активных игроков

244 соревнования по всему миру

3,698 клубов по всему миру

2 000 матчей в неделю


Осуществите цифровую трансформацию вместе с SAS!

SAS Viya

Аналитическая платформа sas viya нового поколения ·...

Documents