Павел Миронов,

Ведущий консультант, R-Style

Опыт применения технологий IBM по Big Data

для решения актуальных бизнес – задач

Что есть Big Data

Особые технологии сбора и подготовки данных

• Многопоточный непрерывный сбор

• Массово-параллельные одновременные обработки в режиме реального времени

Новые технологии хранения данных

• Гибкое хранение независимо от структуры источника

• Высокая масштабируемость и доступность

• Сверхбыстрый доступ: Database in-memory, MapReduce

Технологии анализа

• Поиск скрытых зависимостей (Data Mining)

• Пространственный, текстовой анализ, распознавание образов

Технологии моделирования

• Искусственный интеллект, когнитивные нейронные сети

• Прогнозные, прокси модели

О каких отраслях идет речь

• ТЭК

• Промышленность

• Наука и экспериментальная деятельность

• Медицина

• Городское хозяйство

Тенденции в отраслях

• Увеличение объемов данных, переход к непрерывным измерениям

• Сокращение сроков принятия решения

• Автоматизация производства

• Усложнение технологий и сокращение сроков их освоения

• Переход систем принятия решений к модели функционирования мозга

(широкое использование аналогий и ассоциативного мышления)

Требования от отраслей

• Повышение доступности данных

• Повышение скорости оценки и качества данных

• Повышение оперативности принятия решения, приближение момента

принятия решения к моменту поступления данных (Enterprise in Real Time)

• Повышение точности и скорости прогнозирования

• Повышение оперативности моделирования

• Переход к малолюдным технологиям, взаимодействию типа SCADA-

компьютер-SCADA (SCS)

Что мы можем предложить • Интеграционная платформа

• Хранилище нового типа

• Решение по управлению качеством

• Решение по оперативному контролю и прогнозированию в режиме

реального времени (Stream computing)

• Управление производственным процессом в режиме реального времени

(Enterprise in Real-Time) с применением систем искусственного интеллекта

и прокси моделирования

Типовая

архитектура

решения

Big Data

Интеграционная платформа

Хранилище нового типа

Управление качеством

Оперативный контроль и прогнозирование

Управление производством

Road-map бизнес-решений

Повышение доступности данных

Повышение качества принимаемых решений

Повышение производственных показателей

Повышение ключевых показателей эффективности

Повышение скорости обработки данных

Снижение затрат на интеграцию (ИТ)

Снижение затрат на хранение и обработку

Снижение рисков неверных решений

Снижение производственных рисков и потерь

Снижение производственных затрат

Интеграционная платформа

Хранилище нового типа

Управление качеством

Оперативный контроль и прогнозирование

Управление производством

IBM® Content Analytics (ICA)

IBM SPSS

IBM® InfoSphere® Streams

IBM® SPSS

IBM® WATSON FOUNDATIONS

IBM® Content Analytics (ICA)

IBM® FileNet

Эффективная интеграция разнородных источников

Мгновенная обработка массивов в РРВ

Быстрая и оценка качества данных

Снижение производственных рисков и потерь

Снижение производственных затрат

Road-map программных

решений

Обеспечение быстроты – обеспечение эффективности

Проблемы скорости доступа:

• Получение и доставка непрерывно получаемых измерений

• Скорость доступа к хранилищу

• Скорость и глубина (многоходовость) обработки данных

• Скорость и многовариантность прогнозного моделирования

• Необходимость использования всего объема знаний в когнитивных

системах искусственного интеллекта (аналогии и ассоциации)

Road-map аппаратного

решения

Средства передачи непрерывного потока измерений

Распределенные хранилища

Средства обеспечения распределенных вычислений (Hadoop)

Средства обеспечения потоковых вычислений

Средства доступа ко всей совокупности хранилищ данных и знаний, непрерывного взаимодействия со SCADA

IBM PureFlex Systems

IBM SONAS IBM FlashSystem

IBM SONAS

IBM Netezza

Пример: Добыча нефти и газа

Интеграционная платформа

– Оперативный сбор производственных показателей

– Сбор данных по разработке месторождений

– Сбор результатов моделирования

Хранилище и управление качеством

– хранилище производственных показателей

– хранилище ГГ моделей

Оперативный контроль и прогнозирование

– оперативный контроль производственных показателей

– анализ производственных показателей

– прокси-моделирование (оперативное прогнозирование)

Управление производством

• Поддержка жизненного цикла проекта разработки месторождений, включая:

– Взаимодействие с системами моделирования, подготовка пакетов данных к моделированию,

– формирование общего информационного пространства рабочих групп

– Организация хранилища геолого-гидродинамических моделей

– Унификация процессов подготовки и моделирования

– Организация взаимодействия производственных систем с системами моделирования

Интеллектуальное месторождение

– Взаимодействие системы прокси-моделирования с ГГ моделированием

– СППР эксплуатации месторождений

Интеграция информационных ресурсов

• Для специалистов по моделированию резервуара значительно сократилось время поиска

необходимой информации по файловым ресурсам, интерпретационным базам данных

• Нет необходимости теперь иметь дело с десятками разнообразных систем и интерфейсов

при поиске информации.

• Пользователям предоставлен сервис мгновенного поиска информации

• Информация представляется в структурированном виде и выводится на экран в привычных и

удобных для пользователя табличных формах

Инновационный пилотный проект по высокоскоростному

интегрированному доступу к геолого-геофизической и

промысловой информации.

Впервые информация из широкого ряда

специализированных систем стала доступна

специалистам через единый унифицированный интерфейс

Время

Параметры процесса

Аварийное состояние, обнаруженное системой

Пределы нормы АСУ Неблагоприятные последствия

Давление

Температура

Поток

Упреждающее решение проблем – предупреждение и предложения операторам до выхода за пределы нормы

Упреждающее выявление проблем с помощью активного мониторинга

Управление предупреждениями с помощью интеллектуальной фильтрации и корреляции

Мощный анализ причин с помощью графического анализа признаков

Поддержка принятия решений по устранению проблем с применением экспертных знаний

Прогноз последствий проблем с помощью механизма рассуждений

Увеличение производительности газовых скважин

• 15% рост добычи из 350 скважин

• Анализирует данные и изменяет настройки процесса контроля каждые

15 - 45 минут

• Применяет методы принятия решений в режиме реального времени, основываясь на инженерном опыте и опыте операторов

• Прогнозирует нештатные ситуации, предупреждает операторов и дает рекомендации по устранению этих ситуаций

Система принятия решений на базе

нейронных сетей автоматизирует контроль

путем достижения баланса между добычей

газа и удалением излишков воды

Партнерство с:

Преимущества системы:

– В отличии от классических жестко запрограммированных СППР нейросетевые модули могут в любой момент времени зафиксировать новые возникающие производственные и технические ситуации и запомнить реакцию диспетчера на них

– Путем самостоятельного продолжающегося ассоциирования прогнозировать развитие системы и предупреждать диспетчера о возможном развитии ситуации до ее наступления

– Предлагать диспетчеру для санкционирования строго определенный сценарий действий

– Запоминать и синтезировать сигнально-управляющие команды, устанавливающие оптимальные параметры различных режимов работы скважин при выполнении изменяющихся производственных заданий .

– Синтезировать высказывания на естественном (русском языке)

• помощь диспетчеру в анализе текущего режима работы объекта

• автоматизации идентификации аварийных ситуаций

• выдача диспетчеру рекомендаций по их устранению при

максимальном сохранении работоспособности технологического

объекта в целом Схема размещения

скважин Срез межнейронных связей

мозга человека

32605 32705

32707

32806

32805

32702 32703

32607 32603 32704 32701

32608 32606 32601 32706 32708 32804

32604 32602 32503 32505 32802 32801

32502 32501 32507 32803

32504 32506 32508

32904

32902

3290132903

32905

3290633002

33001

3300333004

3300633005

33101

3310233103

3310433202

33201

33203

33204

33205

33301

33302

33303

33305

33304

44504

44508

44509

44405

44407

44409

44501

44503

44403

44401

44404

44408

44502

44505

44304

44309

44402

44406

44301

44310

44206

44303

44305

44308

44203

44208

44207

44201

44204

44205

44108

44202 44106

44101

44104

44102

44103

44009

44007

44008

44005

44006

44002

44004

44003

44001

43907

43908

43909

43906

43904

43905

43903

43902

43901

43804

43805 43802

43803 43801

43704

43707

43706

43702

43701

43705

43703

43609

43607

43603

43610

43611

43605

43601

43507

43504

43608

43606

43602

43508

43505

43502

43407

43406

43604

43506

43503

43501

43408

43404

43402

43405

43403

43401

44105

44507

44302

44306

44506

44307

44107

11102

11103

11106

11201

11205

11302

11303

11307

11402

11405

1150411505

11602

11604

11605

11702

11705

11801

11901

11904

11906

12002

12101

12104

12203

12204

12302

12305

20102

20103

20104

20203

20306

20302

20305 20502

20406

20602

20605

20702

20704

20802

2080620903

20905

21003

21004

21007

20403

20206

20505

242

243

12301

241

1110111104

11105 11107

11202

1120311204

11206

11301

11304 11305

1130611401 11403

11404 11406

1150111502

11503

1150611507

11601 11603

11606

11701

11703

11704

11802 11803

11804

11902

1190311905 12001

12003

12004

12005 1210212103

12105

12202

12205 122061230312304

20101

2010520106 20201 20202

20204

2030320301

20307

2030420401

20402

20404

20405 20501

20503

20504

20601 20603

20604

20701

20703

20705

20706

20803

20804

20801

20805

20901

20902

20904

20906

21001

21002

21005

21006

20205

20506

244

12201

6

305

219

309

205

209

212207

216

217

117

105 104

103

116

107

108

106

109

102

110

114

118

113

121 119

120

112

123

122

24

21

18

31

Куст 29

Куст 30

Куст 31

Куст 32Куст 33

Куст 25

Куст 26 Куст 27

Куст 28

Куст 34

Куст 35

Куст 36

Куст 37

Куст 38

Куст 39Куст 40

Куст 41

Куст 42

Куст 43

Куст 44

Куст 45

Условные обозначения

Граница контура Граница контурагазоностности пласта: нефтеностности пласта: БТ 6-8 БТ 10(1) БТ 10(1) БТ 11 БТ 11(1) линия глинизации пластов БТ11

Площадка куста сеноманских скважинПлощадка кустов газоконденсатных и нефтяных скважин

Забои пробуренных скважин(на 01.01.2009): Забои проектных скважин: разведочные; газокконденсатные скважины на БТ 6-8, БТ 10(1) и БТ 11; эксплуатационные на сеноман; нефтянык скважины на БТ 10(1) и БТ 11(1); эксплуатационные газоконденсатные скважины на БТ 6-8 и БТ 10(1)

Масштаб 1:125000СППР по эксплуатации месторождений (WATSON)

Энергетика: минимизация последствий отказов • Интеграционная платформа

– Оперативный сбор данных с датчиков энергетических объектов и интеллектуальных индикаторов распространения отказа

– Интеграция с ОРС-серверами

• Хранилище и управление качеством

– поддержка технологии ОРС (OLE for Process Control) и стандартных протоколов обмена данными

– Хранилище производственных показателей

• Оперативный контроль и прогнозирование

– Контроль состояния сети

– Оценка остаточного ресурса трансформаторов

– Анализ показателей энергопотребления

– Мониторинг запаса устойчивости энергосистемы

– Мониторинг переходных режимов (СМПР)

• Управление производством

– Связь с интеллектуальными устройствами обеспечения восстановления через сотовую сеть GPRS, идентификация место отказа, автоматическая изоляция и восстановление поставки электроэнергии

– Применение архитектура с локальной централизацией и использованием интеллектуальных главных контроллеров, каждый из которых поддерживает связь с ограниченным числом подчиненных устройств.

– Применение СППР для «умных сетей» (Smart Grids) на базе нейронных сетей (WATSON)

СППР управления «умной сетью» (WATSON) Применение WATSON Foundations в качестве интеллектуальной системы управления распределением (DMS) и

интеллектуальной электроэнергетической системы с активно-адаптивной сетью (ИЕС ААС) создаст "умную",

автоматически ремонтирующуюся сеть

• Автоматизированное распределение нагрузок и регулирование потребления

• Автоматизация процедуры восстановления после отказа: самовосстанавливающаяся система быстро восстановит

две или три секции фидера, и автоматически подключит потребителей, оставив поврежденную секцию фидера

изолированной

• Управление технологическими процессами и поддержание параметров энергоснабжения на заданном уровне

• Управление автоматизированными объектами, работающими без обслуживающего персонала

• Руководство аварийными бригадами и дежурным персоналом при ликвидации мелких поломок и аварий на

энергетических коммуникациях внутри предприятия

• Руководство оперативными переключениями

• Оперативное распределение энергетических ресурсов внутри предприятия в случае профицита энергоносителей

Снижение энергозатрат

• Ежегодная экономия затрат на электроэнергию составляет

1 750 000 долларов

• Степень контроля за замкнутой системой приближается к 100%

• Система + оптимизатор обновляют настройки каждые 5 минут

• Результат превысил поставленные цели

3.3 0.0

67.4

72.1

95.1 91.9

96.9

98.899.6

3.3 1.6

23.6

35.7

46.5

54.660.0

64.668.4

71.589.9

0

10

20

30

40

50

60

70

80

90

100

Jan-

02

Feb-0

2

Mar

-02

Apr

-02

May

-02

Jun-

02

Jul-0

2

Aug

-02

Sep

-02

Oct

-02

Nov

-02

Dec

-02

% U

se

2002 Target

Monthly Use

Year To Date

Оптимизатор системы принятия решений на нейронных

сетей для управления системами энергоснабжения закрытого

цикла для крупных нефтехимических заводов

20

Решения – Интеграционная платформа

– Хранилище нового типа

– Управление качеством

– Оперативный контроль и прогнозирование

состояния

– Управление производственным процессом

– Широкий охват источников данных

– Отсутствие временного разрыва

между поступающими данными и их

анализом

– Широкие возможности поиска

скрытых взаимосвязей и

эвристического анализа

– Возможности перехода к

малолюдным технологиям

Павел Миронов

Ведущий консультант, R-Style

Pavel.Mironov@r-style.com

+7 (495) 640 60 10 доб.4545

+7 (903) 218 19 48