Длинный путь к devops?

Длинный путь к DevOps?МИХАИЛ ГРОМОВ

СЕГОДНЯСбербанк «СберТех»

Более

120 млн клиентов

Более 250 тыс. квалифицированных сотрудников

Клиенты розницы, от всего населения ~143 млн

Банкоматы и устройства самообслуживания — oдна из крупнейших международных сетей, принадлежащих одному банку

Посетители Сбербанка ежедневно

Активные пользователи «Сбербанк –онлайн»

>110 млн

~ 90 000

~ 4 млн

~ 13 млн

НАШ ПРОФИЛЬ: разработка и внедрение ПО

НАШ КЛИЕНТ: группа Сбербанк

ГОД СОЗДАНИЯ: 2011

ЧИСЛЕННОСТЬ: ~ 10 000 сотрудников

РЕГИОНАЛЬНАЯ СЕТЬ: 17 городов

532проекта в работе 740

внедрений в месяц

2TOP 20Российский рейтингкрупнейших ИТ компаний

TOP 5Российский рейтингкрупнейшихразработчиков ПО

LEVEL 3CMMI

>350АвтоматизированныхСистем

ЭВОЛЮЦИЯ ПРОЦЕССА ПРОИЗВОДСТВА2013

РЕИНЖИНИРИНГ СКВОЗНЫХ ПРОЦЕССОВ

• Фабрика разработки растиражирована на 40% разработок

• Определение единого процесса в центрах разработки критичных систем СБТ на основе «Quality Gates»

2014


• Тиражирование единого процесса на основе «Quality Gates»

• Изменение оргструктуры по Центрам компетенций и создание единого центра качества в СБТ

2015


• Увеличение доли внедренных в срок ЗНИ с 55% до 98,1%

• Сокращение всех дефектов в ПРОМ на 51,4 %

• Сокращение критичных дефектов ПРОМ в >3 раза

2016

ТЕХНОЛОГИЧЕСКАЯ ТРАНСФОРМАЦИЯ

• Внедрение Enterprise Agile

• Переход на бесшовные технологии разработки и внедрения (DevOps)

• Внедрение FastWaterFall (Shiftleft Transformation)

2010

ФАБРИКА РАЗРАБОТКИ 1.0

• Внедрение традиционных технологий и Agile (Scrum) во внутренних центрах разработки АБС

2011


• Развитие процессов разработки до уровня СMMI Level 2

• Повышение удовлетворенности заказчиков с 3 до 6 и команд с 1,5 до 5,5 по 7 бальной шкале для Agile команд

2012


• Развитие процессов разработки до уровня СMMI Level 3 для двух центров разработки АБС

• Уменьшение количества дефектов АБС на ~30%

3

ТЕХНОЛОГИЧЕСКАЯ ТРАНСФОРМАЦИЯ

УПРАВЛЕНИЕ РЕЛИЗАМИ

КОНТРОЛЬ КАЧЕСТВА

КАЧЕСТВО СРОКИ TIME TO MARKET ?

Fast Waterfall

РАЗРАБОТКА

СИСТЕМНОЕ ТЕСТИРОВАНИЕ

ИНТЕГРАЦИОННОЕТЕСТИРОВАНИЕ

ПСИ

ВНЕДРЕНИЕ

…DevOps

Enterprise Agile

>500 ЗНИ>150 АС

Автоматизация рутинной работы Качество, встроенное на всех этапахИнженерно-ориентированная культура

КУЛЬТУРА4

НАПРАВЛЕНИЯ РАЗВИТИЯ FAST WATERFALL (Shiftleft Transformation)

ЦЕЛЬ: получение обратной связи о качестве продукта на более ранних фазах

СТ 2СТ 2СТ 1

СИСТЕМНОЕ ТЕСТИРОВАНИЕРАЗРАБОТКА ПСИ ВНЕДРЕНИЕИНТЕГРАЦИОННОЕ

ТЕСТИРОВАНИЕ

ShiftLeft Testing ShiftLeft Testing ShiftLeft Testing

ИНТЕГРАЦИОННОЕ ТЕСТИРОВАНИЕ

1. Разработка по итерациям

2. Тестирование параллельно с разработкой – раннее обнаружение дефектов

3. ПСИ параллельно с интеграционным тестированием

Для Legacy-систем - внедрение модели Fast Waterfall.

СУТЬ ИЗМЕНЕНИЙ

ПРИМЕНИМОСТЬ 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

0100200300400500600700800900

1000ПИР21 ПИР22 ПИР23

ShiftLeft TestingНЕДЕЛИ

КОЛИ

ЧЕСТ

ВО Д

ЕФЕК

ТОВ

5

ВЫБОР МОДЕЛИ DEVOPS

Посмотрели различные модели Составили дорожную карту

6

ВНЕДРЕНИЕ DEVOPS

7/26/2016

8/30/2016

9/27/2016

10/4/2016

10/11/2016

10/18/2016

10/24/2016

0%20%40%60%80%

100%

31%46% 42% 42% 42% 42% 43%

Проверка Практика Этап Описание

Правила разработки кода VC Разработка Правила работы с версионным хранилищем исходного кода согласованы, используются и, при необходимости, обновляются.

Среда разработки AD Разработка Среда разработки развёртывается автоматически, в процессе развёртывания ручного вмешательства не требуется.

Именование сборок AB Разработка Используются единые правила наименования (нумерации) всех видов сборок.

Автоматизация сборки AB Разработка Сборка пакетов - автоматизирована и централизована, в процессе сборки ручного вмешательства не требуется (build scripts, выделенный сервер CI и т.п.)

ПроектDevelopment

VC (Nexus) SecTUAT Prod

VCR ACR AB AUT AD AT VC AD AT AD

ЕРКЦ

Сочл-Б.Вклады

Сочл-Б.Платежи

НИПР

МРМ КМ КБ

Карта1

ВрВр

ВОТЧ

Благосостояние

БазСерв. ЕРИБ

Меркурий

ФП Протокол

ФП СУП

Внедряется Планируется

7(29%)

17(71%)

ЧЕК-ЛИСТ 7

* LeadTime (LT) - время, необходимое на выполнение ЗНИ (от старта релиза до внедрения)

MTTD – среднее время обнаружения дефектов

MTTR – среднее время устранения дефектов

** Значения показателя уточняются

Уменьшение Т2М за счет сокращения LeadTime*

ЦЕЛЬ ВНЕДРЕНИЯ DEVOPS?

Что необходимо для сокращения LeadTime:

~100% ЗНИ в Интеграционных Релизах → LT ~6 месяцев

LT** = 138 дней

MTTD = 56 дней

MTTR = 12 дней

Текущее состояние70% ЗНИ Интеграционных Релизах → LT 6 месяцев

30% ЗНИ Локальный ИР → LT 2 месяца

Сокращение на 20%

Целевое состояние

8

1. Снять ограничения:• Скорость внедрения в ПРОМ• Регресс• Качество кода• Архитектура• Формулировка требований (MVP)

2. Тиражирование DevOps:• Тиражирование практик DEV QA • Тиражирование практик OPS

DEVOPS МЕТРИКИ

910%

20%

30%

40%

50%

60%

70%

0%

16%

28%34%

46% 41% 42%

67 % DevOps внедрения до ПСИ

4080

120160200

030.08.2016 13.09.2016 27.09.2016 11.10.2016

4 7 4 5

95 8869 78

138171137 137

MTTR, дни MTTD, дни LT, дни

Длительность короткого регрессионного тестирования < 3 дня;

Длительность полного регрессионного тестирования < 7 дней;

% автоматизации тестирования API – 60%;

% автоматизации тестирования GUI – 30%;

Плотность дефектов ПСИ на 1000 SLOС < 0,36;

LT = 6 мес.

LT = 1-3 мес.

LT = 2 мес.

LT = 6 мес.

LT = 1 мес.

СОКРАЩЕНИЕ LEADTIME ЗА СЧЕТ ВНЕДРЕНИЯ ЛИР DEVOPS

ЛИР DevOps

РОАС

АС1

РОАС

АС2

РОАС

АС3

РОАС

АС1

РОАС

АС2

РОАС

АС3

ПИР

Тиражирование DevOps за счет установки критериев включения в Локальный Интеграционный Релиз (ЛИР)

Доля успешных автосборок – 80%;

% автоматизации Unit-тестирования – 80%;

Плотность дефектов на 1 ч/д разработки;

Плотность дефектов ИФТ на 1000 SLOС < 2,25;

Доля успешных автоустановок - 80%;

10

AB

AUT

AD

AT

DEVOPS МЕТРИКИ

Q1 2016 Q2 2016 Q3 2016 Q4 20160%

10%20%30%40%50%60%70%80%

464850525456586062

52 55 55 61

45.4%55.6% 57.0% 44.4%

15.8%24.4% 28.6%

31.0%

% АВТОМАТИЗАЦИИ ПО 61 АС

Кол-во АС % Авто запусков% АФТ от плана 2015 Июль 2

016

Август 2

016

Сентябрь 2016

Октябрь 2

016400

500

600

700

800900

1000

1100

1200

-1.0%0.0%1.0%2.0%3.0%4.0%5.0%6.0%7.0%8.0%

1148 1120

718 689

5.6% 5.6%

5.0% 5.0%

ТЕХ. ДОЛГ (Рейтинг А)

Тех.долг Тех.долг ratio

Q2 Q3 Q4 Q1 Q2 Q3 Q42015 2016

-101030507090

7 17 24 32 40 46 57

- запланировано - реализовано

кол-

во А

САВТОМАТИЗАЦИЯ 181 АС

80АС - с доработкой68АС - автоматизация возможна

07/10/1

6

14/10/1

6

21/10/1

6

28/10/1

6

04/11/1

6

11/11/1

6

18/11/1

6

25/11/1

6

02/12/1

6

09/12/1

6

16/12/1

6

23/12/1

6

30/12/1

60

1,000

2,000

3,000

4,000

5,000

6,000

0

20

40

60

80

100

5410

1573

589127

Инциденты План Передано АФТРазработано Принято ФТ

СТАТУС АТ Q4

11

AD

AT

AT

AT

Development QA

Operations

1.0

ОГРАНИЧЕНИЯDEVOPS – ЭТО ВЕРШИНА?

BizDevOps

BIZ

Continuous Assessment 50% фич никогда не используются 12% опций клиенты используют активно

Continuous Testing Регресс не зависит от поведения

клиента

12?

ВЫЗОВЫ: Повышение гибкости производства

Сокращение Time-To-Market

Новые классы продуктов (BigData, Machine Learning)

Разработка Экосистем (клиентоцентричных продуктов)

ВОЗМОЖНОСТИ

ВОПРОСЫ ?ВОПРОСЫ ?Михаил Громов

«СБЕРБАНК-ТЕХНОЛОГИИ»

Длинный путь к devops?

Leadership & Management