cisco network functions virtualization …...• Подход network functions virtualization •...
TRANSCRIPT
Cisco Network Functions Virtualization Infrastructure (NFVI) Виктор Пустошилов
Системный инженер
Cisco
• Подход Network Functions Virtualization
• Обзор решения Cisco NFVI
• Модели развертывания Cisco NFVI
• Основные компоненты решения Cisco NFVI
• Cisco VIM, серверы, сеть
• Эволюция решения, поддержка Cloud Native
• Заказчики и поддержка сторонних VNF-ов
• Подведем итог
План презентации
Подход Network Functions Virtualization
© 2019 Cisco and/or its affiliates. All rights reserved.
Подход Network Functions Virtualization
Разделение Сетевых
Функций и аппаратной
платформы
Как? Зачем? Что?
• Виртуализация и облачные
технологии
• Повышение
производительности x86
• Использование SDN
• Скорость и Гибкость
• Внедрение новых услуг
• Снижение стоимости владения
• Требования
производительности
• Требования архитектуры
• Оркестрация развертывания
Традиционное оборудование / Сетевые Функции на
специализированном оборудовании (NF-ы)
Сетевые Функции исполняются внутри виртуальных машин на
x86 серверной платформе (VNF-ы)
NAT
VM
Firewall
VM
SBC
VM
dDOS
VM
Virus Scan VM
IPS
VM
DPI
VM
CGN
VM
Portal
VM
PCRF
VM
DNS
VM
DHCP
VM
BRAS
VM
SDN Control
VM
RaaS
VM
WLC
VM
WAAS
VM
CDN
VM
Caching
VM
NMS
VM
Аппаратная
платформа
(ASIC/NPU/GPU)
Операционная
система
Приложения
(Маршрутизация)
Аппаратная
платформа
(x86)
Облачная
операционная
система
Виртуальные
сетевые
функции
NFV инфраструктура, адаптированная для операторов связи
© 2018 Cisco and/or its affiliates. All rights reserved.
Большая пропускная способность
Дизайн под VNF
В чем отличия
• VNF-ы – это сервисные функции и требуют
SLA операторского уровня
• Для сети более жесткие ограничения по
окнам обслуживания
• VNF-ы требуют большей пропускной
способности сети (физической и вирт.)
Периодические пики трафика
Традиционный ИТ
Что похоже
• х86 архитектура
• Виртуализированная разделяемая среда
• Отказоустойчивость
• Автоматизация развертывания приложений
NFV требует оптимизации инфраструктуры
Управление NFVI, адаптированное для сетевых инженеров
“Операторы хотели бы иметь в своей сети распределѐнную
облачную среду для запуска VNF-ов от разных поставщиков,
управляемую сетевыми командами”
© 2018 Cisco and/or its affiliates. All rights reserved.
Проблема
Сетевые инженеры не обладают достаточными навыками
эксплуатации традиционных облачных сред.
Надо менять подход к организации облачной среды для NFV.
© 2018 Cisco and/or its affiliates. All rights reserved.
Подходы операторов связи к архитектуре NFV
Hardware Hardware Hardware Hardware Hardware Hardware
Virtualization
VNF VNF VNF VNF
Virtualization Virtualization Virtualization
VNF VNF VNF VNF
Virtualization
VNF VNF VNF VNF
MANO MANO MANO MANO MANO MANO MANO
Полностью дезагрегированный
(”Сделай сам” или Интегратор)
Вертикально-
интегрированный стек NFV Общий горизонтальный
уровень NFVI
• Различные элементы решения от разных
поставщиков
• Оператор Связи сам управляет системной
интеграцией
• Высокая гибкость
• Накладные расходы на интеграцию очень
высоки
• Нет единой точки ответственности
• Требуется больше времени для
развертывания – сложность координации
• Вертикальный стек NFV,
ориентированный на конкретное
приложение.
• Прединтегрированный и проверенный
поставщиком
• Единая точка ответственности
• Быстрое время запуска
• Объединение стеков вызовет сложности
• В долгосрочной перспективе увеличение
затрат на эксплуатацию
• Общая NFV инфраструктура
операторского уровня от одного вендора
• Прединтегрированная и проверенная
• Единая точка ответственности для NFVI
• Быстрое время запуска
• Стеки VNF и MANO от разных
поставщиков
• Объединение приложений VNF на базе
общей инфраструктуры NFV
NFVI
Требуется новое качество NFV инфраструктуры
© 2018 Cisco and/or its affiliates. All rights reserved.
Оптимизация под VNF - резервирование ресурсов, SR-IOV, DPDK
Высокая доступность, производительность и безопасность
Открытость - любые типы VNF нагрузок, от разных поставщиков
Упрощение эксплуатации, единое окно управления и мониторинга
Единая точка технической поддержки
Пред интегрированное решение
Network Functions Virtualization Infrastructure Определение ETSI
© 2018 Cisco and/or its affiliates. All rights reserved.
MANO
NFV
Orchestrator
VNF-M
(VNF
Managers)
OSS/BSS
NFVI
Hardware Resources
Compute Network Storage
Virtualization Layer
Virtual
Compute Virtual Network Virtual Storage VIM
VNF
Manager • Network Function Virtualization
Infrastructure (NFVI) - совокупность всех
аппаратных и программных компонентов,
которые создают среду для развертывания
VNF-ов
• Virtualized Infrastructure Manager (VIM) - программное обеспечение, которое
контролирует и управляет инфраструктурой
NFVI: вычислительными и сетевыми
ресурсами, хранилищем
Границы ETSI NFVI
+ = NFVI
ПО ”Железо”
VNF 1 VNF 3 VNF 2
EM 1 EM 3 EM 2
Cisco NFVI
Обзор решения Cisco NFVI
© 2018 Cisco and/or its affiliates. All rights reserved.
Cisco NFVI - платформа операторского класса Единая точка контакта и поддержки
Infr
astr
uctu
re M
an
ag
em
en
t
Unifie
d M
an
ag
em
en
t
API
GUI
Mo
nito
rin
g a
nd
Assu
ran
ce
Легенда
Повышение производительности,
Расширение функциональности
Сертифицировано RedHat
Совместная разработка
Интегрированная и валидированная платформа
Единая точка покупки
Единая точка технической поддержки
Cisco Physical Infrastructure Network VIM (опционально)
Infrastructure Abstraction with RHEL, KVM/Qemu, Host Packages, vSwitches
Network (Nexus, NCS) Compute (UCS/3rd p-ty) Storage (UCS /3rd p-ty) VTS ACI or
Virtual Infrastructure
Virtual Storage
(Ceph)
Virtual Compute
(RHEL) Virtual Network
(OVS, VPP, SR-IOV)
VIM
Cisco VIM
на основе
Red Hat OSP
или
Границы Cisco NFVI
© 2018 Cisco and/or its affiliates. All rights reserved.
Законченная архитектура Cisco NFV Комплексное и модульное решение для NFV
Легенда
VNF Manager
Cisco Elastic Services Controller
NFVO, Resource Orchestration & VNF Service Orchestration
Cisco Network Services Orchestrator на основе Tail-f
Северные API
Virtual Network Functions
(Cisco и сторонние)
CSR ASAv Ultra XRv
vWSA MSX Video Сторонн
ие Сторонний или
Infr
astr
uctu
re M
an
ag
em
en
t
Unifie
d M
an
ag
em
en
t
API
GUI
Mo
nito
rin
g a
nd
Assu
ran
ce
Cisco Physical Infrastructure Network VIM (опционально)
Infrastructure Abstraction with RHEL, KVM/Qemu, Host Packages, vSwitches
VTS ACI or
Virtual Infrastructure
Virtual Storage
(Ceph)
Virtual Compute
(RHEL) Virtual Network
(OVS, VPP, SR-IOV)
VIM
Cisco VIM
на основе
Red Hat OSP
или
Границы Cisco NFVI
Network (Nexus, NCS) Compute (UCS/3rd p-ty) Storage (UCS /3rd p-ty)
© 2018 Cisco and/or its affiliates. All rights reserved.
Варианты использования Cisco NFVI
Легенда
Infr
astr
uctu
re M
an
ag
em
en
t
Unifie
d M
an
ag
em
en
t
API
GUI
Mo
nito
rin
g a
nd
Assu
ran
ce
Cisco Physical Infrastructure Network VIM (опционально)
Infrastructure Abstraction with RHEL, KVM/Qemu, Host Packages, vSwitches
VTS ACI or
Virtual Infrastructure
Virtual Storage
(Ceph)
Virtual Compute
(RHEL) Virtual Network
(OVS, VPP, SR-IOV)
VIM
Cisco VIM
на основе
Red Hat OSP
или
Открытые API OpenStack для потребления ресурсов платформы
Mobility (e.g. Ultra, IoT)
Business Services (e.g. Cisco MSX)
Other VNFs (e.g. Media, vPE/vBNG)
3rd party VNFs (e.g. vIMS, vLB)
Границы Cisco NFVI
Network (Nexus, NCS) Compute (UCS/3rd p-ty) Storage (UCS /3rd p-ty)
Cisco NFVI Модели развертывания
© 2018 Cisco and/or its affiliates. All rights reserved.
Cisco NFVI - архитектура для различных масштабов
Access
Carrier-
E/Transport
Data Centers
Internet
DCI
DCI
Peering
Edge
Edge
Core and Edge Aggregation Cust. Prem.
Владеет и управляет оператор
Public
Cloud
Cloud
VPN
CPE
Edge POD
(4 Nodes + 16 Nodes)
Hyperconverged POD
(64 Nodes) MicroPOD
(4 Nodes + 16 Nodes) Full POD x N*
(128 Nodes)
Private
Cloud
* N - число POD-в в ЦОД
Инфраструктура Cisco NFVI – Full POD
Management Node
Controller Node 1
Controller Node 2
Controller Node 3
ToR Switch 1 ToR Switch 2 Mgmt Switch
Storage Node A2
Storage Node A3
Storage Node A20
Compute Node 1
Compute Node 2
…
Compute Node N*
Storage Node A1
…
* Всего 128 узлов в POD-е -
Compute и Storage
Несколько СХД кластеров
Ceph в рамках одного POD
VIM 3.0
© 2018 Cisco and/or its affiliates. All rights reserved.
Storage Node B2
Storage Node B20
… Storage Node B3
Storage Node B1
Ceph Cluster A Ceph Cluster B
Инфраструктура Cisco NFVI - Гиперконвергентный POD
Management Node
Controller Node 1
Controller Node 2
Controller Node 3
Compute Node N*
ToR Switch 1 ToR Switch 2 Mgmt Switch
Comp/Storage 2
Comp/Storage 3
Comp/Storage 15*
Compute Node 1
Compute Node 2
Compute Node 3
…
…
…
…
Compute Node 4
Comp/Storage 1
…
Гиперконвергентный узел =
Compute + Storage
• До 15 гиперконвергентных
узлов в POD-е
• Всего 64 узла в POD-е
включая Control,
Hyperconverged и Compute
© 2018 Cisco and/or its affiliates. All rights reserved.
VIM 3.0
• 1 узел Management
• 3 узла Converged – каждый узел выполняет
роль Control, Compute и Storage
• Конвергентные узлы для Control Plane нагрузок
(ESC, UAS и тд)
• Накладные расходы ниже на 60% по
сравнению с Full POD
• Те же возможности HA, что и Full POD
• Те же возможности по управлению жизненным
циклом SW и HW, что и Full POD
• Опционально добавление выделенных
Compute узлов для тяжелых Data Plane
нагрузок
Инфраструктура Cisco NFVI - MicroPOD
Converged Node 1
ToR Switch 1 ToR Switch 2 Mgmt Switch
Converged Node 2
Converged Node 3**
MicroPOD
Control Compute Storage
* До 16 выделенных Compute узлов в MicroPOD
** Хранилище Ceph ограничено тремя Converged узлами
Control Compute Storage
Control Compute Storage
Compute
Node 1
Compute
Node 2
Compute
Node 16 *
…
…
Management Node
© 2018 Cisco and/or its affiliates. All rights reserved.
• Накладные расходы еще ниже по сравнению с
McroPOD
• Хранилище Ceph вынесено на
централизованный модуль Ceph.
• Опционально добавление выделенных
Compute узлов с ускорителем (Intel FPGA) для
тяжелых Data Plane нагрузок
• На сегодня Edge Pod поддерживается только с
серверами Quanta
• Используется Real Time Kernel
• Валидирован только для vRAN
• Поддержка серверов UCS в роадмапе
ToR Switch 1 ToR Switch 2 Mgmt Switch
Edge POD
Инфраструктура Cisco NFVI – Edge POD
Compute
Node 1
Compute
Node 2
Compute
Node 16 *
…
…
* До 16 выделенных Compute узлов в MicroPOD
** Ceph/Glance локально нет.
Management Node
Converged Node 1**
Converged Node 2**
Converged Node 3**
Control Compute
Control Compute
Control Compute
© 2018 Cisco and/or its affiliates. All rights reserved.
• Новый профиль модуля: “Control + Compute”
• CVIM control plane потребляет 2 ядра CPU, также используемые для Host OS – практически “нулевые” накладные расходы на функцию контроллера
• Нет локального СХД Ceph – “нулевые” накладные расходы на СХД
• Центральный модуль Ceph под Edge POD-ы– один на 1000+ Edge POD
• Повышение производительности для поддержки “Real-Time” задач – обязательно для vDU
• Поддержка аппаратного ускорения на основе FPGA
• Автоматизированное управление BIOS для поддержки “Real-Time” задач
CVIM Edge POD предоставляет новые возможности
© 2018 Cisco and/or its affiliates. All rights reserved.
• До 16 compute узлов –размещаются VM с SF
• 3 x C220 M5 MicroPOD узлов - размещаются Controller, CEPH, ESC, CF, UEM, AutoVNF
• 1 x сервер Management
• 2 x N9364C в качестве TOR
• 2 x N93180TC-FX для MGMT
• Все узлы в одинаковой конфигурации (отличие в SSD/HDD)
• Сетевые интерфейсы – 4x40Гб/c для SR-IOV (XL710) и 2x40Гб/c virtio (VIC1387)
Дизайн на основе MicroPOD для Cisco Ultra M UCS C220 M5 c интерфейсами 40 Гб/с
3x Controller + CEPH + ECS + CF
+ UEM + AutoVNF
2 x 24C CPU
384 GB RAM
2 x Intel XL710 dual-port 40G NIC
2 x 480 GB SSD + 4 x 800GB SSD
4x-16x Compute (SF)
2 x 24C CPU
384 GB RAM
2 x Intel XL710 dual-port 40G NIC
2 x 480 GB SSD
1 x Management
2 x 24C CPU
384 GB RAM
2 x Intel XL710 dual-port 40G NIC
8 x 1.2 TB HDD
XL710 XL710 XL710 XL710
40 Gbps
Twinax copper or
active optical
cable
10Gbps
CAT5/CAT6 copper
cable
100 Gbps
active optical
cable
TOR 40 Gbps
Nexus 9364C
64 x 40/100 Gbps
TOR 40 Gbps
Nexus 9364C
64 x 40/100 Gbps
XL710 XL710
Shared LOM 10 Gbps
Nexus 93180TC-FX
48 x 10Gbps, 6 x 40/100 Gbps
Shared LOM 10 Gbps
Nexus 93180TC-FX
48 x 10Gbps, 6 x 40/100 Gbps
Backbone router Backbone router
VIC1387 VIC1387 VIC1387
To switches
above or
OAM router
To switches
above or
OAM router
© 2018 Cisco and/or its affiliates. All rights reserved.
Пример дизайна удаленных сайтов на EdgePOD для vRAN
ToR Switch 1
ToR Switch 2
Management Node
ToR Switch 1
ToR Switch 2
Management Node
( Accl) Compute 4
(Accl) Compute 5
(Accl) Compute N
(Accl) Compute 1
(Accl) Compute 1
Ctrl
(Accl) Compute 2
..
EdgeDC 1
ToR Switch 1
ToR Switch 2
Management Node
ToR Switch 1
ToR Switch 2
Management Node
…………….
2 Central Ceph Backend
для всех EdgеDC
(for Image Storage)
WAN/MBH Network
Central DC
ESC VNF-M (2-ва в HA на 50 EdgeDC)
(Accl) Compute 1
(Accl) Compute 1
(Accl) Compute 2
(Accl) Compute 1
(Accl) Compute 1
(Accl) Compute 2
(Accl) Compute 1
(Accl) Compute 1
(Accl) Compute 2
( Accl) Compute 4
(Accl) Compute 5
(Accl) Compute N
( Accl) Compute 4
(Accl) Compute 5
(Accl) Compute N
( Accl) Compute 4
(Accl) Compute 5
(Accl) Compute N
Accl – With HW Acceleration (FPGA)
Ctrl
Ctrl
Ctrl
Ctrl
Ctrl
Ctrl
Ctrl
Ctrl
Ctrl
Ctrl
Ctrl
EdgeDC 2 EdgeDC 9 EdgeDC 10
© 2018 Cisco and/or its affiliates. All rights reserved.
Cisco NFVI Основные компоненты решения
© 2018 Cisco and/or its affiliates. All rights reserved.
Компоненты Cisco NFVI
Infr
astr
uctu
re M
an
ag
em
en
t
Unifie
d M
an
ag
em
en
t
API
GUI
Mo
nito
rin
g a
nd
Assu
ran
ce
Cisco Physical Infrastructure Network VIM (опционально)
Infrastructure Abstraction with RHEL, KVM/Qemu, Host Packages, vSwitches
VTS ACI or
Virtual Infrastructure
Virtual Storage
(Ceph)
Virtual Compute
(RHEL) Virtual Network
(OVS, VPP, SR-IOV)
VIM
Cisco VIM
на основе
Red Hat OSP
или
Открытые API OpenStack для потребления ресурсов платформы
Mobility (e.g. Ultra, IoT)
Business Services (e.g. Cisco MSX)
Other VNFs (e.g. Media, vPE/vBNG)
3rd party VNFs (e.g. vIMS, vLB)
Network (Nexus, NCS) Compute (UCS/3rd p-ty) Storage (UCS /3rd p-ty)
Физическая инфраструктура
Cisco VIM
Интеграция с
SDN, оптимизация
производительности
Cisco VIM
Unified
Management
Monitoring &
Assurance
Cisco VIM
Software Hub
© 2018 Cisco and/or its affiliates. All rights reserved.
Cisco VIM, централизованное управление и мониторинг
Высокая масштабируемость и высокая доступность
Архитектура уровня оператора связи Cisco Nexus/NCS, Cisco UCS/3-d party
Cisco VIM, Unified Management и CVIM-MON
(включает: RedHat OSP, CEPH, RHEL OS (Red Hat), KVM)
Высокая производительность
Модульная и валидированная архитектура Контроллер Cisco SDN, высокопроизводительный vSwitch VPP
Программное
обеспечение
Оптимизиро
ванная сеть
Инфраструктура
© 2018 Cisco and/or its affiliates. All rights reserved.
OpenStack может вызывать сложности при эксплуатации:
Сложное взаимодействие между сервисами, базами данных, очередями
обмена сообщениями и т. д.
Производительность облака трудно количественно оценить, проверить и
контролировать.
Обновление и модернизация требуют значительных человеческих усилий и
нередко вызывают проблемы.
OpenStack - стандартный выбор для VIM Так ли это просто?
© 2018 Cisco and/or its affiliates. All rights reserved.
Cisco VIM Carrier Grade NFV Platform
Red Hat Enterprise Linux OpenStack Platform (RHEL OSP)
Red Hat Ceph Storage Solution
Полностью автоматизированный установщик (1 клик, Модульный, Надежный)
Cisco UCS
Compute
Operating Systems – Red Hat Enterprise Linux (RHEL)
3rd Party
Servers VIC
Контейнерное развертывание (Сервисы OpenStack, CI/CD Capable Platform)
Управление жизненным циклом (Day 2 операции – Pod Mgmt, Update/Upgrades, Reconfig, REST)
Control и Data Plane HA (Compute, Network & Storage)
Всесторонняя безопасность (TLS, SELinux, non-root, RBAC, etc. )
Проверка работоспособности и восстановление отказов (CloudPulse, Cloud Recovery, REST)
Сбор логов & мониторинг (EFK stack, CVIM-MON, …)
Тестирование производительности (Бенчмаркинг : Networking, Storage, Compute)
Веб-управление Unified Management (Multi-Pod & Multi-Site, Одно окно, RBAC, GUI, REST API)
Интеграция с SDN Контроллером (VTS, ACI)
Day 0
Day N
OpenStack,
Linux & Storage
Distribution
Cisco Nexus
9000
Cisco
NCS5000
H/W
Accelerator* GPU* NIC FPGA* HW
Готовый
пакет ПО Повышение производительности (Fast Data Stack - VPP, CPU pinning, NUMA, huge pages и тд)
Cisco VIM
*в будущем
Hardware
Operating System
Container
Bins / libs
Svc1
Container
Bins / libs
Svc2
Контейнеризация сервисов
Hardware
Operating System
Bins / libs
Svc1 Svc2 Svc3 Svc4
Традиционное развертывание OpenStack
• Зависимости между ОС, установленными
сервисами, конфигурацией и патчами
• Трудно обновлять и модернизировать
• Разделение сервисов в контейнерах
• Легкий и быстрый запуск (=порядка секунды)
• Упрощает откаты и атомарные обновления
Kolla
© 2018 Cisco and/or its affiliates. All rights reserved.
Передовой подход развертывания OpenStack в контейнерах
• Основные системные и OpenStack сервисы собраны в контейнеры
• Все программное обеспечение в системе поставляется с серверов
Cisco
• Любое обновление заменяет одну версию контейнера другой
• Предсказуемый результат: мы точно знаем, какая версия каждой части
программного обеспечения используется на системе
• Теперь у нас гораздо меньше движущихся частей, что позволяет
последовательно изменять всю систему
Сервисы OpenStack в контейнерах
Подготовка и публикация ПО с использованием CI/CD
Docker
Containers
Repo
Controller Nodes
Compute Nodes
Storage Nodes
NFVI
Администратор
Локальное хранилище ПО
CVIM на сайте заказчика
Management
Скачать
Подключить к
узлу управления
CVIM
Software Hub
Cisco VIM - онлайн и офлайн Установка/Обновление
Интернет
© 2018 Cisco and/or its affiliates. All rights reserved.
Cisco
репозиторий
ПО
RH OSP
RPMs
Cisco
Patches
Continuous
Integration
System
TEST
BUILD
Day 0 – упрощение развертывания
Cisco VIM
© 2018 Cisco and/or its affiliates. All rights reserved.
© 2018 Cisco and/or its affiliates. All rights reserved.
Cisco VIM Installer - автоматизированный установщик
Шаг 1 – Установить узел Management с использованием .iso
Шаг 2 – Создать шаблон конфигурации POD-а • Создайте текстового файла с шаблоном конфигурации setup_data.yaml вручную
• Создание шаблона с помощью опросника на веб-портале Cisco VIM UM
Шаг 3 – Запустить установку - одним нажатием! (GUI, RestAPI, CLI)
• Автоматизированные этапы установки
1. Проверка введенных пользователем данных, требований к HW и SW
2. Конфигурация узла Management
3. Проверка работоспособности узла управления
4. Настройка bare-metal
• Конфигурирование аппаратных компонентов серверов vNIC
• PXE загрузка – установка OC Linux
5. Установка и настройка общих компонентов Linux - NTP, Docker, Security и т. д.
6. Установка узлов Storage (Ceph)
7. Установка сервисов OpenStack - проверка здоровья
8. Проверка Data Plane – запуск тестов VMTP
Cisco VIM Installer – создание файла конфигурации из GUI
34 BRKCLD-1276
Day 2 – упрощение эксплуатации
Cisco VIM
© 2018 Cisco and/or its affiliates. All rights reserved.
Добавление или удаление вычислительных узлов в кластере для задач масштабирования
Замена узлов контроллера для при техническом обслуживании
Замена узлов СХД при техническом обслуживании
Cisco NFVI
© 2018 Cisco and/or its affiliates. All rights reserved.
Day 2 - управление жизненным циклом NFVI Добавление/удаление узлов
Cisco VIM – Добавить, Удалить узел Compute
• Добавить узел compute - Добавить информацию об узле в раздел ROLES and SERVERS конфигурационного файла setup_data.yaml
- Выполнить команду
# ciscovim add-computes –setupfile ~/MyDir/setup_data.yaml NFVI-POD-compute-3, NFVI-POD-compute-4
• Удалить узел compute - Удалить информацию об узле из файла конфигурации setup_data.yaml file и выполнить команду
# ciscovim remove-computes –setupfile ~/MyDir/setup_data.yaml NFVI-POD-compute-4
© 2018 Cisco and/or its affiliates. All rights reserved.
Cisco NFVI
Обновления и модернизация ПО
по требованию
Обновление всего облака с
установкой патчей и обновлений
безопасности
Возможность отката к
предыдущей версии
© 2018 Cisco and/or its affiliates. All rights reserved.
Day 2 - автоматизация обновления и модернизации ПО
Cisco VIM – Обновление ПО
• С портала Cisco загрузить файл с ПО mercury-installer.gz
• Запустить обновление из “старой” рабочей директории
# cd /root/installer-<tagid>
# ciscovim update –file /root/mercury-installer.tar.gz
• Commit обновления
# ciscovim commit
• Отмена обновления до выполнения команды commit
# ciscovim rollback
© 2018 Cisco and/or its affiliates. All rights reserved.
© 2018 Cisco and/or its affiliates. All rights reserved.
Cisco VIM Unified Management Единая система управления для NFVI
• Веб портал для управления
жизненным циклом одного или
множества POD-ов
• Запуск развертывания кластера,
создание шаблона конфигурации
• Ролевое управление RBAC
• Оценка работоспособности POD-ов
• Добавление / удаление узлов
• Запуск тестов VMTP, СloudPulse,
NFVbench
• Обновление ПО кластера
• Централизованный анализ логов -
запуск панели Kibana
• Переконфигурация настроек кластера
Cisco VIM UM Node
© 2018 Cisco and/or its affiliates. All rights reserved.
Cisco VIM Unified Management Иерархическое управление операторского уровня
CVIM Pod 1 Mgmt Node
Cisco VIM UM Global (Multi-site, Multi-POD)
CVIM Pod 2 Mgmt Node
CVIM Pod 3 Mgmt Node
CVIM Pod N* Mgmt Node
Cisco VIM
UM
Portal
Веб портал
управления
Выделенный узел
(Поддерживает до 300 узлов Control,
Compute, Storage. Количество будет
увеличиваться.)
REST API
• Много мест и компонентов для проверки…
• Нам нужны дополнительные инструменты.
• Инструменты должны быть интегрированы и поставляться с
решением NFVI.
© 2018 Cisco and/or its affiliates. All rights reserved.
Все ли в порядке с облачной средой?
Интегрированные инструменты
Cisco VIM
© 2018 Cisco and/or its affiliates. All rights reserved.
CloudPulse – проверка работоспособности Доступность Control Plane
CloudPulse
OpenStack
Health
Service
OpenStack Services OpenStack Nodes
Hypervisors and Controllers OpenStack
API - HTTPS SSH
VNFM (ESC) VNFO (NSO) Portal Operator Cloud Application
CloudPulse REST API
OpenStack API Tests Operator Tests
• Проверка работоспособности облака OpenStack с помощью инструмента CloudPulse.
• Набор тестов - административные и прикладные.
• Тесты могут запускаться по расписанию или по требованию.
• Наличие API REST для интеграции с приложениями/VNFM/NFVO.
© 2018 Cisco and/or its affiliates. All rights reserved.
Unified Management – CloudPulse
CVIM
EFK
Syslog
UI
Ma
na
ge
ment
AP
I
Logs
CVIM
Monitor
SNMP
Traps
UI Events
REST
Unified
Management UI
Alerts
Management
CLI
Интерфейсы управления и мониторинга CVIM
© 2018 Cisco and/or its affiliates. All rights reserved.
Централизованный сбор логов EFK Stack
Management /
Provisioning
Network
Control Node(s)
Compute/Storage
Node(s)
Build/Management
Node
Log Forwarder
Fluentd
Log Forwarder
Fluentd
Log
Aggregator
Kibana
ElasticSearch
Logs Logs
Централизованное ведение журнала событий с использованием EFK
• Fluentd forwarder-ы со всех control, compute и storage узлов пересылают логи агрегатору Fluentd на сервере управления
• ElasticSearch - база для хранения журнала событий
• Kibana - панель инструментов для просмотра журналов
• Fluentd агрегатор пересылает логи на внешний Syslog сервер
External
Syslog
Sever
© 2018 Cisco and/or its affiliates. All rights reserved.
Централизованный просмотр логов - панель Kibana
Расширенное централизованное ведение журнала событий с EFK Stack
• ElasticSearch хранит журналы событий
• Панель инструментов Kibana визуализирует консолидированные журналы системы
• Пользователь может добавлять фильтры или создавать запросы для поиска по журналам
© 2018 Cisco and/or its affiliates. All rights reserved.
VMTP – VM Throughput and Performance Проверка производительности Data Plane
Tenant 2 Tenant 1
VMTP Data Plane
Flows (logical)
Автоматизированная проверка доступности и производительности data plane между ВМ
Client VM
2 L3 fixed IP L2 same
network
Client VM
1
Client VM
3 L3 floating IP
Server VM
Virtual router
Client VM
4 upload 5 download
(внешний хост)
Тесты для
различных
топологий
1) VM-ы на одном сервере
2) VM-ы на разных серверах
3) VM-ы разных тенантов на разных серверах - Floating IP
4) Север-Юг
5) Юг-Север
Интегрированный набор инструментов для тестирования производительности сети NFVI.
Предустановлен на каждом POD.
Management
node
Traffic
generator
NFVbench
container
Cisco VIM Rack
TOR-SW A TOR-SW B
Build node
Controller 1 Controller 2 Controller 3
Storage 1 Storage 2 Storage 3
Compute 1 Compute 2 Compute 3
Compute Compute Compute n
Compute i
Трафик подается на VNF Установить VNF цепочку (OpenStack API)
Подключить интерфейсы генератора
трафика к VNF цепочке
1
2
3
4
Очистить счетчики на vswitch
Сгенерировать трафик
1
2
3
4
5
5
Cisco NFVbench Проверка производительности Data Plane
© 2018 Cisco and/or its affiliates. All rights reserved.
Мониторинг
• Здоровья и производительности NFVI
• На уровне POD
• Более точный анализ данных с помощью Smart Metrics
Оповещения и Метрики
• Оповещения на основе правил – SNMP Traps
• Smart Metrics - метрики для компонентов инфраструктуры VIM с тэгами
• Интуитивный GUI Grafana с преднастроенными под Cisco NFVI
панелями для просмотра статистики и оповещений
Автоматизация
• Полностью автоматизированная установка компонентов мониторинга
вместе с развертыванием Cisco VIM
• REST API
• Легко кастомизируется и расширяется
Cisco VIM-MON
Management Node
Control Node
Storage Node
Compute Node
Control Node
Control Node
Storage Node
Storage Node
Compute Node
...
Compute Node
TSDB
Config &
Alert Rules
Prometheus port 9090
CloudPulse
Alert Mgr port 9093
SNMP Agent
Polling Telegraph
Plugins
Testing
OpenStack
Endpoints
Grafana port 3000
T
T
T
T
T
T
T
T
T
Архитектура CVIM-MON
Системные метрики
• CPU, Disk, Interface
Linux Kernel
• processes, context switches, interrupts, conntrack…
Инфраструктурные сервисы
• NTP, RabbitMQ, HAPROXY
OpenStack
• OpenStack Services, Hypervisor, CEPH, VMs
Сервисы управления
• EFK, Prometheus
Метрики CVIM-MON
• Метрики связаны с компонентами инфраструктуры
• Поддерживаются тэги для инфраструктуры CVIM
• Имя узла
• Тип Узла (Management, Controller, Storage, Compute, Micropod, HC)
• Назначение CPU (Management, System, CEPH, VPP, VM)
• Преимущества
• Быстрая фильтрация по запросам TSDB
• Более точный анализ данных
CVIM-MON - Smart Metrics
CVIM-MON – метрики уровня узла
• Преднастроенные под Cisco NFVI оповещения о критических ошибках инфраструктуры
• Отказ сервисов OpenStack - например не работает Cinder
• Отказ ресурсов инфраструктуры – например не работает гипервизор, не работает контейнер Neutron Server
• Недостаток ресурсов – например, слишком мало свободной памяти
• Пороги для сервисов – например высокая загрузка очереди Rabbitmq
• Панель оповещения Grafana
• Оповещения на основе правил генерируют SNMP Traps
CVIM-MON - оповещения
CVIM-MON - оповещения
© 2018 Cisco and/or its affiliates. All rights reserved.
Компоненты Cisco NFVI
Высокая масштабируемость и высокая доступность
Архитектура уровня оператора связи Cisco UCS/3-d party, Cisco Nexus/NCS
На основе открытых стандартов
Упрощение управления и эксплуатации Cisco VIM, Объединение управления и мониторинга (включает: RedHat OSP, CEPH, RHEL (Red Hat), KVM)
Высокая производительность
Модульная и валидированная архитектура Контроллер Cisco SDN, высокопроизводительный vSwitch VPP
Программное
обеспечение
Оптимизиро
ванная сеть
Инфраструктура
Cisco VIM 3.0 – конфигурации серверов
Тип узла Модель сервера
Intel CPU
Skylake Intel NIC X710
1x Cisco VIC +
2x Intel NIC
X710 Cisco VIC1387
Control
UCS C220/C240 M5 ✓ ✓ ✓ ✓
Quanta Server
D52BE-2U/D52BQ-2U ✓ ✓
Compute
UCS C220/C240 M5 ✓ ✓ ✓ ✓
Quanta Server
D52BE-2U/ D52BQ-2U ✓ ✓
Storage
UCS C240 M5 ✓ ✓ ✓ ✓
Quanta Server
D52BE-2U ✓ ✓
Management
UCS C220/C240 M5 ✓ ✓ ✓ ✓
Quanta Server
D52BE-2U/D52BQ-2U deep ✓ ✓
Cisco NFVI - вычисления Стоечные серверы Cisco UCS M5
С220 M5
До 2x Intel Xeon Scalable (до 28 ядер)
24 слота DIMM DDR4-2666 (до 3ТБ)
4 LFF или 10 SFF дисков (all-NVMe)
1RU
С240 M5
До 2x Intel Xeon Scalable (до 28 ядер)
24 слота DIMM DDR4-2666 (до 3TB)
24 SFF или 12 LFF дисков + 2 SFF сзади
2RU
© 2018 Cisco and/or its affiliates. All rights reserved.
© 2018 Cisco and/or its affiliates. All rights reserved.
Cisco NFVI - сеть Варианты TOR коммутаторов
Nexus
9364C
QSFP28
64x40/100G
NX-OS
Nexus
93180YC
SFP+
48x10G+6x100G
NX-OS/ACI
Nexus
93108TC
Copper
48x10G+6x100G
NX-OS
NCS
5501
SFP+
40x10G+4x100G
IOS-XR
ToR/PE
© 2018 Cisco and/or its affiliates. All rights reserved.
Компоненты Cisco NFVI
Высокая масштабируемость и высокая доступность
Архитектура уровня оператора связи Cisco Nexus/NCS, Cisco UCS/3-d party
На основе открытых стандартов
Упрощение управления и эксплуатации Cisco VIM, Объединение управления и мониторинга (включает: RedHat OSP, CEPH, RHEL (Red Hat), KVM)
Высокая производительность Контроллер Cisco SDN, высокопроизводительный vSwitch VPP
Программное
обеспечение
Оптимизиро
ванная сеть
Инфраструктура
© 2018 Cisco and/or its affiliates. All rights reserved.
Ключевые характеристики нагрузок NFV Основной вопрос - сколько пропускной
способности и сколько пакетов в секунду требует
VNF?
• Полоса пропускания обычно определяет аплинки
• PPS определяет производительность виртуального форвардера
Другие важные характеристики
• Количество сетевых интерфейсов на VNF
• E-W сетевая сегментация: VLAN vs VXLAN
• Тип драйвера, поддерживаемого VNF - SRIOV vs virtio
• Количество Flow
Варианты сетевой виртуализации
NFVI
Type Virtual Switch
Tenant virtual Networks
Encapsulation
Provider Virtual Networks
Encapsulation
SR-IOV
Passthrough
UCS C220/C240 M5 +
Cisco VIC
OVS VLAN VLAN No
OVS + ACI VLAN VLAN No
VTF + VTS VXLAN VLAN No
UCS C220/C240 M5 +
Intel NIC X710
OVS VLAN VLAN Yes
OVS + ACI VLAN VLAN No
SR-IOV + ACI VLAN VLAN Yes
VPP + ML2 VLAN VLAN Yes
VTF + VTS VXLAN VLAN No
• Высокопроизводительный форвардер - работает как приложение (User Space)
• Использует технологию Vector Packet Processing – обеспечивает высокую производительность сетевых приложений
• Работает на стандартных CPU
• Использует Intel DPDK
• Поддерживает VXLAN, MPLSoGRE, MPLS, SR
• Управляется контроллером VTS или драйвером Neutron ML2
• Используется virtio драйвер - высокопроизводительная альтернатива если VNF не поддерживает SRIOV
• В большинстве случаев VPP превосходит OVS-DPDK по производительности
• Проект с открытым исходным кодом http://www.fd.io
© 2018 Cisco and/or its affiliates. All rights reserved.
Vector Packet Processing - FD.io Сетевая виртуализация с высокой производительностью
Сравнение производительности VPP с OVS-DPDK
Cisco VIM – интеграция с сетевой фабрикой Cisco ACI
• Возможности интеграции Cisco VIM и ACI
• Day0 - полная автоматизация конфигурации фабрики
ACI при развертывании кластера OpenStack
- VLAN-пулы, интерфейсы, LACP, VPC, VRF-ы и BD-ы, политики
• Day2 - динамическая конфигурация сетей provider и
tenant на фабрике ACI из OpenStack
• Поддержка HW – UCS C-series с Cisco VIC/Intel NIC
• vSwitch и инкапсуляция Tenant сетей – OVS с VLAN
• OpFlex ML2 APIC драйвер для интеграции c
Neutron работает на узлах Control • Преобразует вызовы к Neutron (создание network,
subnet или router) в конструкции фабрики Cisco ACI
• OpFlex proxy работает на leaf коммутаторах ACI • Обменивается информацией с агентом Agent-OVS,
расширяя фабрику ACI и модель политик в
виртуальный коммутатор
© 2018 Cisco and/or its affiliates. All rights reserved.
Производительность и оптимизация В сочетании с инновациями Cisco
Real-Time Kernel
Доступ к памяти – HugePage, NUMA, CPU pining
Сетевые подключения – PCI-PassThough/SR-IOV
Виртуальный коммутатор – OVS-DPDK, VPP
Эволюция решения Cisco NFVI поддержка Cloud Native
2016
© 2018 Cisco and/or its affiliates. All rights reserved.
Развитие Cisco VIM
2017 2018
2HCY ‟16
CVIM
1.0 (LA)
Apr ‟18
CVIM
2.4.0
Sep‟17
CVIM
2.2
May ‟17
CVIM
2.0 (GA)
Jan „19
CVIM
3.0.0
Jul ‟18
CVIM
2.4.2
Sep ‟18
CVIM
2.4.4
2019
CVIM
3.2.0
Aug ‟18
CVIM
2.4.3
Nov ‟18
CVIM
2.4.6
CVIM
3.4.0
Jun ‟18
CVIM
2.4.1
Dec ‟18
CVIM
2.4.8
Jan ‟19
CVIM
2.4.9
Software
• OpenStack Queens (OSP13)
• RHEL 7.5
• Realtime kernel support (RHEL 7.6) for edge
• CCP in CVIM OpenStack VMs (Tech Preview)
• Bare Metal workloads with Ironic (GA)
• Edge pod
• Multi-backend Ceph
• Ceph migration to Luminous version
• Ceph capacity increase by adding disks
• Ceilometer support
• LDAP for management node users
• Unified Management enhancements
• CVIM Monitor (GA)
• CVIM Software Hub (GA)
• ACI plugin support with OVS & SR-IOV
Hardware
• Support for up to 128 nodes per pod (GA)
• UCS M5 full pod with NCS5500 & 10G Intel X710
Data Plane
• SR-IOV configurable per compute
Third Party Integration
• Support for third party Quanta servers
Commercial
• CVIM PIDs in Subscription Billing Platform
Что нового в Cisco VIM 3.0
© 2018 Cisco and/or its affiliates. All rights reserved.
Эволюция решения Cisco NFVI - поддержка Cloud Native
Cisco VIM Tooling & Automation
VNFs (VM)
Cisco VIM
Validated Hardware (Servers, Switches)
Consistent Tooling & Automation
VNFs (VM)
Cisco VIM
Validated Hardware (Servers, Switches)
CCP (K8s)
CNFs (Container in
VM)
Consistent Tooling & Automation
Validated Hardware (Servers, Switches)
Consistent Tooling & Automation
VNFs (VM)
Validated Hardware (Servers, Switches)
CCP (K8s)
Cisco VIM (OS)
CNFs (Container on Bare Metal)
Cisco VIM (Ironic BM)
CCP (K8s)
Cisco VIM
VNFs (VM)
CNFs (Container on Bare Metal)
Common Bare Metal
Manager
NFV на основе VM CNF на основе
контейнера в VM
Контейнер на Bare Metal
Фаза 1
Контейнер на Bare Metal
Фаза 2
Поставляется В будущем В будущем Статус
Tech Preview
K8s master 1 K8s master n
K8s Node K8s Node K8s Node
Persistent Storage
Overlay
Network
Secure
CommunicationLoad
Balancer
Storage
External Communication
Kubernetes
External Network
Infrastructure
Kubernetes Lifecycle Management Kubernetes AuthN and AuthZ
Cloud Native: Cisco Container Platform (CCP)
© 2018 Cisco and/or its affiliates. All rights reserved.
Возможности платформы Cisco Container Platform
• Интеграция с CVIM
• Развертывание кластеров
Kubernetes
• Container Networking – CNI и
service mesh (Istio)
• Persistent storage cinder
• L3 / L7 Load Balancing (Nginx)
• Реестр контейнеров (Harbor)
• AD Authentication / RBAC
• Взаимодействие между
контейнерами и VM/ BM
• Ресурсы на основе пулов узлов
• UI – Kubernetes, API
• Безопасность (политики,
шифрование)
• Роадмап: Интеграция с Keystone
• Добавление/удаление узлов
Kubernetes
• Управление жизненным циклом
(обновление ОС, обновление
Kubernetes)
• Мониторинг (Prometheus)
• Логирование (EFK)
• Высокая доступность
Kubernetes-as-a-Service
Setup Manage Consume
© 2018 Cisco and/or its affiliates. All rights reserved.
Преимущества Cloud Native для операторов связи
Stateless
Высокая производительность
Легкие и быстрые
Переносимость между
облачными средами
Автоматизация жизненного
цикла сетевых функций
Автоматизация создание, обновления,
масштабирования и восстановления.
Дезагрегация мобильного ядра. Перенос части
функций на ближе к абонентам.
Чрезвычайно быстрое время запуска улучшает
процессы восстановления и масштабирования.
Уход от издержек гипервизора при развертывании на
bare metal. Оптимизированный форвардинг VPP для
виртуализированных сред.
State функции отделены от исполняемого приложения,
что упрощает управление.
• CCP - готовое решение для продуктивных контейнерных сред
• Native Kubernetes (100% Upstream)
• Обновления и лучшие практики от сообщества с открытым исходным кодом
• CVIM 3.0 поддерживает запуск кластера CCP K8s в виртуальных
машинах OpenStack
• Текущий статус Tech Preview
• GA в следующем релизе
• Основной вариант использования интеграции - запуск Container Network
Functions (CNF) в виртуальных машинах OpenStack.
• На первом этапе поддержка control-plane функций - PCRF, vRR; OSS/BSS и тд
© 2018 Cisco and/or its affiliates. All rights reserved.
Интеграция Cisco Container Platform (CCP) с Cisco VIM
© 2018 Cisco and/or its affiliates. All rights reserved.
Ядро мобильной сети на архитектуре Cloud Native
OpenStack NFVI
Hardware
Инфраструктура
Common
Mobility
Platform
Common Services
Protocol Load
Balancing
Control Plane App
Services
SMF AMF
PCF NRF
NSSF NEF
User Plane
Services
UPF
TCP Opt
Security
Service Based APIs
Bare Metal OS
SBA
Alerting
Metrics
Visualization
Helm Package
Management Common
Datastore
API Gateway
Logging
Istio
Cisco NFVI Заказчики и поддержка сторонних VNF
© 2018 Cisco and/or its affiliates. All rights reserved.
Подход к тестированию и проверке совместимости VNF-ов
Отраслевые проекты по выработке совместимости
VNF • Open Platform for NFV (OPNFV)
• NFV Interoperability Testing Initiative (ITI): Cisco, Ericsson, Huawei и Nokia
• NIA-EANTC NFV Interoperability Test
• ETSI NFV “Plugtests”
Партнеры по системной
интеграции (WWT и тд) Тестирование функциональной
совместимости VNF
Экосистема Cisco NFV
Тестирование VNF-ов - Cisco dCloud
Совместная лаборатория Cisco и Intel - NFV
Quick Start Labs
Сервис Cisco
Silver Базовое тестирование и
интеграция VNF
Сервис Cisco
Gold Расширенное
тестирование и
интеграция VNF в
сервисную цепочку
Сервис Cisco
Platinum Заказное тестирование
масштабирования и
производительности
Поддержка
продуктов Cisco Поддержка решений Cisco
Ус
луги
П
ар
тне
рс
ки
е и
отр
ас
ле
вы
е
пр
ое
кты
http://blogs.cisco.com/sp/vnf-validation-from-cisco
© 2018 Cisco and/or its affiliates. All rights reserved.
Cisco NFVI - поддержка сторонних VNF-ов
Application Vendor VNF Application Vendor VNF
A10 Networks vThunder - vCGNAT,
vSLB KEMP
LoadMaster
Cobham TeraVM Metaswitch
Perimeta vSBC
F5 Big-IP VE Netrounds
vProbe, Test
Agent
Fortinet Fortigate (vFirewall) NFware
Virtual CGNAT
Huawei VNE
Nokia VMM, VSR
Telestream
(prev. Ineoquest)
DVA, IQDialogue
ASM Palo Alto
Networks
Firewall
Juniper vSRX FW
Sandvine vDPI
NTT East Managed Services для SOHO
Internet
Network Services
Orchestrator
Elastic Services
Controller
Customer Portal
Physical
CPE
Existing IP Network
Cisco NFVI
VTS
Physical
CPE
OpenStack
API
NFV Orchestrator
VNF Manager
SDN Controller
OSS/BSS
vCPE
Продуктивное
решение
https://newsroom.cisco.com/press-release-content?type=webcontent&articleId=1896371
© 2018 Cisco and/or its affiliates. All rights reserved.
© 2018 Cisco and/or its affiliates. All rights reserved.
ACI Fabric
Tier1 оператор Азия
Spine N9K-C9364C Spine N9K-C9364C
Узлы Cisco VIM Build, CEPH и Storage
Cisco
VIM
Build
NFVI Mon
Leaf
N9K-C93180YC-EX
UCS C 240M4
Controller
Compute
Controller
Compute
Compute Compute
Compute Compute
Controller
Compute Compute
Compute Compute
Compute Compute
Compute
Compute Compute
Compute Compute
Compute Compute
Compute Compute
Compute Compute
Compute Compute
Compute Compute Compute Compute
Ceph
storage UCS C 240M4 UCS C 240M4 UCS C 240M4
GN & Gi GW-1 +
CGNAT
ASR 9912 -1 Router
GN & Gi GW-2 +
CGNAT
ASR 9912 -2 Router
Iu-PS/ Gb
S1
S4
SGi SGi S1/S4/
Gb/ Iu S1/S4/
Gb/ Iu
Internet/
Intranet
SGi
SGi
WAPGW
MMSC
etc
SGi FW-1
FP 9300
SGi FW-2
FP 9300
Caching
Router
NCS5001
Open Stack NFVI
POD
SPGW, PCRF, CGF , DNS , Firewall , EMS ,CGNAT Collector
VNF-ы:
Ultra vEPC и PCRF
Cisco PNR
Сторонние VNF-ы MPLS /
IP-RAN
BSC/RNC
eNB
Cluster
Remote
SGSN
Cisco NFVI Подведем итог Cisco NFVIПодведем итог
© 2018 Cisco and/or its affiliates. All rights reserved.
Решение Cisco NFVI Основные преимущества
Следование
стандартам и
открытый
исходный код
Совместное
проектирование
и инновации с
партнерами
Открытая
платформа, Cisco и
сторонние VNF-ы
Производительность,
отказоустойчивость,
масштабируемость
операторского уровня
Единая точка
техподдержки на
все компоненты
решения
Упрощение
установки и
управления
Интегрированная платформа,
продаваемая и поддерживаемая Cisco.
Партнерство с Red Hat, Intel.
Законченное решение NFV c Cisco NSO и широким набором VNF от Cisco
Расширение поддержи контейнеризированных
сетевых функций (Cloud Native)
Спасибо за внимание!
www.facebook.com/CiscoRu
© 2019 Cisco and/or its affiliates. All rights reserved.
www.instagram.com/ciscoru
www.youtube.com/user/CiscoRussiaMedia
www.vk.com/cisco
Оцените данную сессию в мобильном приложении конференции
Контакты:
Тел.: +7 495 9611410 www.cisco.com
Спасибо за внимание!
www.facebook.com/CiscoRu
© 2019 Cisco and/or its affiliates. All rights reserved.
www.instagram.com/ciscoru
www.youtube.com/user/CiscoRussiaMedia
www.vk.com/cisco
Оцените данную сессию в мобильном приложении конференции
Контакты:
Тел.: +7 495 9611410www.cisco.com