21www.ttm.com.cn

面向SDN/NFV的新一代IP网络运营系统架构设计与研究

张　强1　毛东峰1　贾　曼1　孙　琼2

1.中国电信集团公司

2.中国电信股份有限公司北京研究院

面向SDN/NFV的网络软件化发展趋势，研究当前运营系统的核心设计理念与设计思路，提出面向SDN/NFV未来网络的新一代IP网络运营系统的整体架构及实现方案，并提出新一代IP网络运营系统的主要核心模块。

SDN/NFV 网络软件化 新一代IP网络运营系统

摘要

关键词

引言现有的IP网络主要存在如下几方面问题。

网络刚性：当前网络在资源方面缺乏相关的优化手段，

目前IP骨干网的一个突出短板是流量调度缺乏足够的灵活

性，从而限制了组网架构的扩展性和对应用需求的快速响

应。例如目前基于IGP Metric和BGP策略进行的流量调度，

IGP Metric牵一发而动全身，缺乏全局视图；BGP策略管控

复杂，难以大范围使用。

网元封闭：目前的网络软硬件是一体化的。不同的厂商

设备均为垂直一体化，网元软硬件无法解耦，扩展性差、价

格昂贵、易于被厂商锁定。

业务烟囱：目前的业务提供能力不足，例如IP网络中随

选业务提供较为困难，当前的流程中存在很多人为参与的流

程，一点开通、调度能力无法随需实现。

运营复杂：当前的系统较为封闭，多数系统均由同一厂商

开发；对外能力开放少，缺少对运营平台核心能力的管控手段。

新一代IP网络运营系统在现有OSS中引入SDN/NFV控

制器、业务编排和网络协同器等，打破现有OSS的封闭性与

烟囱式，形成对实体IP网络和虚拟网络的跨域、跨厂商网络

的端到端统一运营管理，支持网络能力开放、用户自服务、

资源随选、策略管理、面向业务与网络可视等，是实现新型

网络架构的关键元素之一。

新一代运营系统的核心关键技术面向SDN/NFV的网络都向着扁平化、自动化和智能化

方向发展，新一代IP网络运营系统也需要吸纳新型IT以支持

网络的发展。新一代运营系统的核心关键技术主要包括如下

几方面。

(1)松耦合的微服务架构

由于新一代运营系统是面向产品和运营的系统，因此

其功能随着业务和产品的发展和变化而不断变化。将微服务

架构应用于新一代运营系统设计成为一大趋势。微服务架构

的核心思想是，将各个相对独立的能力模块原子化，设计成

能够自治的原子服务，并通过原子服务的逐层聚合和组合实

现不同的业务场景。在编排器实现上将网络配置功能原子化

后（例如将VxLAN、MPLS VPN、流量调度等VPN功能原子

化），很容易将各个原子功能分段组合实现不同的业务场景

（例如实现各种端到端VPN开通）。另外，采用微服务架构

后，可以为软件的部署、负载均衡和HA都提供方便。

(2)模型驱动

由微服务组成的系统常涉及服务间大量的接口调用以

及数据模型（例如一个网络拓扑模型）。这些接口或数据发

生变化时，通常引发一连串的开发、测试和部署。为尽量简

化此类工作，减少出错概率，业界普遍采用模型驱动的方

式。即用统一的模型语言构建接口和数据结构，服务提供

者和消费者使用共同的模型定义。当接口发生变化时，通

过统一更新模型定义，即可快速实现业务更新。目前业界

应用最普遍的是YANG模型语言，虽然YANG最主要的应用

是在控制器层的南向Netconf接口，但YANG绝非只能用于

Netconf，且已在编排器界有了应用，如Open-O项目就包含

doi:10.3969/j.issn.1000-1247.2017.03.005

22 TelecommunicaTions Technology / 2017·3

专题 SDN/NFV技术研究与应用

端到端业务编排器提供面向用户、面向业务的端到端业务编排与业务提供

跨专业编排及资源协同，并实现跨专业的策略制定与资源管理

提供同专业内跨厂商、跨域端到端的资源协同，实现同专业内策略的制定与管理、业务的抽象与编排

提供面向设备的南向适配，实现策略的执行、状态的收集与配置下发通用协议可统一执行配置下发，私有协议则由厂商控制器适配

跨专业协同器

控制器

新一代运营系统

一个Modeling子项目专门定义各子模块YANG模型。

(3)策略驱动

策略驱动的目的是实现自动化编排，典型实现为AT&T

的ECOMP系统。策略驱动的原理是，预先定义一些事件、

条件和动作的规则，表示“期望在何种情况下发生什么事

后，应该采取什么措施”，然后将定义的规则在专门的策略

引擎中测试和仿真，确认达到设计要求（例如满足预期并不

与其他策略冲突），则下发到统一策略库中。当网络中发生

相应事件时，编排器可自动完成预定义的动作。减少人工干

预，提高响应速度，这在自动运维及定制化客户产品中会提

供很大方便。目前在策略驱动方面，关键技术是策略模型，

即如何定义一个通用、可扩展、易于实现的策略模型，并基

于它实现策略引擎。目前IETF SUPA工作组已有相关草案。

(4)闭环自动化

闭环自动化属于新一代运营系统设计的高级技术，首先

被AT&T提出，典型应用是自动化的网络运维。其核心是建

立一个策略→配置下发→状态采集→数据分析→策略的闭环

流程，使系统能够通过一次次闭环迭代实现策略的调优。该

技术的实现涉及Workflow数据流、TOSCA建模、复杂决策

系统及机器学习等，目前还不成熟。

新一代IP网络运营系统总体架构新一代运营系统采取分层设计的理念实现，特定的层次

负责对该层次进行一定层面的抽象，并对该层内所负责的资

源/业务等进行处理，不同层次间通过开放的接口/封装实现

对信息的获取与归纳，从而简化业务对上层应用的处理与实

现细节的屏蔽。

通常，针对面向用户的产品与业务，从产品的定义、业

务的实现到网络的实施，包括产品编排、业务编排以及资源

排过程中，由于运营商的网络通常存在多域/多专业的划

分，不同的专业网络在信息模型的处理、抽象等要求方面存

在较大差异，不同的域也存在业务处理要求的不同，因此需

要对专业间以及域间的信息进行单独的处理要求。因此，又

进一步引入了层次化的划分需求，如图1所示。

基于该分层设计架构，新一代运营系统的总体网络架构如

图2所示。其中，IP RAN、城域网、骨干网、IDC等都有各自

的控制器/适配器，通过新一代IP网络运营系统实现多域的协同

与统一的资源管理与调度，对于IP专业本地能够实现的业务，

可以通过新一代IP网络运营系统实现向第三方应用/接口的开

放，并实现与BSS的互通。而跨专业协同和业务编排器则需要

拉通IP超级控制器与云管理平台，并实现跨专业的流程打通。

通过新一代运营系统协同骨干网、城域、IP RAN与DC

控制器，具备骨干网资源信息及下一级网络汇总信息，实现

端到端资源可视与流量可调，实现配置的一点下发与敏捷开

通，云网一体与能力开放。

新一代IP网络运营系统设计原则在新一代运营系统中，主要包括如下设计思路。

第三方接口/应用 BSS

DC控制器

IP骨干网

新一代IP网络运营系统

跨专业协同和业务编排器

云管理平台

RestRest

城域网

IP RAN

DC网络 DC基础设施DC

第三方接口/应用 BSS

DC控制器

IP骨干网

新一代IP网络运营系统

跨专业协同和业务编排器

云管理平台

RestRest

城域网

IP RAN

DC网络 DC基础设施DC

图2　新一代IP网络运营系统总体架构

端到端业务编排器提供面向用户、面向业务的端到端业务编排与业务提供

跨专业编排及资源协同，并实现跨专业的策略制定与资源管理

提供同专业内跨厂商、跨域端到端的资源协同，实现同专业内策略的制定与管理、业务的抽象与编排

提供面向设备的南向适配，实现策略的执行、状态的收集与配置下发通用协议可统一执行配置下发，私有协议则由厂商控制器适配制器适配

跨专业协同器

控制器

新一代运营系统

图1　层次化的新一代运营系统架构编排三个层面。其中，产

品编排主要负责将用户订单

转换成网络的业务组件，业

务编排主要用于确定相关的

业务流并实现对原子化能力

的封装组合，资源编排则主

要面向计算和存储的网络资

源，实现对底层网络硬件的

控制与管理。在该流程中，

产品编排主要是由B S S实

现，而业务编排和资源编排

则属于新一代运营系统的范

畴，由运营系统实施处理。

在业务编排和资源编

23www.ttm.com.cn

BSS/应用/第三方应用

服务保障与分析

业务

控制台

网络

设备资源

编排引擎

创建业务、策略、分析

微服务架构

元数据模型

持续集成

与部署能力清单

原子能力

骨干网控制器

运行态开发态

城域网控制器 业务资源⋯

电路资源

资源存储

策略规则 策略解析

策略优化

策略管理

能力开放接口

跨专业协同和业务编排器

能力编排引擎原子能力池

策略执行

翼翮通用服务、数据迁移、内部服务APIs

控制器/适配器数据采集

SNMP

Netflow DPI

BGP

路由⋯

IP网络（骨干、城域、IP RAN）/虚拟化网络

元数据建模：业务的定义和运行以元数据模型为基础，

业务定义支持多种技术与格式。

策略驱动的业务自动化闭环流程：拉通业务的全生命周

期管理。

微服务机制：内部服务以微服务形式运行，支持共享和

重用。各组件之间也以微服务形式交互，微服务间隔离。

层次化协同编排架构：支持域内、域间、跨专业多层协

同与编排架构，提供较强的可扩展性。

开放与开源：基于开源平台实现，对外提供开放性的

API调度能力（包括数据、资源、服务等），营造开放式多

厂商共同参与的生态共赢环境。

上述设计理念将有利于系统实现统一的资源抽象与编

排、自动化的业务发放与快速接入、敏捷弹性的部署与资源

组合、跨厂商/跨域/跨系统协同以及互联网服务开放模式。

新一代IP网络运营系统模块设计本系统细化的系统模块架构设计如图3所示。

(1)控制器/适配器

该控制器/适配器主要采用统一的服务集群实现多控制

器的承载，通过网管微服务控制已有设备。

控制层是新一代运营系统与网络之间的交互界面，涉及

多种控制器，例如骨干网控制器、城域网控制器、IDC控制

器等。此时，对于需要引入厂商控制器的场景（即单控制器

南向接口无法实现对多厂商的控制），则采用厂商控制器的

模式实现；对于无需引入厂商控制器的场景（即单控制器南

向接口可实现对厂商的控制），则采用适配器实现。

在现有的系统实现中，通常较多的业务策略、业务逻

辑以及网络路径端到端计算等算法都在控制器中实现，形成

胖控制器的模式。该模式在运营商的网络中通常会面临多厂

商环境的制约。因此，在新一代运营系统中，提出了“瘦控

制—重编排”的理念，将一些在控制器中的策略、调度等模

块上移至编排模块以及策略模块中实现，实现面向运营商网

络的端到端业务管理与编排，而控制器/适配器主要保留的

是与厂商设备南向接口紧耦合的协议实现、状态管理及配置

下发。

(2)资源存储

资源存储主要用于实现网络与资源的统一存储与管理，

实现网络资源的端到端管理，完成包括清单化资源与状态化

资源、数据分析与持久化，并支持基于机器学习能力对翼翮

平台收集的大数据进行分析建模。

其中，清单化资源可以通过统一的大数据分析引擎、分

析平台实现对数据的统一管理与解析，相互之间可以通过接

口调用的方式实现。

状态化资源主要为实时的数据资源，主要用于资源的动

BSS/应用/第三方应用

服务保障与分析

业务

控制台

网络

设备资源

编排引擎

创建业务、策略、分析

微服务架构

元数据模型

持续集成

与部署能力清单

原子能力

骨干网控制器

运行态开发态

城域网控制器 业务资源⋯

电路资源

资源存储

策略规则 策略解析

策略优化

策略管理

能力开放接口

跨专业协同和业务编排器

能力编排引擎原子能力池

策略执行

翼翮通用服务、数据迁移、内部服务APIs

控制器/适配器数据采集

SNMP

Netflow DPI

BGP

路由⋯

IP网络（骨干、城域、IP RAN）/虚拟化网络

图3　新一代IP网络运营系统模块设计

24 TelecommunicaTions Technology / 2017·3

专题 SDN/NFV技术研究与应用

态处理，采用流数据高效存储的数据库实现。

(3)数据采集

实现网络及业务资源、状态、性能等数据采集。这部分

包含几种典型的协议：SNMP、Netflow、BGP和DPI。

SNMP：主要实现基于SNMP配置管理的信息收集。

Netflow：主要实现基于Netflow流表采集的信息收集。

BGP：主要实现基于BGP路由相关的信息收集。

DPI：主要实现基于DPI深度数据采集的数据。

(4)服务保障与分析

实现网络、业务运行状态的故障监控、性能管理与综合

分析。其中包括两个方面，业务层面和网络层面，这部分主

要为新一代运营系统的业务应用层面，实现相关的业务与服

务保障。

业务层面目前主要包括分析固网端到端质量保障系统、

基于DPI的业务分析等；网络层面主要提供网络基础维护能

力，包括网络监控、质量测试、保障和综合分析等。

(5)策略管理

实现端到端策略管理，包括策略规则、策略解析、策略

执行以及策略优化，具体如下。

策略规则：实现策略规则的制定，清单的存储。

策略解析：实现策略规则的解析，以及策略与工作流引

擎的结合。

策略执行：实现策略针对特定工作流的执行。

策略优化：实现策略的优化操作，以及基于大数据处理

引擎的智能优化。

(6)能力编排引擎

实现原子能力模型映射与编排、策略驱动的自动化闭环流

程，同时存储原子能力和能力清单，具体包括如下组成部分。

原子能力库：负责原子能力的注册、升级、移除，微服

务需要注册的过程可以成为原子能力，用于以后的能力编排。

解 析 / 验 证 器 ： 能 力 编 排 是 基 于 M i s t r a l D S L v 2

Specification/YAML规范，编排形成的输出物必须符合此规

范，通过解析/验证器完成合规检查和解析。

执行器：编排产出的模型，通过解析后在执行器中运

行，管理编排模型的运行状态。

监控：执行器中模型的执行状态，通过监控可以直观地展

现给管理者，管理者也可以通过监控实现对运行状态的调整。

设计器：为维护管理者提供UI，管理原子能力和能力编

排模型，以用户友好的操作方式，实现原子能力的编排过程。

结束语从现有网络存在的实际问题出发，结合当前新一代运营

系统的最新技术，提出面向SDN/NFV的新一代IP网络运营系

统的网络架构及分层架构，并介绍相关系统的模块组成与设

计思路。该设计将有利于系统实现统一的资源抽象与编排，

自动化的业务发放与快速接入，敏捷弹性的部署与资源组

合，跨厂商/跨域/跨系统协同，以及互联网服务开放模式。

参考文献[1]　IETF RFC 6020 YANG-A Data Modeling Language for the Network

Configuration Protocol(NETCONF)[S]

[2]　R.Enns,M.Bjorklund,J.Schoenwaelder,etc.IETF RFC 6241:Network

Configuration Protocol(NETCONF)[S].2011

[3]　M.Bjorklund.IETF RFC6020:YANG-A Data Modeling Language for the

Network Configuration Protocol(NETCONF)[S].2010

[4]　AT&T:ECOMP(Enhanced Control,Orchestration,Management&Policy)[EB/OL].

http://about.att.com/content/dam/snrdocs/ecomp.pdf

[5]　Verizon:SDN-NFV Reference Architecture[EB/OL].http://innovation.verizon.

com/content/dam/vic/PDF/Verizon_SDN-NFV_Reference_Architecture.pdf

如对本文内容有任何观点或评论，请发E-mail至ttm@bjxintong.com.cn。

作者简介

张强

现任中国电信集团公司网络运行维护事业部副总经理，享受

国务院特殊津贴专家。具有20年的运营商工作经历，拥有丰

富的IP网络、移动互联网管理经验，所主持的多个研发项目

获得通信学会科学技术奖励和集团科技进步一等奖。

毛东峰

博士，毕业于北京邮电大学，现就职于中国电信网络运行维

护事业部，高级工程师，主要从事IP网络、移动互联网运维

管理，以及SDN/NFV、IP网络下一代运营系统的规划和设

计工作，所主持的多个研发项目获得通信学会科学技术奖励

和集团科技进步一等奖。

贾曼

现任中国电信集团公司资深项目经理，负责互联网/VPN网

络维护管理、新业务开发，目前从事SDN/NFV、IP网络下

一代运营系统规划和设计工作，所负责的多个研发项目获得

通信学会科学技术奖励和集团科技进步一等奖。

孙琼

现任中国电信北京研究院SDN技术研发中心主任，高级工程

师，重点研究SDN、下一代互联网、移动互联网等。长期参

与中国电信IP SDN、下一代互联网领域的研发工作，发明并

部署了多项IPv6过渡技术，曾获得通信学会科技进步一等奖。