社区云的关键技术与模式——以中国科学院科技云为例

南 凯中国科学院计算机网络信息中心

提纲

• 社区云的概念

• 中国科学院科技云概况

• 科技云服务进展

• 关键技术

– “联盟+微服务”架构

• 模式与机制

• 总结

社区云：云的部署模式之一

• 私有云 (private)– 由单一组织独占使用

• 社区云 (community)– 由一个特定社区独占使用，该社区由有共同关切（如使命、安全要求、政策等）的多个组织组成

• 公共云 (public)– 由公众开放使用

• 混合云 (hybrid) 使用方视角，与运营者无关

科技云

• 中国科学院十二五信息化工作

• 三类云集之一

科技云的目标与特点

• 构建一批跨机构、跨地域和跨领域的科研信息化应用平台，强化我院信息化基础设施之间的互操作性，与各学科和技术领域的信息化环境深度融合，形成全院科研人员可公开共享、无障碍、无缝使用的“科技云”环境。

• 120+ 研究所，分布在20多个城市• 10万+ 科研人员和研究生

• 特点与技术特征：– 按需自助服务– 泛在访问– 用户创造内容与互服务

科技云的模式

• 院所两级法人管理体制

• 从全院的角度看应属于私有云，从研究所用户的角度看像是公共云

• 前期以公共云的思路为主

• 社区云是发展方向

如何建设一个“社区”和“社区云”

• 中科院的组织体系

• 但是，产业界的竞争（公共云服务商，如阿里云）

– 为什么中科院要有自己的云服务

• 共同的兴趣和关切

– 资源：网络、计算、数据……– 支撑服务 7x24x365– 安全

科技云的基础环境

• 中国科技网

• 超级计算环境

• 数据存储环境

2.5G线路1G线路155M线路低于155M线路

北京

乌鲁木齐

大连

青岛烟台

沈阳长春

哈尔滨

上海南京

宁波

台北

香港广州深圳 厦门

福州长沙

武汉

山西石家庄

合肥

贵阳昆明

西双版纳

成都

兰州西宁

西安

拉萨羊八井

乌鲁木齐南山

核心网：10G骨干网：8条2.5G，6条155M

中科院领导下的全国性计算机网络，是学术性、非营利性、为科技服务的信息化基础设施

4G 5G 2.5G 32G

网内容量 国际科研（GLORIAD，中欧合作）

国际、国内公众网互联

OrientPlus: 中国与欧洲科研网络连接的桥梁

• 北京总中心 + 12 分中心• 覆盖全国近30个省市• 接入单位300+ 用户100+万

中科院系统

10G 10G 10G

国内出口带宽69.5G 国际出口带宽27.5G

IPv4/IPv6双栈接入

美国：10G欧洲：10G

1994年至今

全院超级计算能力实现每秒百万亿次到千万亿次的提升，整体超算资源可用率达到99.9%。支持包括自然科学基金、863以及院先导专项等近千项重大项目与工程。支撑宇宙演化、药物设计、流体力学、材料设计、地球系统模式研究、城市发展规划、沙尘暴预测、指纹识别破案、地震预测、汽车设计等领域应用。

2014年获批组建非法人单元

1996年至今

分布式存储环境• 总中心：1个• 总备份中心：1个• 区域中心：12个• 总存储空间：30PB

数据灾备服务网络• 灾备中心：5个

云存储服务• http://service.dcloud.cn

• 北京、南京、武汉、兰州、昆明、合肥、东莞等7个存储节点具备服务能力

1986年至今

科技云概览

领域云

科技领域云

软件服务云

数据云计算云

云环境基础服务

l 新一代机器“元”一期完成300万亿次l 超算分中心完成150万亿次能力建设l 计算科学应用研究中心成立l 16项CPU/GPU重点应用项目

科技网通行证云服务环境支撑工具集

• 云开发和运行工具(Falcon)• 云应用基础服务(UMT/VMT)• 云服务应用管理(COS)• 科技云认证联盟(UAF)

科研在线云服务• 团队文档库(DDL) 9.8万，7000团队• 会议服务平台(CSP) 112所，1600会议• 科研主页(dHome) 7400用户• 科信(dChat) 46+研究所• 日历服务 高能所提供

l 43PB分布式存储环境，已使用12.2PBl 虚拟机云计算环境l 科研数据管理云平台（VDB Cloud/DataPub）l 地理空间数据云l 重点库和专业库建设，整合数据资源553TB

l 高能物理l 微生物l 全球变化生态学l 煤炭能源

l 天文学l 干细胞与生物医药l 高寒环境观测l 空间科学

科技云服务进展

一、资源集成初显成效，云端服务全网通行

中国科技网通行证Duckling平台

总用户数43万日认证量30万+

科技网应用服务

基础资源服务

科学数据云

科技领域云服务

l 高能物理l 微生物l 全球变化生态学l 煤炭能源

l 天文学l 干细胞与生物医药l 高寒环境观测l 空间科学

领域云服务集成

其它第三方应用

LAMOST数据服务

科技云服务基础平台发挥集成作用

9月认证量最多的应用

中国虚拟天文台 (202897)

自动化所统一认证(124367)

科技网无线WIFI(84986)

自动化所电子所务(76404)

黑河计划数据管理中心(62515)

自动化所信息化服务平台(57941)

理化所实名制上网认证系统(36419)

科信服务(28129)

中国生物物理学会门户(25873)

科研主页 (21587)注：中国科学院邮箱、团队文档库、院国际会

议服务平台、科技网用户服务中心除外

部分接入应用的研究所列表（24个）

自动化研究所 沈阳自动化所

寒区旱区研究所 文献情报中心

理化技术研究所 地理科学与资源研究所

国家天文台 成都文献情报中心

金属研究所 青藏高原研究所

古脊椎研究所 遗传发育研究所

生态中心 青岛生物能源与过程研究所

山西煤化所 高能物理研究所

广州健康院 空间科学研究中心

深圳先进研究院 数学与系统科学研究院

微生物所 武汉文献情报中心

成都山地所 亚热带农业生态研究所

在全院范围内提供稳定服务

截止到2015年11月30日，科技网通行证为241个应用提供支持（所外应用120个），这些应用在科技云平台上可以进而实现交互和集成

二、形成云计算和云存储基础环境

• 云计算能力– 物理服务器约300台，可虚拟化出虚拟机5000+– 研发和部署云计算管理系统ECCP（Zestack）

• 跨域云计算资源的管理和调度• 云存储能力

– 1主1备+12个分中心– 总存储能力近52PB

• 归档：32PB• 灾备：~1.7PB• 存储：~18PB

三、超级计算服务能力大幅提升

• “元”高性能计算机系统

– 一期利用率高（全年平均75.8%）

– 二期达千万亿次（通用计算能力

702.32Tflops、存储容量6PB、

I/O聚合带宽124.5GB/s）

• 继续完善与发展了三级架构的院超

级计算环境的建设，总浮点计算能

力每秒1300万亿次

• 部署了73个商业及开源应用软件

• 探索、建立并实行考核后补贴办法，

对促进院超级计算环境的良性发展

产生良好推动作用

四、优化提升网络能力、加强发挥互联优势

• 开通上海、广州交换中心互联通道

• 开通南京、成都直联点与教育网互联各10G通道

• 新建北美交换节点，与ESNet等互连

• 开通与腾讯、阿里巴巴等直连通道

• 引入蓝汛、网宿等多家CDN节点

资源池专网助力提升云服务质量• 开通两批专网带宽

所属领域云 提出的需求 联系人 使用单位 资源池分配结果 使用方式

天文学科技领域云

北京、南京、上海、昆明、乌鲁木齐各100M带宽

李长华

国家天文台 100M 在研究所现有带宽上增加

南京天文台 100M 包括在现有1G带宽中

上海天文台 100M 在研究所现有带宽上增加

云南天文台 100M 包括在现有1G带宽中

新疆天文台 100M 在研究所现有带宽上增加干细胞与生物医药科技领域云 广州100M 陈朝明 广州健康院 300M(其中200M用

于超算分中心) 在研究所现有带宽上增加

高能物理科技领域云 北京3G 程耀东 高能所 1G 包括在现有10G带宽中

洁净煤技术领域云 太原100M 宋昌 煤化所 无 现有带宽达到线路上限，

需要等待扩容空间科学科技领域云 北京3G 马福利 空间中心 850M 在研究所现有带宽上增加，

已达到线路上限微生物科技领域云 北京50M 刘全贺 微生物所 50M 包括在现有1G带宽中

签订服务协议，两批共计3.55G资源池科研专网带宽

用于为全院用户服务的科技云各科研应用节点之间的数据传输，重点保障十二五信息化科技云项目间的服务集成和互通。

五、协同SaaS服务成为一定规模的普遍服务

★ 面向团队的文档协作与管理工具★ 全周期学术会议信息化服务★ 面向组织或团队的即时通讯平台★ 科研学者个人主页服务

会议平台服务116个研究所、2000+个会议、参会代表12.8+万人次。

团队文档库拥有团队8200+个、注册用户11.7+万人，月活2.6+万人。

科信服务50个研究所/课题组，并发在线500人。

科研主页中个人主页数超过8600+人，机构主页771个。

面向科研协作的公共云服务 解决方案

团队文档库

团队文档库

国际会议服务平台

科技文献服务

• 由中科院文献情报中心开发

• 通过联盟认证，与科技云集成

– 使用科技网通行证随时随地获取文献

六、科技云服务门户业务化运行

充分发挥“科技云服务门户”的成果宣传阵地作用、用户服务使用的统一入口

运维月报、资源池分配情况在线发布

云服务管理与监控不断完善• 云服务管理（dlog）• 服务数据/正常率监控（probe）

七、支持重大科研成果——高能物理前沿研究• 提供计算、存储、网络、协同办公等多种信息化服务系统

– 15000多颗CPU核，5PB磁带存储，5PB磁带存储，10Gb的IPv4/IPv6双栈国际网络链路

– 领域云项目期间，共运行作业2400万个，5000余万CPU小时

– 国际数据传输超过3PB/年• 产生大量物理成果，受到用户好评

– 2015年“基础物理学突破奖”

• 服务全球高能物理用户

– 7个大科学工程

• ATLAS, CMS, BESIII, JUNO, DAYABAY, HXMT, YBJ

– 14个国家

• 中国、美国、俄罗斯、法国、意大利、…– 50多个研究所和大学

– 1600多名科研人员

为大亚湾中微子实验BESIII实验提供高吞量计算和海量存储服务，项目启动以来，为大亚湾中微子实验提供近470万CPU小时的计算量和500TB存储空间，为BESIII提供了5000万CPU小时的计算量和3PB的存储空间。

暗物质粒子探测卫星-悟空 ——截止2015年12月24日10时，已安全在轨飞行108圈，下行数据29轨，生产并分发数据产品近千个

任务监视显示 科学数据快视

数据产品分发 空间环境保障

科学卫星任务运行支持服务

八、服务重大科研任务——空间科学先导专项

院省重点实验室/工程中心(2) 国家重点实验室/工程中心(8)

合作企业(>15)

核心研究所(7)中试基地(3)

为煤专项 8个项目，10个单位，遍布全国各地的 1000余科研人员提供

虚拟化计算，数据云存储，研究资源集成及在线协同研究等服务

领域云计算中心 领域云门户

≥ 60 TB 云存储容量≥ 200 TB 数据备份容量（院）≥ 48核 CPU 虚拟化计算能力≥ 50 个虚拟机同时运行

集成煤专项管理、数据资源汇集、各平台功能和应用服务

从科研数据采集、传输、存储、处理到应用的全生命周期管理，实现信息化与研发深度融合

服务重大科研任务——洁净煤先导专项信息化服务平台

九、新的研究手段——公众、科学家协同创新

• 2015年7月29日上线，由星明天文台和中国虚拟天文台合作开展的星明天文台公众超新星搜寻项目，是基于国内业余天文观测数据策划实施的首个“全民科学”项目

• 公众与天文学家协作，寻找超新星

• 3颗候选体，2颗已被确认

腾讯科技：10岁小学生借助虚拟天文台发现超新星http://tech.qq.com/a/20151008/055660.htm网易新闻：合肥小学生廖家铭再次捕捉到两个疑似超新星http://news.163.com/15/1009/07/B5FHTV3K00014AED.html网之易：10岁合肥男孩发现新天体，还有什么奇迹不能发生？http://e.163.com/docs/10/2015091400/B3ECHRFB9001HRFC.html《中国科学报》：足不出户 仰望星空：国内首个天文全民科学项目上线http://news.sciencenet.cn/sbhtmlnews/2015/8/303018.shtm

科技日报：国内天文全民科学计划上线http://digitalpaper.stdaily.com/http_www.kjrb.com/kjrb/html/2015-07/31/content_312299.htm新浪科技：国内首个天文全民科学计划上线http://tech.sina.com.cn/d/2015-07-29/doc-ifxfikka1648730.shtml中国青年网：国内首个天文全民科学项目上线 你也可以发现超新星http://news.youth.cn/kj/201507/t20150730_6939338.htm凤凰网：国内首个天文全民科学计划上线 你也可以发现超新星http://tech.ifeng.com/a/20150730/41406455_0.shtml8月4日，文汇报：全国总动员 寻找超新星http://whb.news365.com.cn/jkw/201508/t20150804_2115174.html

超新星搜寻

科技云“十二五”成效

• 形成了面向全院的云环境和服务能力，集成了一批应用服务并具备了平台服务的基础，聚合了一个覆盖全院且辐射院外的用户群

• 在若干重要的学科领域产生显著的应用成效，在支撑重大科技成果方面发挥了重要作用

• 培养了云的建设和运行的技术队伍，有效提升了科研信息化服务的能力和水平，为下一步发展打下基础

社区云的关键技术

身份管理

• 需求– 统一认证，单点登录

– 代理授权

– 开放标准

– 界面友好和易用性

– Web浏览器和移动客户端

• 解决方案– 基于中科院电子邮件系统构建

– 支持OAuth2– 新近加入对SAML (Shibboleth) 的支持

Nginx / Load Balance

TomcatContainer

VM1

TomcatContainer

VM2

TomcatContainer

VM3

TomcatContainer

VM4

TomcatContainer

VM5

访问Session数据共享 / Memcache

Dynamic Data Access Layer 动态数据访问层 / Memcache

MySQL高可用主从

大量用户访问

×

Falcon云开发平台

横向可扩展

高可用

高性能、可扩展的PaaS平台服务技术ü 实现应用的无状态化（Session共享）ü 业务动态迁移能力 （实例迁移） ü 可按需扩展服务能力（Web HA）

集成应用之间的信息同步技术

基于消息的信息同步技术 (falcon-mq)

VMT Email System IM DDL

1. 支持协作的组织和团队信息融合2. 为各应用统一管理profiles和attributes

……

Management UI

软件产品迭代开发与运维的技术、环境和流程

CI持续集成环境

代码管理服务器自动构建服务器群

• 开发进度控制，按需自助构建，了解产品进度• 统一的代码库，统一编译环境，减少部署风险• 自动快速构建，自动部署测试，减少重复过程　

系统管理员

测试工程师/QA

软件工程师

线上环境 测试环境

开发环境①代码上传

②每日自动构建③自动部署测试

④功能测试

⑤线上部署

PM等敏捷开发的基石 DevOps（开发运营）

为应用服务提供日志收集、存储、分析和可视化

集中式日志服务 (dlog)

适合社区云的架构

• 联盟

– 服务提供者 / 用户 (SP, IdP)– 研究所、大学、科技服务企业……– 两种模式: mesh vs. Hub-and-spoke

• 微服务

– 松耦合，高内聚

– 容错（复杂性）

– DevOps; 对团队的挑战

一种社区云的架构

社区云的模式和机制

几个问题

• 是否收费

• 可用性，可持续性

• 安全责任

收费

• 云服务的经济模式

– 谁来买单？支持和运行成本，基础设施投资

• 中科院投入了基础设施，以及部分运行成本

• 部分运行成本由用户分担

• 支持服务成本（特别是人力资源成本）被低估，并且未获适当认可

99% 还是 99.95%

• 如何管理跨越社区云的服务可用性和SLA• 目前，核心服务由专门团队（CNIC）运行，应用服务由各所“尽力而为”

• 当更多的服务加入，更多的服务相互依赖存在时，如何应对？

安全责任

• “在社区云中，当机构A提供的服务出现故障/事故时，原因是其所依赖的机构B提供的服务，法律责任如何处置？”

• 安全方面，问题更为突出

• 没有规范的情况下，这会是社区云服务发展的重大障碍

总结

• 社区云适合于垂直服务：科技领域– 大量科研特色应用

– 大量科研人员担任开发者

• 新的发展重点，但并不容易

• 网络是最重要的基础– 国家级学术网络（NREN）对推进社区发展至关重要

• 技术架构：“微服务+联盟”

• 模式和机制：亟待在实际操作中形成规范

• 开放社区建设，开源软件，信任

• ——走出社区云的新天地

谢谢！

2016高等教育信息化创新论坛，西安，2016年4月25日