中国科大超级计算中心-推动科学计算 促进人才培养

http://scc.ustc.edu.cn

李京

2017年10月20日

为什么要建？

如何建？

建设情况

用户成果

下一步工作重点

纲要

中国科学技术大学简介

隶属于中国科学院

首批“985工程”C9高校之一首批“211工程”高校之一

唯一参与国家知识创新工程的高校

首批双一流建设高校

国家实验室：2个

其他国家级科研机构：10个

中科院级科研机构：23个省部级重点科研机构：27个

联合共建科研机构：25个

国家理科基础科学研究和教学人才培养基地：6个

国家生命科学与技术人才培养基地：1个

一级学科国家重点学科：8个

二级学科国家重点学科：4个

国家重点培育学科：2个

安徽省A类重点学科：1个

安徽省B类重点学科：19个

中国科学院和中国工程院院士：48人

发展中国家科学院院士：17人

国家万人计划领军人才17人青年拔尖人才13人

国家杰出青年科学基金获得者116人优秀青年科学基金获得者72人

教育部长江特聘教授48人长江青年学者10人

国家“千人计划”44人“青年千人计划”160人

国家级教学名师7人中国科学院“百人计划”146人

以前沿科学和高新技术为主的综合性全国重点大学

超算典型用户

国家同步辐射实验室

合肥微尺度物质科学国家实验室（筹）

量子信息与量子科技前沿协同创新中心

类脑智能技术及应用国家工程实验室

稳态强磁场科学中心

高能量密度物理联合实验室

国家高性能计算中心(合肥)

核电子学国家重点实验室（联合）

热安全技术国家地方联合工程研究中心

大尺度火灾国际联合研究中心

火灾科学国家重点实验室

中国科学院合肥大科学中心

中国科学院量子信息与量子科技创新研究院

中国科学院星系宇宙学重点实验室（联合）

起因

• 研究高性能计算相关软硬件的学术单位

• 只能空闲时供物理、化学等用户使用

• 计算能力等已无法满足学校发展需要

1995年建成国家高性能计算中心（合肥）

• 场地

• 专业运维及技术支持人员

• 重复建设

2002年众多科研方向需要购置计算设备

• 7个重点学科：350万元

• 网络信息中心：50万元

• 学校1:1配套：400万元

• 校五大公共实验中心之一

建立校级共享超算平台，800万元

如何建？

宗旨

推动科学计算、促进人才培养

面向校内所有有高性能计算需求的科研院系、实验室、教师、学生提供高性能计算服务

服务社会，支持校外科研、企业等单位

组织架构

校网络信息中心校公共实验中心

中科院超算环境

超级计算中心

发展规划与监督 管理

超级计算专家组

重大决策指导

为什么由网络信息中心负责建设?

自己不用全心全意为他人服务

良好的服务意识

经验丰富、技术力量强

建设原则

方式：滚动更新规模：以实际需求为准，不追求排名选型：以实际应用运行性能为准，不看重linpack值

每年更新小系统

•最新的设备

•利用率高

•难于统一调度

•用户使用麻烦

•难于运行大并行作业

每3-5年更新大系统

•支持大并行规模作业

•支持重大科研需要

租用校外超级计算资源

（中科院超级计算中心

上海超级计算中心

国家超级计算中心等）：

校级超级计算中心平台：

课题组自建平台：

• 万核

• 千核

• 几十到数百核

中国科大超算三层资源架构

每年投入，累计超过6000万元，2016年新增1100万元

单作业并行规模

建设情况

超算系统运行维护资源提供

用户超算系统托管运维

用户培训技术支持

用户程序开发优化

现有人员六人

为教学科研提供服务

计算机

博士1 计算机

硕士1

计算机

在读硕

士1

物理学

博士2

化学博

士1

02年底，提出建设超算中心

03年10月：初步建成以惠普服务器为主的超算平台，1万亿次/秒，800万元

最早的校级超算平台之一

08年，IBM JS22刀片集群，1.8万亿次/秒，220万元

08年50年校庆，联想捐赠联想深腾1800集群，4.7万亿次/秒，200万元

10年，联想深腾7000G GPU集群，CPU:7.2万亿次/秒，GPU: 200万亿次/秒

中国科学院超算环境GPU中心

11-12年，刀片及胖节点集群，15.46万亿次/秒，400万元

12年，国家超算天津中心中科大分中心，计算云和大数据处理平台（45节点）和存储云（532T），180万元

13年，ChinaGrid高性能计算集群，14.64万亿次/秒，160万元

13年，新超算机房启用，地点在东区新图书馆一楼，1100万元

14年，曙光TC4600百万亿次超算系统，105万亿次/秒，623万元

中科院超级计算环境合肥分中心（中科大）

安徽省高校科研协作高性能计算公共平台

超级计算联盟理事单位

15年，TC4600扩建成300计算节点，7200CPU核，288万亿次/秒，总计算能力达547万亿次/秒

研究生超级计算实训中心成立

16年，百万亿次超算系统再次扩建成506计算节点，12200CPU核，519万亿次/秒，总计算能力达562万亿次/秒

国家网格(CNGrid)合肥运行中心

超级计算中心里程碑

运行中超算平台

曙光TC4600百万亿次超算系统（2014-2017年建）

• 计算节点：506个 ，12200颗CPU核心，512颗Intel Xeon Phi融核（MIC）KNL核心和39936颗NVIDIA CUDA核心

• 计算能力：总519万亿次/秒（CPU：482.82万亿次/秒，GPU：14.96万亿次/秒，Intel Xeon Phi融核：21.28万亿次/秒）

• 高速互联：100Gbps和56Gbps• 存储系统：SSD和SATA Lustre并行文件系统各1套• 国内首套打通Intel OPA与Mellonax InfiniBand网络的系统

ChinaGrid高性能计算集群（2013年建）

• 普通计算节点：44个 异构计算节点：2台MIC，2台GPU• 计算能力：CPU：17.23万亿次/秒，MIC：5万亿次/秒，GPU：5.6万亿次/秒

刀片及胖节点超算系统（2010-2012年建）

• 102个计算节点 大内存胖节点：256GB内存，64CPU核心

• 计算能力：15.46万亿次/秒

总计算能力562

万亿次/

秒

CPU

：515.5

万亿次/

秒

GPU

：20

、56

万亿次/

秒

MIC

：26.28

万亿次/

秒

超算中心机房

建设重点• 电力

• 双路直接供电，不接UPS，节省大量UPS投资

• 重要设备接UPS• 机柜及制冷

• 54个25KW水冷机柜

• 26台55KW机柜级行间制冷空调

• 4台200KW/台制冷量室外机组，3+1冗余

• 监控

• 机房自动温湿度控制

• 短信预警2013年建成

2016年扩建

总投资1300万元

双路配电系统

精密配电柜(列头柜)

UPS配电系统主机房

双路直接供电，不经UPS，节省大量UPS投资

重要设备接UPS

展示室

机柜级水冷制冷系统室外机组共4台（3用1备）

单机制冷量200KW，整机最大功耗60KW，总制冷量400KW(2用1备)

室内机柜级LCP空调26台

单机制冷量55KW

机柜级制冷系统：• 单机柜制冷高，可达25KW• 15度高温进水，高效节能，降低

结露

规范完善的运行管理

规章制度，管理规范• 管理办法

• 收费政策

• 机房制度

自动化预警监控，弥补人力不足• 预警不仅是故障后报警，防患于未然

• 动力环境、超算系统、用户作业

• 短信报警

加强系统设置及监控，确保安全• 系统安全：限制IP、VPN、fail2ban• 监控：自动防御、入侵检测

制冷系统监控：商业+自主开发

短信定期报告及预警

商业

自主开发的违规及异常作业后台监控及自动处理

IBM Platform LSF作业管理系统

自主开发的系统作业实时统计系统

开源的Ganglia运行监控系统

并行科Paramon应用运行特征收集器

超算系统监控：开源+自主开发

用户设备托管及运维

• 用户缺乏专业场地

• 15个用户，400余台设备，占据23个机柜

• 微尺度国家实验室、核学院、高能物理、地空学院、化学院、数学学院、计算机学院

• 赵政国院士、陈晓非院士等

用户设备托管

• 用户缺乏运维力量

• 微尺度国家实验室、核学院、高能物理、地学院、等离子体、火灾等

用户系统运维

资源合理利用

不以成本核算及收入为目的

调节资源分配，优先保障重要需求

免费

• 都可使用

• 排队时间长

付费（远低于成本）

• 排队时间比免费短

• 普通排队使用：收费比独占低，排队时间比独占长

• 独占使用：随时使用，收费比排队高

VIP• 优先保障使用

• 更贴心服务

根据实际需求及运行请况动态调整队列策略

优惠及奖励政策

单作业并行规模（CPU核心）

优惠标准（基本收费标准的%）

≥1000 60

481-999 80

97-480 90≤96 100

论文类别 每篇奖励积分

SCI

1区 202区 43区 24区 1

EI 国外 2国内 1

核心 1

鼓励大规模并行计算

• 根据单作业并行规模进行优惠

支持优秀科研成果

• 对在已发表论文的致谢等部分中明确指明“本工作受中国科学技术大学超级计算中心支持”的用户给予奖励

优质服务详尽的文档

• 用户手册

• 常见问题

用户培训

• 研究生超级计算实验训练中心

• 培训讲座：自己主办，邀请校外专家等

邮件、电话、QQ即时通讯

• QQ用户群：面向普通用户，及时提供技术支持，675人• QQ运维群：面向用户自建超算的维护人员，帮其提高运维水平，27人，来自近20个实验室

• QQ托管群：为托管用户服务

主动服务

• 监控用户作业，发现问题，主动处理

论文和科研项目自动采集系统，简化用户反馈

与外力合作提高运维及用户服务技术水平

并行科技公司：针对超算中心

• 超算系统在线运维

• 分析系统、应用特征，并优化

• 用户应用技术支持

• 用户门户开发

曙光公司：针对用户自建超算系统

• 驻场工程师

• 系统运维

• 应用技术支持

贴心用户服务：用户登录提示

中文/etc/motd

•常用命令，重要提示等

在线FAQ

•常见问题

磁盘使用情况

•提醒空间使用，督促清理

预安装用户应用，并封装编译运行环境及应用，降低使用难度

module环境http://modules.sourceforge.net/

mpi-selector环境https://www.openfabrics.org/downloads/mpi-selector/

支持重大科研需求

共建高通量量子材料基因库计算平台

•与微尺度材料基因团队共建高通量量子材料基因库计算平台

•校拨款350万元，纳入校公共资源共享使用

•纳入15年12月超算扩容，折合78台服务器

•部分资源供材料基因团队独占免费使用

•部分资源共享给他人使用

核学院聚变堆模拟平台建设、运维及技术支持

•84个计算节点，2064颗CPU核心

•对安全、稳定、性能、编译等要求高

科学计算开发与模拟

优化

性能提高

功能增强

兼容性优化

发布

2015.10

第五届中国科学院超级计算应用大会

用户

中科院沈阳金属所

吉林大学

中科大地球和空间科学学院

用量

2015年度，

TC4600上约占12%

矩阵指数计算的并行

版

用于本校的量子模拟计算

谢毅组（化院）

叶邦角组（物院）

吴忠庆组（地空）

ABACUS 矩阵指数优化 其他

基于ELPA的并行广义本征值求解器GenELPA

测试条件

•应用到第一性原理软件ABACUS，求解对应2048个硅原子（Si）组成的晶体

•每一个电子步迭代需计算一次26000×26000大小的广义本征值方程

测试系统

•曙光TC4600百万亿次超级计算系统

• 96个Intel E5 2680v3 CPU核心，56Gbps IB

测试结论

•采用GenELPA进行计算后，本征值求解部分计算时间相比原来由4300秒减少到2000秒，程序整体运行时间由4800秒减少到2500秒，程序性能取得了显著地提高

国家重点研发项目“面向E级计算的材料科学计算软件系统与应用”子课题“面向E级计算的第一性原理软件”和“面向E级计算的微观和宏观动力学模拟软件”

运行分析，优化资源

用户任务历史数据统计分析，优化调度策略

国家重点研发项目“国家高性能计算环境服务化机制与支撑体系研究”子课题“基于应用的全局资源优化调度方法研究”

超算系统运行情况汇总2016年1月1日-2016年10月30日

曙光TC4600百万亿次超级计算系统

超算系统 节点数

总核数

浮点计算能力（万亿次/秒）

开户数

作业数 总机时（万CPU小时）

平均作业运行机时

（CPU小时）

平均作业运行时间（小时）

平均作业排队时间（小时）

实际利用率（%）

曙光TC4600百万亿次超级计算系统

300 7200 288.00 172 218527 3633 166.26 4.71 2.93 85.6

ChinaGrid高性能计算集群 48 768 15.97 181 9286 520 560.51 20.42 32.20 84.3

刀片及胖节点超算系统 100 1512 15.46 399 110388 826 74.83 6.95 4.91 68.0

联想深腾7000G GPU集群 100 800 7.26 204 80949 304 37.56 1.69 2.24 -总计 548 10280 326.69 956 419150 5283 - - - -

对外服务

中科院, 205万

高校, 387万

企事业, 23万

近一年校外用户机时分布（CPU小时）

•中国科学院超级计算环境合肥分中心（中科大）

•中科院超算环境用户

•安徽省高校科研协作高性能计算公共平台

•安徽省内教育科研网高校用户

•全部平台

•其他企事业单位

服务社会，支持校外科研、企业等单位

615万CPU小时校外55个用户

部分千核级应用

膨胀宇宙背景下暗物质在引力作用下的运动软件：L-Gadget2 1024个CPU核心

1.28亿个Cu原子的铜纳米线中剪切滑移带的产生软件：Lammps 1536个CPU核心

超燃冲压发动机燃烧室中的燃烧过程软件：OpenFOAM 960个CPU核心

模拟NPT系综25万个原子的DNA体系的分子动力学软件：Gromacs 1440个CPU核心

超算用户成果

论文目录：http://scc.ustc.edu.cn/zclw/

21

4

21 1 1

2 2

34

2

1

1

2

3 1

2

0

1

2

3

4

5

6

7

8

9

2006年 2007年 2008年 2009年 2012年 2013年 2014年 2015年 2016年

论文

数

支持的顶级论文

Nature系列 JACS PRL

有力地支持了科研工作，科研用户取得了丰硕的成果

• 2016年支持了60余项科研项目，总经费超3亿元

• 自2004年到2016年，支持发表的致谢论文743篇，仅Nature及其子刊、PRL与JACS三类顶级期刊即有35篇，2016年约占全校发表论文的10%

• 支持的论文数量和质量都逐年提高，分布广泛，9篇Nature系列论文来自5个课题组

1.4 014 18 21 31 36

9.9 12

2848 39

3955

4 10

30

41 4245

36

1.1 5

12

1712

2115

0

20

40

60

80

100

120

140

160

2004-2010 2011 2012 2013 2014 2015 2016

论文

数

各年度支持文章分区数

其他

三区四

区

16.27

84

124 114136

142

今后工作重点

建设专用超算平台满足重大科研需要

• 高通量基因材料计算平台

• 聚变堆模拟平台

• 大数据处理及人工智能平台

• ……

增强技术服务力度

提高用户服务水平

• 精细化

• 个性化

• 高层次

• 加强计算模拟合作开发

• 加大对重点用户的支持

• 建设好用户门户

• ……

优化资源调度策略

充分发挥现有资源

• 优化队列策略，为不同作业选择合适队列

• 预测作业完成时间，在保证大规模作业运行的同时，提高资源利用率

• 研究虚拟化、容器化技术，满足个性化需求

• ……

加强对外交流合作

争取资源回馈社会

• 中国科学院超级计算环境合肥分中心（中科大）

• 安徽省高校科研协作高性能计算公共平台

• 国家超算天津中心中科大分中心

• 中国教育网格(ChinaGrid)中科大节点

• 国家网格(CNGrid)合肥中心

• 国家网格(CNGrid)合肥运行中心

• 超级计算创新联盟理事单位

• ……

谢谢！