网格计算 打造新一代的教育科研基础设施

网格计算打造新一代的教育科研基础设施

周立旸网格计算，企业系统部IBM 中国有限公司zhouly@cn.ibm.com

议题

当前教育信息化面临的挑战

网格计算概述

网格计算相关技术与解决方案

网格计算在教育科研领域的应用

总结

过去 20 年我国教育信息化的飞速发展

当前教育科研的发展对基础设施建设提出了新的需求

9 TB/day

´ óÐ ÍÇ ¿× Ó¶ Ô× ²» ú

Å ·Ö Þº ËÎ ïÀ íÑ Ð¾ ¿Ë ù

构建和挖掘极大数据资源 大规模计算机模拟和分析

数据重组

实时数据收集

广域分发

虚拟显示和控制数据存储

访问特定的仪器设备 跨研究机构和组织访问和交换信息

资源建设和整合是当前教育信息化的首要问题

IBM

硬件投资比例较高，运作环境日益复杂，系统管理和维护开销巨大 缺乏计算与仪器资源的共享，导致重复投资，现有资源利用率较低 教育资源相对匮乏，各院校、部门的教育资源分散、异构、复杂，采用传统的方

式实现教育资源的整合和共享，所需的周期长、成本高 缺乏统一标准和规划进行资源的整合和共享，导致产生新的信息孤岛

通过网格实现资源利用的最大化

网格计算网格计算环境环境

高校 1 ... 高校 N 教育管理机构研究所

高性能计算服务高性能计算服务高性能计算服务高性能计算服务

数字博物馆数字博物馆数字博物馆数字博物馆

大型仪器设备大型仪器设备大型仪器设备大型仪器设备

远程教育远程教育 远程教育远程教育

............

公共软件服务公共软件服务公共软件服务公共软件服务

整合的教育资源

服务平台

何谓网格计算

Storage

ApplicationsApplicationsProcessingProcessing

Operating System

DataData

I/O

网格计算的定义：一种基于网络的分布式计算技术，

采用开放标准支持异构环境下的操作

共享共享访问 管理访问 管理

网格被视为下一代的互联网

互连TCP/IP

信息World Wide Web

通讯e-mail

资源Grid

网格计算的应用

资源的共享• 基于一定条件共享各种资源：计算、存储、

网络、应用、 ...

• 提高资源利用率，构造更为可靠的系统 协调地解决问题

• 分布的数据分析、计算、合作、… 动态、跨组织的虚拟组织

• 凌驾于传统的组织架构之上• 支持各种规模，动态或静态的

通过网络 ...

网格基础设施

网格技术发展现状 在过去几年中，网格应用已经从早期的科研领域

向主流市场迈进 在国际上，网格的关键概念和技术上已达成相当

程度的共识 开放网格服务架构（ OGSA ）已经成为广泛采

用的网格技术标准 产业界纷纷推出各自的网格产品，并成功地在各

行业得到应用 IBM 参与了中国多个网格项目，并已进入企业

应用领域

IBM 为不同行业提供度身定造的网格计算解决方案

研究和开发 工程与设计 商业分析应用 企业优化 政府发展

描述 通过共享数据和计算能力，提高科研应用的效率，加快研发进程

为计算集中型的工程和科研应用，共享数据和计算能力提高，加快产品设计

通过共享数据和计算能力， 进行更快速和复杂的商业计划和分析

提高资源的利用率、使用效率和可持续运行的能力

构建大规模的 IT 基础设施，推动经济发展，提供新的政府服务

优先应用的行业

政府和公众事业、制造业

制造业 金融服务、政府和公众事业、制造业、电信

金融服务、政府和公众事业、制造业、电信

政府和公众事业

IBM 在全球成功实施了 100 多个网格计算应用项目

三种不同类型的网格技术•数据（信息）网格：数据的随需即取

►数据网格可以使一组分布、异构的数据成为一个单一的数据视图►数据网格可以管理大量的、分布在不同领域的数据、存储和网络资源，兼顾本地和总体的安全策略，有效地安排资源的使用，高性能，同时兼顾速度和可靠性

•计算网格：处理能力的随需即取►根据应用的需求和系统负载情况实时地分配服务器资源，优化系统效率►为异构系统提供统一的界面，减少系统管理和配置的开销

•服务网格：应用和服务的随需即取►基于 Web 服务（ Web Services ）标准，提供异构平台的应用访问和集成机制►缩短应用开发和集成的开销和时间，带来更高的可重用性，灵活性，扩展性和可用性►随着新 Web 服务标准的发布，网格计算和 Web 服务正在走向统一

数据网格及相关产品

数据

DB2 Information Integrator 基于开放标准。保护现有投资。客户可以访问和整合分布的、不同格式的数据。

DB2 UDB EEE

Avaki Data Grid * 支持关系和非关系型数据的访问和配送， 采用开放标准进行数据转换和集成

文件

GPFS

支持不同节点共享文件数据，提供更好的性能和容错性

NFS v4

SAN

File

System

基于 SAN 的异构文件系统，在开放环境中提供文件集成和共享功能

存储

SAN

Volume

Controller

SVC 可以减少 SAN 存储管理的复杂性和成本，在开放环境中对存储设备虚拟化，进行统一管理，提高设备利用率

Tivoli Storage Resource

Manager提高设备利用率，减少开支，提高可用性

全局命名元数据和目录 数据联邦和格式转换

数据

虚拟化

分布的文件系统 / 远程访问文件传送 / 数据复制缓存

文件虚拟化

NAS / SAN “ 存储集群” 存储设备的动态 / 自动配送 支持分层管理

存储

虚拟化

传统信息集成方式的局限性

数据不是最新的

不支持所有的数据类型• 关系数据库、文件、应用

实施和维护相当复杂、开支巨大• 信息基础设施、编程开销、维护开销

对数据共享没有控制

安全性差、缺乏对广域网的支持

传统方式• 数据复制• 数据仓库• VPN• EAI (MQ)• 客户化的集成

应用 用户

数据网格的应用：跨系统、组织的信息资源共享

通过计算网格实现计算资源的逻辑整合

Processing

Operating System

StorageI/O Data

Applications

•设备利用率低•管理复杂•系统集成开销大•无法应对突发性的需求增长•昂贵的灾难备份

•提高设备利用率•自我管理、自我维护•采用 OGSA 标准•动态、灵活的系统•基于网格的容错架构

利用分布的资源来平衡工作负载• 调度中间件进行作业的分发• 利用分布的资源进行故障恢复• 可以对调度中间件设置调度策略和优先级

IBMIBMIBM

112234

567891011

作业调度

作业 1作业 1 作业 2作业 2 作业 3作业 3作业 1作业 1 故障恢复和重启

故障恢复和重启

计算网格的作业调度

IBM eServer 提供了高密度的集群平台

7U BladeCenter

单个机柜可以支持： - 最多 84 个刀片 - 最多 168 个处理器 - 支持 Windows, 32 位Linux, 64 位 Linux, 64 位UNIX - 支持混合类型刀片 - 提供完备的系统管理

42U 机柜

IBM

P655 在一个机柜中可以集成 128 个 POWER4+处理

器

IBM BladeCenter 提供了服务器、网络、存储、应用的

集成平台

计算网格的应用： Web 基础设施调度

可用的资源池

企业应用 A

企业应用 B

企业应用 C

普通用户

高级用户

白金用户

通过服务网格实现面向服务的集成

最终

用户

服务

提供

商

组件架构

服务架构

业务流程架构

各种接入方式

各种基础设施

...

服务网格的应用：随需应变的服务网格

ServiceRegistry

ServiceRequester

Serviceprovider

Grid Middleware

Virtual Clusters, Storage and Resources

Distributed PhysicalClusters and

Storage

. . . API’s标准组件

Web Services

OGSA

随需应变的服务网格

托管平台计算资源

软件 / 应用虚拟的服务用户

IBM 可以提供实现网格战略的全面解决方案 网格创新研讨会，帮助客户制订

网格战略和并完成网格架构设计

IBM 和合作伙伴的产品，以及开放源代码软件，提供了完整的网格解决方案

IBM全球服务部及 IBM 研发部门帮助确保项目的成功实施

硬件

软件

服务

合作伙伴

美国国家超级计算应用中心（ NCSA ） 圣地亚哥超级计算中心 艾肯国家实验室 加州理工大学

20 TFLOPS 计算能力600 TB 数据40 gigabits 光纤网络联接供数千名科学家使用

应用案例： TeraGrid (ETF)

MREN STARTAP

MAGPI

NCNISOX

ESNet

CANet*2CANet*2U Toronto

U Penn

U NCOak Ridge

U CHI

NGIX

Chicago Peering Point

Indianapolis GigaPop

Atlanta GigaPop

New York GigaPop

Abilene Peer Network

Abilene Connector

Project Site

应用案例：美国国家数字乳腺档案网格 （ NDMA ）

http://nscp.upenn.edu/NDMA

应用案例：英国国家网格

CERN

Cambridge

Newcastle

Edinburgh

US Sites

EU

Glasgow

Cardiff

Southampton London

Belfast

Dublin

Oxford

Manchester

同质不同属的科研协作 公用计算事业的实验床 未来的商业应用

应用案例：加拿大 WestGrid 投资 4400万加元用于建设跨越大

不列颠哥伦比亚省和阿尔伯达省的网格基础设施

IBM 向大不列颠哥伦比亚大学和TRIUMF 国家实验室提供大型的Linux 服务器集群 .

• 配置刀片服务器，包括 1000 颗CPU ， 10TB磁盘存储以及108TB 在线磁带库

• 包括化学、物力、大型数据分析等应用

IBM 同时向 Simon Fraser 大学提供网络存储设备• 包含 24TB磁盘存储和 140TB 在线磁带库

• 成为 WestGrid 的海量存储节点

协作政府部门

生命科学 纳米科技

LAN Internet

学术界 企业

网格技术

先进计算技术中心 其它研究机构

应用案例：日本产业综合技术研究所（ AIST ） AIST 是日本最大的国家研究机构，

需要建设随需应变的运作环境，以满足网格计算、生命科学、纳米科技等研究的需要

IBM 提供了 Linux集群，包括：• 2116 颗 CPU 的 AMD AMD

Opteron 集群• 520 颗 CPU 的 Intel 集群

采用 Globus Toolkit 3.0 开发应用门户

世界最强大的 Linux超级计算机，计算能力超过每秒 11万亿次

应用案例：中国教育科研网格 以教育科研网为基础，一期覆盖 12 所高校

计划聚合运算能力超过 6Tflops ，总存储容量大于

60TB

建设典型网格应用平台

• 图像处理网格

• 生物信息学网格

• 大学课程在线网格

• 流体力学网格

• 海量信息处理网格

2003 年 8 月， IBM正式成为教育部该项目的合作

伙伴，和高校合作进行网格环境的构建和应用移植

北大清华北航

东南大学

山东大学

东北大学

西安交大 .

国防科大

香港大学

主干网

区域网

外部链接

上海交大

华南理工中山大学

华中科技

总结 网格技术正在快速进入商用领域，不断创造

更大的商业和 IT价值

网格计算为教育科研资源建设提供了业界广泛接受的开放标准

网格平台为整合和共享各类资源和服务提供了良好的途径

当前技术的发展和现有教育科研网的基础为建设网格提供了良好的机遇

通过教育科研网格带动网格技术的产业化，发挥后发优势，实现跨越式发展

周立旸网格计算，企业系统部IBM 中国有限公司zhouly@cn.ibm.com

谢谢！