GRIDGRID关于网格关于网格

网格的由来网格的由来

网络 网络 vs. vs. 计算机性能计算机性能 处理器速度每处理器速度每 1818 个月翻一番个月翻一番 存储密度存储密度 每每 1212 个月翻一番个月翻一番 网络速度网络速度 每每 99 个月翻一番个月翻一番

1986 to 20001986 to 2000 计算机计算机 : x 500: x 500 网络网络 : x 340,000: x 340,000

2001 to 20102001 to 2010 计算机计算机 : x 60: x 60 网络网络 : x 4000: x 4000

对高性能计算的需求对高性能计算的需求 遥感遥感 天文学天文学 天气预报天气预报 大气海洋模拟大气海洋模拟 高能物理高能物理 航空 航天航空 航天 。。。。。。

网格出现之前的高性能解决方案网格出现之前的高性能解决方案 超级计算机超级计算机

昂贵，性价比不高昂贵，性价比不高 集群集群

规模扩张到一定程度后性价比下降规模扩张到一定程度后性价比下降 P2PP2P 计算计算

SETI@home SETI@home ：在家寻找外星人：在家寻找外星人 fightAIDS@home: fightAIDS@home: 寻找艾滋病药物寻找艾滋病药物 缺点缺点 :: 用户的注意力有限，不可能有大量的类似活动用户的注意力有限，不可能有大量的类似活动

网格的引入：水到渠成网格的引入：水到渠成

Original Food Chain Picture

引用引用

1980s Computer Food Chain

Mainframe

Vector Supercomputer

Mini ComputerWorkstation

PC

引用引用

Mainframe

Vector Supercomputer MPP

WorkstationPC

1990s Computer Food Chain

Mini Computer(hitting wall soon)

(future is bleak)

引用引用

Computer Food Chain (Now and Future)

引用引用

网格的概念网格的概念 起源起源

最“正统”的网格研究来源于美国联邦政府过去最“正统”的网格研究来源于美国联邦政府过去 1010 年来年来资助的高性能计算项目。资助的高性能计算项目。

定义：定义：“动态多机构虚拟组织中的资源共享“动态多机构虚拟组织中的资源共享和协同问题解决 ”和协同问题解决 ” 网格的根本特征是资源共享网格的根本特征是资源共享 它的规模并不是主要因素它的规模并不是主要因素

网格的特点网格的特点 分布计算技术的一种分布计算技术的一种 充分利用网上的闲置处理能力 充分利用网上的闲置处理能力 不但共享不但共享 cpucpu 和硬盘，而且共享天文望远镜、雷达、和硬盘，而且共享天文望远镜、雷达、

家用电器等设备和仪器家用电器等设备和仪器 网格与电力网类比网格与电力网类比

电力随处都可以得到电力随处都可以得到 无须关心电力是哪个电厂提供的无须关心电力是哪个电厂提供的 各电厂的电力互相调配，相当于负载均衡各电厂的电力互相调配，相当于负载均衡 用电终端（电器）种类丰富，但用电方式相同用电终端（电器）种类丰富，但用电方式相同

电力网 网格 发电厂 高性能中心 发电机 高性能计算机 电能 信息、知识、交易 水能、风能、火能

、核能等原始能源

数据库、传感器、贵重设备等等数据源

输电线网 广域网、城域网、局域网 电力调配系统 网格系统软件和中间件、网络缓存和负

载平衡器等硬动力电、照明电、

家用电器等电力应用

科学计算、电子商务、信息服务等网格应用

各种电器 网格终端设备

网格的称谓网格的称谓 ““ 新一代互联网”新一代互联网” WWWWWW 之后的第三次浪潮之后的第三次浪潮 ““ 未来的互联网技术 ”未来的互联网技术 ”

互联网的三次浪潮互联网的三次浪潮internetinternet webweb gridgrid

第一个研第一个研究原型究原型

1969.10.11969.10.1 1980-19891980-1989 19981998

第一个可第一个可用原型用原型

19701970 1990.121990.12 19991999

第一个标第一个标准准

1969.41969.4 （（ impimp ） ）

1974.5(tcp/1974.5(tcp/ip)ip)

1994.61994.6 （（ uriuri ） ）

1996.5(http1996.5(http))

还没有还没有

现在标准现在标准总数总数

31803180 个个 rfcrfc 4646 1111 个工作个工作组组 99 个研究个研究组组

中国参与中国参与标准标准

1 1 （（ 1996.31996.3 ））

00 还没有还没有

网格的体系结构网格的体系结构

网格的协议网格的协议 构造层（构造层（ FabricFabric ）） 提供共享的资源，它们是物理或逻提供共享的资源，它们是物理或逻

辑实体。 辑实体。 连接层连接层

（（ ConnectivityConnectivity ））   它是网格中网络事务处理通信与授它是网格中网络事务处理通信与授权控制的核心协议。 权控制的核心协议。

资源层资源层 ((Resource)Resource)   对单个资源实施控制，实现资源注对单个资源实施控制，实现资源注册、资源分配和资源监视。册、资源分配和资源监视。

汇集层汇集层 ((Collective)Collective)   资源汇集，供虚拟组织的应用程序资源汇集，供虚拟组织的应用程序

共享、调用。提供目录服务、日程共享、调用。提供目录服务、日程安排、资源代理、资源监测诊断、安排、资源代理、资源监测诊断、网格启动、负荷控制、账户管理等网格启动、负荷控制、账户管理等多种功能。 多种功能。

应用层应用层（（ ApplicationsApplications ））   通过各层的通过各层的 APIAPI 调用相应的服务，调用相应的服务，再通过服务调用网格上的资源来完再通过服务调用网格上的资源来完成任务。需要构建支持网格计算的成任务。需要构建支持网格计算的库函数。 库函数。

应用层

应用层

网格计算协议 互联网协议

汇集层

资源层

连接层

连接层构造层互联网传输层

网格的标准网格的标准 尚未通过正式标准尚未通过正式标准 Globus ToolkitGlobus Toolkit 是事实上的标准是事实上的标准

国际上的网格项目 PUBLIC FORUMS

Computing Portals Grid Forum European Grid Forum IEEE TFCC! Grid & CCGrid and more.

Australia Nimrod/G EcoGrid and GRACE DISCWorld

Europe UNICORE MOL METODIS Globe Poznan Metacomputing CERN Data Grid MetaMPI DAS JaWS and many more...

Public initiatives Distributed.net SETI@Home Fold@Home

USA Globus Legion Javelin AppLeS NASA IPG Condor Harness NetSolve NCSA Workbench AccessGrid GrADS and many more...

J apan Ninf Bricks and many more...

http://www.gridcomputing.com 引用引用

欧洲数据网格欧洲数据网格

CERN, the European Organization for Nuclear Research CERN, the European Organization for Nuclear Research

引用引用

高能物理网格高能物理网格

Tier2 Centre ~1 TIPS

Online System

Offline Processor Farm

~20 TIPS

CERN Computer Centre

FermiLab ~4 TIPSFrance Regional Centre

Italy Regional Centre

Germany Regional Centre

InstituteInstituteInstituteInstitute ~0.25TIPS

Physicist workstations

~100 MBytes/sec

~100 MBytes/sec

~622 Mbits/sec

~1 MBytes/sec

There is a “bunch crossing” every 25 nsecs.

There are 100 “triggers” per second

Each triggered event is ~1 MByte in size

Physicists work on analysis “channels”.

Each institute will have ~10 physicists working on one or more channels; data for these channels should be cached by the institute server

Physics data cache

~PBytes/sec

~622 Mbits/sec or Air Freight (deprecated)

Tier2 Centre ~1 TIPS

Tier2 Centre ~1 TIPS

Tier2 Centre ~1 TIPS

Caltech ~1 TIPS

~622 Mbits/sec

Tier 0Tier 0

Tier 1Tier 1

Tier 2Tier 2

Tier 4Tier 4

1 TIPS is approximately 25,000

SpecInt95 equivalents

引用引用

DOE X-ray grand challenge: ANL, USC/ISI, NIST, U.Chicago

tomographic reconstruction

real-timecollection

wide-areadissemination

desktop & VR clients with shared controls

Advanced Photon Source

在线使用科学仪器在线使用科学仪器

archival storage

引用引用

地震模拟网络 地震模拟网络

NEESgrid: US national NEESgrid: US national infrastructure to infrastructure to couple earthquake couple earthquake engineers with engineers with experimental facilities, experimental facilities, databases, databases, computers, & each computers, & each otherother

On-demand access to On-demand access to experiments, data experiments, data streams, computing, streams, computing, archives, archives, collaborationcollaborationNEESgrid: Argonne, Michigan, NCSA, UIUC, USC 引用引用

采用采用 33003300 枚以上枚以上 ItaniumItanium 处理器处理器的运算系统的运算系统———— TeraGrid TeraGrid

26

24

8

4 HPSS

5

HPSS

HPSS UniTree

External Networks

External Networks

External Networks

External Networks

Site Resources Site Resources

Site ResourcesSite ResourcesNCSA/PACI8 TF240 TB

SDSC4.1 TF225 TB

Caltech Argonne

TeraGrid/DTF: NCSA, SDSC, Caltech, Argonne www.teragrid.org

引用引用

伊利诺斯州伊利诺斯州 I-WIRE:I-WIRE:分布式集群计算分布式集群计算

Research Areas•Displays/VR•Collaboration•Rendering•Applications•Data Mining

NCSA

Argonne UIC/EVL

Research Areas• Latency-Tolerant

Algorithms• Interaction of

SAN/LAN/WAN technologies

• Clusters

UIUC

CS

StarLight

引用引用

美国国防部的全球信息网格 引用引用

Grid Node N

Grid Node 2

Grid For Economy-eGridGrid For Economy-eGrid

Grid User

Application

Grid Resource Broker

Grid Resource/Control Domains

Grid Explorer

Schedule Advisor

Trade Manager

Job ControlAgent

Deployment Agent

Trade Server

Resource Allocation

ResourceReservation

R1

Other services

Grid Information Server(s)

R2 Rm…

Charging Alg.

Accounting

Grid Node1

…

Trading

Grid Middleware

…

Info ?

…

Jobs

HealthMonitor

引用引用

网格的关键技术网格的关键技术 如果把整个因特网看成一台计算机，那么它的处如果把整个因特网看成一台计算机，那么它的处

理器、存储器、外部设备是什么？它应该采用什理器、存储器、外部设备是什么？它应该采用什么样的体系结构？ 么样的体系结构？

什么是网格这台计算机的操作系统？它的进程和什么是网格这台计算机的操作系统？它的进程和线程是什么？什么是它的地址空间？如何管理它线程是什么？什么是它的地址空间？如何管理它的资源？ 的资源？

什么是网格的编程环境和使用环境？什么是网格什么是网格的编程环境和使用环境？什么是网格的用户界面？什么是网格的程序设计语言？ 的用户界面？什么是网格的程序设计语言？

什么是网格的应用？它们有什么样的模式和特征什么是网格的应用？它们有什么样的模式和特征？ ？

从用户的角度看，网格与当前的因特网从用户的角度看，网格与当前的因特网 //WebWeb 有有什么不同？它能提供什么样的独特好处？什么不同？它能提供什么样的独特好处？

网格的挑战网格的挑战网格计算要真正步入实用阶段必须解决以下三大问题：网格计算要真正步入实用阶段必须解决以下三大问题： 11．体系结构设计 ．体系结构设计

网格系统有哪些组成部分、组成部分之间的关系以及如何网格系统有哪些组成部分、组成部分之间的关系以及如何协同工作是网格体系结构研究需要解决的问题。 协同工作是网格体系结构研究需要解决的问题。

22．操作系统设计 ．操作系统设计 网格操作系统是网格系统资源的管理者，它所管理的将是网格操作系统是网格系统资源的管理者，它所管理的将是广域分布、动态、异构的资源，现有操作系统显然无法满广域分布、动态、异构的资源，现有操作系统显然无法满足这一需求。 足这一需求。

33 ．使用模式设计 ．使用模式设计 在网格环境下，用户需要通过新的方式来利用网格系统资在网格环境下，用户需要通过新的方式来利用网格系统资

源。因此，在网格操作系统上设计开发各种工具、应用软源。因此，在网格操作系统上设计开发各种工具、应用软件是网格使用模式研究需要解决的关键问题。 件是网格使用模式研究需要解决的关键问题。

网格计算分类网格计算分类马森大学的研究，网格计算可分为：马森大学的研究，网格计算可分为：

集中式任务管理系统集中式任务管理系统 分布式任务管理系统分布式任务管理系统 分布式操作系统分布式操作系统 参量分析参量分析 资源监测资源监测 // 预测以及分布式计算接口预测以及分布式计算接口

现有的网格计算技术方案主要集中在第一、二类。现有的网格计算技术方案主要集中在第一、二类。 属于集中式任务管理系统的有属于集中式任务管理系统的有 SunSun公司的公司的 Grid Grid

EngineEngine 、、 LSFLSF （（ Load Sharing Load Sharing FacilityFacility ）、）、 PBSPBS （（ Portable Batch SystemPortable Batch System ））等；等；

属于分布式任务管理系统的有属于分布式任务管理系统的有 GlobusGlobus 、、 LegionLegion 和和NetSolveNetSolve 等。集中式系统由一台计算机统一调度任务等。集中式系统由一台计算机统一调度任务，分布式系统任务的加载和运行控制由网格中每台计，分布式系统任务的加载和运行控制由网格中每台计算机自行完成。算机自行完成。

国内研究现状国内研究现状 中国网格研究机构中国网格研究机构

清华大学计算机系网格研究组清华大学计算机系网格研究组 曙光公司曙光公司 中科院计算所中科院计算所

中国网格研究项目中国网格研究项目 清华大学计算机系仿真网格清华大学计算机系仿真网格 浙江大学浙江大学 e-Science e-Science 中科院织女星网格 中科院织女星网格 (1, 2) (1, 2)