grid 技术研究进展

Grid 技术研究进展

计算中心孙功星

计算技术的进展

• 硬件技术 - VLSI 和芯片技术 - 系统结构：单 CPU->SMP->AC->MPP->Cluster

• 软件技术 - 通用软件。 - 中间件技术。 - web 技术 , .NET, J2EE 。 - Grid 技术。

• 网络技术 - 10Mpbs->100Mbps->1000Mpbs ether network.

- ATM. - DWDS- 10Gpbs -> 1Tbps. - ipv4->ipv6.

• 存储技术 - DAS->NAS->SAN

- IDE->SCSI->FC->iSCSI->infiniBand

• 2001-2010: Computers: x 60

networks: x 4000

超级计算应用• 军队合成作战模拟。• 高能物理的分布式的数据分析。• 新药品的研制。• 化学物品的合成。• 复杂系统的求解。• 核武器爆炸当量的模拟。

Grid 技术在大约 1910 年出现的电网概念，今

天我们用电时候，无须考虑它是什么产生的，位置在那里。

网格定义：协调地理范围广泛的资源，并对此进行有效的管理，使其形成一个单一的映像。用户可以方便地使用统一的 API 调用这些网格资源。

主要的 Grid 项目• Access Grid, DOE, NSF

• BlueGrid, IBM,

• Globus, DOE, NSF, NASA,

• GridPP, U.K

• Information Power Grid, NASA

• International Virtual Data Grid Lab. NSF,

实现 Grid 需要解决的关键问题• 实现资源共享 - 资源包括计算机、存储、智能设备、文件系统等。 - 解决包括信任、策略、协商以及付费等问题。• 协同问题求解 - 分布式的数据分析、计算、合作等协同求解。

• 动态的、多组织的虚拟机构 - 这是 Grid 的典型特征

Globus 系统的体系结构应用层

汇聚层

资源层

连接层

构造层连接

传输互连

应用

沙漏模型Applications

Diverse global services

Core services

Local OS

• 提供共享的各种各种资源：计算机、计算机池、文件系统、网络、传感器、智能设备等。• 这些资源不是由物理特性所定义，而是由接口定义。• 构造层由各个实体组成，加在构造层上

的限制很少。

构造层

连接层• 通信 - Internet protocols: IP, DNS, routing, etc.

• 安全 : Grid Security Infrastructure

- 统一的身份认证 / 授权，以及在多个机构间的消息保护机制。 - 一次性登录、委托、身份映射。 - 公有密钥技术， SSL, X.509, GSS-API

- CA : 证书及密钥的管理。

GSI

User ProxyCredential

User Proxy

Site C Storage system

Remote process creation requests

Site A(kerberos)

GSI-enabledGRAM server

Computer

Kerberosticket

Local ID

Restricted Proxy Remote file

Access request

GSI-enabled GRAM server

Site BUNIX

Computer

ProcessLocal IDRestrictedProxy

Create process at A and B thatCommunicate & access files at C

Single sign-on

Via grid-ID

资源层• 管理 (GRAM)

- 对远程资源的分配，预留、监控等。

• GridFTP

- 高性能的文件传输和访问。

• GRIS - 访问 Grid 的结构和状态信息。

GRAM 体系结构

Application

broker

Information service

Co-allocator

GRAM

LSF

GRAM

PBS

GRAM

Fork

RSL

RSL

Ground RSL Queries & Info

Simple ground RSL

LocalResourceManager

GRAM 组成client MDS:Grid Index Infor Server

Grid Resource Infor server

Local resource manager

Process

Process

Process

GSI

Gatekeeper

MDS client API callsto locate resources

MDS client API callsto get resource info

Job manager

MDS client API callsto request resource allocationand process creation

Create

request

RSL lib

Parse Monitor & control

Query current status of resource

Site boundary

汇聚层• 元目录服务。 - 提供动态资源信息视图。• 资源代理 - 资源的发现和分配。• 复制记录• 复制服务• 协同预留和协同分配服务• 工作流（ workflow) 管理，等等。

Grid 信息服务信息服务解决以下问题：• 什么资源可资利用 -> 资源发现。• 资源的状态如何 -> 资源的选择。• 如何优化资源的使用 -> 应用配置和应变。

Grid 信息服务：• 系统成分的静态和动态资源。• 提供在异构、动态环境中配置和自适应的基础。• 统一而灵活的信息访问，可扩展的、高效的动态数据

的访问，多信息源的访问，分散的维护。

信息服务器• GRIS(Grid Resource Infor. Service)

- 提供特定资源信息。 - 可以配置成支持多个信息提供者。 - 使用 LDAP 协议。• GIIS(Grid Index Infor Service)

- 支持从多个 GRIS 服务器中搜集到的信息集合。 - 支持高效的查询。 - 使用 LDAP 协议。

分级的信息服务结构Top GIIS

GIIS GIIS

GRIS GRIS GRIS

资源描述语言 -RSL

• For example:

& (count >=5)(count <=10)

(max_time=240)(memory>=64MB)

(executable=myprog)

• Create 5-10 instances of myprog, each on a

machine with at least 64MB memory that is

available to me for 4 hours.

作业提交

• Globus 包含几个命令行作业提交程序 :

- globus-job-submit, 交互式的作业 - globus-jub-run, 批作业 .

- globusrun, 灵活的脚本结构 .

• 更好的作业提交接口 - 通用的作业提交接口 , 如 pbs, GRD.

- 基于 web 的界面 .

Grid编程技术

• MPICH-G2: grid-enabled message passing.

• CoG kits, GridPort: Portal construction.

• Legion: object models for grid computing.

• Condor-G: workflow management.

• Catus: Gridware numerical solver framework.

Data Grid

• Earth System Grid. (DOE)

• European Data Grid (EU)

• GriPhyN (NSF)

• Particle Physics Data Grid. (DOE)

LHC 分布式计算环境

Tier2 Centre ~1 TIPS

Online System

Offline Processor Farm ~20 TIPS

CERN Computer Centre

FermiLab ~4 TIPSFrance Regional Centre

Italy Regional Centre

Germany Regional Centre

InstituteInstituteInstituteInstitute ~0.25TIPS

Physicist workstations

~100 MBytes/sec

~100 MBytes/sec

~622 Mbits/sec

~1 MBytes/sec

There is a “bunch crossing” every 25 nsecs.There are 100 “triggers” per secondEach triggered event is ~1 MByte in size

Physicists work on analysis “channels”.

Each institute will have ~10 physicists working on one or more channels; data for these channels should be cached by the institute server

Physics data cache

~PBytes/sec

~622 Mbits/sec or Air Freight (deprecated)




Caltech ~1 TIPS

~622 Mbits/sec

Tier Tier 00

Tier Tier 11

Tier Tier 22

Tier Tier 44

1 TIPS is approximately 25,000 SpecInt95 equivalents

DataGrid 体系结构Discipline-specific DataGrid Applications

Coherency control, replica selection, task management, Virtual data catalog, virtual data code catalog.

Replica catalog, replica management, co-allocation,Certificate authorities, metadata catalogs

Access to data, access to computers, access to networks,Performance data,

Communication, service discovery, authentication,Authorization, delegation,

Storage system, clusters, networks, network caches

APP

Collective (App)

Collective(Generic)

Resource

Connect

Fabric

DataGrid 主要功能

• Replica catalog.

• Globus-url-copy(Gridftp).

• Replica manager.

• Data mirroring

• Etc.

Subscription 模型Site 1

Subscriberlist

Site 2

Subscriberlist

Site 3

所有定阅某一站点数据的站点，假如这个站点的数据发生更新，它们都会得到通告。

1)register, publish new files

1) get info aboutnew files

importcatalog 3) delete files

2) transfer files2) transfer files

A Model Architecture of DataGrid

Grid 技术展望• OGSA-Open Grid Service Architecture. - 面向服务的体系结构 - 将与WSDL 、 SOAP 、 UDDI 等融合成一起。• Virtual Data.

没有基础硬件设施的虚拟化技术，就像是空中飘忽着的眩目的泡影。

而如果没有虚拟化技术硬件设施，则只不过是不堪重负的乌合之众。

谢谢大家

grid 技术研究进展

Documents