the advantages of row and rack- oriented cooling ...ftps.zdnet.com.cn/files/3/21534.pdf ·...

数据中心行级和机柜级

制冷架构的优势

作者：Kevin Dunlap Neil Rasmussen

130号白皮书

摘要房间级制冷系统无法满足新一代数据中心的冷却需求。最新一代的高负载密度和可变负载密度IT设备所

产生的热量是房间级制冷系统从未被设计应对的，从而导致制冷系统效率低下、不可预测以及功率密度

低下。针对机柜行和机柜的制冷架构已被开发出来解决这些问题。本文将对比房间级、行级和机柜级制

冷架构，并说明为何行级制冷架构将成为多数下一代数据中心的优选解决方案。

© 2006年American Power Conversion。保留所有权利。未经版权所有人的书面许可，不得使用、复制、复印、发送或用任何

性质的存取系统存储本文的任何部分。 www.apcc.com 2006年修订版 2

引言所有传输至数据中心内IT负载的电能最终都将转化为热能，必须被排出数据以避免过热。事实上所有IT设备均被气流冷却，即每一台IT设

备都从机房环境中吸入冷空气，再将热空气排放到房间中。由于一个数据中心可能包含数千台IT设备，其结果是数据中心内有数千条热气

流路径，它们总和构成数据中心的总的热气流输出；热量必须被移除。空调系统对数据中心的作用就是高效率地收集这些复杂的热气流并

将其所携带的热量排出机房之外。

房间级制冷是实现数据中心冷却的传统方法。在这种方式中，通过一台或多台并行工作的空调系统将冷空气输送到数据中心内，并吸取

机房环境中较热的空气。这种方式的基本原理是空调机不仅提供原始制冷量，还要充当一个大型混合器，在机房内不断搅拌和混合空气，

使之达到均匀的平均温度，防止热点出现。这种方式只有在混合空气所需功耗仅占数据中心总功消很小一部分时才有效。数据仿真和实验

表明，当数据中心的平均功率密度为每台机柜1-2 kW量级时房间级制冷才有效，换算为单位面积功率密度为323-753 W/m2（30-70 W/ft2）。

然而，现代IT设备的功率密度正在将峰值功率密度推高至每台机柜20 kW或更高，其数据仿真和实验表明，依靠空气混合的房间级制冷已

不再能有效地起作用。

为解决这一问题，出现了新的关注于行级或机柜级制冷的设计方式。在这些新设计方式特别地将空调系统与机柜排或单独的机柜集成。这

样可以使可预测性大大提升，并可解决更高密度的散热、提升效率以及许多其他优点。在本文中，将对各种不同的制冷方式进行介绍和对

比。结果将显示，这3种方式各有其相应的应用，总体而言，对于更高密度的应用场所，预期将出现从机房级制冷转向行级制冷的趋势。

房间级、行级和机柜机柜级制冷架构每一套数据中心制冷系统均有两项主要功能：提供总制冷量，并将冷空气分配至IT负载。第一项提供总的制冷容量的功能对所有制冷体系

结构均相同，即空调系统的总制冷量（以kW为单位）必须大于IT设备总功率负载的容量（kW）。不管制冷系统是在房间级、行级还是机

柜级的设计，都需要满足这一功能。各种制冷体系架构之间的主要差异在于它们如何执行第二项关键功能，即向负载分配冷空气。与电流

分配不同，电流被约束在线缆内且作为设计组成部分清晰可见，气流只是大体受机房设计的约束，实际气流在实施过程中并不可见，并且

在不同设施上会有相当大的区别。控制气流是不同的制冷系统设计方式的主要目标。


性质的存取系统存储本文的任何部分。 www.apcc.com 2006年修订版3

图1中以平面图方式描绘了三种基本制冷架构。在图中，黑色方框表示成排布局的机柜，蓝色箭头表示机房空调机组与IT机柜内负载的逻

辑关联。机房空调机组的实际物理布局可能有所不同。在房间级制冷架构中，机房空调机组与机房相关联；在行级制冷架构中，CRAC机

组与机柜排排相关联，而在机柜级制冷中，CRAC机组则被分配至单个机柜。

图1 –房间级、行级和机柜级制冷架构基本概念的平面图。蓝色箭头表示主制冷供风路径与机房的关系。

房间级

行级

机柜级

以下各节将给出每种方法基本工作原理的概要：

房间级制冷架构在房间级制冷架构中，CRAC机组与机房相关联，并行工作以应对机房的总体热负载。房间级制冷架构可能由一台或多台机房空调组成，

机房空调提供完全不受管道、风门、通风口等约束的冷空气，或者供风和/或回风可能受到高架机房地板地板或顶部压力回风系统的部分约

束。更多信息请参见APC 55号白皮书“关键设备的空调结构选择方案”。

在设计中，对气流的关注通常有很大的不同。对于较小的机房，机柜有时会随意摆放，气流系统因此没有系统规划。对于较大、较为复杂

的数据中心，可利用高架机房地板将冷空气分配到经过周密规划的机柜冷通道，其目的很明确，即引导气流并使之与IT机柜对应。



房间级制冷架构的设计受机房物理特性很大影响，包括天花板高度、机房形状、地板上下的障碍物、机柜布局、机房空调的位置、IT负载

功率密度分布等因素。其结果是可预测性和均一性较差，特别是在功率密度增大时更是如此。因此，可能需要利用流体动力学计算模型

（CFD）对设计安装细节进行计算机。此外，诸如IT设备移动动、增加及变更等也可能使性能模型失效，而需要进一步的分析和测试。特

别地，取保机房空调的冗余性将变得非常复杂并难以验证。

房间级制冷体系架构的另一个明显缺点是，在大部分情况下机房空调的制冷量并未完全得以利用。这种状况通常由机房设计造成，机房空

调送出的冷空气有相当一部分绕过IT负载直接返回机房空调，这部分短路循环的气流并没有对IT负载实施冷却，实质上是降低了机房空调

的总制冷量。将导致即使在机房空调的附加制冷量（kW）尚未完全利用，IT设备的制冷要求也可能超出CRAC的制冷容量。这一问题在APC

49号白皮书“避免数据中心或网络机房内制冷效率降低”中有更为详细的讨论。

行级制冷架构在行级制冷架构中，机房空调机组与机柜排相关联，以针对特定机柜排为设计目的。机房空调机组可以安装在IT机柜之间，可以架空安装，

也可以在地板下安装。与房间级制冷架构相比，其气流通路较短，且更为明确。此外，气流可预测性要好很多，机房空调的全部额定制冷

量均可得到利用，并可以实现更高密度布局。

除制冷性能之外，行级制冷架构还有许多其它优点。气流路径缩短可降低空调风机功率，提高效率。这不是一个小优点，因为对于许多负

载较低的数据中心，单单机房空调风机功率损耗这一项的功耗就会超过总IT负载功耗。

行级制冷设计可以根据目标机柜排的实际需求确定制冷量和冗余度。例如，行级制冷架构允许一排机柜高密度应用，如安装了刀片式服务

器，而另一排机柜则应安装较低密度的的IT设备，如交换机。此外，对具体排可针对性地采用N+1或2N式冗余设计。

行级制冷架构可以应用于在无高架机房地板的环境。这样可以提高地板的承载能力，降低安装成本，不再需要入口坡道，并使得数据中心

可以设在没有足够净空来安装活动地板的建筑物内。这一点对高密度数据中心尤为重要，因为其高架机房地板的高度可能需要1米或更高。

行级制冷产品的示例在图2a和2b中给出。



图2a – 行级排内式制冷解决方案

图2b – 架空式制冷解决方案

图2a的行级制冷系统也可被配置为可扩展功率密度能力的热通道气流遏制系统。这种设计消除了冷热空气混合，从而进一步提高了性能的

可预测性。

行级制冷架构的简单且预先确定的几何布局使性能可以预测，因此完全可由制造商加以表征说明，而且相对不受机房几何形状或其他机房

约束条件的影响。这使规范和设计实施都得以简化，特别是在每台机柜超过5 kW的密度下更是如此。功率密度规范在APC 120号白皮书“制

定数据中心功率密度规范的指导原则”中有详细的规定。

尽管这种制冷架构表面看来比房间级制冷架构需要更多的空调机组，其实并非如此，特别是在功率密度较高的情况下。这一问题将在后文

讨论。

机柜级制冷架构在机柜级制冷中，机房空调与机柜相关联，以冷却特定机柜为设计目的。空调机组直接安装在IT机柜上或其内部。与房间级或行级制冷架

构相比，机柜级制冷气流路径更短，且定义更为准确，使得气流完全不受任何设施变动或机房约束条件的影响。机房的全部额定制冷量均

可得到利用，并可实现最高的负载密度（每台机柜最高50 kW）。图3中给出一个机柜级制冷产品示例。

与行级制冷类似，除具有高密度能力之外，机柜级制冷架构还有其他独有的特性。气流路径缩短可降低风机功耗，提高效率。如前所述，

这并不是一个小优点，因为对于许多负载密度较低的数据中心，单单机房空调风机功率损耗这一项就会超过总的IT负载功耗。

机柜级制冷设计可以针对目标机柜的实际需求确定制冷量和冗余度。例如，对刀片式服务器和网络交换机可采用不同的功率密度。此外，

对具体机柜可针对性地采用N+1或2N式冗余。相比之下，行级制冷架构只能在机柜排这一层级规定这些特性，而房间级制冷架构则仅允许

在机房级指定这些特性。



图3 – 制冷完全在机柜内部的机柜级制冷解决方案

机柜级制冷架构的特定的物理形状使制冷性能可以预测，因此完全可由制造商加以表征说明，而且完全不受机房几何形状或其他机房约束

条件的影响。这使功率密度范围以及设计都得以简化。功率密度规范在APC 120号白皮书“制定数据中心功率密度规范的指导原则”中有

详细的说明。

这种方式的主要缺点是相比其他方式需要大量空调设备及相关管路，特别是在较低负载密度的情况下。这一点将在后文中具体说明。

混合型制冷架构房间级、行级和机柜级制冷架构可以在同一数据中心中不受限制地任意组合使用。事实上，很多数据中心都适合采用混合型制冷架构。具

体而言，功率密度范围较宽的数据中心可以采用如图4所示的全部3种制冷类型的组合：



图4 – 同时采用房间级、行级和机柜级制冷系统的机房布局

行级

机柜级

房间级

• 房间级制冷：向机房送风，但主要服务于布局诸如通信设备、低密度服务器及存储器的低密度区域。目标密度：每台机柜1-3 kW，323-861

W/m2（30- 80 W/ft2）。

• 行级制冷：向配备刀片式服务器或1U服务器的高密度或超高密度区域供风。

• 机柜级制冷：向独立的高密度机柜或超高密度机柜供风。

行级和机柜级制冷架构的另一有效应用是，将现有采用房间级制冷的低密度数据中心的功率密度提升。在此情况下，现有数据中心内机柜

的小群组配备行级级或机柜级制冷系统。行级或机柜级制冷设备可有效区隔新的高密度机柜，使其事实上与现有房间级制冷系统“没有热

关联”。通过这种方式，高密度负载可被叠加到现有低密度数据中心内，而不需要改动现有房间级制冷系统。部局后，这种方式可形成与

上述图4所示相同的混合型制冷架构。

其它类型此外还有一些辅助制冷设备，其属性不能归入上述定义的三种制冷架构，但又具有其中每一种的某些特征。

风管式热气流强排系统在机柜中收集热空气，并利用风管将其直接导向房间级制冷系统。该系统具备机柜级制冷系统的某些优点，又可以

集成到现有或规划中的房间级制冷系统中。图5中示出此设备的示例。



图5 – 机柜级辅助制冷设备将热空气排入吊顶天花板

制冷架构的优点比较为了真确选择新建或升级数据中心的制冷架构，必须将制冷架构的性能特性与影响数据中心设计和运行的实际问题相联系。通过对数据中

心操作人员的调查显示，这些问题可以被归入以下类别：

• 灵活性

• 系统可用性

• 生命周期成本（TCO）

• 可维护性

• 可管理性

在本节中，我们将研究用户所确定的上述每一类别，并重点阐述各制冷架构如何应对关键的制冷问题。每一类中优先级最高的问题均列于

首位，它们是根据被提及的次数和回答者所表述的优先级综合加以确定。



灵活性挑战数据中心用户已确定表1中所示的灵活性挑战为制冷相关的关键问题。

不同制冷架构对这些问题的效用也归纳在其中。

表1 – 房间级、行级和机柜级制冷架构应对灵活性挑战的能力。性能最佳者以蓝色标示。

灵活性挑战

挑战机柜级行级房间级

针对日渐增高且不可预测的负载

密度做出计划

模块化；机柜级部署，增量针对

具体密度确定

模块化；行级部署，增量针对具体

密度确定

升级或调整复杂；通常在有需要

之前扩建

针对定制化安装减少大量工程需

求

不受机房影响；机柜布局可完全

随意

当机柜排根据标准设计布局时，可

不受机房影响；采用简单工具配置

对每一个机房需要不同的复杂

CFD分析

满足功率密度的不断变化的需求未使用的机柜制冷量不能被

其他机柜使用

制冷量经过周密的确定，可在一

组机柜之间共享

任何变更均可能导致过热；需

要复杂的分析来确保满足冗

余度和密度要求

允许对现有工作空间增加制

冷量

可以加装与现有制冷系统完

全隔离的新负载；限制在机柜

制冷容量之内

可以增加与现有制冷系统完全

隔离的新负载；每一附加制冷系

统将增加整个排的密度

可能需要现有制冷系统停机；

需要大范围工程

以最小重新配置实现高灵活性的

制冷布局

机柜可能需要更新，或者需挪动

IT设备，以容纳新的制冷架构

需要机柜排间隔布局，以容纳或变

更为新体系结构所需的架空式基础

设施

通过调整机房开孔地板而进行冷

风分配，可解决对负载密度小于3

kW每机柜的数据中心的扩展和

重新布局的



可用性挑战数据中心用户已确定表2中所示的可用性挑战为制冷相关的关键问题。不同制冷架构对这些问题的效用也归纳在其中。

表2 – 房间级、行级和机柜级制冷架构应对可用性问题挑战的能力。性能最佳者以蓝色标示。

可用性挑战


消除热点紧靠热源，冷热分区以杜绝

气流混合，气流被完全局限

在机柜内

紧靠热源，最大限度减少冷

热空气混合

送风和回风路径上不可避

免的冷热空气混合；需要布

局风管来分隔冷热气流

在需要时确保冗余度每一机柜需要2N制冷量；许

多机柜制冷系统不能实现冗

余

在公共回风上采用共享式

N+1冗余制冷量

需要采用复杂的CFD分析

对故障模式建模；需要局部

冗余

消除机柜表面的垂直温

度梯度

热空气在机柜背后被捕获，

避免了与冷空气的混合

热空气在机柜背后被捕获，

避免了与冷空气的混合

因冷风不充足或者排风缺

陷，热空气可能短路循环至

机柜前面

最大限度降低关键 IT设

备中发生冷凝水泄漏的

可能性

在较高的回风温度下运行，

减少或杜绝除湿。机柜级制

冷需要附加管路和排水口

在较高的回风温度下运行，

减少或杜绝除湿。

混合回风将促使结冷凝水

生成，并增加加湿要求

最大限度减少人为错误

标准化的解决方案有详尽的

文档记录，并可由任何用户

操作

标准化解决方案有详尽的

文档记录，并可由任何用户

操作

独特的工程化系统需要经

过深入培训的专业化操作

人员



生命周期挑战数据中心用户已确定表 3 中所示的生命周期挑战为制冷相关的关键问题。不同制冷架构对这些问题的效用也归纳在其中。

表3 – 房间级、行级和机柜级制冷架构应对生命周期挑战的能力。性能最

佳者以蓝色标示。

生命周期挑战


优化投资和可用空间

针对每一机柜的专用系统可

能导致过度规划和容量浪费

冷量与热量精确匹配系统性能难以预测，频繁导

致过度规划

快速布局

预工程化系统无需或可减少

规划和工程设计

预工程化系统无需或可减

少规划和工程设计

需要专门的工程设计和规

划，可能会超出机构需求

降低维护成本

标准化组件可缩短维护时

间，并有利于培养用户自维

护能力。通常空调机组的数

量与IT机柜机柜的比1:1，也

可能会稍多

标准化组件可缩短维护时

间，并有利于培养用户自维

护能力

对定制化组件需要专门的

维护合同

量化投资回报率，供制冷

系统改进

标准化组件用于系统性能的

精确测量

标准化组件用于系统性能

的精确测量

定制化的工程设计解决方

案使系统性能难以预测

通过冷量与负载的精确

匹配，最大限度提高运行

效率

制冷系统可能被过度规划，

其潜在能力并未得到处分发

挥

合理规划的制冷系统，确保

制冷量与负载发热量精确

匹配

由送风量控制超选型容量；

地板下送风的压力要求是

机房尺寸和地板深度的函

数



可维护性挑战

数据中心用户已确定表4中所示的可维护性挑战为制冷相关的关键问题。不同制冷架构对这些问题的效用也归纳在其中。

图4 – 房间级、行级和机柜级制冷架构应对可维护性挑战的能力。性能最佳者以蓝色标示。



房间级制冷

行级级制冷

机柜级制冷

年电力成本（

K$）

单位机柜平均功率密度（kW）

可管理性挑战数据中心用户已确定表5中所示的可管理性挑战为制冷相关的关键问题。不同制冷架构对这些问题的效用也归纳在其中

表5 – 房间级、行级和机柜级制冷架构应对可维管理性挑战的能力。性能最佳者以蓝色标示。

可管理性问题


系统菜单必须清晰且易

于操作少选项配置让用户可以快速

浏览菜单界面少选项配置让用户可以快

速浏览菜单界面高度可配置的系统使菜单

结构复杂化。需要高级服务

培训

提供预测性故障分析

能够提供当前和未来实时性

能模型

因控制效果有限，能提供当

前和未来的近实时性能模

型

由于机房特定的影响，实际

上不可能提供当前或未来

的实时性能模型

提供、总结并归纳制冷性

能参数可实时确定并提供机柜级的

制冷量信息可实时确定并提供行级的

制冷量信息。可有效估计机

柜级信息

不能提供机柜级或行级的

制冷量信息

总结和分析对上述表格的总结和分析将得出以下结论：

• 模块化机柜级制冷架构最为灵活、布局迅速，并可解决极高的负载密度，但是投资成本最大。

• 房间级制冷架构灵活性差、布局困难，且在高密度条件下运行效果差，但在较低密度应用具有投资成本低和简便等优势。

• 模块化行级制冷架构在在灵活性、布局速度和解决高密度方面的许多优势，但投资成本却与房间级制冷架构类似。

这些问题将在以下各节中进一步详述。

特别问题关于制冷架构，还有许多实际问题需要补充解释和讨论。本节中对此进行讨论。



制冷量利用率

多数用户会很自然地认为，如果安装了500 kW制冷量的空调机组，就可以安装500 kW的IT负载并可以有效冷却。事实完全不是这样。尽

管空调机组有一个总的额定制冷量，但这并不意味着它们提供给负载的制冷量能达到这一数值。现实中可用于冷却IT负载的那一部分实际

制冷量称为“可用制冷量”。可用制冷量在任何时候都小于100%，因此对机房空调系统必须过度规划，由此也将增加成本、空间和维护

要求。三种制冷系统架构在这方面的性能有显著的差异，如下文各节所阐述以及图5所示。

图5 – 三种制冷架构中机房空调可用制冷量量与机柜平均功率密度的关系

图中显示出三种不同的制冷架构可用制冷量与机柜功率密度的关系。这一模型假设机柜功率密度峰值与平均值之比为1.5:1，制冷冗余要求

为N+1，每排最多10台机柜，房间级机房空调额定制冷量为100 kW/台，行级机房空调额定制冷量为25 kW/台，机柜级机房空调额定制冷

量与机柜峰值功率密度一致。

不同的假设将产生不同的结果，但数据的总体模式不受影响。

请主义在本案例中“可用制冷量”仅指机房空调本身的制冷量，并直接作用于IT。三种制冷架构的室外散热系统均可在100%可用制冷量

下运行。因此与制冷量损失相关的成本仅考虑室内机房空调系统。

机柜级制冷架构的可用制冷量通常大大低于100%。在这种制冷架构中，每台机柜均配备一台专用空调机，因此有专用的制冷量。任何时

候只要机柜内的实际负载低于该机柜的额定制冷量，该机柜的剩余制冷量就不会被利用，同时也不能被其他任何机柜分享。例如，如果一

个机柜具有10 kW的制冷容量，但仅有6 kW的IT负载，则该机柜就有4 kW不能被其他任何机柜利用的剩余制冷量。这一剩余制冷量不能被

相邻机柜借用以进行冗余维护或其他任何目的。由于实际的机柜在功率密度上区别很大，可用制冷量可能只有额定制冷量的50%甚至更低。

图5所示为机柜级制冷架构中可用制冷量与机柜功率密度的变化关系。冗余配置将严重影响机柜级制冷架构的可用制冷量，因为每个机柜

需要两台机房空调；对于无冗余系统，机柜级制冷架构的利用率将会加倍。应注意这种制冷架构的利用率与功率密度无关。



年电力成本（

K$) 行级制冷

房间级制冷

机柜级制冷

单位机柜平均功率密度（Kw）

行级制冷

房间级制冷

机柜级制冷

单位机柜平均功率密度（Kw）

房间级制冷架构的可用制冷量表面上看是100%，因为它表现为所有制冷量在房间水平上均被集中并共享。事实上，在非常低的功率密度

下，如每个机柜功率密度为1-2 kW，这是一假设是合理的，如图5中所示。然而当机柜功率密度增大时这一假设就明显不成立了。这种制

冷量损失是由于系统不能向负载提供所需冷风所致。其结果是必须配置制冷量比负载实际发热量大的多机房空调，导致可用制冷量的比例

缩减。房间级制冷架构缺乏可预测性的缺点将导致每个机柜的功率密度降低约6 kW，如图5所示。

行级制冷架构可实现最宽功率密度范围内最高的可用制冷量。由于机房空调与负载的紧靠，全部制冷量可被送至机柜功率密度高达25 kW

的负载，该值约房间级制冷架构实际制冷量密度的4倍。此外，机房空调机组可以分享冷量给附近机柜，这样可以减轻前文所述的机柜级

制冷架构相关的剩余制冷量问题。但是，行级制冷架构的可用制冷量在非常低的功率密度下会下降，因为不管密度变得多么低，空调机组

都必须被分配至每一排机柜。机柜级制冷架构的可用容量曲线的这种与众不同的锯齿特性原因在于量子化效应，在于机柜排长度有限再加

上需要将空调机组分配至具体的机柜排，且缺乏用于空调机组的部分尺寸。如果排的长度无限长，它将成为一条光滑曲线。

加湿计算机房空调系统的关键功能之一是保持湿度，以降低静电放电导致损害的可能性。此功能经常被集成到机房空调机组中。在可能增加空

调机组数量的架构中自然会产生一个问题，即加湿设备的数量是否也要增加。这是特别受关注的问题，因为加湿单元要安装布局水管线，

通常是大工作量的维护项目。

对此问题的仔细分析显示，按常规做法将加湿设备集成到空调机内从根本上讲是有缺陷的，加湿器应与空调设备分开并在机房层级上进行

安装布局。原因有三：



• 不管选择哪种制冷架构，高密度IT设备都会需要大量的机房空调；从技术上讲没有必要配备同样数量的加湿单元，而且使用大量加湿单

元也有许多实际的不利条件，例如不便维护。

• 当机房内有大量加湿器时，协调其运行就很困难，这将导致水和电的浪费。

• 冷空气可容纳的潮气较少，根据饱和度的理论，试图强制将水蒸气与空调机组的冷空气一同输出是低效的甚至是不可能的。

对此问题的更为完整的阐述和讨论请参阅APC 133号白皮书“加湿系统：降低IT环境的能源成本”。

电气效率由于电费的不断提高，每台服务器所需电功率的增加，以及功率密度的增大，电力成本在总运行成本中将占据更大的比例。电力成本与电

费和服务器功率的关联性已被广泛认识，但功率密度对电力成本的影响却并不为人所了解。密度会推高电力成本的原因在于它会显著降低

传统空调系统的效率。图6示出了功率密度对三种制冷架构的年电力成本的影响。

图6 – 每兆瓦IT负载，三种制冷架构的年电力成本与机柜平均功率密度的关系

年电

力成

本（

k$）

机柜级制冷架构

房间级制冷架构

机柜级制冷架构

每个机柜平均功率密度（kW）

上述模型中假设可用CRAC容量按先前的图5所示下降。采用N+1设计，其他假设如图5。电费费率假定为每度0.12美元。此外，假设系统

以其额定值运行（100%满载）。部分负载的影响很显著，将在下文讨论。



应注意图6中所示的成本仅针对机房空调。总的空调机成本还将包括冷水机组成本，此成本比较大，但应用于三种制冷架构的区别并不很

大。

机柜级制冷架构的电力成本一贯较低，因为机房空调紧靠负载并匹配良好，并针对负载进行选型配置。不必要的气流得以避免。

房间级制冷架构的电力成本在低功率密度时很低，但随着机柜平均功率密度超过3 kW之后，将发生显著的退化。这实际上是由于需要将更

多空气移动较长的距离，而且机房空调需要消耗更多电力方可搅拌或混合机房内的空气以避免热点出现。

行级制冷架构的相关电力成本在低密度下表现较差，但在较高密度下会有显著的改善。行级制冷的设计在低密度下表现不佳的原因是需要

将空调机组分配至每一排，即使在负载非常低时也如此。此外，这些空调即使在远低于其额定制冷量的条件下运行时也有电损耗。但是，

随着负载密度的增大，行级制冷的设计则具有最高的效率和最低的电力成本。这是因为空调机组紧靠热源与负载匹配良好，空调可用制冷

量在高密度下得以保持，而且冗余设计使空调机组可以支持多个机柜。

靠近IT设备的水管或其他载热介质管路研究表明，用户非常关心与IT设备处于同一位置的水管或制冷剂管路。这种关注不是针对管路本身，而是针对液体泄漏导致IT设备停机和/

或损坏的可能性。

高密度数据中心采用多种类型的机房空调但最主要采用冷冻水型，由于环境和成本方面的考虑，这种类型的设计趋势预期将会继续。尽管

存在对IT设备损坏可能性较低的制冷剂，但在每种制冷架构中如果用它们来替代冷冻水，成本还是较高。房间级制冷架构还允许采用将机

房空调布局在数据中心之外、采用风管向机房内部送风的附加备选方案。

对于较高的功率密度，空气的载热容量就显得有限，需要有冷媒进入数据中心。现代管道技术方面的进展使得可靠性大大改善、显著降低

泄漏的风险。这一问题在APC 131号白皮书“用于数据中心的冷冻水管道分配改进方法”中有更详细的阐述。

摆放的位置空调机组摆放的位置对系统性能产生显著影响。

对于机柜级制冷架构，无需考虑这一问题，因为空调机的拜访位置相对目标负载是明确的。其优点是制冷性能完全可以提前加预测。如果

机房设计为分阶段的，则对空调机组未来的摆放位置几乎不需要预先设计和规划，只需自动与每一机柜一起部署即可。



对于房间级制冷架构，情况会有很大差别。空调机组的摆放位置有无限多的可能性，而系统制冷性能受空调摆放位置影响很大。此外，由

于机房的物理特性，包括大门、船户、坡道以及管路等不易操作等因素，最价的摆放位置可能并不被允许。其结果是即使投入了相当大的

工程量，得到的也只是一个次优的设计。此外，由于体积大难于搬运等问题，即使是分阶段投资的数据中心也需要将房间级空调机提前安

装在数据中心中。由于未来数据中心IT规划的不确定性，预先摆放空调的位置也许并不合理。

行级制冷架构依据简单的设计规则来摆放空调机。行级制冷空调机的数量和位置由经模拟和试验确定的规则来决定。当然这些规则中要包

括确保空调机的配置足以满足机柜排密度的要求。此外还有一些其它规则，如避免排将空调机摆放在一行机柜的末端，最大限度提高系统

的性能和制冷量。在未来的部署中，直至部署之前都将可以保留某种程度的位置灵活性，一排机柜的功率密度均值或峰值可用于确定部署

空调机的数量和位置。

尽管行级制冷架构没有机柜级制冷架构定位和规划简便，但还是房间级制冷架构要灵活得多。行级制冷架构可以实现机柜级制冷架构的大

部分灵活性和功率密度容量，但占地面积要小得多，成本也要低得多。

冗余为实现系统带电维护，并在部分空调设备故障情况下确保数据中心正常进行，制冷系统的设计内必须有冗余。供电系统经常对IT系统采用

双路供电来确保冗余。这是因为电缆和连接本身就是潜在的单一故障点。对于制冷系统，通常采用N+1设计，而不是双路方式，这是因为

通常气流分配的路径，简单的包围着机柜，其失效可能性非常低。也就是，如果系统需要4台机房空调，则只需要再安装第5台后就可允许

任何一台机组故障而仍满足总制冷负荷的要求。因此得名“N+1”冗余。对于较高的功率密度，这种简单的冗余概念就失效了。对于三种

制冷架构实现冗余的方式各不相同，下面将进行介绍：

对于机柜级制冷架构，机柜之间没有冷量共享，也没有公共的气流分配通路。因此，实现冗余的唯一方式是对每个机柜提供完整的2N双路

空调系统：实质上就是每个机柜配备两套空调系统。相比其他方式，这是严重的劣势。然而，对于独立的高密度机柜，这种方法就非常有

效，因为冗余完全被确定且可预测，并与其他任何空调系统无关。



对于房间级制冷架构，机房本身被认为是通往所有IT负载的公共气流通路。从理论上讲，只需要增加单一空调就可以实现冗余，而这与机

房的大小无关。在数据中心负载密度非常低的条件下情况确实如此，而且采用这种方式在低密度下确实具有成本优势。但是，在较高密度

时，特定的机房空调补偿另一机房空调缺失的能力会受到机房几何形状的很大影响。例如，一特定空调的气流分配方式并不能由距离该故

障机组较远的备用空调机组替代。其结果是，实现冗余所需的增加的空调机组数量在低密度下仅为一台，但在机柜功率密度增加到或超过

10 kW时则需将空调机组数量加倍才能满足冗余的要求。

行级制冷架构是在机柜排这一层面上实现冗余。这要求每排机柜有一台备用空调机组，即每排空调总数为N+1台。即使行级空调机组比房

间级空调机组小且便宜，但在机柜功率密度仅为1-2 kW的低密度情况下这也是一个显著的劣势。但是，对于较高的密度的数据中心，这一

劣势就不存在了，N+1方式可支持最高每台机柜25 kW的功率密度。无论与房间级还是机柜级制冷设计比较，这都是一个巨大的优势，这

两者在高密度下往往都需要2N冗余配置。能够以较少的备用空调机组机组在高密度情况下实现冗余是行级制冷架构的一大优点，并使其在

总体拥有成本（TCO）方面具有显著的优势。

结论采用传统的房间级制冷方式在下一代数据中心方面存在技术和实践上的局限性。下一代数据中心需应对不断变化中的需求、需可靠支持高

功率密度和不断变化的功率密度，需有效降低能耗节省运行成本，这些需求也直接导致了行级和机柜级制冷架构的开发。这两种制冷架构

在应对这些需求方面更为成功，特别是在功率密度大于或等于3 kW/机柜的IT环境表现更为突出。传统的房间级制冷在业界应用也很好，

对于密度较低的环境以及IT技术变革很少的应用场合仍然是有效的备选方案。

行级和机柜级制冷架构可实现下一代数据中心所要求的灵活性、可预测性、可扩展性、低能耗、低总体拥有成本以及最高的可用性。用户

可以期待供应商们提供的许多新产品采用这两种方式。

预期许多数据中心将采用这三种制冷架构的混合方案。机柜级制冷主要应用于超高密度、分阶段部署或或松散式部署的场合。房间级制冷

对低密度数据中心及变更不频繁的数据中心仍将是一种有效的解决方案。对于大多数采用更新的高密度服务器技术的用户而言，行级制冷

将在最佳的总体拥有成本，高的可预测性、高功率密度与高适应性之间实现最佳的平衡。



关于作者： Kevin Dunlap是美国电力转换公司（APC）负责模块化/高密度制冷解决方案的产品线经理。APC是开发精密配电电系统技术的全球领先

者，同时也是网络关键物理基础设施的世界最大提供商之一。在1994年开始进入配电电管理行业之前，Kevin服务于Systems Enhancement

Corp.，该公司是一家配电管理硬件及软件提供商，于1997年被APC收购。Kevin也于同年加入APC，并担任管理卡产品经理，APC于2000

年收购Airflow Company之后，Kevin担任精密制冷解决方案的产品经理。

Kevin参加了许多配电管理和制冷行业协会，是美国暖通，制冷和空调工程师学会（ASHRAE）的会员并主攻热量管理和高效节能制冷装

置。

Neil Rasmussen是美国电力转换公司的创始人及首席技术官。在APC，Neil掌管着世界上最大的关键网络用供电、制冷和机柜基础设施

的研发预算，在美国马萨诸塞州、密苏里州、罗得岛州、丹麦、中国台湾以及爱尔兰设有主要的产品开发中心。Neil目前在APC领导旨在

开发模块式可扩展的数据中心基础设施解决方案的项目，是APC InfraStruXure系统的首席设计师。

在1981年创立APC之前，Neil在麻省理工学院（MIT）获得了电气工程学士和硕士学位，其学位论文是对一托卡马克热核反应堆200MW电

源的分析。从1979年到1981年，他在MIT林肯实验室工作，从事飞轮储能系统和太阳能电源系统研究。



the advantages of row and rack- oriented cooling ...ftps.zdnet.com.cn/files/3/21534.pdf ·...

Documents