Проблемы проектирования больших

коммерческих ЦОДов на примере

NORD 4 DataLine

Сергей Мищук

smishchuk@dtln.ru

КТО МЫ

2

Историческая справка

3

ЦОД Начало

эксплуатации

Особенности

OST-1 (Боровая) 2009 Существующее здание. Кондиционирование CW. TIA-942

Первый ЦОД, первые грабли

Выводы (по состоянию на начало эксплуатации):

•CW – дорого!!! И долго!!! (особенно в монтаже!

особенно в старом здании!)

•Проектировщики слабо разбираются в экономике

NORD-1 (Коровинское)

2010 Существующее здание. Кондиционирование DX. 285

стоек

NORD-2 (Коровинское)

2011-2012 Новое здание. Кондиционирование DX. 450 стоек

NORD-3 (Коровинское)

2013 Новое здание. Кондиционирование DX. 450 стоек

NORD-4 (Коровинское)

2014 Новое здание. Кондиционирование CW. 2000 стоек

•Tier-III (Uptime)

•Снижение эксплуатационных затрат

Площадка NORD 2013-2014

4

Генеральный план и фасады

нового здания

NORD 4: большой ЦОД

• 2000 стойко-мест

• Установленная мощность - 20 МВА

• 8 машинных залов суммарной площадью 4276 кв.м.

• Общая площадь здания -11 700 кв.м

• 3.5 этажа

• 1 – энергетика

• 2, 3 –машинные залы

• тех. этаж – хладоцентр

• кровля - чиллеры

5

Проблемы большого ЦОДа

• На этапе капитального строительства увеличение масштаба

не приводит к снижению удельной себестоимости из

расчета на стойко-место или киловатт (если не говорить о

потенциальных скидках поставщиков)

• Большой ЦОД, большие затраты

• Модульная архитектура инженерных систем,

позволяющая вводить мощности очередями (4 очереди)

• Проблемы с компоновкой

• Большая абсолютная стоимость проектных ошибок

6

Проблемы компоновки

7

1-й этаж

Проблемы большого ЦОДа

8

Этажи 2,3

Технико-экономические проблемы

• Не специфичны для большого ЦОДа, но их последствия в

абсолютном выражении растут вместе с объектом

• Трудности корректной экономической оценки того или иного

инженерного решения:

• Во что обойдется закупка инженерного оборудования (самый

простой вопрос)

• Сколько будет стоить монтаж

• Сколько будет стоить адаптация смежных систем

• Сколько будет стоить эксплуатация конкретного решения

• Какие еще скрытые расходы нас ждут

• Как корректно посчитать экономический эффект

(лучший/худший/средний сценарий)?

9

NORD-4. Новый ЦОД, новые задачи

• PUE по холоду не более 1.3

• Возвращаемся к CW

• Соответствие Tier III по Uptime Institute

• Проект: готовность к сертификации

• В случае принятия решения начинаем процедуру

сертификации

• Объект: готовность к сертификации

• Чтобы снизить риски в новых для себя областях, мы

приняли решение воспользоваться опытом Schneider Electric

10

Schneider Electirc: история сотрудничества

• С самого начала в ЦОДах DataLine используются ИБП APC

(MGE) by Schneider Electric: Galaxy 5000, 6000, 7000

• Электротехнические шкафы Prisma и автоматы Masterpact

• 2010 г.: в одном из залов ЦОД OST (Боровая) реализована

система изоляции горячих коридоров (HACS)

• 2011 г.: переход на DX кондиционеры Uniflair (ЦОДы NORD

2,3)

• Разумеется, стойки NetShelter

• А теперь еще и проектирование и консультации

11

NORD 4: Schneider Electirc

•Архитектурный надзор: анализ проектных решений на предмет

формального соответствия требованиям Uptime Institute. В

первую очередь это относится к электроустановке, включая

ДЭС.

•Проектирование системы холодоснабжения

•Проектирование ДЭС

12

NORD 4: Холодоснабжение

• Проектный среднегодовой PUE по холоду не более 1.3

• Гидравлическая схема с переменным расходом холодоносителя

обеспечивает повышенную энергоэффективность (отсутствует

смешение холодной и горячей воды)

• Схема на чиллерной воде позволяет использовать преимущества

свободного охлаждения (free cooling)

• Высокая температура холодоносителя (16/21 0C этиленгликоль, 18/23 вода)

позволяет увеличить среднегодовую продолжительность фрикулинга

• 14 холодильных машин на кровле (резерв 12+2)

• Шкафные кондиционеры в машинных залах по схеме N+1 (традиционная

схема с подачей холодного воздуха под фальшпол)

13

NORD 4: Холодоснабжение

14

NORD 4: Опыт и развитие

Опыт эксплуатации оборудования Schneider Electric позволяет

уверенно выбирать это оборудование в дальнейших проектах

Опыт эксплуатации чиллерных (CW) и фреоновых (DX) схем

холодоснабжения дает нам надежные данные по экономическому

обоснованию выбираемых решений

Опыт эксплуатации различных моделей ИБП а сочетании с

различными схемами резервирования показывает, что схема 2N на

ИБП APC Galaxy 7000 обеспечивает отличную энергоэффективность

при высокой надежности

Опыт управления строительством ЦОД позволяет нам обеспечивать

ввод в эксплуатацию мощностей ЦОД очередями, без ущерба для

уже введенных в эксплуатацию

Партнерство со Schneider Electric в проектировании дает нам

уверенность в правильности проектных решений 15

КОНТАКТЫ

Центральный офис: 127521, Москва, ул. Октябрьская, 72

Телефон +7 (495) 784-65-05 Факс +7 (495) 784-65-05

E-mail info@dtln.ru

Дата-центр на Боровой: Москва, Боровая ул., дом 7, строение 10

Дата-центры на Коровинском: Москва, Коровинское ш., д. 41

16