Журнал tier #5

Два ряда стоек в помещении с фальшполом

Общие факты

Выводы

Один ряд стоек в помещении без фальшпола

Один ряд стоек в узком помещении

Новости

Слово редактора 3

4

6

14

Проведены комплексные испытания накопителя кинетической энергии

Schneider Electric занимает 53% рынка ИБП по итогам 2012 года

INLINE Technologies построила ЦОД для ВГТРК

Управление инфраструктурой центров обработки данных

Особенности создания систем кондициониро-вания в малых ЦОД и серверных

http://tierlife.ru

2

№5 АПРЕЛЬ 2013 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ

www.TierLife.ru

http://www.tierlife.ru


3www.TierLife.ruNextPReVIOUS

Над номером работали:

Издатель и главный редактор – Юрий ХомутскийРедактор – Игорь ЕвсеевДизайн/вёрстка – Пётр ПрисячевКорректор – Ирина Власова

По всем вопросам обращаться: тел.: +7(499)603-46-46E-mail: [email protected]: www.TierLife.ru

Все права защищены. Запрещается полное или частичное воспроизведение статей и фотоматериалов без письменного разрешения редакцииРедакция не несет ответственности за содержание рекламных материалов.Незаказанные редакцией рукописи не рецензируются

Журнал Tier — журнал о дата-центрах и об индустрии ЦОД.Не является средством массовой информации.

За время подготовки предыдущего, четвёр-того номера журнала Tier, мы в явном виде ощутили на себе по-требность публики в информации о систе-мах кондиционирова-ния ЦОД и решениях для управления инфра-структурой центров об-работки данных. При этом критериями для нас являлись посеща-емость тех или иных страниц наших ресур-

сов, входящая почта, анализ поисковых запросов и другая информация.

Безусловно, в работе над новым, пятым номером журнала Tier мы учли эти потребности рынка и, включая этот выпуск в серию журналов «Инфраструктура ЦОД», решили расска-

Уважаемые коллеги!зать в нём сразу об обеих насущных инженерных подсисте-мах дата-центров.

Об одной из них – системе управления инфраструктурой ЦОД (DCIM) рассказ пойдет в ключе представления кон-кретного решения – платформы Trellis, представляющей собой инновационный программно-аппаратный комплекс управления инфраструктурой ЦОД, от компании Avocent, являющейся подразделением корпорации Emerson. Тема кондиционирования ЦОД будет раскрыта с позиции построения архитектуры систем охлаждения для неболь-ших серверных помещений, площадь которых не превы-шает 50м2, а ИТ-стойки устанавливаются в один или два ряда. При этом возможны ситуации, когда в помещении может быть организован фальшпол, или же его наличие не предусмотрено. Анализ различных вариантов с описанием конкретных проблем и методами их решения вас ожидает в статье «Особенности создания систем кондиционирова-ния в малых ЦОД и серверных».

Приятного чтения и весеннего настроения!Юрий Хомутский


http://AboutDC.ru

4


www.TierLife.ru

Schneider Electric занимает

ИБП по итогам 2012 года

Next PReVIOUS

Компания INLINE Technologies объявила о завершении проекта по построению центра обработки данных для ВГТРК на ул. Шаболовка.

НовостиINLINE Technologies построила ЦОД для ВГТРКЦелью проекта являлось построение инфраструктуры для размещения производственного комплекса ФГУП ВГТРК, включающего в себя системы хранения, резервного копи-рования, обработки и передачи данных, а также системы управления медиаконтентом.

Перед INLINE Technologies стояла задача создать централи-зованную площадку для размещения и консолидации дан-ных технологических мощностей ВГТРК, необходимость в наращивании которых возникла ввиду интенсивного раз-вития компании в предыдущие пять лет.

Проект реализовывался при непосредственном участии технических специалистов ВГТРК.

Одним из основных элементов инфраструктуры центра об-работки данных (ЦОД) ВГТРК является ядро сети передачи данных, построенное с использованием технологии Virtual PortChannel (vPC) на оборудовании Cisco Nexus. Следует подчеркнуть, что применение технологии vPC позволяет до-стичь высокого уровня отказоустойчивости всех элементов

Подробнее:

сетевой инфраструктуры и рационально эксплуатировать все линии связи внутри ЦОД.

Еще одним элементом инфраструктуры созданного в ВГТРК ЦОД стала структурированная кабельная система (СКС), включающая 840 дуплексных волоконно-оптических соеди-нений и 300 линий UTP. В качестве монтажных конструктивов INLINE Technologies впервые в России установила серверные шкафы Panduit NetServ, снабженные вертикальными возду-ховодами. За это компании присуждена премия Panduit «Зо-лотой Джек 2012», которая по итогам года вручается лучшим российским инсталляторам. Всего в ЦОД ВГТРК размещено около 50 шкафов 19” Panduit NetAccess и NetServ.

53% рынкаПо итогам аналитического отчета IDC, компания Schneider Electric сохранила в 2012 году свои ведущие позиции, заняв 53% россий-ского рынка ИБП. Это больше, чем доля всех остальных произво-дителей в сумме, и на 1% выше по отношению к прошлому году. Таким образом, несмотря на то, что после удачного 2011 года тем-пы роста рынка ИБП значительно сбавились, Schneider Electric удалось сохранить свою долю на российском рынке примерно на том же уровне, что и в 2011 году.


http://aboutdc.ru/page/1049.php


5www.TierLife.ru

Проведены комплексные испытания накопителякинетической энергии

Schneider Electric занимает

ИБП по итогам 2012 года

IDC — ведущий поставщик информации и консультацион-ных услуг на рынках информационных технологий, теле-коммуникаций и потребительской техники, с представи-тельствами в 110 странах. За 45 лет на рынке, компания IDC завоевала репутацию главного источника данных и прогнозов на исследуемых ею сегментах рынка инфор-мационных технологий. Также, IDC является единствен-ной международной компанией, специализирующейся на исследованиях рынка и консалтинге, имеющей местные офисы во всей Восточной Европе и странах бывшего СССР.

В целом, рост рынка ИБП в 2012 году составил 8%, что зна-чительно ниже относительного показателя в прошлом году — в 2011 году рост составлял 13%, а в 2010 — 26%. Основ-ной причиной замедления общего роста рынка специали-

Компания «Русский сверхпроводник» провела ком-плексные испытания экспериментального образца на-копителя кинетической энергии (НКЭ) большой мощ-ности (до 50 кВт) и энергоемкости (свыше 4 МДж). Комплект силовой электроники, применимой в данной конструкции НКЭ, был любезно предоставлен компа-нией Mitsubishi Electric. В ходе испытаний были опро-бованы режимы работы изделия в качестве источника бесперебойного питания, а также накопителя рекупе-рированной энергии городского наземного электрифи-цированного транспорта, метрополитена, пригородных электропоездов Российких железных дорог. Кроме того, была отработана модель функционирования НКЭ в сетях крупных промышленных потребителей энер-гии с резко переменным графиком нагрузки потре-бляющего оборудования и в сетях с альтернативными энергоисточниками.

На испытаниях накопителя присутствовали представители предприятий от холдингов ОАО «Российские железные доро-ги», ОАО «Транснефть», компаний, использующих ИБП при соз-дании мощных центров обработки данных, специалисты ор-ганизаций нефтехимической отрасли, венчурные инвесторы.

Наибольший интерес среди потенциальных потребителей кинетических накопителей вызвала способность быстрого запасания энергии, рекуперируемой с большой мощно-стью электрифицированным транспортом в ходе тормо-жения электроподвижного состава перед остановками.

NextPReVIOUS

Подробнее:

сты называют резкий спад продаж в области персональных ИБП (<1 кВА), который вырос за 2012 год всего на 5%. Для сравнения — в 2010–11 гг. рост этого сегмента составил вдвое больше — 10%.

Но, несмотря на замедление роста рынка ИБП, Schneider Electric удалось сохранить и рост продаж, и долю на рын-ке. Примечательно, что в первую очередь рост удалось обеспечить за счет продуктов семейств APC Back-UPS и APC Smart-UPS в высококонкурентных сегментах «до-машние пользователи» (до 1кВА) и «корпоративные сети» (1–10кВА). На быстрорастущем рынке ИБП для ЦОДов различной мощности (от 10кВА и до 1МВА) компания Schneider Electric также показала положительную динами-ку продаж.

Запасенная энергия хранится необходимое время в нако-пителях во время остановок и выдается в контактную сеть для разгона вагонов. Расчеты на основе полученных экс-периментальных результатов показывают, что применение накопителей кинетической энергии позволяет экономить до 30% от потребляемой электротранспортом энергии. Данная сфера применения НКЭ позволяет достигать высо-кие показатели экономической эффективности, недоступ-ные для других типов накопителей энергии.

Также высокий интерес вызывает сфера применения НКЭ в качестве источников бесперебойного питания. Кинети-ческий накопитель способен быстро, в течение нескольких минут, запасать большой объем энергии для поддержания готовности энергоснабжения ответственных категорий потребляющего оборудования. И при необходимости с увеличенной мощностью выдавать её в энергосистему по-требителя. В отличие от традиционных ИБП с химическими аккумуляторами, накопительный элемент НКЭ – маховик – не имеет износа, поэтому он служит без замены в течение всего срока службы такого агрегата – более 15 лет.


http://aboutdc.ru/page/1048.php

6


www.TierLife.ru6 www.TierLife.ru Next PReVIOUS

УПРаВлеНИеинфраструктурой центров обработки данных

Управление инфраструктурой центров обработки данных (ЦОД) (DCIM – Data Center Infrastructure Management) - не новое, но набирающее силу направление в развитии ИТ-индустрии (по оценкам 451 Research мировой оборот систем DCIM вырастет с $450 млн. до $1.2 млрд. в 2015), которое связано со значительным ростом количества корпоративных дата-центров и процессом консолидации в индустрии коммерческих ЦОД. Основными целями решений в этом направлении являются максимизация использования ресурсов ЦОД, повышение эффективности службы эксплуатации и, как следствие, достижение наилучших показателей по стоимости владения ЦОД. В контек-сте DCIM под ресурсами ЦОД понимаются как ИТ-активы: сервера, системы хранения, сетевое оборудование, так и ресурсы ЦОД, обеспечивающие работу ИТ-активов: строительные (серверные помещения), инженерные систе-мы, системы энергообеспечения и сама электроэнергия, системы поддержания необходимых параметров среды помещений ЦОД.




7www.TierLife.ru 7www.TierLife.ruNextPReVIOUS

В решениях DCIM обычно выделяют следующие большие функциональные области:• Инвентаризация, визуализация и управление активами. Что имеется в ЦОД (монтажные шкафы, серверы, сетевое оборудование), как расположено оборудование, как орга-низованы соединения, параметры и характеристики каж-дого устройства. • Планирование изменений в ЦОД. Любое изменение в вы-соконагруженном ЦОД (установка нового шкафа, сервера, перемещение оборудования из шкафа в шкаф и т.д.) вызы-вает целый ряд проблем, связанных с определением воз-можности и осуществлением такого изменения. Очень мно-го факторов влияют на решение – наличие места в шкафу, наличие резерва электропитания, охлаждения, свободных портов в PDU и коммутаторе и т.д. Многочисленные изме-нения требуют аккуратного планирования и бронирования ресурсов под каждый такой проект. • Контроль и управление энергопотреблением ЦОД. Чем ближе измеритель потребляемой мощности к нагрузке, обе-спечивающей работу ИТ-сервиса и чем больше таких изме-рителей, тем точнее карта энергопотребления ЦОД. Точные данные по энергопотреблению позволяют рассчитывать коэффициенты энергоэффективности (например, PUE), пла-нировать размещение ИТ-активов так, чтобы не возникало перегрузки энергетической системы или точек повышен-ной теплоотдачи (hot-spot), отслеживать тенденции.• Мониторинг рабочей среды серверных помещений и ор-ганизация системы оповещения и противодействия в слу-чаях аварийных ситуаций.• Обеспечение удаленного доступа к ИТ-оборудованию для оперативного управления и устранения проблем;• Мониторинг и управления критичной физической ин-фраструктурой в ЦОД, к которой можно отнести системы обеспечения бесперебойного питания (генераторы, ИБП), системы охлаждения и вентиляции.• Формализация регламентов по внесению изменений в ЦОД – позволяет точно описать логическую и временную схему заданий каждому сотруднику ЦОД для реализации ка-кого-либо изменения в ЦОД (инсталляция, перенос, вывод из эксплуатации, и т.д.).

Хорошо функционирующая система DCIM позволяет под-нять эффективность - минимизировать стоимость ИТ-серви-са в пересчете на одного пользователя в единицу времени и в долгосрочной перспективе, и обеспечить надежность функционирования ЦОД - гарантировать требуемый уро-вень обслуживания (SLA) пользователей, существенно сни-зить капитальные и операционные расходы на строитель-ство, модернизацию и эксплуатацию ЦОД.

Все вышесказанное в полной мере относится к решениям компании Avocent (подразделение Emerson) по управле-нию инфраструктурой ЦОД, имеющей более чем 20-летний опыт разработок в этой области ИТ.

В настоящее время с развитием технологий виртуализа-ции и облачных вычислений стандартный подход к управ-лению проектированием, строительством и эксплуатацией центров обработки данных на трех независимых уровнях:

ИТ-сервисы, ИТ-оборудование, инженерное оборудование, представляется статичным и уже не соответствующим про-цессам, происходящим в ИТ-отрасли.

Рис. 1. ЦОД – ИТ экосистема.

Рис. 2. Архитектура Trellis.

Компания Avocent предлагает реализацию комплексного подхода к ЦОД как к ИТ-экосистеме, требующей управления

Платформа Avocent (Emerson) Trellis представляет со-бой инновационный программно-аппаратный ком-плекс управления инфраструктурой ЦОД. Это платфор-ма, обеспечивающая совместную работу различных функциональных модулей комплекса, специализи-рованных устройств сбора информации из разных источников и устройств обеспечения доступа к пор-там управления ИТ и инженерного оборудования ЦОД производства компании Avocent (Emerson).



8


www.TierLife.ru Next PReVIOUS

Аппаратным компонентом платформы DCIM Trellis является устройство UMG (Universal Management Gateway) (Рис. 3). Universal Management Gateway занимает роль основного связующего звена между программными модулями управления и мониторинга с одной стороны и физической инфраструктурой с другой, обеспечивая непрерывный сбор данных и управление с обратной связью для инженерного оборудования, вычислительных и сетевых средств. Устройство UMG взаимодействует с системами электропитания, охлаждения, датчиками па-раметров среды и оборудованием ИТ, собирая, унифицируя и передавая необходимую информацию в соответ-ствующие функциональные модули платформы Trellis. Это позволяет контролировать состояние ЦОД, а также обеспечивает доступ и управление ИТ и инженерными системами в реальном времени.

Основными задачами UMG являются:• Мониторинг и сбор данных:

– С датчиков параметров среды серверных помещений ЦОД;– С портов сервисных процессоров ИТ-активов;– С оборудования инженерной инфраструктуры;

• Удалённое управление активами ЦОД (Доступ/Управление) через:– Цифровой KVM;– Доступ Serial over IP; – Управление через Service Processor.

Внешний вид устройства UMG представлен на рисунке 4.

Рис. 3. UMG-универсальный шлюз управления.

Рис. 4. Устройство UMG 6000.

На текущий момент выпускаются модели устройства UMG со следующими характеристиками:

UMG2000 UMG4000 UMG6000

Управление сервисными процессорами

Управление консольными портами

IP-KVM –

Кол-во сессий IP-KVM 0 40 40Кол-во управляемых сервисных процессоров 256 512 1024Кол-во портов управления 40 40 40Универсальные порты (autu-sensing) 8 40 40Мониторинг (записей/минуту, макс.) 1000 5000 10000Жёсткий диск (RAID1 Mirroring) 2x250GB 2x250GB 2x250GBСетевые соединения 2xGigabit Ethernet 2xGigabit Ethernet 2xGigabit EthernetМониторинг рабочей среды (Sensors) –


10



Поддержка сервисных процессоров:• IPMI 1.5 (+ non-standard SoL), IPMI 2.0;• HP iLO - iLO3, IPMI, HP Blade System• Dell DRAC4, 5, Dell BladeCenter, DRAC MC, DELL 10G, M1000e Blade Chassis Controller, Blade Chassis Management Controller/iDRAC for blades/iDRAC6 for blades;• Cisco UCS-C Rack Mount servers;• FSC iRMC, iRMC S2;• IBM RSA (RSA II), IBM BladeCenter;• Sun ALOM, Sun ILOM, Sun eLOM;

Управление серверами:• Консольный доступ Serial&KVM over IP;• Логирование консольных сессий (local, NFS, Syslog);• Поддержка управления питанием через управляемые PDU;• Graceful shutdown (для IPMI);• System event logs (SEL);• Hardware environmental sensors;• Alert management;• Platform event traps (PET);

Поддержка протоколов инженерного оборудования:• BACNET;• Modbus;• SNMP;• Velocity;

Основные характеристики UMG

Интерфейсы и соединения:• 40xRJ45 портов с автоматической настройкой (искл. UMG2000, 32xSP + 8x авто);• Цифровые входы для совместимых сенсоров (темпера-тура, влажность, сухие контакты, движение, задымление);• Цифровые выходы для удаленного управления;• Совместимые сенсоры: серия Liebert SN;

Пользовательский интерфейс:• Встроенный графический и веб- интерфейсы;• Управление через DSView и Trellis;• Командный интерфейс SSH;• Локальная KVM консоль.

Программная часть платформы Trellis в настоящее вре-мя включает следующие основные функциональные модули: • Trellis Platform Services – программная платформа, обе-спечивающая совместную работу функциональных моду-лей Trellis. • Trellis Inventory Manager – дает возможность админи-страторам создавать точные и полные модели своих ЦОД, в том числе местоположение устройств и оборудования, вза-имодействие этих компонентов, и ресурсов, используемых оборудованием ЦОД. • Trellis Site Manager – информирует персонал о состоянии инфраструктуры, включая климатические условия, распоз-нает и решает проблемы, влияющие на производитель-ность системы. • Trellis Change Planner – позволяет отслеживать и плани-ровать изменения в ЦОД. • Trellis Energy Insight – позволяет легко получать отчёты по уровням потребления энергии любым объектом.

В планах компании расширение функционала Trellis следующими модулями:• Trellis Power System Manager - просмотр ресурсов и ути-лизации систем энергоснабжения, повышение уровня зна-ния об активных цепях электропитания, состояния каждого устройства энергетической системы ЦОД, понимание за-висимостей в энергетической системе ЦОД, визуализация агрегированного состояния и ресурсов устройств питания, работающих параллельно.• Trellis Mobile suite – расширение платформы Trellis, набор приложений для управления ЦОД с мобильных устройств.• Trellis Process Manager - создание и оптимизация процес-сов и процедур по управлению ЦОД.• Trellis Cooling Systems Manager - контроль ресурсов и за-пасов по охлаждению.• Virtual Insight Manager – управление виртуальной инфра-структурой ЦОД.

Начиная со второго релиза системы (лето 2013) будет до-бавлен API, который позволит эффективно встраивать DCIM в комплекс систем функционирования компании и ЦОД, например, синхронизировать с CMDB (для автоматизации загрузки первоначальных данных по оборудованию), Asset Manager, Service Desk, 1C, BMS (если мониторинг осущест-вляется внешней системой) и др. системами.




Trellis Inventory Manager

Trellis Site Manager

ФУНКЦИОНАл:

• Ведение базы активов ЦОД;• Визуальная конфигурация актива, планировки помещения, возможность просматривать и редактировать различные сре-зы помещения (подпольное пространство, пол, потолок,…);• Библиотека образов для всех типов устройств с возмож-ностью добавления любого недостающего устройства (вы-полняет Avocent);• Поиск расположения актива (-ов) внутри ЦОД по любым параметрам;• Визуальные планы размещения в ЦОД и в отдельной стойке;• Описание силовых и сетевых соединений, возможность отслеживания цепочки силового подключения, от устройства до генератора, анализа соответствия заданным стандартам.


• Сбор оповещений и тревожных сообщений и информиро-вание соответствующих служб и ответственного персонала;• Сбор и анализ данных в реальном времени;• Цветовое отображение статуса устройств;• Настройка и сбор отчётов по энергетике по зонам или отдельным шкафам.

ПРеИМУщеСТВА:

• Позволяет быстрее находить любую единицу оборудования;• Позволяет администратору ЦОД быстро принимать ре-шения по размещению нового оборудования;• Даёт менеджеру ЦОД моментальный обзор по установ-ленному оборудованию, используемым ресурсам и доступ-ным ресурсам, основываясь на информации о реальном энергопотреблении оборудования;• Позволяет оценивать правильность подключений на предмет соответствия стандартам отказоустойчивости, принятых в данном ЦОД.


• Обеспечит наиболее эффективное использование персо-нала, расставляя фокусы на основные проблемы;• Уменьшает время на обнаружение и устранение проблем, связанных с критичными инфраструктурными устройства-ми, статистические данные по всем параметрам оборудо-вания позволяют быстро анализировать причины возник-шей проблемы и принимать решения по ее устранению;• Позволяет анализировать за конкретный период, какие проблемы возникали, их причины и скорости их ликвидации.


12



Trellis Change Planner

Trellis Process Manager


• Моделирование изменений в ЦОД;• Планирование основных активностей в ЦОД;• Отслеживание и управление взаимосвязями;• Анализ истории изменений.


• Планирование регламентов для реализации изменений в ЦОД, расписывание ролей персонала и последователь-ности операций; • Минимизация инцидентов при внесении изменений, связанных человеческим фактором;• Предотвращает ошибки и обеспечивает совместимость со стандартами;


• Даёт техническому персоналу чёткие инструкции и после-довательность действий для реализации действий по изме-нению в ЦОД;• Позволяет эксплуатационной службе ЦОД чётко плани-ровать будущее использование ресурсов, заранее предви-деть момент исчерпания того или другого ресурса;• Помогает обосновывать будущие потребности;• Помогает планировать использование ресурсов наибо-лее оптимальным образом, минимизирует риски создания точек перегрева или перегрузки энергетической системы;• Значительно сокращает время на внесение изменений.


• Повышает операционную эффективность;• Управление сложными процессами в ЦОД; • Отслеживание истории изменений для анализа связан-ных с этим инцидентов и обеспечения совместимости со стандартами индустрии.

Trellis Mobile suiteФУНКЦИОНАл:

• Инновационные технологии сканирования и распозна-вания штрих-кодов оборудования ЦОД;• Обновление информации на мобильном устройстве в ре-альном времени;• Быстрый поиск шкафа и устройства в ЦОД;• Просмотр отчетов Trellis в реальном времени;• Быстрый доступ к данным о ресурсах и портах устройства;• Просмотр и обновление силовых соединений;• Доступ к портам управления ИТ-оборудования.


• Эффективное использование персонала ЦОД;• Сокращение сроков восстановления после сбоев;• Оперативность получения информации.




Trellis Power System ManagerФУНКЦИОНАл:

• Взаимосвязи в электро-оборудовании, представление однолинейной схемы энергосистемы;• Энергосистема – утилизация ресурсов и мощности;• Статус подключённых компонентов электро-цепей.


• Обзор доступных ресурсов энергосистемы, степени ути-лизации и доступных мощностей;• Обзор активных электро-цепей и статус каждого компо-нента энергосистемы;• Понимание взаимосвязей в энергосистеме, таблицы за-висимости ИТ-оборудования от каждой компоненты энер-госистемы;• Визуализация функционирования параллельных энерго-систем (общий статус и доступные ресурсы);• Возможность параллельного анализа исторических дан-ных функционирования компонент энергосистемы

Trellis Energy Insight Trellis Cooling Systems Manager

Virtual Insight Manager


• Отчёты по потреблению энергии и операционной эффек-тивности;• Метрики эффективности ЦОД, включая PUE;• Потребление электроэнергии (кВт/час) и ее стоимость;• Потери в подсистемах.


• Комплексная картина функционирования систем охлаж-дения и их утилизации;• Понимание режима работы и статуса каждого компонен-та системы охлаждения;• Отчёт о наличии ресурсов системы, используемых и не-используемых мощностях.


• Инвентаризация виртуальных машин поверх физических хостов;• Определение потребляемых виртуальной машиной ресур-сов – электроэнергии, систем охлаждения, ресурсов хоста; • Проактивный мониторинг и предупреждение ситуаций, связанных с нехваткой ресурсов; • Визуализация состояния и зависимостей.


• Выявление неэффективных зон в эксплуатации ЦОД и по-лучение рекомендаций по улучшению производительности;• Текущие и исторические показатели метрик эффективно-сти (PUE and DCiE);• Отчёты по стоимости потребляемой электроэнергии в подсистемах;• Расчет необходимого бюджета на электроэнергию и дру-гие затраты (например, топливо для дизель-генератора)


• Быстрый доступ к информации о наличии, установленных мощностях и утилизации имеющихся ресурсов системы ох-лаждения;• Оперативная картина по статусам каждого компонента системы охлаждения;• Чёткое понимание по взаимосвязям внутри системы ох-лаждения и зависимости ИТ-оборудования от компонент си-стемы охлаждения.


• Быстрое определение локации виртуальной машины в ЦОД (хост, расположение хоста в ЦОД);• Понимание наличия доступных ресурсов (мощность, охлаж-дение, вес, место в шкафу) на физическом хосту и предупре-ждение потенциальных проблем, связанных с перегрузкой;

Юрий Колесов,Региональный менеджер Avocent в странах СНГ.

[email protected]+7 (495) 981-98-11


14


www.TierLife.ru14 www.TierLife.ru Next PReVIOUS

Особенности СОЗДАНИя СИСТеМ КОНДИЦИОНИРОВАНИя в малых ЦОД и серверныхК настоящему времени написано немало статей и рекомендаций по проектированию и созданию систем кондиционирования и холодоснабжения больших ЦОД, а также проведено множество обследований суще-ствующих ЦОД на предмет их соответствия таким стандартам и инструкциям как TIA-942 (Telecommunications Infrastructure Standard for Data Centers) и СН-512-78 (2000) (Строительные нормы. Инструкция по проектиро-ванию зданий и помещений для электронно-вычислительных машин). Однако многие из этих рекомендаций и отчетов, к сожалению, не могут помочь тем, кто решил создать свой малый ЦОД или серверную.





Под малым ЦОД понимается объект, площадью до 50 м2 с количеством стоек до 15 шт. Достаточно много организаций по-прежнему в силу тех или иных причин не стремятся воспользоваться услугами коммерческих ЦОД, а остаются привер-женцами владения собственной серверной. При этом, как и в больших коммерческих ЦОД, вопросы надежности работы оборудования и приложений также важны и являются основными.

Начать стоит с того, что при возникновении решения о создании собственного мини-ЦОД или серверной в большинстве случаев выбирается помещение, которое нельзя полезно использовать, и это может быть бывшая кладовая, а иногда даже бывший санузел. Решение об использовании помещения принимается далеко не специалистами по инженерным системам, а, как правило, финансистами, и перед ними стоит только две задачи: минимизировать затраты и разместить в данном помещении требуемое количество стоек.

Итак, рассмотрим несколько наиболее часто встречающихся случаев.

В помещении установлен один ряд стоек, фальшпол отсут-ствует, а ширина проходов вдоль лицевых и тыльных сто-рон стоек не превышает 1200 мм. При такой конфигура-ции невозможно установить прецизионные кондиционеры шкафного типа из-за отсутствия места. Первое, что бы при-шло на ум как здравое решение проблемы – это исполь-зование внутрирядных кондиционеров или закрытых стоек со встроенными фреоновыми воздухоохладителями с вы-носными конденсаторными блоками. Однако в большин-стве случаев это окажется неприемлемым по ряду причин, а именно:• холодопроизводительность внутрирядного кондиционе-ра или модуля охлаждения встроенного в стойку состав-ляет минимум 10 кВт, а тепловая нагрузка от ряда стоек в таком мини-ЦОД может составлять всего 10-15 кВт, при количестве стоек от двух до десяти штук. Соответственно или кондиционер будет сильно переразмерен, или при ко-личестве стоек больше четырех штук, не будет организо-ван нормальный воздухообмен, и охлаждаться будут только стойки, стоящие по бокам от внутрирядного кондиционера;

Один ряд стоек в узком помещении

• стоимость таких кондиционеров достаточно велика. Их применение на данном объекте становится экономически нецелесообразным, или владелец серверной просто не го-тов платить столько;

• минимальная ширина внутрирядного кондиционера со-ставляет 300 мм., а габариты помещения таковы, что при-оритет отдается установке дополнительной стойки с обору-дованием или ИБП, но никак не отведению данного места под установку кондиционера.

В итоге, руководствуясь целью минимизации затрат на со-здание серверной, а также понимая, что использование прецизионных кондиционеров как шкафного так и внутри-рядного типов в данном случае невозможно, владельцы будущей серверной принимают решение использовать для отвода тепла, выделяемого стоечным оборудованием, обычные бытовые кондиционеры типа «сплит».

Как правило, при выборе кондиционеров во внимание принимается только значение тепловыделений от IT-обору-дования, и к установке принимается соответствующее ко-личество кондиционеров с внутренними блоками настен-ного или потолочного типа. Внутренние блоки вешаются в горячем или в холодном коридорах, или сразу в обоих. В данном случае владелец уверен, что при работе кондици-онеров добьется эффекта «средней температуры по боль-нице», и все будет отлично работать. Однако в большинстве случаев после запуска серверной в эксплуатацию ситуация развивается совсем иначе, и IT-оборудование начинает перегреваться, хотя холодопроизводительности установ-ленных кондиционеров вполне хватает.

Проблема в данном случае кроется в неправильной орга-низации движения воздушных потоков и в тесноте помеще-ния, а именно: кондиционеры, внутренние блоки которых установлены в горячем коридоре, перемешивают воздух только в пределах горячего коридора, и лишь незначитель-ная часть охлажденного воздуха попадает на забор IT-обо-рудования.

Воздух, охлажденный внутренними блоками потолочного типа, установленными как в горячем, так и в холодном ко-ридорах, отражается от близко расположенного ряда стоек и попадает на воздухозаборную решетку кондиционера.


16


www.TierLife.ru

Кондиционер воспринимает это как достижение требуемой температуры и выключается. В реальности же температура в самом холодном коридоре сохраняется высокой, и как только кондиционер выключится, то сразу же требуется его повторное включение, но после включения ситуация по-вторится.

Внутренние блоки настенного типа, расположенные в хо-лодном коридоре, также не будут обеспечивать нормаль-ного охлаждения IT-оборудования по всей высоте стойки все из-за той же стесненности помещения и отражения воздушного потока.

Приемлемым решением в данной ситуации является при-менение бытовых кондиционеров с внутренними блоками канального типа с правильной организацией воздушных потоков (см. рис. 1), а именно: необходимо расположить данные блоки над рядом стоек и организовать как забор горячего, так и выдув холодного воздуха через воздуховоды и воздухораспределительные решетки таким образом, что-бы забирать воздух именно из горячего коридора, а пода-вать в холодный коридор. Воздуховоды от кондиционеров необходимо распределить таким образом, чтобы организо-вать движение воздуха вдоль всего ряда стоек.

Рис. 1. Охлаждение серверной с помощью канального кондиционера (план помещения и разрез).

Реализовав данную схему кондиционирования мы получа-ем не эффект «средней температуры по больнице», а пол-ноценные горячий и холодный коридоры, забор нагретого IT-оборудованием воздуха по всей длине горячего коридо-ра и раздачу охлажденного кондиционерами воздуха нис-ходящим потоком также вдоль всего холодного коридора. Если в помещении имеется подвесной потолок типа «Арм-стронг», и высота запотолочного пространство составля-ет не менее 400 мм, то внутренние блоки и воздуховоды можно разместить за потолком. Тогда в потолке будут только воздухораспределительные решетки.

Следует учесть, что данные типы внутренних блоков кон-диционеров, как правило, оснащены помпами удаления конденсата, а любая помпа должна рассматриваться как

возможный элемент отказа. Чтобы исключить даже теоре-тическую возможность протечки конденсата на стойки с оборудованием, необходимо под каждым внутренним бло-ком канального типа установить поддон из оцинкованной стали, от которого будет отходить дренажный трубопровод либо на улицу, либо в канализационную систему здания.

Для повышения энергоэффективности работы системы кондиционирования, а также сокращения количества ци-клов пуска-останова компрессоров кондиционеров, реко-мендуется выбирать кондиционеры с инверторными при-водами компрессоров. Также обязательное условие – это наличие низкотемпературных комплектов, позволяющих работать кондиционерам на охлаждение при отрицатель-ных температурах наружного воздуха.

Next PReVIOUS



17www.TierLife.ru

Один ряд стоек в помещении без фальшполаВ помещении установлен один ряд стоек, фальшпол от-сутствует, однако габариты помещения позволяют уста-новить прецизионные кондиционеры, и владелец сервер-ной осознает, что лучше использовать высоконадежное специализированное кондиционерное оборудование.

Применение внутрирядных прецизионных кондиционеров отпадает все по тем же причинам их высокой стоимости и большой единичной холодопроизводительности. В этом случае выбор однозначно останавливается на прецизион-ных кондиционерах шкафного типа, а, учитывая отсутствие фальшпола, это будет исполнение с забором воздуха с пе-редней панели и раздачей вверх.

Итак, тип кондиционеров у нас определился сам собой. Остается их установить в помещение и запустить, но не тут то было. Владельцы будущих серверных, руководствуясь тем, что прецизионные кондиционеры обладают гораздо большей кратностью циркуляции воздуха и большим свобод-ным напором вентиляторов по сравнению с бытовыми кон-диционерами типа «сплит» все также полагают, что получат нормальную среднюю температуру в общем объеме поме-щения, где бы ни были установлены кондиционеры. Однако, запуская в работу IT-оборудование, отмечают, что часть из него перегревается.

Первым предположением, естественно, высказывается то, что кондиционеры не выдают требуемой холодопро-изводительности, так как неправильно смонтированы фреоновые трассы, неверно настроены параметры контроллеров, кондиционеры неисправны и т.д. При-бывшая на объект сервисная служба производителя кондиционерного оборудования замеряет расход возду-ха, проходящий через кондиционер, его температуру на входе и на выходе из него. Затем, используя уравнение теплового баланса, моментально доказывает заказчику, что каждый кондиционер выдает 100 % холодопроизво-дительности, и дело тут вовсе не в неисправностях обо-рудования, а в неправильной организации воздушных потоков.

Рассмотрим три наиболее часто встречающихся варианта неправильно спроектированной системы кондициониро-вания для данного случая:

1) Если установить кондиционер в зоне холодного ко-ридора, то он не будет нагружен теплом, т.к. охлажден-ный воздух раздается им вверх, затем, как по законам физики, так и в результате разряжения, создаваемого вентиляторами стоечного оборудования, опускается вниз в холодный коридор и попадает на вход как в IT-о-борудование, так и в воздухозаборную решетку конди-ционера, которая расположена на его передней панели на высоте 1-1,2 м от уровня пола. В результате скла-дывается ситуация, когда кондиционер замыкается сам

на себя: охлажденный им воздух попадает ему на вход и кондиционер выключается, т.к. его датчик температу-ры фиксирует достижение значения уставки на входе. Тем временем со стороны горячего коридора создается зона перегрева.

2) Если установить кондиционер в зоне горячего коридора, то на его воздухозаборную решетку будет дуть как раз воз-дух, нагретый IT-оборудованием. Но, учитывая, что раздача охлажденного воздуха идет вверх, то лишь его незначитель-ная часть достигнет стоечного оборудования, расположен-ного в верхней зоне стоек, а IT-оборудование, располо-женное посередине и внизу стоек будет перегреваться. Не спасет в данном случае и конфигурация кондиционера с пленумом для раздачи воздуха вперед.

3) Если установить кондиционер перпендикулярно ряду со стойками, то также будут зоны локального перегрева все по тем же причинам. В данном случае IT-оборудование, расположенное в дальних от кондиционера стойках будет перегреваться.

Казалось бы, что все возможные способы установки кон-диционеров рассмотрены и ситуация безвыходная, но это совсем не так. Для данного случая решением проблемы будет следующая конфигурация системы кондиционирова-ния: прецизионные кондиционеры шкафного типа с разда-чей воздуха вверх нужно размещать в горячем коридоре, чтобы на их вход попадал именно нагретый IT-оборудовани-ем воздух. Далее необходимо смонтировать воздуховоды таким образом, чтобы охлажденный воздух перебрасывал-ся через стойки и раздавался нисходящим потоком вдоль воздухозаборных решеток стоек, как и в случае с бытовым кондиционером канального типа, применение которого описано в первом случае.

NextPReVIOUS


18



Рис. 2. Охлаждение серверной без фальшпола.

Два ряда стоек в помещении с фальшполом В помещении мини-ЦОД расположено два ряда стоек па-раллельно друг другу, образуя один холодный коридор, рас-положенный между рядами стоек, и два горячих коридора соответственно. Также в данном случае имеется фальшпол, а прецизионные кондиционеры шкафного типа с забором воздуха сверху и раздачей вниз (под фальшпол) расположе-ны перпендикулярно рядам со стойками.

При данной конфигурации забор воздуха кондиционерами происходит из верхней зоны серверной. Соответственно происходит забор нагретого воздуха, а раздача осущест-вляется через перфорированные плитки фальшпола в хо-лодном коридоре восходящим потоком вдоль воздухоза-борных решеток стоек. Казалось бы, в данном случае все будет идеально, но и здесь не обходится без нюансов и особенностей.

Сразу стоит отметить, что высота фальшпола в данном слу-чае должна быть не менее 400 мм. В противном случае с охлаждением IT-оборудования возникнут проблемы из-за неспособности фальшпола пропустить требуемое количе-ство воздуха. Не менее важно будет стоять вопрос маршру-тов прохождения кабельных трасс под фальшполом. Здесь необходимо понимать, что кабели не должны создавать под фальшполом стен, препятствующих свободному проходу воздуха от кондиционеров в холодный коридор.

Также очень часто складывается ситуация, когда IT-обору-дование, установленное ближе всего к кондиционерам, начинает перегреваться, и владелец серверной находится в недоумении от происходящего. Суть проблемы кроется в том, что расстояние от передней стенки кондиционера до первой перфорированной плитки фальшпола в холодном коридоре меньше чем 1-1,5 м, плюс скорость воздуха под фальшполом слишком большая. Как результат, получаем эффект эжекции в первых от кондиционера перфорирован-ных плитках фальшпола: холодный воздух не выходит через перфорированные плитки, а наоборот, проходя под фальш-полом дальше, увлекает через эти плитки воздух из холод-ного коридора под фальшпол. Проверить это можно легко, например, если приложить к перфорированной плитке лист бумаги, будет видно, что он к ней прилип.

Таким образом, высоту фальшпола, ширину холодного коридора, а также расстояние от лицевой панели конди-ционера до первой перфорированной плитки фальшпола необходимо рассчитывать (кстати, отметим, что рекомен-дуемое расстояние до первой плитки составляет не менее 1500мм). Если же вы используете чей-то готовый работо-способный пример, то уменьшать все перечисленные раз-меры не стоит, т.к. это чревато последствиями, описанны-ми выше.




Рис. 3. Охлаждение серверной, состоящей из двух рядов стоек.

Общие фактыКратко разобрав наиболее часто встречающиеся приме-ры систем кондиционирования серверных, хотелось оста-новиться еще на нескольких общих немаловажных фактах, а именно:• в обязательном порядке следует предусматривать резер-вирование систем кондиционирования, т.к. какое бы на-дежное оборудование вы не использовали, техника может ломаться, и, соответственно, перегрев IT-оборудования не-избежен;

• при пропадании электропитания на системе кондицио-нирования в условиях, когда IT-оборудование будет про-должать работать от ИБП, в серверной моментально нач-нет расти температура воздуха, и, как итог, серверная остановится по причине перегрева. Поэтому, как бы вам не хотелось сэкономить, помните, что при остановке систе-мы кондиционирования, серверная долго не проработает. Если нет возможности запитать кондиционеры от ИБП, то рассмотрите возможность запитать рабочие и резервные кондиционеры от разных вводов электроснабжения. Если же и это невозможно, задумайтесь о системе аварийной вентиляции серверной, запитанной от ИБП, т.к. вентилято-ры потребляют гораздо меньше электроэнергии, чем ком-прессоры кондиционеров.

• обязательно устраняйте перетоки воздуха из горячего ко-ридора в холодный через свободные места в стойках, за-

крывая их заглушками, т.к. данные перетоки сильно пони-жают эффективность системы кондиционирования и могут вызвать зоны локального перегрева. Штатные заглушки, выпускаемые производителями стоек, достаточно дорогие, поэтому вместо них можно использовать листы из оргстек-ла или поликарбоната.

• помните, что кондиционеры типа «сплит» и прецизион-ные кондиционеры шкафного типа работают по датчику температуры воздуха на входе в кондиционер, а это темпе-ратура в горячем коридоре, и не следует задавать данную температуру на уровне 20-24 0С в перечисленных приме-рах. Уставку по температуре необходимо держать на уров-не 28-30 0С.Многие думают, что при отсутствии резервирования или при пропадании питания на кондиционерах, благодаря этому у них будет достаточно времени, чтобы серверная работала без охлаждения, но это далеко не так. Совре-менное IT-оборудование нагревает воздух, проходящий через него, примерно на 12 0С. Соответственно зная дан-ную величину, объем помещения, а также расход воздуха, прокачиваемого через стойки, можно посчитать кратность циркуляции воздуха в помещении и скорость роста темпе-ратуры в нем. Произведя данный расчет, вы увидите, что температура в помещении растет на 3-20 0С в минуту в за-висимости от того, насколько нагружена IT-оборудованием


20



серверная. Как итог можно сказать, что занижение температурной уставки у кондиционеров положительного эффекта не даст, а вот отрицательный можно получить, и не один:• Переохлаждая воздух, вы одновременно пересушиваете его, а, значит, если кондиционеры оборудованы пароувлаж-нителями, то последние будут работать практически постоянно, потребляя значительное количество энергии и сокращая свой ресурс. Если же увлажнителей нет, то повышается риск появления статического электричества в сухом воздухе и повреждения серверного оборудования.

• Кондиционеры будут потреблять большее количество электроэнергии для достижения заданной температурной уставки.

ВыводыПри создании системы кондиционирования в ЦОД или серверной нужно четко понимать, что подать в помещение со стойками только требуемое количество киловатт холода далеко не достаточно. Очень важно организовать правильную схему движения воздуха и, тем самым, добиться как эффективного охлаждения IT-оборудования, так и работы системы кондиционирования с максимальным КПД. Поэтому, создавая даже самую маленькую серверную, не пренебрегайте вопросами проектирования инженерных си-стем, ведь от их правильного функционирования зависит ее бесперебойная работа.

Шариков Алексей,Заместитель генерального директора ЗАО «РС ГРУП»



21www.TierLife.ru


Журнал tier #5

Documents