Контейнерные и мобильные ЦОД всё чаще используются на удалённых площадках, промышленных объектах, строительных участках, узлах связи и во временной ИТ-инфраструктуре. Подобный формат позволяет быстро развернуть вычислительные мощности без строительства полноценного дата-центра, однако одновременно создаёт дополнительные инженерные риски.
В отличие от классической серверной, контейнерный ЦОД представляет собой замкнутую инженерную среду с ограниченным объёмом, высокой плотностью оборудования и существенно меньшей тепловой инерцией. Даже кратковременные проблемы с охлаждением, электропитанием или вентиляцией способны за несколько минут привести к перегреву оборудования или полной деградации инфраструктуры.
Дополнительную сложность создаёт удалённое размещение объектов. Во многих случаях физический доступ к площадке ограничен, а связь осуществляется через LTE, радиоканалы или другие нестабильные каналы передачи данных.
В таких условиях система мониторинга становится одним из ключевых элементов эксплуатации контейнерного ЦОД.
Ключевые особенности контейнерных ЦОД
| Особенность | Влияние на мониторинг |
|---|---|
| Ограниченное пространство | Температура изменяется быстрее |
| Высокая плотность оборудования | Возрастает риск локального перегрева |
| Удалённое размещение | Требуется автономная работа мониторинга |
| Нестабильные каналы связи | Необходимо локальное хранение событий |
Чем контейнерный ЦОД отличается от обычной серверной
Основное отличие контейнерного ЦОД заключается в высокой концентрации инженерных рисков внутри ограниченного пространства.
В классической серверной изменение параметров микроклимата обычно происходит относительно медленно. В контейнерном ЦОД из-за ограниченного объёма и высокой плотности оборудования критические значения температуры могут быть достигнуты за несколько минут. Это предъявляет повышенные требования к скорости обнаружения событий и времени реакции персонала.
Дополнительную проблему создаёт неравномерное распределение температуры внутри контейнера. Верхняя часть стойки нередко нагревается значительно быстрее нижней, а изменение воздушных потоков после открытия дверей или деградации вентиляции может привести к локальным перегревам, которые сложно обнаружить без распределённого контроля температуры.
При этом контейнерный ЦОД значительно сильнее зависит от состояния инженерной инфраструктуры. Отказ кондиционера, нестабильная работа генератора, деградация ИБП или проблемы с внешним электропитанием способны быстро повлиять на всю площадку.
Особенно критично это для объектов без постоянного присутствия персонала.
Рис. 1. Типичная последовательность развития аварии в контейнерном ЦОД
Какие инженерные параметры критичны для контейнерного ЦОД
В контейнерных и мобильных ЦОД мониторинг обычно охватывает существенно больше инженерных параметров, чем в традиционной серверной.
Помимо базового контроля температуры и доступности оборудования, система мониторинга должна учитывать распределение температуры внутри контейнера, состояние кондиционирования и вентиляции, параметры электропитания, работу ИБП, влажность, образование конденсата, протечки, открытие дверей и состояние каналов связи.
Особенно важен контроль нескольких температурных зон. Мониторинг одной точки температуры во многих случаях не позволяет своевременно обнаружить локальный перегрев оборудования.
Дополнительную сложность создают сезонные климатические изменения. Летом контейнер может перегреваться из-за высокой температуры окружающей среды, а зимой внутри объекта возможно образование конденсата после открытия дверей или нестабильной работы системы обогрева и вентиляции.
Какие параметры рекомендуется контролировать
| Подсистема | Контролируемые параметры |
|---|---|
| Электропитание | Напряжение, вводы, автоматы |
| ИБП | Работа от батарей, заряд |
| Климат | Температура, влажность, точка росы |
| Кондиционирование | Питание, аварии |
| Безопасность | Двери, протечки |
Особенности размещения датчиков
В контейнерных ЦОД особое значение имеет расположение датчиков температуры и влажности. Установка одного датчика внутри контейнера зачастую не позволяет своевременно выявить локальный перегрев отдельных стоек или зон размещения оборудования.
На практике контроль температуры может выполняться в нескольких точках: в верхней и нижней частях стоек, в холодном и горячем коридорах, возле климатического оборудования и в зоне размещения инженерных систем.
Распределённый контроль температуры позволяет обнаруживать изменение воздушных потоков и деградацию работы системы охлаждения значительно раньше возникновения аварийной ситуации.
Дополнительно могут контролироваться зоны размещения ИБП, вводно-распределительного оборудования и точки возможного образования конденсата.
Почему критично контролировать питание и охлаждение
Для контейнерных ЦОД питание и охлаждение являются наиболее критичными инженерными подсистемами.
Подобные объекты часто используют удалённые линии электропитания, автономные ИБП и резервные генераторы. В некоторых случаях питание инженерной инфраструктуры и ИТ-нагрузки может переключаться независимо.
В контейнерном ЦОД отказ охлаждения при сохранении питания ИТ-нагрузки часто опаснее полного отключения объекта. Серверы продолжают выделять тепло внутри ограниченного объёма контейнера, а температура может расти значительно быстрее, чем в классической серверной.
По этой причине система мониторинга должна фиксировать не только наличие питания, но и параметры электросети, события переключения вводов, состояние ИБП, отказ климатического оборудования и скорость изменения температуры.
Во многих случаях именно скорость роста температуры становится наиболее важным индикатором аварийной ситуации.
Даже при полностью работоспособных серверах отказ системы охлаждения способен за несколько минут привести к аварийной ситуации. Поэтому мониторинг инженерной инфраструктуры должен выявлять такие события до появления перегрева оборудования.
Рис. 2. Последовательность событий после потери электропитания
Проблема потери связи с объектом
Для мобильных и контейнерных ЦОД характерна повышенная вероятность временной потери связи с площадкой.
Если классическая серверная обычно подключена к стабильной сетевой инфраструктуре, контейнерные объекты часто используют LTE, радиоканалы или временные линии связи.
В подобных условиях система мониторинга должна поддерживать локальное хранение событий, буферизацию телеметрии и автономную работу контроллеров до восстановления связи с центральной системой.
Потеря канала связи не должна приводить к потере информации о развитии аварийной ситуации.
При восстановлении соединения система должна обеспечивать передачу накопленных событий и журналов, поскольку отсутствие информации о произошедших изменениях может существенно осложнить расследование причин инцидента.
Без подобных механизмов организация рискует потерять информацию о развитии аварии именно в момент потери связи с объектом.
Рис. 3. Работа системы мониторинга при временной потере связи с объектом
Практические особенности эксплуатации
На практике контейнерные ЦОД создают эксплуатационные сценарии, которые редко встречаются в обычных серверных.
Например, после открытия контейнера зимой внутри объекта может быстро образовываться конденсат. В летний период возможен локальный перегрев верхних зон стойки при высокой солнечной нагрузке.
Дополнительное влияние оказывают пыль, вибрации при транспортировке, нестабильная работа генераторов и периодическая деградация LTE-связи.
При транспортировке мобильных ЦОД возможно ослабление соединений датчиков, изменение положения кабелей и вибрационные воздействия на оборудование, что требует дополнительной проверки состояния инженерной инфраструктуры после перемещения объекта.
Подобные проблемы редко проявляются мгновенно и часто становятся заметны только при анализе истории событий и долговременных трендов.
Именно поэтому для контейнерных и мобильных ЦОД особенно важны сохранение истории событий, анализ деградации параметров, контроль трендов температуры и питания, а также централизованный сбор журналов.
Контейнерные и мобильные ЦОД предъявляют значительно более жёсткие требования к инженерному мониторингу, чем классические серверные помещения.
Высокая плотность оборудования, ограниченное пространство, удалённое размещение объектов и зависимость от автономной инженерной инфраструктуры делают систему мониторинга одним из ключевых элементов эксплуатации подобных площадок.
При проектировании таких объектов средства мониторинга желательно учитывать уже на этапе разработки инженерной инфраструктуры. Это позволяет заранее определить места установки датчиков, предусмотреть резервирование каналов связи и обеспечить своевременное обнаружение аварийных ситуаций.
По вопросам подбора оборудования, проектирования систем мониторинга и построения инженерной инфраструктуры контейнерных и мобильных ЦОД можно обратиться к специалистам ООО «Алентис Электроникс».
Отдел продаж: sales@alentis.ru
Pre-sale-консультации: pre-sales@alentis.ru
Техническая поддержка: support@netping.ru