Современная ИТ-инфраструктура для обработки и хранения экспериментальных данных создана на СКИФ
В Центре коллективного пользования «Сибирский кольцевой источник фотонов» (ЦКП «СКИФ») смонтирован, прошел испытания и готов к работе Центр обработки данных (ЦОД). Он включает в себя вычислительный кластер с общей производительностью 390 Терафлопс (для вычислений с двойной точностью FP64), серверное и сетевое оборудование, а также систему хранения данных. Комплекс оборудования вычислительного кластера – неотъемлемая часть установок класса «мегасайенс», обеспечивающая непрерывную обработку экспериментальных данных в режиме реального времени и хранение больших объемов информации.
Проект создания вычислительного кластера и всего ЦОД в ЦКП «СКИФ» разработан и реализован ведущим российским разработчиком, производителем и интегратором суперкомпьютеров и высокопроизводительных вычислительных систем – группой компаний РСК. 24 сервера «РСК Торнадо» с суммарной производительностью 182 Терафлопс оснащены системой жидкостного охлаждения разработки РСК, что делает работу вычислительного кластера энергоэффективной, надежной, бесшумной и обеспечивает легкость эксплуатации. В еще двух серверах установлены мощные графические ускорители (GPU), обеспечивающие дополнительную производительность 208 Терафлопс.
Установки класса «мегасайенс» непрерывно генерируют огромные объемы данных, требующих как больших возможностей для хранения информации, так и использования высокопроизводительных вычислительных узлов. Возможности, заложенные в сетевую инфраструктуру, позволят независимо друг от друга, одновременно получать экспериментальные данные с 30 станций СКИФ, предусмотренных проектом, а производительности существующего кластера хватит для обработки данных со станций первой очереди. В будущем рассматривается возможность соединения вычислительного кластера ЦКП «СКИФ» с суперкомпьютерами других российских установок класса «мегасайенс» через Национальную исследовательскую компьютерную сеть (НИКС).
«Это не первый наш опыт создания ЦОД, работающего в связке с установкой «мегасайенс». Например, ранее наша компания разработала, внедрила и несколько раз модернизировала суперкомпьютер «Говорун» для обработки данных, получаемых в ходе экспериментов на коллайдере NICA в Объединенном институте ядерных исследований (ОИЯИ) в Дубне. Стоит отметить, что созданный для ЦКП «СКИФ» суперкомпьютер по производительности превосходит многие вычислительные системы, установленные в других отечественных научных центрах. Его архитектура базируется на современных процессорах и GPU-ускорителях. Cоздана объемная система хранения. Высокоскоростная и низколатентная сеть комплекса – «интерконнект» – позволяет решать широкий спектр задач с использованием самых разных вычислительных методов. Кроме того, в этот проект заложены возможности для его модернизации и наращивания мощностей», – рассказал Александр Московский, генеральный директор группы компаний РСК.
Экспериментальные станции ЦКП «СКИФ» будут работать в режиме 24/7 и непрерывно генерировать данные. Объем поступающей информации напрямую зависит от метода и режима исследований. Одни методики не создают большой нагрузки на системы хранения, но требуют значительных вычислительных мощностей для обработки. Другие, напротив, генерируют колоссальные массивы данных. Например, при использовании фазово-контрастной томографии ученые на текущем оборудовании могут собрать порядка 5 Терабайт «сырых» данных всего за сутки. ИТ-инфраструктура сложных научных установок предполагает создание многоуровневой системы хранения и обработки данных. «Горячее» хранилище предназначено для приема и обработки экспериментальных данных в режиме реального времени, после чего данные могут переходить в разряд «теплых», а затем и в область «холодных» данных и храниться в течение нескольких лет.
ЦОД в ЦКП «СКИФ» оснащен системой хранения «теплых» данных объемом 900 Терабайт и компонуемо-распределенной системой хранения горячих данных общим объемом – 368 Терабайт.
Высокоскоростная сеть будет передавать данные с детекторов станций на серверы ЦОДа со скоростью до 200 Гбит/с, что на несколько порядков выше скорости передачи данных обычной компьютерной сети, например, Wi-Fi.
Важной особенностью вычислительного кластера СКИФ является уникальная архитектура управления его ресурсами, которая позволяет формировать «виртуальную машину» с требуемыми параметрами и комбинациями ресурсов под задачи каждого эксперимента. «Это называется динамически компонуемая система, которая позволяет пользователям станции компоновать вычислительные ресурсы – количество процессорных ядер и графических ускорителей, объем оперативной памяти и горячего хранилища для конкретной экспериментальной задачи. Методами программного обеспечения настраиваются такие виртуальные машины заданной конфигурации. После окончания эксперимента, эти виртуальные машины «разбираются», запрошенные ресурсы высвобождаются. При этом данные безопасно мигрируют из горячего хранилища на основную систему хранения», – рассказал начальник отдела информационных технологий и компьютерных сетей ЦКП «СКИФ» Владимир Потеряев.
ЦОД смонтирован в корпусе электрохозяйства ЦКП «СКИФ», помещение оснащено системой климатоподготовки, поддерживающей необходимый уровень температуры и влажности воздуха для эффективной работы серверного и вычислительного оборудования. Также ЦОД оснащен системой бесперебойного питания общей мощностью 300 кВт.