vestiftИзвестия Национальной академии наук Беларуси. Серия физико-технических наукProceedings of the National Academy of Sciences of Belarus. Physical-technical series1561-83582524-244XThe Republican Unitary Enterprise Publishing House "Belaruskaya Navuka"10.29235/1561-8358-2019-64-3-347-358vestift-458Research ArticleИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ И СИСТЕМЫINFORMATION TECHNOLOGIES AND SYSTEMSОценка надежности кластерной суперкомпьютерной конфигурацииReliability assessment of cluster supercomputer configurationКульбакЛ. И.KulbakL. I.

Кульбак Леонид Игоревич – кандидат технических наук, доцент, ведущий научный сотрудник

ул. Сурганова, 6, 220012, Минск

Leonid I. Kulbak – Ph. D. (Engineering), Associate Professor, Leading Researcher

6, Surganov Str., 220012, Minsk

lkulbak@yandex.ruЧижО. П.TchijO. P.

Чиж Олег Петрович – кандидат физико-математических наук, заведующий лабораторией высокопроизводительных систем

ул. Сурганова, 6, 220012, Минск

Oleg P. Tchij – Ph. D. (Physics and Mathematics), Head of the Laboratory of High-Performance Systems

6, Surganov Str., 220012, Minsk

otchij@newman.bas-net.byПарамоновН. Н.ParamonovN. N.

Парамонов Николай Николаевич – кандидат технических наук, доцент, ведущий научный сотрудник

ул. Сурганова, 6, 220012, Минск

Nikolaj N. Paramonov – Ph. D. (Engineering), Associate Professor, Leading Researcher

6, Surganov Str., 220012, Minsk

nick@newman.bas-net.byРымарчукА. Г.RymarchukA. G.

Рымарчук Александр Григорьевич – главный конструктор проекта

ул. Сурганова, 6, 220012, Минск

Aleksandr G. Rymarchuk – Chief Designer of the project

6, Surganov Str., 220012, Minsk

rymarchuk@newman.bas-net.byМартиновичТ. С.MartinovichT. S.

Мартинович Татьяна Сергеевна – научный сотрудник

ул. Сурганова, 6, 220012, Минск

Tatyana S. Martinovich – Researcher

6, Surganov Str., 220012, Minsk

martintan@newman.bas-net.byОбъединенный институт проблем информатики Национальной академии наук БеларусиUnited Institute of Informatics Problems of the National Academy of Sciences of Belarus201905102019643347358Copyright © Кульбак Л.И., Чиж О.П., Парамонов Н.Н., Рымарчук А.Г., Мартинович Т.С., 20192019Кульбак Л.И., Чиж О.П., Парамонов Н.Н., Рымарчук А.Г., Мартинович Т.С.Kulbak L.I., Tchij O.P., Paramonov N.N., Rymarchuk A.G., Martinovich T.S.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://vestift.belnauka.by/jour/article/view/458

Исследование показателей надежности проводилось на примере кластерной суперкомпьютерной конфигурации «СКИФ-ГЕО-ЦОД РБ» (далее – кластер), разработанной в рамках научно-технической программы Союзного государства «СКИФ-Недра» (2015–2018 гг.). Кластер представляет собой стационарную суперкомпьютерную конфигурацию, предназначенную для решения ресурсоемких прикладных задач в центрах обработки данных (ЦОД). Вычислительные платформы и другие модули кластера располагаются в одной 19′′ стойке типа APC Netshelter высотой 42U. Теоретическая пиковая производительность кластера – 100 Тфлопс. Приведены базовые архитектурные принципы, реализованные в кластере, состав и структурно-функциональная схема кластера. Предложено методическое обеспечение расчета надежности кластера, базирующееся на предыдущих исследованиях авторов. Обоснована структурная схема надежности (ССН) кластера, состоящая из двух частей – ядра кластера и совокупности вычислительных средств (узлов) (СВС). В ядро кластера и в СВС входят составные части (СЧ), отказы которых приводят к снижению производительности кластера, причем в ядро входят СЧ, отказы которых приводят к снижению производительности кластера до нуля. Обоснован выбор основных показателей надежности ядра кластера и СВС, приведены формулы расчета этих показателей. Проведен анализ последствий отказов комплектующих кластер СЧ. С учетом этого анализа определена ССН ядра кластера, позволяющая определить формулу расчета показателей надежности ядра кластера. Предложена математическая модель надежности (граф состояний) СВС кластера и формулы для вычисления средней наработки на отказ и на сбой СВС кластера. Определена надежность СЧ кластера, для которых отсутствуют достоверные сведения по их надежности, на основании ССН этих СЧ. Проведена оценка надежности кластера в целом, основанная на вычислении показателей по справочным данным о надежности компонентов и комплектующих элементов, а также по данным эксплуатации суперкомпьютеров семейства «СКИФ». С учетом этой оценки и полученных расчетных соотношений рассчитаны показатели надежности кластера для двух вариантов (при наличии и отсутствии резерва вычислительных узлов). Высокие значения показателей надежности кластера были достигнуты благодаря принятым в процессе его разработки архитектурным и структурным решениям, направленным на повышение его живучести. Полученный расчет показателей надежности разработанного кластера позволит определить наиболее эффективные стратегии его эксплуатации, а также подходы к проектированию и применению кластерных суперкомпьютерных конфигураций.

The study of reliability indicators was carried out on the example of a cluster supercomputer configuration of “SKIF-GEO” (further cluster) worked out within the framework of the scientific and technical program “SKIF-Nedra” (2015–2018, Program of the Union State of Russia and Belarus). The cluster is a stationary supercomputer configuration designed to solve resource-intensive applications in data processing centers (DPC). Computing platforms and other cluster modules are located in the same 19′′ rack height of 42U. Theoretical peak performance of cluster – 100 Tflop/s. The basic architectural principles implemented in the cluster, the composition and structural-functional scheme of the cluster are given. A methodological support for calculating the reliability of the cluster, based on previous studies by the authors, is proposed. Taking into account these studies, the structural scheme of reliability (SSR) of the cluster, consisting of two parts – the cluster core and the combination of computing facilities (nodes) (CCF), is substantiated. The component parts (CP) include components of the cluster, the failure of which leads to a decrease in performance to zero. CCF includes CP of cluster, the failures of which lead to a decrease in cluster performance. The choice of the main indicators of the reliability of the cluster core and CCF is grounded and formulas for calculating these indicators are given. The analysis of the consequences of failures of cluster components is made. Taking into account the analysis, the SSR of the cluster core is determined, which allows to derive a formula for calculating the cluster core reliability indicators. A mathematical model of reliability (state graph) of an CCF cluster is proposed, which allows one to derive formulas for calculating the mean time to failure and the mean time for a failure of the CCF of cluster. An assessment of the reliability of CP cluster, for which there is no reliable information on their reliability, is determined based on the SSR of these CP. An assessment of the reliability of the cluster as a whole, based on the calculation of reliability indicators based on reference data on the reliability of components and components, as well as on data from the operation of supercomputers of family “SKIF” has been carried out. Taking into account this estimation and the calculated ratios obtained, the cluster reliability indicators for two options were calculated (in the presence and absence of a reserve of computing nodes). High values of cluster reliability indicators were achieved due to the architectural and structural solutions adopted in the process of its development, aimed at increasing its survivability.

кластерсуперкомпьютернадежностьпоказатели надежностирасчет надежностирезервированиеclustersupercomputerreliabilityreliability indicatorsreliability calculationreservationРабота выполнена в рамках научно-технической программы «Исследования и разработка высокопроизводительных информационно-вычислительных технологий для увеличения и эффективного использования ресурсного потенциала углеводородного сырья Союзного государства» («СКИФ-Недра») (проект 2.1.1.1).This work was carried out as part of the Scientific and Technical Program “Research and development of highperformance information and computing technologies to increase and efficiently use the resource potential of the hydrocarbon raw materials of the Union State” (“SKIFNedra”) (Project 2.1.1.1).ReferencesАнищенко, В.В. Модели надежности кластерных вычислительных систем / В. В. Анищенко, Л.И. Кульбак, Т. С. Мартинович // Вес. Нац. акад. навук Беларусi. Cер. фiз.-тэхн. навук. – 2008. – № 1. – С. 89–99.Anishchenko V. V., Kulbak L. I., Martinovich T.S. Reliability models of cluster computing systems. Vestsi Natsyyanal’nai akademii navuk Belarusi. Seryya fzika-technichnych navuk = Proceedings of the National Academy of Sciences of Belarus. Physical-technical series, 2008, no. 1, pp. 89–99 (in Russian).Cisco SFS M7000E InfniBand Blade Switch for Dell M1000E [Электронный ресурс]. – Режим доступа: https://www.cisco.com/c/en/us/products/collateral/switches/sfs-m7000e-infniband-switch/ – C. 38–45. – Дата доступа: 11.01.2018Cisco SFS M7000E InfniBand Blade Switch for Dell M1000E. Available at: https://www.cisco.com/c/en/us/products/collateral/switches/sfs-m7000e-infniband-switch (accessed 11 January 2018).Сравнение кластера надежности и «обычного» сервера [Электронный ресурс]. – Режим доступа: http://www.team.ru/server/stbl_compare.shtml – Дата доступа: 24.08.2018Comparing the reliability cluster and the normal server. Available at: http://www.team.ru/server/stbl_compare.shtml (accessed 24 August 2018).Козлов, Б.А. Краткий справочник по расчету надежности радиоэлектронной аппаратуры / Б. А. Козлов, И. А. Ушаков. – М.: Совет. радио, 1975. – 472 с.Kozlov B. A., Ushakov I.A. A Short Guide to Calculating the Reliability of Electronic Equipment. Moscow, Sovetskoe radio Publ., 1975. 472 p. (in Russian).Анищенко, В. В. Выбор стратегии восстановления работоспособности кластерной вычислительной системы / В. В. Анищенко, Л.И. Кульбак, Т.С. Мартинович // Информатика. – 2007. – № 1 (13). – С. 114–122.Anishchenko V. V., Kulbak L. I., Martinovich T.S. Strategy choice of working capacity restoration for cluster computer systems. Informatika = Informatics, 2007, no. 1 (13), pp. 114–122 (in Russian).

The authors declare that there are no conflicts of interest present.