Коллектив Авторов - Цифровой журнал «Компьютерра» № 41

Следующей вехой стал 2006 год, когда мы поставили большой суперкомпьютер СКИФ-Cyberia, 12-терафлопный. По сути дела это не было уже программой СКИФ, а СКИФ-Грид ещё не был принят.

В тот момент мы уже почувствовали внимание государства к суперкомпьютерной отрасли. Понятно, что работа велась давно, но это был такой первый момент, когда на открытие СКИФ-Syberia приехал Председатель Госдумы Борис Вячеславович Грызлов, и к установке привлекли большое внимание.

Но это не вылилось в немедленные инвестиции государства в суперкомпьютинг. Да, они заинтересовались темой, для рынка это стало знаковым событием — в смысле, стало в каком-то смысле официально признано, что рынок суперкомпьютеров существует. Но пристальное внимание к этой отрасли начинается только сейчас.

В конце 2006 года мы впервые сделали собственную блейд-платорму. Почему? 1U-платформы — это, конечно, хорошо, но размер установки, которую можно собрать на U-платформах, конечно, очень ограничен, потому что это не слишком высокая плотность вычислений (количество терафлопс на место в стойке), это много проводов, много шкафов, а это высокое тепловыделение, и просто неоптимальная коммуникация между процессорами, большие задержки при обмене данными. Так что для HPC всё чаще стали применять блейды, хотя разрабатывались они изначально не для этого, а для энтерпрайза.

Первая наша блейд-система — это и первая российская блейд-система, до этого никто из наших интеграторов не пытался сделать что-то подобное. Это была первая серьёзная инженерная разработка на тот момент. Она была очень плотной, плотнее, чем у IBM и HP — то есть, на той же площади помещалось большее количество процессоров, чем у конкурентов. Но, это все еще были стандартные платы, стандартная память, стандартный интерконнект — просто всё это было грамотно скомпоновано и уложено. Под заказ были сделаны корпуса блейд-модулей и шасси, которые интегрировали компоненты в единое целое.

В 2008 году, в конце, мы представили новое поколение блейд-систем для HPC, где все платы были уже разработаны нами. Единственное, что было не нашим — микросхемы (процессор и контроллеры интерконнекта прежде всего). Даже модули памяти были наши собственные — то есть, сами чипы стандартные, иначе не было никакой возможности обеспечить совместимость с широким спектром приложений, если у вас собственные чипы памяти или, не дай бог, собственный процессор с другой архитектурой. Кто будет пользоваться этой машиной?

Те институты, которые разработали, скажем, на пару один большой программный пакет и работают только на нем, могут, конечно, позволить себе такие вещи как нестандартные процессоры и память, созданные специально под приложение — такие разработки были и до сих пор ведутся в единичных случаях. Бюджетирование таких организаций конечно взлетает к потолку. Но у нас-то такого нет. Поэтому, конечно, очень важно, чтобы память и процессоры были стандартными, что и осталось... И резисторы с транзисторами собственные разрабатывать никакого смысла конечно не было.

Но зато все электронные платы, которые обеспечили самую высокую на тот момент по отрасли плотность установки, были нашими разработками. И коммутаторы интерконнекта, которые были интегрированы в шасси, тоже были разработаны нами. В основе лежали технологии Mellanox, но платы были разработаны новые.

Высокую плотность удалось обеспечить во многом за счет эффективной системы охлаждения, которую мы разработали. Каждая плата выделяет около 570КВт тепла, и никто не пытался охлаждать такое решение воздухом. Люди экспериментировали и до сих пор экспериментируют с водой, но воздушное охлаждение с такой плотностью не проходило. А мы сделали радиатор, который полностью накрывает всю плату целиком, радиатор моделировали на суперкомпьютере.

Это действительно приходится моделировать, потому что непонятно, из какого материала и как он должен быть устроен, и какую конфигурацию он должен иметь, и в каком месте сколько и чего у него должно быть, чтобы нормально отводилось тепло, и при этом радиатор не был слишком тяжелым.

Мало кто задумывается о том, сколько весит вся эта установка, но если шасси слишком тяжелые — это не практично, потому что фальшполы приходится укреплять, в частности, очень сильно — это дополнительные расходы и не в каждом месте это вообще можно сделать. Поэтому, мы как могли старались сделать оптимальное соотношение между теплопроводимостью в нужных местах и весом.

И до сих пор эта разработка прекрасно нам служит, потому что и наше последнее гибридное решение на NVidia, которое мы показали буквально только что на GTC в Америке,использует тот же самый принцип — это тоже воздушноохлаждаемое шасси с подобным радиатором. Он модифицированный естественно, там другое расположение процессоров и других микросхем на плате, но принцип прекрасный, потому что получилось уместить 32 новейших процессора NVidia Tesla и 32 процессора Intel в шасси высотой 7U, что на GTC люди восприняли очень хорошо, потому что такого больше нет ни у кого. И при этом, воздушное охлаждение...

Следующая после 2006 года, наверное, самая мощная установка была уже в МГУ. Суперкомпьютер «Чебышев» –был создан в рамках программы «СКИФ ГРИД» . Собственно, это самая большая установка, которая была по этой программе создана – это «Чебышев» производительностью 60 терафлопс, который попал на 105е место в TOP-500. Мог стоять выше, но он попал в список только через полгода после установки.

Следующим этапом стал «Ломоносов». «Ломоносов» — это уже собственно приобретение МГУ, не связанное никак с Союзным Государством. Сейчас мы расширям его до 500 с лишним терафлопс, и уже объявлен конкурс на вторую очередь этой машины, где будет 800 терафлопс с гибридной архитектурой. Мы в ближайшее время подаем заявку на участие в нем с нашей новой системой на NVidia, которая называется TB2-TL. Обе очереди этой машины будут объединены единой системной сетью, и он сможет функционировать как единая система мощностью более петафлопса — это будет первая установка с такой производтельностью в России и одна из пока очень немногих в мире.

- А графические процессоры по сравнению с обычными, они какие преимущества имеют, в плане HPC?

- Один графический процессор дает примерно в 4 раза больше пиковой производительности на операциях с двойной точностью, чем обычный, потребляя не сильно больше электричества. В результате имеем в 4 раза более производительную систему с тем же энергопотреблением и примерно той же ценой — гораздо выгоднее для заказчика. Высокая энергоэффективность, то есть хорошее соотношение производительности на ватт потребляемой энергии, сейчас очень важна в отрасли, так как размер систем увеличивается быстро, а энергетические ресурсы в основном ограничены.