Компьютерра - Компьютерра PDA N65 (30.10.2010-05.11.2010)

Это действительно приходится моделировать, потому что непонятно, из какого материала и как он должен быть устроен, и какую конфигурацию он должен иметь, и в каком месте сколько и чего у него должно быть, чтобы нормально отводилось тепло, и при этом радиатор не был слишком тяжелым.

Мало кто задумывается о том, сколько весит вся эта установка, но если шасси слишком тяжелые - это не практично, потому что фальшполы приходится укреплять, в частности, очень сильно - это дополнительные расходы и не в каждом месте это вообще можно сделать. Поэтому, мы как могли старались сделать оптимальное соотношение между теплопроводимостью в нужных местах и весом.

И до сих пор эта разработка прекрасно нам служит, потому что и наше последнее гибридное решение на NVidia, которое мы показали буквально только что на GTC в Америке,использует тот же самый принцип - это тоже воздушноохлаждаемое шасси с подобным радиатором. Он модифицированный естественно, там другое расположение процессоров и других микросхем на плате, но принцип прекрасный, потому что получилось уместить 32 новейших процессора NVidia Tesla и 32 процессора Intel в шасси высотой 7U, что на GTC люди восприняли очень хорошо, потому что такого больше нет ни у кого. И при этом, воздушное охлаждение...

Следующая после 2006 года, наверное, самая мощная установка была уже в МГУ. Суперкомпьютер "Чебышев" –был создан в рамках программы "СКИФ ГРИД" . Собственно, это самая большая установка, которая была по этой программе создана – это "Чебышев" производительностью 60 терафлопс, который попал на 105е место в TOP-500. Мог стоять выше, но он попал в список только через полгода после установки.

Следующим этапом стал "Ломоносов". "Ломоносов" - это уже собственно приобретение МГУ, не связанное никак с Союзным Государством. Сейчас мы расширям его до 500 с лишним терафлопс, и уже объявлен конкурс на вторую очередь этой машины, где будет 800 терафлопс с гибридной архитектурой. Мы в ближайшее время подаем заявку на участие в нем с нашей новой системой на NVidia, которая называется TB2-TL. Обе очереди этой машины будут объединены единой системной сетью, и он сможет функционировать как единая система мощностью более петафлопса - это будет первая установка с такой производтельностью в России и одна из пока очень немногих в мире.

- А графические процессоры по сравнению с обычными, они какие преимущества имеют, в плане HPC?

- Один графический процессор дает примерно в 4 раза больше пиковой производительности на операциях с двойной точностью, чем обычный, потребляя не сильно больше электричества. В результате имеем в 4 раза более производительную систему с тем же энергопотреблением и примерно той же ценой - гораздо выгоднее для заказчика. Высокая энергоэффективность, то есть хорошее соотношение производительности на ватт потребляемой энергии, сейчас очень важна в отрасли, так как размер систем увеличивается быстро, а энергетические ресурсы в основном ограничены.

Графические процессоры не применялись для HPC изначально, так как раньше они обеспечивали высокую производительность только на операциях с одинарной точностью, которой достаточно, например, для обработки видео, но недостаточно для HPC, где требуется двойная точность и коррекция ошибок. Однако Nvidia его усовершенствовали, и теперь он дает больше пиковой производительности на операциях с двойной точностью чем процессоры с архитектурой x86. Из этого получается две вещи: во-первых, вы можете в один шкаф уместить больше терафлопсов, а во-вторых, вы получаете феноменальное соотношение производительности к энергопотреблению, которое напрямую зависит от плотности.

У нас в стойке с этим решением получается 105 Тфлопс пиковой производительности, тогда как для процессоров х86 это максимум 27Тфлопс. И энергоэффективность получается 1450 мегафлопс на ватт, что на данный момент почти вдвое лучше, чем у самой эффективной на данный момент системы в мире согласно списку Green500, где суперкомпьютеры рейтинга Тор500 ранжируются не по производительности, а по соотношению флопс на ватт.

Это не столько модная тема, сколько действительно технологическая необходимость по одной простой причине: дальнейшее расширение производительности систем, к которому все стремятся, невозможно без принципиально новых решений для улучшения энергоэффективности систем.

Сейчас бессмысленно пытаться строить суперкомпьютер мощностью в экзафлопс (в 1000 раз мощнее чем сейчас) не только потому, что к такой масштабируемости не готовы программные пакеты, но и потому, что такая машина будет иметь энергопотребление сравнимое с потреблением небольшого города.

Эксперты американского Министерства Энергетики, которое поддерживает разработки в области экзафлопс, поставили определенный предел энергопотребления для таких систем - 20 мегаватт. Но при тех технологиях, которые сейчас есть, с учетом их прогнозируемого развития, мы сильно не дотягиваем до этого порога. Экзафлопс будет потреблять на порядок больше, если не будет придумано что-то кардинально другое.

Поэтому, все разработки сейчас направлены на то, как снизить энергопотребление и увеличить вычислительную мощность, которую мы получаем за эту энергию.

Сейчас эффективность лучшей системы в мире - 773 Мегафлопс на ватт. Это система в Суперкомпьютерном центре Юлиха в Германии с очень специфической архитектурой на базе процессоров Cell, которые совместимы с довольно узким спектром приложений и на данный момент больше не выпускаются. Nvidia сейчас обходит всех по этому параметру, но его совместимость с существующими приложениями, конечно, тоже ограничена, хотя и не так сильно.

Приложения нужно адаптировать к архитектуре графических процессоров, хотя в случае с NVidia и средой разработки CUDA это проще, чем с Cell. От того, как разработчик ПО использовал эту архитектуру, ее особенности и возможности, зависит, насколько большое ускорение своих расчетов он реально получит. Сейчас количество адаптированных к NVidia приложений набрало некоторую критическую массу, на наш взгляд, и сентябрьская выставка GTC в Америке это подтвердила. Самый популярный инженерный пакет ANSYS, например, для некоторых задач обеспечил поддержку Tesla, и многие другие вендоры активно движутся в этом направлении.

- А помимо МГУ кто сейчас ваши основные заказчики?

- Пока это в основном университеты и исследовательские институты. В У вузов всегда был высокий интерес к новому оборудованию, у них есть время и человеческие ресурсы чтобы осваивать новые решения. К счастью, например, в 2006 году вузы получили возможность приобретать суперкомпьютеры благодаря поддержке государства: была специальная программа, по которой вузы могли получить средства на развитие инновационных программ, многие из которых включали развитие в области высокопроизводительных вычислений. Томский ГУ был одним из таких вузов и многие их них стали нашими клиентами. Конечно, суперкомпьютерами пользуются и другие государственные организации, которые, например, ведут исследования в области безопасности.