Коллектив Авторов - Цифровой журнал «Компьютерра» № 81

Опубликовано09 августа 2011 года

Суперкомпьютеры в мире вычислительных систем сродни олигархам в человеческом обществе. Вот вроде бы такие же люди, та же анатомия и физиология, ан нет — попасть в их тусовку, периодически обновляемую журналом Forbes, простому обывателю нереально. Так же и у компьютеров: докажи, что ты крут в плане вычислительных способностей — и пожалуй в рейтинг Top 500 Supercomputers, своеобразный компьютерный Forbes.

Разработать приличный суперкомпьютер с замашками вычислительного олигарха непросто технически и недёшево экономически. А уж заполучить его мощь в своё распоряжение для решения высоконаучных и вполне насущных задач и того сложнее.

Владельцы супервычислителей не для того их создавали, чтобы заниматься благотворительностью. Будь любезен, ознакомься с прайсом (оплата почасовая), прокалькулируй свой бюджет, сформулируй получше задачу и пользуйся на здоровье, пока деньги есть. Хорошо, если задачи твои актуальны и правительство твоей страны заинтересовано в их решении. К примеру, правительство Японии после могучего землетрясения 11 марта не поскупится на бюджетные отчисления для моделирования последствий подобных (тьфу-тьфу) катастроф в будущем.

А как же быть вузам, начинающим учёным и исследователям интересных, но не злободневных задач, бюджет которых если и позволяет арендовать суперкомпьютер, то не самый мощный и ненадолго? Придётся решать свои задачи, как дядюшка Тыква в известной сказке Джанни Родари строил свой дом: по кирпичику и очень медленно? Не обязательно.

Благодаря дружбе, которая, как известно, позволяет делать настоящие чудеса, в распоряжении студентов и аспирантов (пока что, правда, только американских) появился могучий вычислитель мощностью более одного петафлопса (10 15FLOPS). Руку дружбы будущему поколению учёных и инженеров протянули: Университет штата Иллинойс Urbana-Champaign, Национальный центр суперкомпьютерных вычислений США (NCSA — National Center for Supercomputing Applications), компания IBM и консорциум Great Lakes for Petascale Computation. Объединив свои усилия, возможности, финансы и инженерную мощь, эти организации разработали проект Blue Waters— масштабируемую суперкомпьютерную систему, выдающую петафлопсовую производительность.

Уникальность проекта Blue Waters — в его открытости для начинающих свой путь исследователей, которая отражается в программе выделения вычислительных ресурсов PRAC(Petascale Computing Resource Allocations). А ещё — в совершенно особенной архитектуре-матрёшке, которую разработала для проекта компания IBM.

Как же устроена система, способная «разогнаться» свыше одного петафлопса и готовая увеличить эту далеко не маленькую мощь?

Таблица ниже демонстрирует возможности Blue Waters в сравнении с возможностями типового кластера NCSA Abe на базе шестидесятичетырёхразрядных процессоров Intel Xeonи высокопроизводительной компьютерной системы TACC из техасского центра суперкомпьютерных вычислений, построенной на процессорах AMD.

Кластер NCSA Abe

TACC

Blue Waters

Внушительно, не правда ли? И в плане производительности, и в плане «железной» составляющей Blue Waters. А ведь именно эта, базирующаяся на процессорной системе IBM Power 7, составляющая и даёт петафлопсовую мощь.

Разрабатывая архитектуру Blue Waters, компания IBM не просто масштабно применила свою новую разработку — процессор Power 7. Она создала вложенную модульную структуру, все элементы которой связаны между собой высокоскоростными шинами данных. Каждый из модулей этой структуры может использоваться независимо (если большая вычислительная мощность не требуется) или практически неограниченно масштабироваться, создавая системы с необходимыми характеристиками.

Мельчайший кирпичик в пирамиде Blue Waters — ядро процессора Power 7 (Power 7 Core), коих у процессора IBM целых восемь. Само по себе ядро Power 7 является самостоятельным вычислителем с двумя модулями вычислений с фиксированной запятой, четырьмя модулями вычислений двойной точности с плавающей запятой, модулями векторной и десятичной математики, 64 килобайтами кэш-памяти первого уровня и 256 килобайтами кэш-памяти второго уровня.

На одном кремниевом чипе процессора Power 7 таких ядер восемь. Кроме них на этом же чипе расположены: кэш-память третьего уровня (по четыре мегабайта на ядро), два контроллера оперативной памяти, позволяющие подключить к одному процессору до 128 гигабайт быстродействующей DDR3 памяти Dual SuperNova, четыре шины данных для межядерного взаимодействия и связи с другими процессорами Power 7.

Схема процессора IBM Power 7

Связь эта позволяет объединить четыре Power 7 в сборку, именуемую Multi Chip или Quad Chip Module (QCM). Обладая тридцатью двумя взаимодействующими между собой ядрами Power 7 Core, сборка QCM способна работать с 512 гигабайтами оперативной памяти. Ещё одной её особенностью является наличие коммуникационного узла (On-Board Hub), позволяющего связывать QCM с себе подобными по высокоскоростной медной шине данных и имеющего оптический выход шины данных L Remote.

Связанные через свои хабы, восемь узлов QCM составляют так называемый Drawer — законченный функциональный модуль с собственной системой питания и охлаждения. 256 ядер Power 7 Core в составе модуля Drawer поддерживают более терабайта оперативной памяти и два коммуникационных уровня. На первом из них с помощью оптической шины L Remote Drawer соединяется с тремя себе подобными, образуя ещё один законченный функциональный блок, именуемый Super Node.

Второй уровень коммуникаций обеспечивается оптической шиной D-Link. Она связывает несколько Super Node между собой. Итого четыре модуля Drawer дают Super Node 1024 ядра Power 7 Core и поддержку свыше четырёх терабайт оперативной памяти. Технически, глядя на таблицу выше, можно сказать, что один Super Node является практически полноценным суперкомпьютером начального уровня.