Linux Foundation поддерживает высокопроизводительные и экзафлопсные вычисления
Linux Foundation поддерживает несколько различных инициатив в области высокопроизводительных вычислений с помощью двух новых фондов.
Высокопроизводительные вычисления (HPC) используют параллельную обработку данных для обеспечения максимально возможной производительности вычислений. Будь то суперкомпьютеры, такие как быстрый суперкомпьютер Exabyte Frontier HPE Cray, или кластеры из сотен или тысяч серверов, все дело в том, чтобы брать на себя сложные задачи и выполнять их с максимально возможной скоростью.
Теперь Linux Foundation, ведущая инновационная организация с открытым исходным кодом, объявила о двух новых фондах для продвижения решений HPC и систем хранения данных: The High-Performance Software Foundation (HPSF) и DAOS Foundation.
HPSF стремится создавать, продвигать и продвигать портативный базовый стек программного обеспечения для высокопроизводительных вычислений. Стек состоит из 10 различных программ. Это:
-
Spack: менеджер пакетов HPC
Kokkos: переносимая модель программирования для написания современных приложений на C++, не зависящая от аппаратного обеспечения.
AMReX: портативная программная среда, предназначенная для ускорения решения уравнений в частных производных на блочно-структурированных, адаптивно уточняемых сетках.
WarpX: портативный код частиц в ячейках с передовыми алгоритмами, получивший премию Гордона Белла в 2022 году.
Trilinos: коллекция многоразовых библиотек научного программного обеспечения, известная, в частности, линейными, нелинейными и переходными решателями, а также оптимизацией и количественной оценкой неопределенности.
Apptainer: контейнерная система и формат изображений, специально разработанные для безопасных и высокопроизводительных вычислений.
ВТК-м: набор алгоритмов научной визуализации для ускорительных архитектур.
HPCToolkit: инструменты измерения и анализа производительности компьютеров, начиная от ноутбуков и заканчивая крупнейшими в мире суперкомпьютерами с графическим процессором.
E4S: стек научного программного обеспечения экстремального масштаба
Charliecloud: оптимизированная для HPC, легкая, полностью непривилегированная реализация контейнера.
Что общего у этих программ? Все они с открытым исходным кодом, что имеет смысл. В течение многих лет Linux и компьютеры с открытым исходным кодом использовались во всех суперкомпьютерах TOP500.
Все они также созданы для того, чтобы упростить жизнь высокопроизводительным разработчикам программного обеспечения. С их помощью программисты могут получить непрерывную интеграцию, готовые программные стеки и тестирование производительности. Это значительно облегчит им жизнь.
Этот новый фундамент направлен на растущее распространение высокопроизводительных вычислений в научных вычислениях, цифровой инженерии и приложениях искусственного интеллекта. Фонд планирует привлечь инвестиции из проекта Exascale Computing Project Министерства энергетики США, совместного предприятия EuroHPC и других международных проектов для повышения производительности различных вычислительных архитектур.
Среди ключевых сторонников HPSF — Amazon Web Services, Аргоннская национальная лаборатория, CEA, CIQ, Hewlett Packard Enterprise, Intel и NVIDIA и другие. Фонд создаст технический консультативный комитет для управления рабочими группами по различным темам HPC, следуя модели управления, вдохновленной Cloud Native Computing Foundation (CNCF).
Короче говоря, Рик Стивенс, заместитель директора лаборатории Аргоннской национальной лаборатории по информатике, окружающей среде и наукам о жизни, объяснил: «HPSF обеспечит среду для совместной работы и доступ к ресурсам, которые позволят сообществу коллективно разрабатывать программное обеспечение, необходимое для управления текущими и будущими поколения систем высокопроизводительных вычислений, и Аргонн имеет честь стать одним из основателей».
Фонд DAOS Foundation занимается управлением и развитием проекта распределенного асинхронного объектного хранилища (DAOS). DAOS, название которой рифмуется со словом «босс», представляет собой высокопроизводительную систему хранения данных с открытым исходным кодом, которая произвела революцию в производительности для рабочих нагрузок HPC и искусственного интеллекта. Он предлагает полностью распределенную архитектуру хранения данных «ключ-значение», преодолевающую ограничения традиционных систем хранения HPC на базе POSIX.
DAOS поддерживает высокую пропускную способность, низкую задержку и высокую скорость ввода-вывода в секунду (IOPS). Опять же, название игры — скорость, скорость, скорость. Это зрелый проект, над которым Intel начала работать в 2012 году. Intel передаст фонду исходный код DAOS и продолжит вносить основной вклад.
Как и HPFS, DAOS поддерживает целый список движителей высокопроизводительных вычислений, таких как Аргоннская национальная лаборатория, Enakta Labs, Google Cloud, Hewlett Packard Enterprise и Intel.
Под эгидой Linux Foundation эти два фонда означают крупный скачок в совместных усилиях по продвижению решений с открытым исходным кодом в области высокопроизводительных вычислений и хранения данных. Они будут способствовать инновациям, снижать барьеры для входа и поддерживать развитие критически важных технологий в области высокопроизводительных вычислений и искусственного интеллекта и машинного обучения.