Опубликован 64-й выпуск рейтинга 500 самых высокопроизводительных компьютеров мира. Первое место в 64 редакции рейтинга занял новый кластер El Capitan, запущенный в Ливерморской национальной лаборатории Министерства энергетики США. Кластер насчитывает 11 миллионов процессорных ядер (CPU AMD EPYC 24C 1.8GH с ускорителем AMD Instinct MI300X) и обеспечивает производительность 1.742 экзафлопса. В качестве операционной системы применяется HPE Cray OS (редакция SUSE Linux Enterprise Server 15).

Смещённый на второе место прошлый лидер рейтинга, кластер Frontier, размещённый в Ок-Риджской национальной лаборатории Министерства энергетики США, модернизирован - число процессорный ядер (CPU AMD EPYC 64C 2GHz, ускоритель AMD Instinct MI250X) увеличено с 8.7 до 9 млн, что позволило повысить производительность с 1.206 до 1.353 экзафлопсов.

Со второго на третье место переместился кластер Aurora, развёрнутый в Аргоннской национальной лаборатории Министерства энергетики США. Кластер содержит 9.2 млн процессорных ядер (CPU Xeon CPU Max 9470 52C 2.4GHz, ускоритель Intel Data Center GPU Max) и обеспечивает производительность 1.012 экзафлопса. В качестве операционной системы в Aurora используется SUSE Linux Enterprise Server 15 SP4.

С третьего на четвёртное место сместился кластер Eagle запущенный в начале года компанией Microsoft для облака Azure. Кластер содержит 2 млн процессорных ядер (CPU Xeon Platinum 8480C 48C 2GHz) и демонстрирует пиковую производительность в 561 петафлопс. Программное обеспечение кластера базируется на Ubuntu 22.04.

Пятое место занял новый кластер HPC6, развёрнутый в итальянской нефтегазовой компании "Эни". Кластер содержит 3 млн процессорных ядер (AMD EPYC 64C 2GHz) и демонстрирует пиковую производительность в 477 петафлопс. Программное обеспечение кластера базируется на RHEL 8.9.

Что касается отечественных суперкомпьютеров, то созданные компанией Яндекс кластеры Червоненкис, Галушкин и Ляпунов опустились с 42, 69 и 79 мест на 60, 86 и 99 места. Данные кластеры созданы для решения задач машинного обучения и обеспечивают производительность 21.5, 16 и 12.8 петафлопса соответственно. Кластеры работают под управлением Ubuntu 16.04 и оснащены процессорами AMD EPYC 7xxx и GPU NVIDIA A100: кластер Chervonenkis насчитывает 199 узлов (193 тысячи ядер AMD EPYC 7702 64C 2GH и 1592 GPU NVIDIA A100 80G), Galushkin - 136 узлов (134 тысячи ядер AMD EPYC 7702 64C 2GH и 1088 GPU NVIDIA A100 80G), Lyapunov - 137 узлов (130 тысяч ядер AMD EPYC 7662 64C 2GHz и 1096 GPU NVIDIA A100 40G).

Развёрнутый Сбербанком кластер Christofari Neo опустился с 83 на 104 место. Christofari Neo работает под управлением NVIDIA DGX OS 5 (редакция Ubuntu) и демонстрирует производительность 11.95 петафлопса. Кластер насчитывает более 98 тысяч вычислительных ядер на базе CPU AMD EPYC 7742 64C 2.25GHz и поставляется с GPU NVIDIA A100 80GB. Второй кластер Сбербанка (Christofari) за полгода сместился с 142 на 172 место в рейтинге.

В рейтинге также остаётся ещё один отечественный кластер: Lomonosov 2, который сместился с 406 на 453 место (в 2015 году кластер Lomonosov 2 занимал 31 место, а его предшественник Lomonosov в 2011 году - 13 место). Кластер MTS GROM, который в прошлом рейтинге занимал 472 место, выбыл из списка 500 самых производительных систем. Таким образом, число отечественных кластеров в рейтинге уменьшилось с 7 до 6 систем (для сравнения в 2020 году в рейтинге было 2 отечественные системы, в 2017 году - 5, а в 2012 году - 12).

Наиболее интересные тенденции:

• Распределение по количеству суперкомпьютеров в разных странах:
  1. США: 172 (171 - полгода назад). Суммарная производительность оценивается в 55.2% всей производительности рейтинга (полгода назад - 34.2%);
  2. Китай: 63 (80). В сумме китайские кластеры генерируют 2.7% от всей производительности (полгода назад - 16%);
  3. Германия: 41 (40). Суммарная производительность - 3.5% (8%);
  4. Япония: 34 (29). Суммарная производительность - 8% (5.8%);
  5. Франция: 24 (24). Суммарная производительность - 2.5% (4.8%);
  6. Великобритания: 14 (16);
  7. Южная Корея 13 (13);
  8. Италия: 13 (11). Суммарная производительность - 7.1% (4%);
  9. Нидерланды: 10 (9);
  10. Канада 10 (10);
  11. Бразилия 9 (8);
  12. Польша: 8 (8);
  13. Швеция 8 (7);
  14. Саудовская Аравия 7 (8);
  15. Тайвань: 7 (6);
  16. Индия: 7 (4);
  17. Норвегия: 6 (5);
  18. Россия 6 (7);
  19. Швейцария 5 (5);
  20. Австралия 4 (5);
  21. Ирландия 4 (4);
  22. Сингапур: 4 (3);
  23. Чехия: 3 (3);
  24. Испания: 3 (3).
  25. Финляндия: 3 (3);
  26. Австрия: 3;
  27. Объединённые Арабские Эмираты: 3.
• В рейтинге операционных систем, используемых в суперкомпьютерах, c ноября 2017 года остаётся только Linux;
• Распределение по дистрибутивам Linux (в скобках - 6 месяцев назад):
  • 38.2% (42.4%) используют системы на базе Linux, но не детализируют дистрибутив;
  • 17.4% (16.8%) - RHEL;
  • 10.2% (8.4%) - Ubuntu;
  • 8.4% (9.4%) CentOS;
  • 8.4% (9.2%) - Cray Linux;
  • 4.2% (4.4%) - SUSE;
  • 4% (3%) - Rocky Linux;
  • 1% (1.2%) - Alma Linux;
  • 0.2% (0.2%) - Amazon Linux
• Минимальный порог производительности для вхождения в Top500 за 6 месяцев составил 2.31 петафлопса (полгода назад - 2.13 петафлопса). Десять лет назад лишь 51 кластер показывал производительность более петафлопса. Для Top100 порог вхождения вырос с 9.46 до 12.8 петафлопсов, а для Top10 - со 121.4 до 208 петафлопсов.
• Суммарная производительность всех систем в рейтинге за 6 месяцев возросла с 8.2 до 11.7 экзафлопсов (пять лет назад было 1.65 экзафлопса, десять лет назад - 0.31 экзафлопса). Система, замыкающая нынешний рейтинг, в прошлом выпуске находилась на 454 месте.
• Общее распределение по количеству суперкомпьютеров в разных частях света выглядит следующим образом: 181 суперкомпьютер находится в Северной Америке 181 (181 - полгода назад), 161 в Европе (157), 143 в Азии (147), 10 в Южной Америке (9), 4 в Океании (5) и 1 в Африке (1).
• В качестве процессорной основы лидируют CPU Intel - 61.8% (полгода назад было 62.8%), на втором месте AMD 32.4% (31.4%), на третьем Fujitsu A64FX - 1.8% и NVIDIA Grace - 1.8%, на четвёртом IBM Power - 0.8% (было 1.2%).
• 21.4% (полгода назад 20%) всех используемых процессоров имеют 64 ядра, 17.2% (17.8%) - 24 ядра, 10.2% (9.4%) - 32 ядра, 8.4% (5.8%) - 48 ядер, 7.6% (9%) - 20 ядер, 7.4% (4.4%) - 56 ядер, 4.6% (5.4%) - 16 ядер, 4.6% (5.6%) - 18 ядер, 4.4% (5.2%) - 28 ядер, 2% - 96 ядер. Суммарное число процессорных ядер во всех кластерах рейтинга за полгода увеличилось с 114.6 млн до 128.7 млн.
• 209 из 500 систем (полгода назад - 196) дополнительно используют ускорители или сопроцессоры, при этом в 183 (142) системах задействованы чипы NVIDIA, в 19 (14) - AMD, в 1 (1) - Intel Xeon Phi, в 4 (4) - Intel DataCenter GPU, в 1 (1) - Matrix-2000.
• Среди производителей кластеров на первом месте закрепилась компания Lenovo - 32.4% (полгода назад 32.6%), на втором месте компания Hewlett-Packard Enterprise - 23% (22.4%), на третьем месте компания EVIDEN - 10.4% (9.8%), далее следуют Dell EMC 7.4% (6.8%), NVIDIA 5.2% (4.4%), Fujitsu 3% (2.8%), NEC 2.8% (2.8%), Inspur - 2.2% (4.4%), Microsoft Azure - 1.6% (1.4%), Penguin Computing - 1.4% (1.4%), MEGWARE 1.4% (1.4%), IBM 0.6% (1%), Sugon 0.6% (1%), Supermicro 0.6%.
• InfiniBand применяется для связи узлов в 50.6% (полгода назад 47.8%) кластеров, Ethernet используется в 37.4% (39%) кластеров, Omnipath - 6.2% (6.4%). Если рассматривать суммарную производительность, то системы на базе InfiniBand охватывают 33.6% (39.2%) всей производительности Top500, а Ethernet - 58.1% (48.5%).

Одновременно опубликован новый выпуск альтернативного рейтинга кластерных систем Graph 500, ориентированного на оценку производительности суперкомпьютерных платформ, связанных с симулированием физических процессов и задач по обработке больших массивов данных, свойственных для таких систем. Рейтинги Green500, HPCG (High-Performance Conjugate Gradient) и HPL-AI объединены с Top500 и отражаются в основном рейтинге Top500.

Дополнительно можно отметить релиз кластерной файловой системы Lustre 2.16, используемой в большей части крупнейших Linux-кластеров, содержащих десятки тысяч узлов. Ключевыми компонентами Lustre являются серверы обработки и хранения метаданных (MDS), управляющие серверы (MGS), серверы хранения объектов (OSS), хранилище объектов (OST, поддерживается работа поверх ext4 и ZFS) и клиенты. Код проекта распространяется под лицензией GPLv2. В новой версии реализована полноценная поддержка работы Lustre в сетях IPv6, используя компоненты LNet (Lustre Network) и LND (Lustre Network Daemon). Также проведена оптимизация обработки содержимого больших каталогов и добавлена поддержка RHEL 9.4 и Rocky Linux 9.4.