Das Oak Ridge National Laboratory (ORNL) wird in Nachrichtenartikeln oft als aktives Testen und Implementieren neuer Supercomputing-Technologien erwähnt. Derzeit arbeitet das OLCF Computing Center (Oak Ridge Leadership Computing Facility) an der Installation des ersten Frontier-Supercomputers im Exascale-Bereich der USA auf Basis von AMD-Prozessoren und -Beschleunigern.
Eine Reihe von Frontier-Architekturmerkmalen sind jetzt ans Licht gekommen, als das National Center for Computational Sciences einen kleinen Crusher-Cluster gestartet hat, der fast dieselben HPE Cray-Knoten wie Frontier verwendet. Das System dient als Early-Access-Plattform und besteht aus nur zwei Schränken. Der erste hat 128 Knoten, der zweite 64. Die Gesamtspitzenleistung wird mit 40 PFlops angegeben.
Das Herzstück jedes Knotens ist eine spezielle Version von AMD EPYC 7A53. Die 64 Kerne (mit SMT2) sind in vier NUMA-Domänen aufgeteilt, die von separaten Speichercontrollern bedient werden. Acht DDR4-Kanäle (insgesamt 512 GB pro Knoten) bieten eine Bandbreite von 205 GB/s. Es gibt nur vier Beschleuniger im System, aber dies sind die neuesten AMD Instinct MI250X mit zwei Chips, sodass sie für das System als acht separate separate GPUs sichtbar sind.
Jeder der Beschleuniger ist über zwei Infinity-Fabric-Links mit einer NUMA-Domäne verbunden, die 36 GB/s in jede Richtung bereitstellt. Die Chips im MI250X sind über einen schnelleren Kanal miteinander verbunden, was 200 GB / s in beide Richtungen ergibt. Alle Beschleuniger sind nach dem Schema „jeder mit jedem“ 50-GB/s-Kanal miteinander verbunden. Gleichzeitig sind sie direkt mit dem Werk verbunden – jeder hat Anspruch auf einen eigenen HPE Slingshot-Adapter (200 Gb/s).
Nur ein Paar 1,92-TB-SSDs ist über einen PCIe-Switch mit der CPU verbunden (4 GB / s zum Schreiben, 1,6 Millionen IOPS für zufällige Operationen). Jede NUMA-Domäne ist in zwei L3-Subdomänen unterteilt, die einem Beschleuniger zugeordnet sind, was eine flexible Lastverteilung ermöglicht. Als Hauptspeicher dient ein externes Speichersystem IBM Spectrum Scale mit einer Gesamtkapazität von 250 PB und einer Spitzengeschwindigkeit von 2,5 TB/s.
Das System hat auch Zugriff auf das NCSS-Netzwerk, wenn auch nicht direkt. Im allgemeinen NFS-Speicher kann jedes Projekt 50 GB mit einer Datenaufbewahrungsfrist von 90 Tagen erhalten, und 50 TB sind bereits in GPFS auf Spectrum Scale verfügbar. Crusher wird mit einer Menge vorinstallierter Software geliefert. Die Benutzerumgebung ist modular aufgebaut und basiert auf dem in Lua geschriebenen Lmod-System. Slurm ist für den Lastenausgleich zuständig. RSA SecurID-Hardware-Tokenschlüssel wird zur Authentifizierung verwendet.
2022-01-22 08:18:53
Autor: Vitalii Babkin