Quelltext der Seite Jobs einreichen mit SLURM

==== Einführung ====
Der Queue-Manager für HPC@HU ist SLURM ( siehe https://slurm.schedmd.com/quickstart.html )

Ein Beispiel kann wie folgt aussehen:
 <code>#!/bin/bash</code>
 <code>#SBATCH --ntasks=1                    # Run on a single CPU</code>
 <code>#SBATCH --mem=1gb                     # Job memory request</code>
 <code>#SBATCH --time=00:05:00               # Time limit hrs:min:sec</code>
 <code>#SBATCH --partition=standard</code>
 <code>#SBATCH --account=nutzername</code>
 
 <code>hostname</code>
Hier steht hostname beispielhaft für einen Script oder die Ausführung einer Software für Berechnungen.

Sollten im Script Variablen gesetzt werden, ist es wichtig dass dies erst nach der Definition des Jobs für SLURM geschieht.

Nennt sich der Scirpt  <code>submit.bash</code> , lässt sich dieser dann über 
 sbatch submit.bash 
beim Scheduler einreichen.

Der aktuelle Status lässt sich über 
 squeue 
oder 
 squeue -u Nutzername 
abfragen.

==== Parallelisierung mit mehreren Compute-Knoten: ====
Es ist möglich Berechnungen über mehrere Compute-Knoten laufen zu lassen. Hierbei sollte bedacht werden, dass Abhängig von den Virtuellen Maschinen in der aktuellen Konfiguration, die Kommunikation lokal auf einem Server oder über 100GBit/s Ethernet stattfindet.

Hierbei ist die Integration von openMPI und SLURM von der Nutzerseite einfach zu handhaben. 

Um eine Berechnung über 2 Compute-Knoten laufen zu lassen, definiere ich zum Beispiel meine Anzahl an Threads sowie die Anzahl der Knoten:

 #!/bin/bash
 #SBATCH --ntasks=40                    # Run 40 threads/processes
 #SBATCH --ntasks-per-node=20           # Run 20 per compute node
 #SBATCH --nodes=2                      # Run on 2 nodes
 #SBATCH --mem=80gb                     # Job memory needed per node (per node is important!!)
 #SBATCH --time=96:00:00                # Time limit hrs:min:sec
 #SBATCH --partition=standard
 #SBATCH --account=<user account>

Danach rufe ich mein Programm ganz gewöhnlich über mpirun auf. 
<!--
Ein Punkt den es zu beachten gibt, ist dass es notwendig ist die zulässigen Ports für die Kommunikation zwischen Nodes zu definieren, vor allem der minimale Port scheint hier wichtig zu sein. 

Dadurch sieht der Aufruf des Programms (hier xhpl) dann wie folgt aus:
 mpirun -np 40 --mca btl_tcp_port_min_v4 60001 --mca oob_tcp_dynamic_ports 60001-63000 xhpl
-->
Der Aufruf des Programms (hier xhpl) sieht dann wie folgt aus:
 mpirun -np 40 xhpl

=== Interaktive Sessions ===
Es ist möglich interaktive Sessions auf den Compute Knoten zu starten. Hierbei müsse die Ressourcen direkt auf der Befehlszeile angefordert werden, zum Beispiel wie folgt:
 <code>srun --nodes=1 --exclusive --pty bash -i</code>
oder auch
 <code>srun --nodes=1 --ntasks-per-node=1 --time=01:00:00 --pty bash -i</code>

==== Verfügbare Ressourcen: ====
Aktuell eingerichtete virtuelle Maschinen verfügen über je:
* 64 Threads (ûber 32 Kerne)
* 256GB Arbeitsspeicher
* knapp 1,5TB lokalen scratch

==== Queues / Partitionen ====
SLURM bietet die Möglichkeit Partitionen zu definieren, oft als "queues" bekannt.

Aktuell stehen den Nutzern folgende Queues zu Verfügung, wobei manche auf bestimmte Nutzergruppen beschränkt sind.
{| class="wikitable"
!PartitionName
!DefaultTime
!MaxTime
!DefMemPerCPU
!MaxMemPerCPU
!MaxNodes
|-
|desktop
|4:00:00
|26:00:00
|2000
|8000
|1
|-
|interactive
|1:00:00
|2:00:00
|2000
|8000
|1
|-
|standard
|04:00:00
|4-00:00:00
|2000
|8000
|12
|-
|longrun
|4-00:00:00
|14-00:00:00
|2000
|8000
|8
|-
|gpu
|04:00:00
|14-00:00:00
|2000
|8000
|2
|-
|large_memory
|04:00:00
|14-00:00:00
|8000
|64000
|2
|-
|chemie
|04:00:00
|20-00:00:00
|8000
|64000
|16
|-
|physik
|04:00:00
|20-00:00:00
|8000
|64000
|16
|}