Testbetrieb - Dateistruktur: Unterschied zwischen den Versionen
Aus HPC@HU
(Erster Kommentar zur Dateistruktur) |
(Hinweis darauf wie man auf die Dateien Zugreift) |
||
| Zeile 1: | Zeile 1: | ||
==== Dateistruktur: ==== | |||
Im Rahmen des Testbetriebs sind die endgültigen Dateipfade sowie die endgültigen Dateisysteme noch nicht vollständig konfiguriert. | Im Rahmen des Testbetriebs sind die endgültigen Dateipfade sowie die endgültigen Dateisysteme noch nicht vollständig konfiguriert. | ||
Langfristig wird ein Lustre als zentrales "scratch" bereitgestellt, dieses ist aber aktuell noch nicht verfügbar. | Langfristig wird ein Lustre als zentrales "scratch" bereitgestellt, dieses ist aber aktuell noch nicht verfügbar. | ||
| Zeile 13: | Zeile 13: | ||
Im Testbetrieb sollten Berechnungen überwiegend im lokalen Scratch laufen. | |||
Im Testbetrieb sollten Berechnungen überwiegend im lokalen Scratch laufen. Sprich, eine Berechnung wird in /mnt ausgeführt und am Ende des Jobs sollte das Ergebnis auf /globalscratch kopiert werden. | |||
An einer Lôsung der Verwaltung des temporären scratch wird gearbeitet. | |||
==== Zugriff: ==== | |||
Der Zugriff auf das Dateisystem erfolgt über sftp (ftp ûber ssh) aus dem Netz der Humboldt Universität heraus. | |||
Die ist unter Windows mit WinScp ( https://winscp.net/ ) möglich - auch in Verbindung mit putty ( https://www.chiark.greenend.org.uk/~sgtatham/putty/latest.html ) für die Befehlszeile - und wird unter Linux im Plasma Desktop nativ von Dolphin unterstützt. | |||
Version vom 19. Juni 2024, 07:52 Uhr
Dateistruktur:
Im Rahmen des Testbetriebs sind die endgültigen Dateipfade sowie die endgültigen Dateisysteme noch nicht vollständig konfiguriert.
Langfristig wird ein Lustre als zentrales "scratch" bereitgestellt, dieses ist aber aktuell noch nicht verfügbar.
Im Testbetrieb sind folgende Laufwerke verfügbar:
/mnt als lokaler scratch (1TB, bitte nicht 'zumüllen' und das Löschen von temporären Dateien im Script einplanen!)
/globalscratch als Netzwerklaufwerk welches von mehreren Virtuellen Maschinen gleichzeitig erreicht werden kann (langsame Leistung)
Im Testbetrieb sollten Berechnungen überwiegend im lokalen Scratch laufen. Sprich, eine Berechnung wird in /mnt ausgeführt und am Ende des Jobs sollte das Ergebnis auf /globalscratch kopiert werden.
An einer Lôsung der Verwaltung des temporären scratch wird gearbeitet.
Zugriff:
Der Zugriff auf das Dateisystem erfolgt über sftp (ftp ûber ssh) aus dem Netz der Humboldt Universität heraus.
Die ist unter Windows mit WinScp ( https://winscp.net/ ) möglich - auch in Verbindung mit putty ( https://www.chiark.greenend.org.uk/~sgtatham/putty/latest.html ) für die Befehlszeile - und wird unter Linux im Plasma Desktop nativ von Dolphin unterstützt.