Als Kopierwerkzeuge stehen SCP, SFTP und Rsync zur Verfügung. Interaktives Login auf einen Datengateway ist nicht möglich.
Die Baumstruktur ist wie folgt aufgebaut:
Home-Verzeichnisse
/home/"loginname"/
Gruppen-Laufwerke
/glw/GLW-Name/
HRSK-Verzeichnisse
Stehen derzeit nicht mehr am Daten-Gateway zur Verfügung, sondern nur noch an den Taurus-Export-Nodes
Archiv
/archiv/"loginname"
/archiv/"projectname"
/archiv/"GLW-name"
Wenn ein Gruppenlaufwerk vermeintlich leer ist, bitte ein Ticket eröffnen.
Zum Kopieren von Daten benötigt man einen geeigneten SCP-, SFTP- oder Rsync-Client.
In Linux sind es die genauso genannten Kommandozeilen-Kommandos oder die Desktop File Manager, Dolphin (KDE) oder Nautilus (GNOME).
Auf Mac gibt es ebenso Kommandos von der Kommandozeile oder grafische Tools, wie FileZilla.
Für Windows gibt es grafische Tools, wie FileZilla oder WinSCP.
Beispiele für Kommandozeilen-Kommandos
Man wird immer nach dem Passwort gefragt, oder man hinterlegt auf den beteiligten Systemen SSH-Keys von dem System, von dem aus die Kommandos ausgeführt werden.
Daten vom Daten-Gateway zum lokalen System kopieren.
cd "zielverz"
scp "zih-loginname"@dgw.zih.tu-dresden.de:"quelldatei"
Daten vom lokalen System zum Daten-Gateway kopieren.
cd "quellverzeichnis"
scp "quelle" "zih-loginname"@dgw.zih.tu-dresden.de:"zielverz"
Daten auf dem Daten-Gateway von Ort1 zu Ort2 kopieren.
scp "loginname"@dgw.zih.tu-dresden.de:"quelle" "loginname"@dgw.zih.tu-dresden.de:"zielverz"
Daten von "Irgendwo" auf den Daten-Gateway kopieren
scp "login"@"host":"quelle" "zih-loginname"@dgw.zih.tu-dresden.de:"zielverz"
Daten mit dem Daten-Gateway mit "rsync" synchronisieren
rsync muss auf dem Daten-Gateway ausgeführt werden, sonst gibt es einen internen Fehler. Wir suchen einen Weg, den Fehler zu beseitigen.
Folgende Wege sind jedoch möglich:
rsync vom Daten-Gateway zum Remotehost
ssh "loginname"@dgw.zih.tu-dresden.de rsync -options test-dgw.dat "loginname"@"remotehost":"ziel"
Beispiel:
ssh xyz@dgw.zih.tu-dresden.de rsnyc -aHlpSr --delete --exclude=.snapshot /hpc/xyz/projekte xyz@mypc.xy-domain.de/
rsync vom Remotehost zum Daten-Gateway:
ssh "loginname"@dgw.zih.tu-dresden.de rsync -options "loginname"@"remotehost":"quelle" "zielverz"
Beispiel:
ssh xyz@dgw.zih.tu-dresden.de rsync -aHlpSr --delete --exclude=.snapshot xyz@mypc...de:bilder /home/weller
weitere konkrete Beispiele:
Daten aus dem Daten-Gateway mit dem zentralen Home-Verzeichnis synchronisieren
dgw:$HOME/tools --> login1:$HOME/tmp2
ssh xyz@dgw.zih.tu-dresden.de rsync -av tools xyz@login1.zih.tu-dresden.de:tmp2
Daten aus dem zentralen Home-Verzeichnis mit dem Daten-Gateway synchronisieren
login1:$HOME/tools --> dgw:$HOME/tmp2
ssh xyz@login1.zih.tu-dresden.de rsync -av tools xyz@dgw.zih.tu-dresden.de:tmp2
Daten aus einem Gruppenlaufwerk in ein HRSK-Verzeichnis synchronisieren
ssh xyz@dgw.zih.tu-dresden.de rsync -av /glw/glw_jw/GLW-Test xyz@tauruslogin3.hrsk.tu-dresden.de:tmp2
mögliche Fehlermeldungen
Host key verification failed
Ursache und Lösung
Am Zielsystem in $HOME/.ssh/known-hosts steht ein alter SSH-Key des sendenden Systems, also den Key oder die Datei löschen.