Was sind die Daten-Gateways, wo sind die Verzeichnisse, wie kopiere ich Daten?

Die Daten-Gateways unterstützen die Nutzer, ihre Daten zwischen verschiedenen Laufwerken zu sortieren. Alle zentralen Homeverzeichnisse und Gruppenlaufwerke sowie das Zentralarchiv sind im Verzeichnisbaum zu finden. Sie sind gleichzeitig ein Gateway ins zentrale Backup.

Welche Laufwerke sind auf welchen Gateways verfügbar?

• Alle Laufwerke im UNIX-Stil sind von den NFS-Servern, wie vereinbart  mountbar.
• Alle Laufwerke im UNIX-Stil sind auf dem Daten-Gateway unter "/glw" zu finden.
• Alle Laufwerke der Kategorie "Institutsdaten" sind von den File-Servern direkt anbindbar.
• Alle Laufwerke der Kategorie "Institutsdaten" sind auf dem Daten-Gateway unter "/glw" zu finden.
• Laufwerke der anderen Kategorien im NTFS-Stil sind nur direkt vom Samba-Server (ceph-smb) mountbar.

Als Kopierwerkzeuge stehen SCP, SFTP und Rsync zur Verfügung. Interaktives Login auf einen Datengateway ist nicht möglich.
Die Baumstruktur ist wie folgt aufgebaut:

•     Home-Verzeichnisse

  • /home/"loginname"/

• Gruppen-Laufwerke

  • /glw/GLW-Name/

• HRSK-Verzeichnisse

  • Stehen derzeit nicht mehr am Daten-Gateway zur Verfügung, sondern nur noch an den Taurus-Export-Nodes

• Archiv

  • /archiv/"loginname"

  • /archiv/"projectname"

  • /archiv/"GLW-name"

Wenn ein Gruppenlaufwerk vermeintlich leer ist, bitte ein Ticket eröffnen.

Zum Kopieren von Daten benötigt man einen geeigneten SCP-, SFTP- oder Rsync-Client.

• In Linux sind es die genauso genannten Kommandozeilen-Kommandos oder die Desktop File Manager, Dolphin (KDE) oder Nautilus (GNOME).

• Auf Mac gibt es ebenso Kommandos von der Kommandozeile oder grafische Tools, wie FileZilla.

• Für Windows gibt es grafische Tools, wie FileZilla oder WinSCP.

Beispiele für Kommandozeilen-Kommandos

Man wird immer nach dem Passwort gefragt, oder man hinterlegt auf den beteiligten Systemen SSH-Keys von dem System, von dem aus die Kommandos ausgeführt werden.

•  Daten vom Daten-Gateway zum lokalen System kopieren.

   cd "zielverz"
   scp "zih-loginname"@dgw.zih.tu-dresden.de:"quelldatei" 

• Daten vom lokalen System zum Daten-Gateway kopieren.

   cd "quellverzeichnis"
   scp "quelle" "zih-loginname"@dgw.zih.tu-dresden.de:"zielverz"

• Daten auf dem Daten-Gateway von Ort1 zu Ort2 kopieren.

   scp "loginname"@dgw.zih.tu-dresden.de:"quelle" "loginname"@dgw.zih.tu-dresden.de:"zielverz"

• Daten von "Irgendwo" auf den Daten-Gateway kopieren

   scp "login"@"host":"quelle" "zih-loginname"@dgw.zih.tu-dresden.de:"zielverz"

• Daten mit dem Daten-Gateway mit "rsync" synchronisieren

  • rsync muss auf dem Daten-Gateway ausgeführt werden, sonst gibt es einen internen Fehler. Wir suchen einen Weg, den Fehler zu beseitigen.

   Folgende Wege sind jedoch möglich:

• rsync vom Daten-Gateway zum Remotehost

         ssh "loginname"@dgw.zih.tu-dresden.de rsync -options test-dgw.dat "loginname"@"remotehost":"ziel"

        Beispiel:
         ssh xyz@dgw.zih.tu-dresden.de rsnyc -aHlpSr --delete --exclude=.snapshot /hpc/xyz/projekte xyz@mypc.xy-domain.de/

• rsync vom Remotehost zum Daten-Gateway:

         ssh "loginname"@dgw.zih.tu-dresden.de rsync -options "loginname"@"remotehost":"quelle" "zielverz"

Beispiel:
ssh xyz@dgw.zih.tu-dresden.de rsync -aHlpSr --delete --exclude=.snapshot xyz@mypc...de:bilder /home/weller

• weitere konkrete Beispiele:

        Daten aus dem Daten-Gateway mit dem zentralen Home-Verzeichnis synchronisieren
            dgw:$HOME/tools --> login1:$HOME/tmp2

         ssh xyz@dgw.zih.tu-dresden.de rsync -av tools xyz@login1.zih.tu-dresden.de:tmp2

        Daten aus dem zentralen Home-Verzeichnis mit dem Daten-Gateway synchronisieren
            login1:$HOME/tools --> dgw:$HOME/tmp2

         ssh xyz@login1.zih.tu-dresden.de rsync -av tools xyz@dgw.zih.tu-dresden.de:tmp2

        Daten aus einem Gruppenlaufwerk in ein HRSK-Verzeichnis synchronisieren

ssh xyz@dgw.zih.tu-dresden.de rsync -av /glw/glw_jw/GLW-Test xyz@tauruslogin3.hrsk.tu-dresden.de:tmp2

  mögliche Fehlermeldungen

• Host key verification failed

  • Ursache und Lösung

    • Am Zielsystem in $HOME/.ssh/known-hosts steht ein alter SSH-Key des sendenden Systems, also den Key oder die Datei löschen.