Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revisionBoth sides next revision
pandoc:arge_storage:05_backup_on_vsc3:backup_on_vsc3 [2019/05/02 19:39] – Pandoc Auto-commit pandocpandoc:arge_storage:05_backup_on_vsc3:backup_on_vsc3 [2019/05/02 20:03] – Pandoc Auto-commit pandoc
Line 114: Line 114:
     * Nur 1 Prozess     * Nur 1 Prozess
       * und der macht die halbe Zeit IOWait bei NFS ueber 10G       * und der macht die halbe Zeit IOWait bei NFS ueber 10G
-    * Nur der fuer Aenderungen lauft schon ewig 
     * Funktioniert so nicht bei 750 Mio. Files     * Funktioniert so nicht bei 750 Mio. Files
  
Line 147: Line 146:
         * Nicht mehr vorhandene Files loeschen         * Nicht mehr vorhandene Files loeschen
       * Neue / geaenderte files mit mehreren Prozessen synchronisieren       * Neue / geaenderte files mit mehreren Prozessen synchronisieren
 +
 +====== Bash/Rsync Magic (4) ======
  
 <code bash> <code bash>
Line 161: Line 162:
 done done
 </code> </code>
-====== Bash/Rsync Magic (4) ======+====== Bash/Rsync Magic (5) ======
  
   * Backup mit n-prozessen pro server   * Backup mit n-prozessen pro server
Line 171: Line 172:
       * Startet backup fuer naechsten Server in Queue       * Startet backup fuer naechsten Server in Queue
  
-====== Bash/Rsync Magic (5) ======+====== Bash/Rsync Magic (6) ======
  
 {{:pandoc:arge_storage:05_backup_on_vsc3:backup_on_vsc3:vsc_backup.png}} {{:pandoc:arge_storage:05_backup_on_vsc3:backup_on_vsc3:vsc_backup.png}}
  
-====== Bash/Rsync Magic (6) ======+====== Bash/Rsync Magic (7) ======
  
   * Clustercopy.sh   * Clustercopy.sh
     * Erweiterung des Backup-Scripts     * Erweiterung des Backup-Scripts
-    * Zum kopieren von files auf clustern+    * Zum Kopieren von Files auf Clustern
     * Erwartet Liste von Nodes und Anzahl der Prozesse     * Erwartet Liste von Nodes und Anzahl der Prozesse
-      * rsync mit m prozessen auf n nodes +      * rsync mit m Prozessen auf n Nodes 
-    * Speedup fuer parallele dateisysteme+    * Speedup fuer parallele Dateisysteme
  
-====== Bash/Rsync Magic Probleme ======+====== Bash/Rsync Probleme ====== 
 + 
 +  * Out of Memory (ZFS) 
 +    * Directories mit vielen Files? 
 +  * Anzahl der Rsync-Prozesse 
 +  * Rebuild Zeit bei SMR Disks 
 +  * Hinzufuegen neuer Disks 
 +  * ZFS Troubles
  
-<code> 
-* Out of Memory (ZFS) 
-* Anzahl der Rsync-Prozesse 
-* Rebuild Zeit bei SMR Disks 
-* Hinzufuegen neuer Disks 
-* ZFS Troubles 
-</code> 
 ====== Ausblick ====== ====== Ausblick ======
  
  • pandoc/arge_storage/05_backup_on_vsc3/backup_on_vsc3.txt
  • Last modified: 2020/10/20 09:13
  • by pandoc