Differences
This shows you the differences between two versions of the page.
Both sides previous revision Previous revision | Next revisionBoth sides next revision | ||
pandoc:arge_storage:05_backup_on_vsc3:backup_on_vsc3 [2019/05/02 19:39] – Pandoc Auto-commit pandoc | pandoc:arge_storage:05_backup_on_vsc3:backup_on_vsc3 [2019/05/02 20:03] – Pandoc Auto-commit pandoc | ||
---|---|---|---|
Line 114: | Line 114: | ||
* Nur 1 Prozess | * Nur 1 Prozess | ||
* und der macht die halbe Zeit IOWait bei NFS ueber 10G | * und der macht die halbe Zeit IOWait bei NFS ueber 10G | ||
- | * Nur der fuer Aenderungen lauft schon ewig | ||
* Funktioniert so nicht bei 750 Mio. Files | * Funktioniert so nicht bei 750 Mio. Files | ||
Line 147: | Line 146: | ||
* Nicht mehr vorhandene Files loeschen | * Nicht mehr vorhandene Files loeschen | ||
* Neue / geaenderte files mit mehreren Prozessen synchronisieren | * Neue / geaenderte files mit mehreren Prozessen synchronisieren | ||
+ | |||
+ | ====== Bash/Rsync Magic (4) ====== | ||
<code bash> | <code bash> | ||
Line 161: | Line 162: | ||
done | done | ||
</ | </ | ||
- | ====== Bash/Rsync Magic (4) ====== | + | ====== Bash/Rsync Magic (5) ====== |
* Backup mit n-prozessen pro server | * Backup mit n-prozessen pro server | ||
Line 171: | Line 172: | ||
* Startet backup fuer naechsten Server in Queue | * Startet backup fuer naechsten Server in Queue | ||
- | ====== Bash/Rsync Magic (5) ====== | + | ====== Bash/Rsync Magic (6) ====== |
{{: | {{: | ||
- | ====== Bash/Rsync Magic (6) ====== | + | ====== Bash/Rsync Magic (7) ====== |
* Clustercopy.sh | * Clustercopy.sh | ||
* Erweiterung des Backup-Scripts | * Erweiterung des Backup-Scripts | ||
- | * Zum kopieren | + | * Zum Kopieren |
* Erwartet Liste von Nodes und Anzahl der Prozesse | * Erwartet Liste von Nodes und Anzahl der Prozesse | ||
- | * rsync mit m prozessen | + | * rsync mit m Prozessen |
- | * Speedup fuer parallele | + | * Speedup fuer parallele |
- | ====== Bash/ | + | ====== Bash/Rsync Probleme ====== |
+ | |||
+ | * Out of Memory (ZFS) | ||
+ | * Directories mit vielen Files? | ||
+ | * Anzahl der Rsync-Prozesse | ||
+ | * Rebuild Zeit bei SMR Disks | ||
+ | * Hinzufuegen neuer Disks | ||
+ | * ZFS Troubles | ||
- | < | ||
- | * Out of Memory (ZFS) | ||
- | * Anzahl der Rsync-Prozesse | ||
- | * Rebuild Zeit bei SMR Disks | ||
- | * Hinzufuegen neuer Disks | ||
- | * ZFS Troubles | ||
- | </ | ||
====== Ausblick ====== | ====== Ausblick ====== | ||