Differences
This shows you the differences between two versions of the page.
Both sides previous revision Previous revision Next revision | Previous revision Next revisionBoth sides next revision | ||
pandoc:arge_storage:05_backup_on_vsc3:backup_on_vsc3 [2019/05/02 19:39] – Pandoc Auto-commit pandoc | pandoc:arge_storage:05_backup_on_vsc3:backup_on_vsc3 [2019/05/02 20:38] – Pandoc Auto-commit pandoc | ||
---|---|---|---|
Line 114: | Line 114: | ||
* Nur 1 Prozess | * Nur 1 Prozess | ||
* und der macht die halbe Zeit IOWait bei NFS ueber 10G | * und der macht die halbe Zeit IOWait bei NFS ueber 10G | ||
- | * Nur der fuer Aenderungen lauft schon ewig | ||
* Funktioniert so nicht bei 750 Mio. Files | * Funktioniert so nicht bei 750 Mio. Files | ||
Line 147: | Line 146: | ||
* Nicht mehr vorhandene Files loeschen | * Nicht mehr vorhandene Files loeschen | ||
* Neue / geaenderte files mit mehreren Prozessen synchronisieren | * Neue / geaenderte files mit mehreren Prozessen synchronisieren | ||
+ | |||
+ | ====== Bash/Rsync Magic (4) ====== | ||
<code bash> | <code bash> | ||
Line 161: | Line 162: | ||
done | done | ||
</ | </ | ||
- | ====== Bash/Rsync Magic (4) ====== | + | ====== Bash/Rsync Magic (5) ====== |
* Backup mit n-prozessen pro server | * Backup mit n-prozessen pro server | ||
* Backup Zyklus? | * Backup Zyklus? | ||
- | * Server soll immer eine gewisse | + | * Backup-Server soll immer eine gewisse |
* Warteschlange / Queue | * Warteschlange / Queue | ||
- | * Server | + | * Backup laeuft pro Server. |
- | * Scheduled | + | * Script checkt |
+ | * 1x Taeglich | ||
+ | * Zweites | ||
* Startet backup fuer naechsten Server in Queue | * Startet backup fuer naechsten Server in Queue | ||
+ | * 1x Stuendlich | ||
- | ====== Bash/Rsync Magic (5) ====== | + | ====== Bash/Rsync Magic (6) ====== |
{{: | {{: | ||
- | ====== Bash/Rsync Magic (6) ====== | + | ====== Bash/Rsync Magic (7) ====== |
* Clustercopy.sh | * Clustercopy.sh | ||
* Erweiterung des Backup-Scripts | * Erweiterung des Backup-Scripts | ||
- | * Zum kopieren | + | * Zum Kopieren |
* Erwartet Liste von Nodes und Anzahl der Prozesse | * Erwartet Liste von Nodes und Anzahl der Prozesse | ||
- | * rsync mit m prozessen | + | * rsync mit m Prozessen |
- | * Speedup fuer parallele | + | * Speedup fuer parallele |
- | ====== Bash/ | + | ====== Bash/Rsync Probleme ====== |
+ | |||
+ | * Out of Memory (ZFS) | ||
+ | * Directories mit vielen Files? | ||
+ | * Anzahl der Rsync-Prozesse | ||
+ | * Rebuild Zeit bei SMR Disks | ||
+ | * Hinzufuegen neuer Disks | ||
+ | * ZFS Troubles | ||
- | < | ||
- | * Out of Memory (ZFS) | ||
- | * Anzahl der Rsync-Prozesse | ||
- | * Rebuild Zeit bei SMR Disks | ||
- | * Hinzufuegen neuer Disks | ||
- | * ZFS Troubles | ||
- | </ | ||
====== Ausblick ====== | ====== Ausblick ====== | ||
* Backup auf Tapes mit IBM Spectrum Protect | * Backup auf Tapes mit IBM Spectrum Protect | ||
- | * 10 TB / Tape | + | * Tape Library TU Wien Geodaesie |
- | * 200 MB/s write speed per drive | + | * 9 TB / Tape unkomprimiert (LTO-7 M8) |
+ | * 300 MB/s write speed per drive | ||
* 3 Drives | * 3 Drives | ||
* 100 Tapes | * 100 Tapes | ||
- | * 1 TSM Server | + | * 1 Server |
- | * 2 TSM Clients | + | * 2 Clients |
====== Ausblick (2) ====== | ====== Ausblick (2) ====== | ||
- | * TSM Server | + | * Spectrum Protect |
* 2x Intel Xeon E5-2697V4, 2.3 GHz, 18 Cores / 36 Threads | * 2x Intel Xeon E5-2697V4, 2.3 GHz, 18 Cores / 36 Threads | ||
* 512 GB Ram | * 512 GB Ram |