Differences

This shows you the differences between two versions of the page.

--- pandoc:arge_storage:05_backup_on_vsc3:backup_on_vsc3 [2019/05/02 16:44] – Pandoc Auto-commit pandoc
+++ pandoc:arge_storage:05_backup_on_vsc3:backup_on_vsc3 [2020/10/20 09:13] (current) – Pandoc Auto-commit pandoc
@@ Line 20: / Line 20: @@
     * 6 Fileserver VSC-2 (Archiv)
     * Fileserver Hadoop Cluster / Datalabs
-      * Gesamt derzeit ca. 800 TB Brutto / 750 Mio. Dateien
+    * Gesamt derzeit ca. 800 TB Brutto / 750 Mio. Dateien
-      * Durchschnittliche Dateigroesse ~ 1 MB
+    * Durchschnittliche Dateigroesse ~ 1 MB
-  * Arsenal <–> Freihaus (1x 10 GBit/s)
-    * TODO: Diagramm
+====== Derzeitiges Off-Site Backup (2) ======
+{{.:vsc_network.png}}
 ====== Struktur der Daten ======
-{{:pandoc:arge_storage:05_backup_on_vsc3:backup_on_vsc3:vsc3_files.png}}
+{{.:vsc3_files.png}}
 ====== Struktur der Daten (2) ======
-{{:pandoc:arge_storage:05_backup_on_vsc3:backup_on_vsc3:vsc2_files.png}}
+{{.:vsc2_files.png}}
 ====== Struktur der Daten (3) ======
-{{:pandoc:arge_storage:05_backup_on_vsc3:backup_on_vsc3:vsc3_space.png}}
+{{.:vsc3_space.png}}
 ====== Struktur der Daten (4) ======
-{{:pandoc:arge_storage:05_backup_on_vsc3:backup_on_vsc3:vsc2_space.png}}
+{{.:vsc2_space.png}}
 ====== Backup-Maschine ======
@@ Line 62: / Line 64: @@
     * 1 Filesystem pro Fileserver
     * Keine Cache/Log Devices
+    * Alle Pools gemeinsam 1050TB
 ====== Backup Sofware ======
@@ Line 68: / Line 71: @@
     * Bash, Rsync, Grep, Split, etc
   * Snapshotting (ZFS)
+    * pro Server
+    * pro Backup-Zyklus
+    * script zum loeschen von alten Snapshots (halbautomatisch)
   * Konfigurations-File
+<code bash>
+# Configuration File for the backup script
+# Server  Source            Destination    ProcessCount  ZFS Snapshot  Log-File
+nfs01     /mntbackup/nfs01  /backup/nfs01  4             1             /backup/log/nfsbackup_nfs01
+nfs02     /mntbackup/nfs02  /backup/nfs02  1             1             /backup/log/nfsbackup_nfs02
+nfs03     /mntbackup/nfs03  /backup/nfs03  1             1             /backup/log/nfsbackup_nfs03
+</code>
+====== Backup Software (2) ======
   * Status Output
+<code bash>
+[root@fh100 ~]# /backup/bin/new/vsc_show_backupstate
++++++++++++++++++++++++++++++++++++++++++
++Current Backup-State of VSC-2 and VSC-3+
++++++++++++++++++++++++++++++++++++++++++
+nfs01: Backup running since 2019-04-30.
+nfs02: Backup running since 2019-04-30.
+nfs03 completed at 2019-04-23 with a runtime of  58729 Seconds. Next Backup already queued on 2019-04-23
++++++++++++++++++++++++++++++++++++++++++
++       Backup-Pools Space Report       +
++++++++++++++++++++++++++++++++++++++++++
+backup: 35.3T available
+backup2: 49.7T available
+tank7NG: 23.5T available
+</code>
 ====== Bash/Rsync Magic (1) ======
-<code>
+  * Naiver Ansatz
-* Naiver Ansatz
+<code bash>
+rsync -avHAXS --delete src/ dest/
 </code>
+  * Vorteile
+    * Einfach
+  * Nachteile
+    * Nur 1 Prozess
+      * und der macht die halbe Zeit IOWait bei NFS ueber 10G
+    * Funktioniert so nicht bei 750 Mio. Files
 ====== Bash/Rsync Magic (2) ======
-<code>
+  * Parallelisierung - Naiver Ansatz
-* Parallelisierung
+<code bash>
+for i in {1..10}
+do
+    rsync -avHAXS --delete src/server${i}/ dest/server${i}/ &
+done
 </code>
+  * Vorteile
+    * Relativ Einfach
+    * Mehrere rsync Prozesse laufen parallel
+  * Nachteile
+    * Parallelisierung abhaengig von der Anzahl der Server
+    * Alle Server muessen gebackuppt sein, bevor der Zyklus neu starten kann
+    * Output / Monitoring der Rsync Jobs?
 ====== Bash/Rsync Magic (3) ======
-<code>
+  * Parallelisierung - Besser
-* Boiler-Plate Zeugs
+    * Fuer jeden server
-</code>
+      * ZFS Snapshot erstellen
+      * Parallel
+        * Verzeichnisstruktur kopieren
+        * Filelist erstellen
+          * Sortieren
+          * Splitten (Anzahl Prozesse)
+        * Nicht mehr vorhandene Files loeschen
+      * Neue / geaenderte files mit mehreren Prozessen synchronisieren
 ====== Bash/Rsync Magic (4) ======
-<code>
+<code bash>
-* Software Diagramm
+# Sync Directory Structure
+rsync -avHAXS -f"+ */" -f"- */*" src/server/ dest/server/ &
+# Create Filelists
+( find src/server/ ! -type d > filelist.txt
+sort -R filelist.txt > filelist2.txt
+split -d -a6 -n r/$numProcesses filelist2.txt > filelist.scrambled.txt ) &
+# Delete obsolete files
+rsync -r --delete --existing --ignore-existing src/server/ dest/server/ &
+wait
+# Sync Files in Filelist
+for ((i=0; i<$numProcesses; i++))
+do
+  rsync -avHAXS --files-from=filelist.scrambled.txt.${i} src/server/ dest/server/ &
+done
 </code>
-====== Bash/Rsync Magic Probleme ======
+====== Bash/Rsync Magic (5) ======
+  * Backup mit n-prozessen pro server
+  * Backup Zyklus?
+    * Backup-Server soll immer eine gewisse Load haben (Anzahl laufender rsync prozesse)
+  * Warteschlange / Queue
+    * Backup laeuft pro Server.
+    * Script checkt Server, die nicht gerade gebackuppt werden und fuegt sie in Warteschlange ein
+      * 1x Taeglich
+    * Zweites script checkt Anzahl der laufenden rsync Prozesse
+      * Startet backup fuer naechsten Server in Queue
+      * 1x Stuendlich
+====== Bash/Rsync Magic (6) ======
+{{.:vsc_backup.png}}
+====== Bash/Rsync Magic (7) ======
+  * Clustercopy.sh
+    * Erweiterung des Backup-Scripts
+    * Zum Kopieren von Files auf Clustern
+    * Erwartet Liste von Nodes und Anzahl der Prozesse
+      * rsync mit m Prozessen auf n Nodes
+    * Speedup fuer parallele Dateisysteme
+====== Bash/Rsync Probleme ======
+  * Out of Memory (ZFS)
+    * Directories mit vielen Files?
+  * Anzahl der Rsync-Prozesse
+  * Rebuild Zeit bei SMR Disks
+  * Hinzufuegen neuer Disks
+  * ZFS Troubles
+  * Bottlenecks
+    * SAS
+    * Netzwerk
+    * CPU/Memory
-<code>
-* Out of Memory (ZFS)
-* Anzahl der Rsync-Prozesse
-* Rebuild Zeit bei SMR Disks
-* Hinzufuegen neuer Disks
-* ZFS Troubles
-</code>
 ====== Ausblick ======
   * Backup auf Tapes mit IBM Spectrum Protect
-    * 10 TB / Tape
+    * Tape Library TU Wien Geodaesie
-    * 200 MB/s write speed per drive
+    * 9 TB / Tape unkomprimiert (LTO-7 M8)
+    * 300 MB/s write speed per drive
     * 3 Drives
     * 100 Tapes
-    * 1 TSM Server
+    * 1 Server
-    * 2 TSM Clients
+    * 2 Clients
 ====== Ausblick (2) ======
-  * TSM Server
+  * Spectrum Protect Server
     * 2x Intel Xeon E5-2697V4, 2.3 GHz, 18 Cores / 36 Threads
     * 512 GB Ram