Differences

This shows you the differences between two versions of the page.

--- pandoc:arge_storage:05_backup_on_vsc3:backup_on_vsc3 [2019/05/02 19:24] – Pandoc Auto-commit pandoc
+++ pandoc:arge_storage:05_backup_on_vsc3:backup_on_vsc3 [2020/10/20 08:09] – Pandoc Auto-commit pandoc
@@ Line 25: / Line 25: @@
 ====== Derzeitiges Off-Site Backup (2) ======
-{{:pandoc:arge_storage:05_backup_on_vsc3:backup_on_vsc3:vsc_network.png}}
+{{..:vsc_network.png}}
 ====== Struktur der Daten ======
-{{:pandoc:arge_storage:05_backup_on_vsc3:backup_on_vsc3:vsc3_files.png}}
+{{..:vsc3_files.png}}
 ====== Struktur der Daten (2) ======
-{{:pandoc:arge_storage:05_backup_on_vsc3:backup_on_vsc3:vsc2_files.png}}
+{{..:vsc2_files.png}}
 ====== Struktur der Daten (3) ======
-{{:pandoc:arge_storage:05_backup_on_vsc3:backup_on_vsc3:vsc3_space.png}}
+{{..:vsc3_space.png}}
 ====== Struktur der Daten (4) ======
-{{:pandoc:arge_storage:05_backup_on_vsc3:backup_on_vsc3:vsc2_space.png}}
+{{..:vsc2_space.png}}
 ====== Backup-Maschine ======
@@ Line 114: / Line 114: @@
     * Nur 1 Prozess
       * und der macht die halbe Zeit IOWait bei NFS ueber 10G
-    * Nur der fuer Aenderungen lauft schon ewig
     * Funktioniert so nicht bei 750 Mio. Files
@@ Line 122: / Line 121: @@
 <code bash>
-for i in {1..10}; do rsync -avHAXS --delete src/server${i} dest/server${i} & done;
+for i in {1..10}
+do
+    rsync -avHAXS --delete src/server${i}/ dest/server${i}/ &
+done
 </code>
   * Vorteile
@@ Line 143: / Line 145: @@
           * Splitten (Anzahl Prozesse)
         * Nicht mehr vorhandene Files loeschen
-      * Neue / geaenderte files mit mehreren Prozessen synchronisieren ```{.bash} rsync -avHAXS -f“+ */" -f“- /////” $sourcedir/ . >/dev/null 2>&1 & ( find src/server/ ! -type d > filelist.txt sort -R filelist.txt > filelist2.txt split -d -a6 -n r/$numProcesses filelist2.txt > filelist.scrambled.txt ) & rsync -r –delete –existing –ignore-existing src/server/ dest/server/ & wait
+      * Neue / geaenderte files mit mehreren Prozessen synchronisieren
-for ((i=0; i<$numProcesses; i++)) do  rsync -avHAXS --files-from=filelist.scrambled.txt.${i} src/server/ dest/server/ & done ```
 ====== Bash/Rsync Magic (4) ======
+<code bash>
+# Sync Directory Structure
+rsync -avHAXS -f"+ */" -f"- */*" src/server/ dest/server/ &
+# Create Filelists
+( find src/server/ ! -type d > filelist.txt
+sort -R filelist.txt > filelist2.txt
+split -d -a6 -n r/$numProcesses filelist2.txt > filelist.scrambled.txt ) &
+# Delete obsolete files
+rsync -r --delete --existing --ignore-existing src/server/ dest/server/ &
+wait
+# Sync Files in Filelist
+for ((i=0; i<$numProcesses; i++))
+do
+  rsync -avHAXS --files-from=filelist.scrambled.txt.${i} src/server/ dest/server/ &
+done
+</code>
+====== Bash/Rsync Magic (5) ======
   * Backup mit n-prozessen pro server
   * Backup Zyklus?
-    * Server soll immer eine gewisse load haben
+    * Backup-Server soll immer eine gewisse Load haben (Anzahl laufender rsync prozesse)
   * Warteschlange / Queue
-    * Server backuppen, wenn fertig signalisieren sie bereitschaft fuer naechstes backup
+    * Backup laeuft pro Server.
-    * Scheduled script checkt Anzahl der Rsync prozesse 1x pro Stunde
+    * Script checkt Server, die nicht gerade gebackuppt werden und fuegt sie in Warteschlange ein
+      * 1x Taeglich
+    * Zweites script checkt Anzahl der laufenden rsync Prozesse
       * Startet backup fuer naechsten Server in Queue
+      * 1x Stuendlich
-====== Bash/Rsync Magic (5) ======
+====== Bash/Rsync Magic (6) ======
-{{:pandoc:arge_storage:05_backup_on_vsc3:backup_on_vsc3:vsc_backup.png}}
+{{..:vsc_backup.png}}
-====== Bash/Rsync Magic Probleme ======
+====== Bash/Rsync Magic (7) ======
+  * Clustercopy.sh
+    * Erweiterung des Backup-Scripts
+    * Zum Kopieren von Files auf Clustern
+    * Erwartet Liste von Nodes und Anzahl der Prozesse
+      * rsync mit m Prozessen auf n Nodes
+    * Speedup fuer parallele Dateisysteme
+====== Bash/Rsync Probleme ======
+  * Out of Memory (ZFS)
+    * Directories mit vielen Files?
+  * Anzahl der Rsync-Prozesse
+  * Rebuild Zeit bei SMR Disks
+  * Hinzufuegen neuer Disks
+  * ZFS Troubles
+  * Bottlenecks
+    * SAS
+    * Netzwerk
+    * CPU/Memory
-<code>
-* Out of Memory (ZFS)
-* Anzahl der Rsync-Prozesse
-* Rebuild Zeit bei SMR Disks
-* Hinzufuegen neuer Disks
-* ZFS Troubles
-</code>
 ====== Ausblick ======
   * Backup auf Tapes mit IBM Spectrum Protect
-    * 10 TB / Tape
+    * Tape Library TU Wien Geodaesie
-    * 200 MB/s write speed per drive
+    * 9 TB / Tape unkomprimiert (LTO-7 M8)
+    * 300 MB/s write speed per drive
     * 3 Drives
     * 100 Tapes
-    * 1 TSM Server
+    * 1 Server
-    * 2 TSM Clients
+    * 2 Clients
 ====== Ausblick (2) ======
-  * TSM Server
+  * Spectrum Protect Server
     * 2x Intel Xeon E5-2697V4, 2.3 GHz, 18 Cores / 36 Threads
     * 512 GB Ram