• Installation Sommer 2014 durch ClusterVision
• 2020 Nodes
  • 2x Intel Xeon E5-2650v2, 2.6 GHz, 8 Cores
  • 64 GB Ram
  • 2x Infiniband QDR (40 GBit/s)
  • Ölgekühlt
• 36 Storage Server
  • 10 Server für Home Filesysteme
  • 8 Server für paralleles Global/Scratch Filesystem
  • 16 Server für parallele Bioinformatik Filesysteme
  • 2 Server für GPFS (EODC)

• Prinzipiell nur fuer Disaster-Recovery
• /home Dateisysteme
  • 10 Fileserver VSC-3
  • 6 Fileserver VSC-2 (Archiv)
  • Fileserver Hadoop Cluster / Datalabs
    • Gesamt derzeit ca. 800 TB Brutto / 750 Mio. Dateien
    • Durchschnittliche Dateigroesse ~ 1 MB
• Arsenal <–> Freihaus (1x 10 GBit/s)
  • TODO: Diagramm

• 1 Maschine
  • 2x Intel Xeon E-5620, 2.4 GHz, 4 Cores / 8 Threads
  • 128 GB Ram
  • 10 GBit/s zum Arsenal
  • 4x SAS3 HBA (LSI SAS3008)
  • 140 x 8 TB Seagate Archive (SMR) Disks
  • SAS2 JBODs

• ZFS
  • 3 Pools
    • VSC2/Hadoop
    • VSC3
    • VSC3_2
  • Mehrere VDEVs pro Pool
    • Alle Raidz-3
  • 1 Filesystem pro Fileserver
  • Keine Cache/Log Devices

• Selbst gebaut mit GNU tools
  • Bash, Rsync, Grep, Split, etc
• Snapshotting (ZFS)
• Konfigurations-File
• Status Output

* Naiver Ansatz

* Parallelisierung

* Boiler-Plate Zeugs

* Software Diagramm

* Out of Memory (ZFS)
* Anzahl der Rsync-Prozesse
* Rebuild Zeit bei SMR Disks
* Hinzufuegen neuer Disks
* ZFS Troubles

• Backup auf Tapes mit IBM Spectrum Protect
  • 10 TB / Tape
  • 200 MB/s write speed per drive
  • 3 Drives
  • 100 Tapes
  • 1 TSM Server
  • 2 TSM Clients

• TSM Server
  • 2x Intel Xeon E5-2697V4, 2.3 GHz, 18 Cores / 36 Threads
  • 512 GB Ram
  • 2 x 10 GBit/s zum Arsenal
  • 2 x 10 GBit/s zum Freihaus
  • 4 x 8 GBit/s Fibre Channel zur Tape Library (IBM TS4500)
  • 4 x 2 TB Intel DC P3600 fuer DB2 Datenbank (RAID10)
  • 6 x 500 GB SSD fuer Disk Pool (RAID5)

• Danke für die Aufmerksamkeit