Performance-Erwartungen an Software-defined Storage und deren Verifikation mit Benchmarks

Die Formulierung realistischer Performance-Erwartungen an ein (Software-defined-)Storage-System ist ein kritischer Aspekt der IT-Infrastrukturplanung. Sie muss auf der eingesetzten Hard- und Software sowie den erwarteten IO-Mustern aufsetzen.

Insbesondere große Workloads für Deep-Learning-Trainings stellen hohe Anforderungen an die Storage-Systeme, um die teuren GPUs bzw. dedizierten AI-Beschleuniger optimal auszulasten. Gleichzeitig unterscheiden sich diese Anforderungen zum Teil deutlich von denen klassischer HPC-Applikationen oder Enterprise Workloads.

Herstellerangaben zur möglichen Performance sind oft sehr optimistisch oder können nur unter genau definierten Bedingungen erreicht werden.

In diesem Votrag geht es darum, realistische Performance-Erwartungen an ein Software-defined-Storage-System wie Ceph, Lustre, BeeGFS, WekaFS oder MinIO zu formulieren, basierend auf Hardware und IO-Profil. Zusätzlich werden Werkzeuge zur Überprüfung dieser Erwartungen mittels Benchmarks und Strategien zur Performanceoptimierung vorgestellt, um die realistisch gesteckten Ziele zu erreichen.

Vorkenntnisse

Die grundsätzliche Funktionsweise von verteilten Speichersystemen sollte bekannt sein.

Lernziele

• Aufstellen realistischer Performanceerwartungen basierend auf IO Profil, eingesetzer Hard- und Software
  
• Überprüfung dieser Erwartungen mit geeigneten Benchmarks.