Zurück

Vertrauliche KI-Workloads auf nicht vertrauenswürdigen GPUs mit Intel TDX und NVIDIA CC

Wer vertrauliche Daten mit KI verarbeiten wollte, kam jahrelang nicht an einer On-Premise-Infrastruktur vorbei. Auch TNG geht diesen Weg – doch private Cluster lassen sich nur schwer skalieren. Mit der Nutzung nicht-vertrauenswürdiger Cloud-GPU-Anbieter riskiert man aber den Abfluss vertraulicher Informationen. Deshalb untersuchen wir, wie sich durch Hardware-gestützte Sicherheitsmechanismen Vertrauen aufbauen lässt, ohne auf die Flexibilität der Cloud zu verzichten.

In unserem Vortrag zeigen wir, wie Intel TDX und NVIDIA Confidential Compute kryptografisch verifizierbare Ausführungsumgebungen auf nicht vertrauenswürdigen Hosts ermöglichen, u.a. für LLM-Inferenz mit sensiblen Workloads.

Vorkenntnisse

Hilfreich ist eine grobe Vorstellung von klassischem LLM-Inferenz-Betrieb auf eigener Hardware.

Lernziele

Konzepte und Architekturbilder für Trusted Exceution Environments mit Intel TDX und NVIDIA Confidential Compute. Anwendungsfälle und Vergleich zu klassischer LLM-Inferenz auf eigener Hardware.

Speaker

Benjamin Merkel ist Principal Consultant bei der TNG Technology Consulting GmbH und verantwortlich für den Aufbau und Betrieb eines hauseigenen GPU-Clusters mit etwa 100 GPUs unterschiedlicher Modelle. Seit mehr als zwei Jahren arbeitet er daran, seinen mehr als 900 Kolleginnen und Kollegen die größten und modernsten Sprachmodelle performant anbieten zu können.

Fabian Roll ist Software Consultant bei TNG und seit 2024 mitverantwortlich für den Ausbau und Betrieb der Kubernetes-basierten Plattform für KI-Modelle auf TNGs eigenem GPU-Cluster. Zuletzt beschäftigte er sich verstärkt mit Confidential-Computing-Lösungen zum Schutz sensibler KI-Workloads auf nicht vertrauenswürdiger Infrastruktur.