Zurück

Hyperscaler hassen diesen Trick – Ihre KI in den eigenen vier Wänden

Das Betreiben von KI-Anwendungen auf eigener Hardware ist herausfordernd: Geeignete Hardware ist kostspielig und limitiert, Anforderungen wechseln permanent. Dennoch beobachten wir einen Trend zum Hosten eigener KI-Umgebungen.

TNG blickt auf eine mehrjährige Erfahrung beim Betreiben eines eigenen KI-Clusters zurück. Wir zeigen: Es ist herausfordernd, aber machbar. Mittels tragfähiger Open-Source-Lösungen, sowohl für Modelle als auch Software. Mittels Optimierungen in Deployment und Request-Handling.

Dies alles erlaubt den produktiven Einsatz von KI-Anwendungen unter effizientem Resourceneinsatz. Unser Vortrag erläutert einige der großen Lerneffekte auf diesem Weg.

Lernziele

Zuhörer kennen am Ende des Vortrages KI-spezifische Anforderungen im Betrieb von On-premise-GPU-Clustern sowie deren speziellen Herausforderungen.
Wir vermitteln eine realistische Einschätzung des Aufwands, einen solchen zu betreiben.

Speaker

Benjamin Merkel ist Senior Consultant bei TNG Technology Consulting und zuständig für den reibungslosen Betrieb von AI Services auf TNGs eigenem GPU-Cluster. Schwerpunktmäßig beschäftigt er sich mit der Entwicklung moderner Sprachmodelle und der Optimierung ihrer Performance.

Lukas Rammelmüller ist Senior Consultant bei TNG Technology Consulting. Der promovierte Physiker ist Experte für Kubernetes-Cluster-Administration sowohl in der Cloud als auch auf Bare Metal. Bei TNG ist er mitverantwortlich für den Betrieb des internen GPU-Clusters sowie Ansprechpartner für diverse KI-Dienste.

Jetzt Tickets sichern