GPU statt GPT-Account: Wie Unternehmen LLMs souverän selbst betreiben

Cloud-APIs sind bequem, aber für viele Unternehmen aus Compliance-, Kosten- oder Souveränitätsgründen keine Option – insbesondere in KRITIS-Umgebungen und anderen hochsensiblen Bereichen.

Der Vortrag zeigt, was es heute wirklich braucht, um leistungsfähige LLMs im eigenen Rechenzentrum zu betreiben – und was nicht (Infiniband, Wasserkühlung und die großen GPUs). Entscheidend sind VRAM, Modellgröße und Quantisierung.

Behandelt werden Training vs. Inferenz, Hardware-Auswahl, Software-Stack (vLLM, WebGUIs), Modellauswahl inkl. KV-Cache und die Frage, ob chinesische Modelle ein Sicherheitsrisiko sind. RAG und Vektordatenbanken ersetzen meist aufwendiges Finetuning. Praxisbeispiele inkl.

Vorkenntnisse

Grundkenntnisse in Linux-Serverbetrieb und RZ-Infrastruktur. ML-Vorwissen ist nicht erforderlich – Konzepte wie Inferenz, Quantisierung und KV-Cache werden im Vortrag erklärt. Hilfreich ist Anwendererfahrung mit ChatGPT o. ä.

Lernziele

Die Teilnehmer lernen, welche Hardware für LLM-Inferenz im eigenen RZ wirklich nötig ist und welche teuren Komponenten verzichtbar sind. Sie können Modelle anhand von VRAM, Modellgröße und Quantisierung auswählen, RAG gegen Finetuning abwägen und einschätzen, wie sich lokale KI auch in KRITIS- und Compliance-sensiblen Umgebungen produktiv einsetzen lässt.