KI-Serviceinfrastruktur an der HU Berlin

Die Humboldt-Universität zu Berlin betreibt seit 2023 eine KI-Infrastruktur mit lokal gehosteten Large Language Models. Der Vortrag zeigt den praktischen Weg von ersten Experimenten bis zum produktiven Betrieb für die Nutzenden.

Der Bogen spannt sich vom API-first-Ansatz auf HPC-Basis mit mehreren spezialisierten Open-Source-LLMs parallel (Coding, Multilingual, RAG) bis hin zum datenschutzkonformen Betriebsmodell für die produktiven Anwendungsfälle wie Audio/Video-Transkription, Aufbereitung und Übersetzung, Multimodale Bildanalyse, IDE-Integration und RAG-Systeme für virtuelle Assistenten.

Der Vortrag liefert konkrete Erfahrungen zum Aufbau der Infrastruktur und zur Einführung inkl. der Ansätze bzgl. AI-Literacy.

Vorkenntnisse

Die Teilnehmenden sollten über grundlegende Kenntnisse zu Embeddings, zur Arbeitsweise von LLMs und zu RAG-Methoden verfügen.

Lernziele

Überblick zu Lessons Learned bei der Einführung der KI-Serviceinfrastruktur an der HU Berlin seit Anfang 2023. Der Vortrag vermittelt, wie man durch fortlaufend und strategisch orientierte Projekte das Thema KI in der IT-Organisation verankern und in der Organisation an sich in die tägliche Nutzung bringen kann – durch die Entwicklung von Diensten, die sich am konkreten Bedarf der Nutzenden ausrichten.