How to roll your own AI – KI-Anwendungen im eigenen Datacenter

KI-Anwendungen wie LLMs im eigenen Datacenter hosten – wie schwer kann das schon sein? Und warum sollte man das überhaupt tun?

Im letzten Jahr haben sich KI-basierte Tools als wertvolle Werkzeuge zur Effizienzsteigerung im IT-Arbeitsalltag bewiesen. Von Coding-Unterstützung über Prozessautomatisierung bis Wissensmanagement kann Künstliche Intelligenz heute die Geschwindigkeit und Qualität Ihrer Arbeit maßgeblich erhöhen – vorausgesetzt Sie trauen ihnen mit Ihren Daten. Aus diesem Grund hat TNG Technology Consulting letztes Jahr eine eigene KI-Infrastruktur aufgebaut, die es den Consultants erlaubt, selbst Arbeiten mit sensiblen Daten zu beschleunigen.

In diesem Vortrag geben wir Einblicke in die besonderen Ansprüche beim Betreiben unser eigenen KI-Infrastruktur. Wir zeigen einige KI-Anwendungsbeispiele auf sensiblen Daten und erläutern, warum es sich lohnt, diese auf eigener Hardware statt in der Cloud laufen zu lassen. Darüber hinaus werfen wir einen Blick auf die speziellen Anforderung von KI-Inferenz für Hardware und Software.