KI ohne CUDA: Kann Modular die Abhängigkeit von NVIDIA durchbrechen?

Nahezu alle GenAI-Anwendungen laufen heutzutage auf NVIDIA-Geräten. NVIDIAs Hardware-Dominanz wird durch CUDA als primäres Programmierparadigma für GPUs weiter verstärkt. Ihre Kontrolle über die Hard- und Software-Ebene hat sie zu einem der größten Profiteure der Massenadoption von LLMs gemacht.

Dennoch wird NVIDIA kontinuierlich herausgefordert: Tech-Giganten wie Google, AWS und Microsoft bauen ihre eigenen KI-Ökosysteme auf und DeepSeek innoviert, um geopolitische Einschränkungen zu umgehen. Doch nur wenige dieser Entwicklungen geschehen öffentlich.

In diesem Beitrag werden Sven und Marie einen neuen, offenen Ansatz von Modular für Hardware-unabhängige KI-Inferenz und GPU-Programmierung diskutieren und ihre Chancen analysieren, NVIDIAs CUDA-gestützte Herrschaft zu stürzen.

Vorkenntnisse

• Grundwissen zum Thema LLMs ist hilfreich
  
• Berührungspunkte mit CUDA sind hilfreich, aber nicht notwendig

Lernziele

Ein Verständnis dafür, warum NVIDIA den AI-Hardware-Space dominiert und was CUDA damit zu tun hat, sowie die Probleme, die mit NVIDIAs Monopolstellung und CUDA einhergehen. Zusätzlich Einblicke darin, wie Modular Nicht-NVIDIA GPUs zu einer ernsthaften Alternative machen möchte.