Lokale LLMs nutzen auf eigener Hardware - eine Einschätzung der Technik und Datensicherheit
1. Oktober 2025, 19:00 - 21:00 MESZ · Klimawerkstatt Werder, Klimawerkstatt Werder, Werder (Havel)
Self-Hosted LLM Stack: Production-Ready AI ohne Vendor Lock-in
Während Cloud-basierte LLM-Services praktisch sind, bringen sie erhebliche Herausforderungen mit sich: Datenschutz, Kosten, Latenz und Abhängigkeiten. Es ist Zeit für eine Alternative!
In diesem Talk stelle ich einen robusten, selbst gehosteten KI-Stack vor, der auf bewährten Open-Source-Technologien basiert: Lunix, Docker für Containerisierung, Ollama als Model-Server und Open-WebUI als Frontend. Das Setup ermöglicht den nahtlosen Betrieb aktueller Open-Weight-Modelle wie Gemma, Mistral oder Qwen3 – komplett on-premises. Wir besprechen Hardware-Requirements und Anwendungsfälle für den produktiven Einsatz. Live zeige ich die einen Schnelldurchlauf der Installation, Konfiguration und den Betrieb verschiedener Modelle – von 7B-Parametern für schnelle Inference bis hin zu größeren Modellen für komplexe Tasks.