08-2026
Die huacai Solutions Open Source KI Toolbox
Meist steht bei KI Anwendungen für Nutzer:innen die Oberfläche im Vordergrund. Im Hintergrund arbeitet allerdings eine ganze KI Toolbox, die je nach Anforderungen abgebildet werden muss. Hier stellen wir unsere Open Source KI Toolbox zum Aufbau einer souveränen KI Infrastruktur vor, in die sich auch kommerzielle Lösungen einbinden lassen.
© huacai Solutions
Warum der Umstieg von kommerziellen Cloud Lösungen für viele Unternehmen komplex erscheint
Viele Menschen haben Erfahrungen mit ChatGPT, Claude oder Copilot. Sie sehen die Oberfläche der jeweiligen KI Anwendung und verbinden den Namen oder das Sprachmodell mit allen Funktionen, die die Lösung bereitstellt. Täglich wird mit den Tools in Dokumenten recherchiert, interne Datenbanken genutzt, eine Websuche gestartet oder Prozesse über Assistenten automatisiert.
Die Nutzer:innen haben sich an diesen Komfort gewöhnt und erwarten eine gewisse Funktionalität.
Was die meisten Menschen nicht sehen, ist das zugrunde liegende Zusammenspiel von einzelnen Applikationen und Datenbanken über eine sogenannte KI Toolbox, die alles über eine einfache Oberfläche und Nutzeranfragen abbildet.
Wenn man sich nun auf den Weg der Open Source KI Lösungen begibt, reicht es deshalb nicht mehr aus, eine einfache Oberfläche und ein lokales Sprachmodell bereitzustellen. Denn ist dieser Komfort nicht vorhanden, kann es passieren, dass die Nutzer:innen die interne Lösung nicht akzeptieren und weiterhin externe und nicht administrierte Alternativen nutzen.
So werden die Vorteile von Open Source KI Lösungen – Datenschutz, interner Wissensaufbau und volle Kostenkontrolle – nicht realisiert und das Unternehmen erreicht keinen Mehrwert aus der Investition.
Die huacai Solutions Open Source KI Toolbox
Wir stellen euch hier unsere Open Source KI Toolbox vor, mit der ihr ein ähnliches Nutzererlebnis wie mit den kommerziellen Lösungen abbilden könnt. Damit lässt sich eine souveräne KI Infrastruktur aufbauen.
Der Vorteil: Wie bei den kommerziellen Lösungen arbeiten eure Nutzer:innen mit einer einfachen Oberfläche. Die Toolbox übernimmt im Hintergrund die Organisation und Verwaltung der einzelnen Bausteine. Sie ist flexibel und kann modular erweitert werden. Sei es hinsichtlich einer leistungsfähigen Infrastruktur oder weiteren Software Funktionen. So könnt ihr mit einzelnen Prozessen starten und weitere Anwendungen integrieren – immer passend zur Situation in eurem Unternehmen.
Die KI Toolbox stellt dabei unseren Werkzeugkasten dar, den wir aufeinander abgestimmt bei unseren Kund:innen einsetzen. Da sich die Open Source Software Landschaft wöchentlich ändert, entwickeln wir den Werkzeugkasten laufend weiter und geben diesen Fortschritt wo sinnvoll auch an unsere Kund:innen weiter.
© huacai Solutions. Die huacai Solutions Open Source KI Toolbox.
© huacai Solutions. Software und Infrastruktur als zentrale Bereiche der KI Toolbox.
Die Bereiche: Software & Infrastruktur
Im Wesentlichen besteht die Open Source KI Toolbox aus zwei Bereichen, die ihr für euer Unternehmen immer im Blick haben solltet – Software und Infrastruktur.
Die Software: Diese bestimmt das Nutzererlebnis und die Fähigkeiten der KI-Lösung
Die Infrastruktur: Diese bestimmt die generelle Leistungsfähigkeit des Systems – also die Frage, wie viele Anwendungen in welcher Geschwindigkeit gleichzeitig abgebildet werden können
Startet hier mit der Frage nach euren eigenen Anwendungen und Prozessen. Ohne eine eigene Zielsetzung kann die KI Lösung nicht sinnvoll definiert werden.
Software: Oberfläche und Nutzer:innen Verwaltung
Die Oberfläche ist das Herzstück für das Nutzererlebnis. Hier treffen die Nutzer:innen direkt auf eure KI-Lösung. Und aus diesem Grund setzen wir hier auch Oberflächen ein, die den Ein- und Umstieg so einfach wie möglich gestalten.
Open WebUI ist eine dieser offenen Lösungen, die sich kommerziell kostenfrei im Unternehmen einsetzen lässt. Sie übernimmt die Integration der weiteren Funktionen und ist dafür mit zahlreichen Konnektoren für die anderen Bausteine ausgestattet. Die Nutzer:innen greifen direkt über den Browser und eine eigene URL (siehe Caddy unten) auf die Lösung zu. Eine Nutzerkontensteuerung und ein Administrator-Bereich ist direkt integriert. Wie bei den Cloud Lösungen können eigene Assistenten angelegt und geteilt werden. Sprachmodelle und Funktionen wie eine Websuche können direkt per Dropdown und Buttons aktiviert werden. Neben lokalen offene Sprachmodellen lassen sich für bestimmte Fragestellungen zusätzlich kommerzielle Modelle einbinden.
© huacai Solutions. Open WebUI bietet eine gewohnte Nutzeroberfläche mit Erweiterungsmöglichkeiten.
© huacai Solutions. Lemonade Server bietet eine GUI zur Verwaltung der Open Weight Modelle.
Software: Open Weight Sprachmodelle und Inferenz Server
Open Weight Sprachmodelle stellen sozusagen das Gehirn der KI-Lösung dar. Sie benötigen einen Modell-Server, der diese der Oberfläche bereitstellt.
In den letzten Jahren wurden eine Vielzahl offener Sprachmodelle veröffentlicht, die kommerziell einsetzbar sind. Vor allem die in 2025 und 2026 bereitgestellten Modelle haben hierbei einen großen Schritt hinsichtlich der Einsatzmöglichkeiten gemacht und können auf lokaler Infrastruktur betrieben werden.
Google Gemma 4 und OpenAI gpt-oss sind zwei Vertreter dieser aktuellen Modelle, die sich in Verbindung mit einer lokalen Wissensdatenbank sehr gut für den Unternehmenseinsatz eignen. Insbesondere Gemma 4 ist hier zu empfehlen, wenn die Leistungsfähigkeit des Systems dies ermöglicht. Neben diesen Modellen wurden Ende 2025 bis 2026 weitere Modelle von Meta Muse Glimmer und NVIDIA Nemotron veröffentlicht, die zeigen, dass offene Modelle immer schneller und immer weiter entwickelt werden. Dadurch steigt zukünftig die Leistungsfähigkeit des Systems, ohne Hardware wechseln zu müssen.
AMD Lemonade Server und vLLM stellen der Oberfläche die Sprachmodelle zur Verfügung. Für den Start oder eine kleinere Firma eignet sich Lemonade Server aufgrund der einfachen Integration und dem eingebauten Modell-Wechsel. Da Lemonade vom Hersteller AMD entwickelt wird, werden neue Sprachmodelle und auch Hardwarekompatibilität regelmäßig integriert. vLLM ermöglicht einen höheren Durchsatz und den Zusammenschluss mehrerer Grafikkarten in der Infrastruktur.
Software: Dokumentenmanagement
Unter Dokumentenmanagement wird der Aufbau von Wissensdatenbanken für Fragestellungen und Assistenten verstanden. Hier geht es darum, dem Sprachmodell das benötigte Wissen für die jeweilige Fragestellung bereitzustellen, um die Antwortqualität und Verlässlichkeit zu steigern.
Für den Start bringt Open WebUI die benötigten Komponenten mit. Hier lassen sich einzelne Wissensspeicher und Projektordner anlegen und dauerhaft an Assistenten anhängen. Hierzu integriert Open WebUI eine eigene Datenbank und die Fähigkeit, Dokumente in vollem Umfang erfassen zu lassen.
Werden häufiger Scans oder Dateien mit komplexer Struktur wie Tabellen genutzt, sollte man darüber nachdenken, eine Lösung wie Docling für die Aufbereitung von Dokumenten zu nutzen. Docling übersetzt diese Dokumente sozusagen in ein KI-konformes Format und ersetzt die voreingebaute Lösung in Open WebUI.
Sobald die Anzahl an Datenbankaufrufen steigt und größere Teams oder Organisationen zeitgleich mit dieser arbeiten, sollte man über den Umstieg auf eine dezidierte Datenbanksoftware nachdenken. PostgreSQL ist hier eine gut dokumentierte Lösung, die leistungsstark und zugleich skalierbar ist.
© huacai Solutions. In Open WebUI lassen sich Wissensspeicher direkt erstellen und in Modelle einfügen.
© huacai Solutions. Die Websuche lässt sich in Open WebUI komfortabel integrieren.
Software: Websuche und Fähigkeiten
„ChatGPT sucht für mich direkt im Internet und ersetzt Google“ oder „Claude speichert das Ergebnis direkt als PDF oder Word Dokument“.
Den Menschen, die schon mal ein lokales Open Source KI Projekt gestartet haben, kommen diese Sätze bekannt vor. Durch die immer neuen Fähigkeiten der kommerziellen Modelle haben sich die Anforderungen in den Augen der normalen Nutzer:innen verschoben. Es wird einfach erwartet, dass eine Websuche integriert ist oder Dokumente ausgegeben werden können.
Für den Baustein der Websuche nutzen wir SearXNG als Metasuchmaschine auf dem Server. Damit lässt sich eine anonymisierte Websuche über einstellbare Betreiber direkt in Open WebUI integrieren. Wer tiefergehende Recherchen durchführen möchte, kann in Open WebUI kommerzielle Suchanbieter integrieren.
Die Dokumentenausgabe als Datei lässt sich in Open WebUI über Funktionen integrieren. Ein PDF Export ist eingebaut und für docx, xlsx und pptx ruft das lokale Sprachmodell ein Python Skript auf, welches die Umwandlung übernimmt.
Die Audio Transkription und Speech-to-Text kann direkt in Open WebUI konfiguriert werden. Hierzu wird ein lokales Modell (wir nutzen OpenAI Whisper) heruntergeladen, was die Transkription lokal übernimmt.
Auch eine Bildgenerierung wird nativ von Open WebUI unterstützt. Hierzu kann ComfyUI auf dem Server als Baustein ausgeführt und im Admin Bereich von Open WebUI integriert werden. Alternativ lässt sich ein Vision Modell direkt über Lemonade Server betreiben. Die Nutzer:innen können sich im Anschluss in der Oberfläche Bilder generieren lassen.
Software: Automatisierung
Für Unternehmen interessant ist das Potenzial der Automatisierung von Prozessen. Wir unterscheiden hierbei zwischen Assistenten, Workflows und automatisierten Agenten.
Assistenten bestehen aus einem sogenannten System Prompt und wenn nötig einem integrierten Wissensspeicher. So lassen sich beispielsweise ein Chat Bot für das Mitarbeitendenhandbuch, Produktinformationen oder für die Erstellung von (Trainings-)plänen abbilden. Der System Prompt beschreibt dabei die Rolle und die Regeln, die das Sprachmodell befolgen soll. Die Assistenten lassen sich direkt in Open WebUI über die Oberfläche einbinden und für einzelne Nutzer:innen, Teams oder die ganze Organisation freischalten.
Workflows werden ähnlich zu den Assistenten direkt in Open WebUI eingebunden und genutzt. Auch sie bestehen aus einem System Prompt und ggfs. einem Wissensspeicher. Sie werden häufig dazu genutzt, regelmäßige Prozesse abzubilden. Beispiele sind die Berichterstellung aus einer Dokumentation, die Zusammenfassung von Protokollen oder die Prüfung von Plänen anhand von Vorschriften und DIN-Normen.
Automatisierte Agenten gehen einen Schritt weiter und verknüpfen mehrere Schritte in einem Prozess. Sie können auch autonom genutzt werden, um beispielsweise regelmäßig Nachrichten zu einem Thema abzurufen und zusammenzufassen. Viele Nutzer:innen kennen hier bereits n8n, welches auch mit lokalen Sprachmodellen genutzt werden kann. Die offene Alternative dazu ist activepieces. Auch hier lassen sich sogenannte No-Code Workflows integrieren, also automatisierte Agenten, die ohne Programmierkenntnisse in einer grafischen Oberfläche wie in einem Prozess-Chart erstellt werden.
© huacai Solutions. Assistenten lassen sich direkt in Open WebUI einbinden.
© huacai Solutions. Ein kompakter KI Server auf Basis eines Strix Halo Systems.
Infrastruktur: Server-Hardware
Die Server Hardware hängt von der jeweiligen Anwendung und der Anzahl der gleichzeitigen Nutzer:innen (also zur gleichen Zeit mit der Lösung arbeitend) in der Organisation ab.
Kleinere Sprachmodelle und 1-2 parallele Nutzer:innen lassen sich mit kleinen PCs mit integrierten Grafikkarten und 32GB Speicher startend ab 1.000€ abbilden. Damit lässt sich beispielsweise eine kleine Physio Praxis mit Assistenten für die Berichterstellung sowie bestimmten Verordnungen abbilden.
Mittlere Sprachmodelle und 10 parallele Nutzer:innen als Team lassen sich mit fertigen Development Boxen abbilden. Hier gibt es fertige Lösungen direkt als AMD Strix Halo und NVIDIA DGX Spark, die bis zu 128GB integrierten Speicher für die Sprachmodelle bieten. Preislich sind diese Boxen im Bereich von 3.000€ bis 5.000€ angesiedelt. Zu dieser Kategorie zählen wir auch den aktuellen Apple Mac Studio. Hier ist genügend Leistung für die Integration aller Bausteine der KI Toolbox vorhanden. Bei steigenden Anforderungen lassen sich die Boxen zu einem größeren Cluster verbinden oder als Entwicklungsumgebung nutzen, um neue Assistenten, Modelle und Bausteine für die Produktivumgebung zu testen.
Darüber hinaus lassen sich die KI Server individuell passend zu den Anforderungen als Workstation zusammenstellen. Hierbei können für die Sprachmodelle mehrere Grafikkarten wie bspw. AMD Radeon AI Pro oder NVIDIA RTX Pro parallel genutzt werden. Damit lässt sich ein kleines Unternehmen je nach Anwendung komplett abdecken und die Lösung bietet Flexibilität für die Zukunft. Da sich die Anforderungen von Anwendung zu Anwendung unterscheiden, geben wir hier keine direkte Empfehlung für ein System ab, da diese Investition gemeinsam geprüft werden muss.
Infrastruktur: Freie Betriebssysteme und Addons
Um das Zusammenspiel von Hardware und Software-Bausteinen zu verwalten, nutzen wir Canonical Ubuntu Linux in Verbindung mit Docker. Ubuntu bietet eine breite Kompatibilität bis hin zu großen Server Lösungen und ermöglicht zudem die Verschlüsselung sowie Backup Routinen. Neben der Einbindung als Systemdienste verwalten wir die Software Bausteine mit Docker. Das bietet vor allem hinsichtlich der späteren Wartung und Verwaltung entscheidende Vorteile für die Kund:innen, da alle Bausteine zentral konfiguriert und aktualisiert werden können.
Für die Integration in das Unternehmensnetzwerk mittels Zertifikaten und https nutzen wir caddy. https ist vor allem für den verschlüsselten Zugriff und Speech-to-Text relevant, da die meisten Browser sonst den Zugriff auf das Mikrofon verweigern. caddy bietet außerdem die Möglichkeit, den Server über eine individuelle URL (ai.intern.example) statt der IP Adresse im internen Netzwerk bereitzustellen.
© huacai Solutions. Mit Ubuntu Linux lassen sich alle Bausteine des Servers über ein Cockpit verwalten.
Habt ihr Fragen zur Toolbox oder Interesse an lokalen Open Source KI Lösungen?
Meldet euch gern bei uns.