Fragen & AntwortenKann man ChatGPT lokal im Unternehmen betreiben?
Die Frage kommt in fast jedem Erstgespräch. Die ehrliche Antwort hat zwei Teile: Nein, ChatGPT nicht. Ja, das, was Sie damit wollen, schon.
ChatGPT selbst nicht, das ist ein Cloud-Dienst von OpenAI und lässt sich nicht im eigenen Rechenzentrum installieren. Was sich lokal betreiben lässt, sind offene Sprachmodelle mit einer Oberfläche, die sich wie ChatGPT bedient. Für Zusammenfassen, Texte, Übersetzen und Fragen an eigene Dokumente reichen sie im Alltag aus, und keine Anfrage verlässt das Unternehmen.
Den Begriff dahinter erklärt der Grundlagenartikel Was ist ein lokales LLM? Hier geht es um die praktische Seite: was geht, was nicht, was es braucht.
Wann ist das sinnvoll?
Wenn Mitarbeiter mit Texten, Dokumenten und Vorgängen arbeiten, die nicht in eine fremde Cloud dürfen. Verträge, Personaldaten, Konstruktionsunterlagen, Kundenkorrespondenz. Sobald der Datenschutzbeauftragte den Einsatz von ChatGPT untersagt oder eingeschränkt hat, ist ein lokales Modell der Weg, trotzdem KI anzubieten. Sinnvoll ist es auch, wenn viele Nutzer regelmäßig arbeiten und die laufenden Kosten von Nutzerlizenzen und Token planbar werden sollen.
Wann ist es nicht sinnvoll?
Wenn nur wenige Personen gelegentlich unkritische Texte bearbeiten, ist ein Cloud-Konto mit Auftragsverarbeitung schneller und günstiger. Nicht sinnvoll ist ein lokales Modell auch, wenn die Anwendung die allerstärksten Modelle für komplexes Reasoning braucht und die Daten unkritisch sind. Und wer keine IT hat, die einen Server oder ein Gerät betreuen kann, sollte mit einer europäischen Cloud beginnen.
Voraussetzungen
- Hardware mit ausreichend Grafikspeicher: ein kompaktes Gerät mit KI-Beschleuniger für ein Team, ein Server mit Grafikkarte für viele Nutzer.
- Eine Datenklassifikation, die festlegt, welche Unterlagen in das System dürfen.
- Eine IT, die einen Server oder eine virtuelle Maschine betreuen kann. Das Einrichten übernimmt ein Dienstleister, der Betrieb bleibt im Unternehmen.
- Ein Rechtekonzept: Wer darf welche Wissensbasis sehen, wer darf Modelle wechseln.
Möglichkeiten
Mit Open WebUI und Ollama bekommen Mitarbeiter eine Oberfläche, die sich wie ChatGPT anfühlt: Chat mit Verlauf, mehrere Modelle zur Auswahl, Anmeldung über das Firmenverzeichnis. Dazu kommt, was ChatGPT ohne Zusatzdienste nicht bietet: Fragen an die eigenen Dokumente mit Quellenangabe, feste Rollen und Berechtigungen, und eine Anbindung an Workflows, damit die KI auch im Hintergrund arbeiten kann.
Vorteile
- Keine Anfrage und kein Dokument verlässt das Unternehmen.
- Keine Nutzungsgebühren: einmalige Hardware, danach unbegrenzte Nutzung.
- Freie Modellwahl, auch europäische Modelle, und die Möglichkeit zu wechseln.
- Schatten-KI mit privaten Konten wird durch ein freigegebenes Angebot abgelöst.
Grenzen und Risiken
Offene Modelle mittlerer Größe sind bei komplexen, mehrstufigen Aufgaben schwächer als die größten Cloud-Modelle. Die Antwortgeschwindigkeit hängt an der Hardware. Und lokal heißt nicht automatisch sicher: Ohne Rechtekonzept und Zweckbindung ist ein internes System genauso angreifbar wie jedes andere. Modellupdates müssen bewusst eingeplant werden, sie kommen nicht von selbst.
Beispiel
Ein Zulieferer mit etwa 120 Mitarbeitern hatte die Nutzung von ChatGPT untersagt, weil Angebote und Zeichnungen in den Anfragen auftauchten. Die Nutzung ging trotzdem weiter, privat und unsichtbar. Ein internes KI-Portal mit lokalem Modell, Anmeldung über das Verzeichnis und einer Wissensbasis für Arbeitsanweisungen löste das Problem: Die Mitarbeiter bekamen ein Werkzeug, das sie nutzen durften, und die IT sah, was damit geschah. Der Pilot lief vier Wochen auf einer Appliance, danach zog das System auf einen Server im Unternehmen.
Häufige Fragen
Ist eine lokale ChatGPT-Alternative genauso gut wie das Original?
Für die meisten Alltagsaufgaben im Unternehmen ja: Zusammenfassen, Strukturieren, Übersetzen, Klassifizieren und Fragen an eigene Dokumente. Bei sehr langen, mehrstufigen Denkaufgaben liegen die größten Cloud-Modelle vorn. Für vertrauliche Daten spielt der Unterschied keine Rolle, weil die Cloud dort ohnehin nicht in Frage kommt.
Welche Software brauche ich für ChatGPT lokal?
Einen Modellserver wie Ollama, der offene Sprachmodelle lädt, und eine Oberfläche wie Open WebUI, die Chat, Verlauf, Nutzerverwaltung und Dokumentenfragen bietet. Beides ist Open Source und läuft auf Linux, macOS oder Windows.
Wie viele Nutzer kann eine lokale Installation bedienen?
Ein kompaktes Gerät mit KI-Beschleuniger bedient ein Team. Für Dutzende gleichzeitige Nutzer braucht es einen Server mit einer oder mehreren Grafikkarten. Die Grenze liegt beim Grafikspeicher und der Zahl gleichzeitiger Anfragen.
Was ist mit Datenschutz und DSGVO?
Lokaler Betrieb vermeidet die Übermittlung an Dritte und damit die schwierigsten DSGVO-Fragen. Konform wird das System durch Rechtekonzept, Zweckbindung und Dokumentation. Das ist Teil einer sauberen Einführung.
Kann ich das vorher testen?
Ja. Eine vorkonfigurierte Appliance kommt ins Unternehmen, wird ans Netz genommen und läuft am selben Tag. Nach vier Wochen mit echten Dokumenten wissen Sie, ob lokale KI für Ihre Fälle trägt.
Fazit
ChatGPT bleibt in der Cloud. Die Funktion, die Unternehmen wollen, lässt sich lokal nachbilden, mit offenen Modellen und offener Software. Ob das der richtige Weg ist, entscheidet nicht die Technik, sondern die Datenklasse und die Zahl der Nutzer. Ein vierwöchiger Test mit echten Dokumenten beantwortet die Frage besser als jede Präsentation.
Verwandte Fragen: Open WebUI oder ChatGPT: Was passt für Unternehmen?, Was kostet eine lokale Unternehmens-KI?, Was ist ein lokales LLM? Und warum ist das für Unternehmen relevant?
Lokale KI für Unternehmen
Sprachmodelle auf eigener Hardware, DSGVO-konform und ohne Anbieterbindung. Optionen, Vergleich mit der Cloud und der Weg zum Pilot.
Zur Lösung: Lokale KI