Private und lokale Unternehmens-KIKI nutzen, ohne dass sensible Daten das Unternehmen verlassen

Cloud-KI kommt für viele Unternehmen wegen Datenschutz, Betriebsgeheimnissen oder interner Richtlinien nicht in Frage. Lokale KI läuft auf Ihrer Hardware, mit offenen Modellen, unter Ihrer Kontrolle. Ich zeige Ihnen, wann das der richtige Weg ist und wie er beginnt.

Erstgespräch vereinbaren AI Appliance testen

4 Datenklassen: entscheiden über den Betriebsweg
3 Wege: eigener Server, Appliance, EU-Cloud
4 Wochen: Pilot mit echten Daten
0 €: Lizenzkosten für die zentralen Bausteine

Gestapelte Server mit leuchtenden Leiterbahnen, Sinnbild für lokale KI auf eigener Hardware

Das Problem

Innovationsdruck trifft auf Datenschutz

Die Fachbereiche wollen KI nutzen, die IT und der Datenschutz bremsen aus gutem Grund. Beide haben recht. Vier Spannungen, die ich in fast jedem Unternehmen antreffe.

Vertrauliche Daten dürfen nicht in fremde Clouds

Verträge, Konstruktionsdaten, Personaldaten, Kundenkorrespondenz. Für vieles davon fehlt die Rechtsgrundlage, es an einen Anbieter außerhalb der EU zu übertragen. Für anderes fehlt schlicht das Vertrauen.

Schatten-KI ist längst da

Wo kein freigegebenes Werkzeug existiert, nutzen Mitarbeiter private Konten. Das Verbot funktioniert nicht, und die IT hat keinen Überblick, welche Daten wohin gehen.

Kosten laufen mit der Nutzung davon

Token, Nutzerlizenzen, Preisänderungen des Anbieters. Wer KI in Prozesse einbaut, bindet sich an ein Kostenmodell, das er nicht kontrolliert.

Abhängigkeit wird zum strategischen Risiko

Modelle werden abgekündigt, Funktionen geändert, Schnittstellen umgebaut. Wer auf einen Anbieter setzt, baut seine Prozesse auf fremdem Boden.

Typische Situation

Kommt Ihnen das bekannt vor?

Woran Unternehmen erkennen, dass eine lokale oder private Unternehmens-KI die passende Antwort ist.

Ein Server in einem gläsernen Haus mit leuchtendem Schloss, dahinter verschwommen eine Wolke — KI-generiert

Der Datenschutzbeauftragte hat den Einsatz von ChatGPT und ähnlichen Diensten untersagt oder stark eingeschränkt.
Kunden oder Konzernrichtlinien verlangen, dass Daten in Deutschland oder der EU bleiben.
Mitarbeiter nutzen trotzdem KI, nur eben privat und ohne Regeln.
Ein Angebot für eine Cloud-Lösung liegt vor, aber niemand kann die laufenden Kosten für drei Jahre abschätzen.
Es gibt Dokumente, Zeichnungen oder Verträge, die auch nach Anonymisierung nicht das Unternehmen verlassen sollen.
Die IT möchte KI anbieten, aber kontrolliert, mit Anmeldung über das Firmenverzeichnis und klaren Datenregeln.

Die Lösung

Private Unternehmens-KI: offene Modelle auf Ihrer Infrastruktur

Lokale KI bedeutet: Ein offenes Sprachmodell läuft auf einem Server in Ihrem Netzwerk, in Ihrem Rechenzentrum oder auf einer kompakten Appliance. Mitarbeiter arbeiten über eine Weboberfläche damit, stellen Fragen an Dokumente, lassen Texte entwerfen oder Vorgänge zusammenfassen. Keine Anfrage verlässt Ihr Unternehmen.

Dafür gibt es drei Wege, die sich auch kombinieren lassen. Ein eigener Server mit Grafikbeschleuniger, wenn viele Nutzer oder große Modelle gefragt sind. Eine AI Appliance als vorkonfiguriertes Gerät, wenn Sie schnell und ohne Beschaffungsprojekt testen wollen. Eine europäische Cloud mit Auftragsverarbeitung, wenn Sie Rechenleistung mieten, aber die Datenhoheit behalten möchten. Welcher Weg trägt, entscheidet Ihre Datenklassifikation, nicht der Anbieterprospekt.

Ich baue diese Umgebungen mit offenen Komponenten auf: Open WebUI als Oberfläche, Ollama als Modellserver, offene Sprachmodelle europäischer und internationaler Herkunft, ChromaDB für das Unternehmenswissen. Alles ohne Lizenzkosten für die zentralen Bausteine und ohne Bindung an einen Hersteller. Wenn Sie später wechseln wollen, können Sie das.

Betriebsweg

Welche Daten dürfen wohin?

Die Datenklassifikation entscheidet über den Betriebsweg, nicht der Anbieterprospekt. Vier Klassen, drei Wege, eine klare Regel.

Datenklasse antippen: Welche Wege sind zulässig?

ZulässigEigener Serverim Netzwerk oder Rechenzentrum

ZulässigAI Appliancevorkonfiguriert, am selben Tag im Netz

Nicht zulässigEU-Cloudgemietete Rechenleistung, Auftragsverarbeitung

Typische Inhalte

Kundenkorrespondenz, Angebote, Ticketverläufe, Prüfprotokolle

Bleibt im Unternehmen, auch nach Anonymisierung oft nicht sauber trennbar.

So funktioniert es

In vier Schritten zur eigenen Unternehmens-KI

Daten klassifizieren

Welche Daten dürfen wohin? Ein moderierter Halbtag ordnet Ihre Informationen in vier Klassen. Das Ergebnis begründet jede spätere Entscheidung gegenüber Datenschutz und Betriebsrat.

Modell und Betriebsweg wählen

Aus Datenklasse, Nutzerzahl und Anwendungsfall folgen Modellgröße, Hardware und der Betriebsweg: eigener Server, Appliance oder EU-Cloud.

Mit echten Daten pilotieren

Ein abgegrenzter Pilot mit Ihren Unterlagen und Ihren Fragen. Vier Wochen, klare Kriterien, ehrliche Bewertung. Danach wissen Sie, ob und wie es trägt.

Einführen und betreiben

Anmeldung über Ihr Verzeichnis, Rechte, Datenquellen, Schulung und Betrieb. Die Kompetenz bleibt bei Ihnen, ich begleite so lange wie nötig.

Geschäftlicher Nutzen

Was lokale KI Ihrem Unternehmen bringt

Volle Datenkontrolle
Daten bleiben im Unternehmen. Das vereinfacht DSGVO, Auftragsverarbeitung und Kundenaudits erheblich, weil keine Übermittlung an Dritte stattfindet.
Planbare Kosten
Hardware und Einführung statt Token und Nutzerlizenzen. Der Aufwand ist einmalig und überschaubar, die Nutzung danach unbegrenzt.
Keine Anbieterbindung
Offene Modelle und offene Komponenten. Sie können Modelle austauschen, den Betriebsweg wechseln und behalten Ihre Daten und Ihr Wissen.
Schatten-KI wird zum Firmenangebot
Mitarbeiter bekommen ein freigegebenes Werkzeug, das sie nutzen dürfen. Die Nutzung wird sichtbar und regelkonform.
Vertrauliche Anwendungsfälle werden möglich
Vertragsprüfung, Personaldaten, Konstruktionsunterlagen: Fälle, die in der Cloud nie freigegeben worden wären.
Kompetenz im eigenen Unternehmen
Ihre IT und Ihre Fachbereiche lernen, das System zu betreiben und zu erweitern. Das Wissen bleibt bei Ihnen, nicht beim Anbieter.

Sie erkennen Ihre Situation wieder? Im kostenfreien Erstgespräch klären wir, ob dieser Weg für Sie passt.

Erstgespräch vereinbaren

Beispiele

Drei Anwendungen, die nur lokal funktionieren

Anonymisierte Szenarien aus dem Mittelstand. Der Nutzen ist qualitativ beschrieben, Zahlen entstehen erst im Pilot.

Einkauf und Recht

Verträge und Ausschreibungen vertraulich auswerten

Ausgangssituation: Lieferverträge, Rahmenvereinbarungen und Ausschreibungsunterlagen enthalten Preise und Konditionen, die nicht in eine Cloud-KI gehören. Trotzdem wäre eine schnelle Zusammenfassung und Klauselprüfung hilfreich.
Lösung: Ein lokal betriebenes Sprachmodell fasst Dokumente zusammen, markiert Fristen, Haftungsklauseln und Abweichungen von Standardbedingungen. Die Dokumente verlassen das Netzwerk nicht.
Möglicher Nutzen: Schnellerer Überblick über umfangreiche Unterlagen bei voller Datenkontrolle. Die juristische Bewertung bleibt bei den Fachleuten.
Mögliche Technologie: Lokales Sprachmodell mit großem Kontextfenster, Open WebUI, Dokumentenpipeline

IT und Geschäftsführung

Schatten-KI durch ein freigegebenes internes Angebot ablösen

Ausgangssituation: Mitarbeiter nutzen private KI-Konten für Übersetzungen, Texte und Analysen. Die IT weiß es, kann es aber nicht kontrollieren. Ein Verbot funktioniert in der Praxis nicht.
Lösung: Ein internes KI-Portal mit lokalem Modell, Anmeldung über das Firmenverzeichnis und klaren Regeln, welche Daten hineindürfen. Dazu eine Datenklassifikation, die die Freigabe begründet.
Möglicher Nutzen: Die Nutzung wird sichtbar und regelkonform. Mitarbeiter bekommen ein Werkzeug, das sie tatsächlich verwenden dürfen.
Mögliche Technologie: Open WebUI mit Verzeichnisanbindung, Ollama, lokales Sprachmodell

Kundenservice

Kundenkorrespondenz mit personenbezogenen Daten verarbeiten

Ausgangssituation: Der Service möchte Antworten auf Kundenanfragen vorbereiten lassen. Die Anfragen enthalten Namen, Adressen und Vertragsdaten, die nach DSGVO nicht ohne Auftragsverarbeitung in externe Dienste dürfen.
Lösung: Antwortentwürfe entstehen mit einem lokalen Modell, das auf Textbausteine und Produktwissen zugreift. Kein Datentransfer an Dritte, kein Auftragsverarbeitungsvertrag nötig.
Möglicher Nutzen: Kürzere Bearbeitungszeit je Anfrage, einheitlicher Ton und eine Lösung, die der Datenschutzbeauftragte mittragen kann.
Mögliche Technologie: Lokales Sprachmodell, Open WebUI, RAG auf Produktwissen

Alle KI-Anwendungen ansehen

Technologie

Womit ich lokale KI aufbaue

Ein nachvollziehbarer Stack aus offenen Komponenten. Welche Modelle konkret in Frage kommen, hängt von Ihrer Datenklasse und Hardware ab und ist Thema des Erstgesprächs.

OllamaModellserver: lädt und betreibt offene Sprachmodelle auf Ihrer Hardware.
Open WebUIOberfläche für Mitarbeiter: Chat, Dokumentenfragen, Rechte, Anmeldung über Ihr Verzeichnis.
Offene SprachmodelleModelle von Mistral, Meta, Qwen und anderen, quantisiert für lokale Hardware. Auswahl nach Datenklasse und Aufgabe.
ChromaDBVektordatenbank für Unternehmenswissen (RAG), damit Antworten auf Ihren Dokumenten beruhen.
n8nWorkflow-Automation, um die KI mit ERP, CRM, Mail und Ablage zu verbinden.
HardwareVom kompakten Gerät mit KI-Beschleuniger bis zum Server mit Grafikkarte. Dimensioniert nach Nutzern und Modellgröße.

Ich baue, teste und implementiere. Die Technik ist der letzte Schritt, nicht der erste.

Gegenüberstellung

Lokale KI oder Cloud- und Bezahllösung

Beide Wege führen zu KI. Der Unterschied liegt darin, wo Ihre Daten liegen, wie die Kosten entstehen und wie unabhängig Sie bleiben.

Kriterium	Lokale Unternehmens-KI	Cloud- oder Bezahllösung
Datenhoheit	Ihre Daten bleiben vollständig im Unternehmen	Ihre Daten werden an externe Anbieter übertragen
Kostenmodell	Einmalige Hardware und Einführung, danach unbegrenzte Nutzung	Laufende Kosten je Nutzung, Token oder Nutzerlizenz
Betrieb	Funktioniert vollständig ohne Internetverbindung	Erfordert eine dauerhafte Cloud-Anbindung
Compliance	Erleichtert DSGVO und EU AI Act durch lokale Verarbeitung	Erfordert Prüfung von Anbieter, Standort und Vertrag
Abhängigkeit	Kein Anbieter-Lock-in, offene Komponenten	Bindung an einen Anbieter samt Preis- und Funktionsänderungen
Modellqualität	Für Alltagsaufgaben gleichwertig, bei komplexem Reasoning etwas hinter den größten Cloud-Modellen	Zugang zu den größten Modellen, ohne Kontrolle über Änderungen
Kompetenz	Der Kompetenzaufbau bleibt in Ihrem Unternehmen	Das Wissen bleibt überwiegend beim Anbieter

Der Kosten- und Nutzenvorteil

Die Kosten bleiben planbar und begrenzt, statt mit Nutzung, Token oder Lizenzen laufend zu steigen. Der eingesetzte Betrag fließt in bleibende interne Kompetenz statt in dauerhafte Fremdkosten.

Häufige Fragen

Was Unternehmen zu lokaler KI fragen

Kann man ChatGPT lokal im Unternehmen betreiben?

ChatGPT selbst nicht, das ist ein Cloud-Dienst. Aber offene Sprachmodelle mit vergleichbarer Bedienung laufen lokal auf eigener Hardware, mit Open WebUI als Oberfläche. Für die meisten Aufgaben im Unternehmensalltag sind sie ausreichend, bei sehr komplexen Aufgaben liegen die größten Cloud-Modelle vorn.

Wie gut sind lokale Modelle im Vergleich zu ChatGPT oder Claude?

Bei Zusammenfassen, Strukturieren, Übersetzen, Fragen an eigene Dokumente und Klassifizieren sind gute offene Modelle im Alltag gleichwertig. Bei sehr langen, mehrstufigen Denkaufgaben sind die großen Cloud-Modelle stärker. Für vertrauliche Daten ist der Unterschied zweitrangig, weil die Cloud dort ohnehin nicht in Frage kommt.

Was kostet eine lokale Unternehmens-KI?

Die Kosten bestehen aus Hardware, Einführung und Betrieb. Ein Testgerät für ein Team liegt im Bereich eines Notebooks, ein Server für viele Nutzer im Bereich einer kleineren IT-Investition. Laufende Lizenzkosten für die zentralen Bausteine fallen nicht an. Konkrete Zahlen ergeben sich aus Nutzerzahl und Modellgröße, die ich im Erstgespräch mit Ihnen abschätze.

Welche Hardware braucht ein lokales Sprachmodell?

Entscheidend ist der Grafikspeicher. Kleine Modelle laufen auf einem kompakten Gerät mit KI-Beschleuniger oder einem aktuellen Mac, mittlere Modelle brauchen eine Grafikkarte mit 24 GB oder mehr, große Modelle einen Server mit mehreren Karten. Vieles davon lässt sich vorher mit einer Appliance testen.

Ist lokale KI DSGVO-konform?

Lokale Verarbeitung vermeidet die Übermittlung an Dritte und damit die schwierigsten Fragen der DSGVO. Konform wird das System aber erst durch Rechtekonzept, Zweckbindung und Dokumentation. Beides gehört bei mir zur Einführung.

Brauchen wir eigene IT-Fachleute für den Betrieb?

Für den Betrieb reicht in der Regel die vorhandene IT, wenn sie Server oder virtuelle Maschinen betreut. Ich richte das System ein, dokumentiere es und schule Ihre Administratoren. Für Modellauswahl und Erweiterungen bleibe ich ansprechbar.

Was ist mit Updates und neuen Modellen?

Offene Modelle erscheinen in kurzen Abständen. Der Modellserver erlaubt es, neue Modelle zu laden und alte zu behalten. Ich empfehle einen Prüfrhythmus pro Quartal, bei dem wir bewerten, ob ein Wechsel sich lohnt.

Lokal oder europäische Cloud, was ist besser?

Das hängt von Datenklasse, Nutzerzahl und IT-Kapazität ab. Hochvertrauliche Daten sprechen für lokal. Viele Nutzer mit wenig eigener Infrastruktur können mit einer EU-Cloud und Auftragsverarbeitung gut fahren. Oft ist eine Kombination sinnvoll: lokal für das Vertrauliche, gemietet für den Rest.

Lokale KI kennenlernen

Im kostenfreien Erstgespräch klären wir Ihre Datenlage und ob lokal, Appliance oder EU-Cloud zu Ihnen passt. Wer es lieber anfasst, startet mit einem vierwöchigen Appliance-Test.

Erstgespräch vereinbaren AI Appliance ansehen

Private und lokale Unternehmens-KIKI nutzen, ohne dass sensible Daten das Unternehmen verlassen

Innovationsdruck trifft auf Datenschutz