Erst als beim Zulieferer geklärt war, welche Daten lokal bleiben, wurde die Technik zur einfachen Frage. Aus der Datenklasse ergibt sich das Modell, nicht umgekehrt.
- Die Datenklasse bestimmt das Modell, nicht die Rechenleistung. Der Einstieg liegt deshalb in der Datenklassifikation.
- Lokal heißt kalkulierbare Kosten statt laufender Lizenzgebühren, plus Unabhängigkeit von Anbieterentscheidungen.
- Ein kleines Modell auf vorhandener Hardware reicht für die meisten ersten Anwendungsfälle.
- Die technischen Details darunter brauchen Sie erst, wenn ein konkreter Fall feststeht.
Diese Seite ist ein Nachschlagewerk, kein Einstieg. Wenn Sie noch nicht geklärt haben, welche Ihrer Daten das Unternehmen verlassen dürfen, beginnen Sie besser bei der Datenklassifikation. Die Modellwahl ergibt sich danach fast von selbst.
Die Datenklasse bestimmt die Modellwahl, nicht das Datenblatt
Sobald geklärt ist, welche Ihrer Daten das Unternehmen verlassen dürfen, ist die technische Diskussion fast entschieden. Fällt ein wesentlicher Teil Ihrer Anwendungsfälle in eine schützenswerte Klasse, ist der lokale Betrieb gesetzt, und es bleibt die Frage nach der passenden Hardware. Liegt der Schwerpunkt bei unkritischen oder ohnehin öffentlichen Daten, haben Sie mehr Freiheit und können auch mit einem gehosteten Angebot starten.
Was nicht funktioniert, ist die Reihenfolge umzudrehen und mit dem Modell zu beginnen. Fünf Begriffe, die dabei immer wieder auftauchen, erklärt das Glossar ausführlicher, hier genügt eine grobe Vorstellung von Parametern, Kontextfenster, Quantisierung und Halluzination.
Woran sich ein Modell auswählen lässt
Frei betreibbare Modelle unterscheiden sich weniger im reinen Leistungsvermögen als in Eigenschaften, die für den Betrieb entscheidend sind. Für eine tragfähige Auswahl genügen wenige Kriterien.
- Lizenz. Freizügig oder herstellergebunden. Sie entscheidet darüber, ob Sie ein System später an Kunden weitergeben dürfen, und sie lässt sich nicht rückwirkend korrigieren.
- Sprache. Wie gut das Modell im Deutschen und in Ihren Fachbegriffen arbeitet.
- Herkunft. Ob europäische Herkunft für Sie ein Kriterium ist, etwa aus Datenschutz- oder Unabhängigkeitsgründen.
- Kontextfenster. Ob ein vollständiges Lastenheft in einem Durchgang hineinpasst oder nur einzelne Kapitel.
- Arbeitsweise. Ein nüchternes Modell für die reine Dokumentarbeit oder ein schlussfolgerndes für Aufgaben, bei denen tatsächlich gerechnet oder abgewogen wird.
- Größe. Passend zur vorhandenen Hardware, nicht möglichst groß.
Welche konkrete Kombination Ihren Fall trägt, hängt an Ihrer Datenklasse, dem Anwendungsfall und Ihrer Hardware. Das arbeiten wir gemeinsam heraus. Eine öffentliche Empfehlungsliste wäre in wenigen Monaten veraltet und würde Ihrem Use Case ohnehin nicht gerecht.
Warum die Lizenz ein Auswahlkriterium ist
Weil sie sich nicht rückwirkend korrigieren lässt. Eine freizügige Lizenz verlangt in der Regel nur die Nennung des ursprünglichen Copyrights und die Offenlegung von Änderungen. Herstellerlizenzen gehen darüber hinaus.
| Kriterium | Freizügige Lizenz | Herstellerlizenz |
|---|---|---|
| Nutzungszweck | Keine Einschränkung, jede rechtmäßige Nutzung erlaubt | Nutzungsverbote, Wettbewerbs- oder Trainingsbeschränkungen möglich |
| Widerruf | Nicht möglich | Beendigung bei Verstoß üblicherweise vorbehalten |
| Nachträgliche Änderung | Ausgeschlossen | Vorbehalten, fortgesetzte Nutzung gilt als Zustimmung |
| Weitergabe an Kunden | Nur Lizenztext beilegen | Durchreichen der Beschränkungen an jeden nachgelagerten Nutzer |
Die Änderungsklausel wird oft unterschätzt. Es gab Fälle, in denen ein Anbieter die Nutzungsrichtlinie eines als offen beworbenen Modells nachträglich anpassen und damit Nutzungsrechte einschränken konnte. Für ein System in einem Produktionsprozess ist das ein Betriebsrisiko.
Wichtig: Die Lizenz gilt pro Modellvariante, nicht pro Anbieter. Derselbe Anbieter kann eine Variante freizügig und eine andere mit kommerziellen Einschränkungen lizenzieren. Prüfen Sie den Lizenztext der exakten Variante einschließlich Versionsnummer. Und die Lizenz ersetzt die Regulierung nicht: Die Pflichten aus dem EU AI Act gelten unabhängig von der gewählten Lizenz.
Ein Befund, der die Entscheidung erleichtert
88 Prozent der Unternehmen geben an, dass das Herkunftsland des KI-Anbieters für sie wichtig ist, und 93 Prozent bevorzugen deutsche Anbieter. In der Praxis nutzt jedoch die große Mehrheit US-amerikanische Dienste, während europäische Anbieter im Promillebereich liegen.
Der Abstand zwischen 93 Prozent Wunsch und einem Bruchteil davon in der Praxis ist ein ungelöstes Problem, keine Präferenz. Genau an dieser Stelle setzt lokale KI an.
Quelle: Bitkom, Künstliche Intelligenz in Deutschland, Studienbericht 2026.
Wie zuverlässig sind die Antworten?
Der praktisch wichtigste Befund läuft der Intuition zuwider. Schlussfolgernde Modelle, die vor der Antwort in Zwischenschritten denken, schneiden beim Zusammenfassen eines vorgelegten Dokuments häufig schlechter ab. Sie investieren Rechenaufwand in das Durchdenken und weichen dabei vom Ausgangsmaterial ab, statt sich schlicht daran zu halten.
Für Ihre Auswahl heißt das Folgendes. Soll das Modell nur vorhandene Dokumente auswerten, also Prüfprotokolle, Lastenhefte oder Reklamationen, ist ein nüchternes Instruct-Modell die bessere Wahl. Schlussfolgern gehört dorthin, wo tatsächlich gerechnet oder abgewogen wird.
Der wirksamste Hebel ist ohnehin nicht die Modellwahl, sondern die Architektur darum herum. Ein Modell, das ausschließlich aus mitgelieferten Dokumenten antwortet und die Fundstelle mit ausgibt, produziert überprüfbare Ergebnisse auch dann, wenn es kleiner ist.
Einschränkung. Belastbare, einheitlich erhobene Zuverlässigkeitswerte liegen für frei betreibbare Modelle nicht vor. Testen Sie mit Ihren eigenen Dokumenten, statt sich auf allgemeine Ranglisten zu verlassen.
Liefert dasselbe Modell zweimal dasselbe Ergebnis?
Nicht ohne Zusatzmaßnahmen, und das überrascht viele Betriebe. Ein fester Startwert und eine auf null gesetzte Temperatur entfernen nur einen Teil des Zufalls. Weil Fließkomma-Rechnung nicht assoziativ ist, werden Zwischenergebnisse je nach Auslastung in anderer Reihenfolge zusammengerechnet, was zu abweichenden Antworten führt.
Reproduzierbarkeit lässt sich technisch erzwingen, kostet aber spürbar Geschwindigkeit.
Praktische Konsequenz. Wenn Ergebnisse dokumentationspflichtig sind, speichern Sie die Ausgabe zusammen mit Eingabe, Modellversion und Zeitstempel. Verlassen Sie sich nicht darauf, ein Ergebnis später identisch erzeugen zu können.
Auf welcher Plattform läuft das?
Windows, Linux und macOS funktionieren alle. Für Betriebe mit etablierter Microsoft-Umgebung heißt das, Sie brauchen keinen Linux-Aufbau, um zu starten.
Für einen ersten Piloten reicht ein einzelner Rechner. Sobald mehrere Abteilungen gleichzeitig zugreifen, wird ein Serverbetrieb sinnvoll, der viele parallele Anfragen effizient verarbeitet. Wer keinen Serverraum hat und mit wenigen Personen arbeitet, findet in einem gut ausgestatteten Apple-Gerät eine Alternative. Der Vorteil liegt in der Speicherkapazität pro Gerät, der Nachteil in der geringeren Geschwindigkeit pro Token.
Welcher Weg für Sie der richtige ist, hängt an Ihrer vorhandenen Umgebung. Das gehört in die Planung, nicht in eine pauschale Empfehlung.
Welche Hardware brauchen Sie?
| Klasse | Grobe Ausstattung | Geeignet für |
|---|---|---|
| Arbeitsplatz | Gut ausgestatteter Rechner mit ausreichend Speicher | Einzelperson, Machbarkeitsnachweis |
| Abteilungsserver | Server mit dedizierter Grafikkarte | Fünf bis zwanzig Personen |
| Betriebsserver | Dauerlastfähige Serverhardware | Betriebsweiter Einsatz |
| Apple-Alternative | Gerät mit großem Unified Memory | Ein bis fünf Personen, kein Serverraum |
Consumer- oder Serverhardware? Für Dauerbetrieb mit mehreren Nutzern ist Serverhardware die bessere Wahl, weil Consumer-Hardware für Gaming optimiert ist, nicht für dauerhafte Inferenz. Consumer-Karten neigen unter Dauerlast zu thermischem Drosseln und bieten keine Fehlerkorrektur im Speicher. Für ein System, das an einer Schicht hängt, ist die Fehlerkorrektur kein Detail.
Der häufigste Fehler bei der Speicherplanung. Manche Modelle sind in viele Fachbereiche aufgeteilt, von denen pro Anfrage nur ein kleiner Teil mitarbeitet. Das spart Rechenleistung und macht die Antwort schneller, spart aber keinen Speicher. Alle Fachbereiche müssen gleichzeitig im Speicher bereitstehen, damit jederzeit der passende einspringen kann.
Ein Bild dazu. Stellen Sie sich eine große Fachbibliothek vor. Für eine einzelne Frage schlägt jemand nur zwei Bücher auf, das geht schnell. Trotzdem müssen alle Bücher im Regal stehen, damit für die nächste Frage das richtige dabei ist. Wer den Raum nur für zwei Bücher plant, hat zu klein gerechnet. Rechnen Sie den Speicher deshalb nach der Gesamtgröße des Modells, nicht nach dem Teil, der pro Anfrage aktiv ist.
Energie und Betriebskosten
In einer Region, in der Energiekosten ohnehin ein Dauerthema sind, gehört dieser Punkt in die Rechnung. Ein Arbeitsplatzsystem fällt nicht ins Gewicht. Ein Abteilungsserver mit einer dedizierten Grafikkarte liegt unter Volllast im Bereich einer kleinen Werkstattmaschine, läuft aber typischerweise nicht durchgehend unter Volllast, sondern nur während der Anfragen. Ein Betriebsserver der oberen Klasse braucht eine geeignete Kühlung und einen Aufstellort, der die Abwärme aufnimmt.
Rechnen Sie in der Wirtschaftlichkeitsbetrachtung mit Anschaffung, Energie, Kühlung und dem Personalaufwand für den Betrieb. Der letzte Posten wird am häufigsten vergessen und ist oft der größte.
Der Personalaufwand
Ein lokales System braucht jemanden, der es betreut. Updates einspielen, Modelle austauschen, die Dokumentenbasis pflegen, Fragen der Anwender beantworten, Protokolle prüfen.
Die Abwägung sieht so aus. Bei einem Cloud-Dienst tragen Sie das Risiko der Datenweitergabe, aber der Anbieter betreibt die Absicherung. Beim lokalen Betrieb entfällt das Weitergaberisiko vollständig, dafür übernehmen Sie Patchmanagement, Härtung, Monitoring und Ausfallsicherheit selbst.
Wenn diese Kapazität nicht vorhanden ist, ist ein gehostetes Modell bei einem europäischen Anbieter die vernünftigere Wahl als ein selbstbetriebenes System, das niemand pflegt.
Ein Argument, das oft fehlt
Neben dem Datenschutz gibt es ein zweites Argument für frei betreibbare Modelle, das in Fertigungsbetrieben unmittelbar verstanden wird, nämlich Unabhängigkeit.
Ein Modell, das Sie heruntergeladen haben, funktioniert auch dann noch, wenn ein Anbieter das Preismodell ändert, ein Produkt abkündigt, eine Region nicht mehr bedient oder die Nutzungsbedingungen anpasst. Wer in Ersatzteilverfügbarkeit über zwanzig Jahre denkt, versteht dieses Argument sofort.
Infrastruktur und Sicherheit
| Ausbaugrad | Infrastruktur | IT-Sicherheit |
|---|---|---|
| Stufe 1, Pilot | Einzelner Rechner, kein Zugriff auf Fachsysteme | Dokumentierte Regelung, welche Daten eingegeben werden dürfen |
| Stufe 2, Abteilung | Server in eigener Netzzone, Anbindung an Dokumentenspeicher | Eigenes Netzsegment, Anmeldung über vorhandenes Verzeichnis, Protokollierung |
| Stufe 3, Betriebsweit | Dauerlastfähige Hardware, getrennte Test- und Produktivumgebung | Berechtigungskonzept, Eingabe- und Ausgabeprüfung, Penetrationstest |
| Stufe 4, Fertigungsnah | Trennung von Büro- und Fertigungsnetz, Betrieb ohne Internet möglich | Keine Rückkanäle, gesonderte Freigabe jeder Verbindung |
Fünf Punkte gehören von Anfang an dazu, weil sie später kaum nachrüstbar sind.
- Netzsegmentierung. Der KI-Server gehört in eine eigene Zone mit dokumentierten Verbindungen. Ein System, das gleichzeitig ins Internet, ins Büronetz und ins Fertigungsnetz sieht, ist im Schadensfall die Brücke zwischen allen dreien.
- Protokollierung. Eingabe, Ausgabe, Nutzer, Zeitstempel, Modellname und Modellversion. Das ist gleichzeitig die Grundlage für Nachvollziehbarkeit und für eine Vorfallmeldung.
- Zugriffsrechte über die Datenschicht. Ein Sprachmodell hat keine eigene Rechteverwaltung. Wer Zugriff hat, sieht alles, was die angebundene Quelle liefert.
- Modellintegrität. Prüfsumme der heruntergeladenen Gewichte dokumentieren, Bezugsquelle festhalten, Updates als geplante Änderung behandeln.
- Ausgabekontrolle vor Automatisierung. Sobald eine Antwort automatisch eine Aktion auslöst, brauchen Sie eine Prüfstufe dazwischen.
Der Sprung von Stufe 1 auf Stufe 2 ist der teure. Bis dahin brauchen Sie kein neues Sicherheitskonzept, nur eine dokumentierte Nutzungsregel. Ab Stufe 2 wird das System Teil Ihrer Infrastruktur und damit Teil der Prüfpflicht.
Woher bekommen Sie die Modelle?
Zwei Hinweise, die in Betrieben regelmäßig übersehen werden.
Laden Sie Gewichte ausschließlich vom offiziellen Account des Anbieters. Zu jedem bekannten Modell existieren zahlreiche Kopien und Quantisierungen von Dritten. Diese sind nicht per se schlecht, aber sie sind nicht signiert und nicht vom Hersteller geprüft.
Notieren Sie zu jedem eingesetzten Modell die genaue Versionsbezeichnung, das Quantisierungsformat und die Prüfsumme der heruntergeladenen Datei. Ohne diese Angaben lässt sich später nicht belegen, welches System eine bestimmte Ausgabe erzeugt hat.
Wenn Sie nicht selbst betreiben wollen, bieten europäische Hoster einen Mittelweg zwischen Cloud-Komfort und Datenkontrolle. Wer den lokalen Betrieb schlüsselfertig statt selbst aufgebaut bevorzugt, findet in einer vorkonfigurierten AI Appliance eine weitere Option. Welcher Bezugsweg und welcher Betrieb zu Ihnen passt, klären wir im Gespräch.
Häufige Fragen
Brauchen wir Linux?
Nein. Windows, Linux und macOS funktionieren alle. Linux hat Vorteile bei hohem Durchsatz und reproduzierbarer Inferenz, ist aber keine Voraussetzung für den Einstieg.
Läuft das auf unserem vorhandenen Windows Server?
Grundsätzlich ja, sofern eine geeignete Grafikkarte verbaut ist. Für etablierte Microsoft-Umgebungen gibt es einen dafür vorgesehenen Weg, der keinen Linux-Aufbau verlangt.
Reicht ein normaler Bürorechner?
Für einen Test mit einem kleineren Modell in sparsamer Quantisierung reicht ein gut ausgestatteter Arbeitsplatz. Für produktiven Mehrbenutzerbetrieb nicht.
Ist ein Mac für ein Industrieunternehmen sinnvoll?
Wenn kein Serverraum vorhanden ist und ein bis fünf Personen damit arbeiten, ja. Der Vorteil ist die Speicherkapazität pro Gerät, der Nachteil die geringere Geschwindigkeit pro Token.
Können wir eine Gaming-Grafikkarte verwenden?
Für Tests ja. Für Dauerbetrieb ist Serverhardware die bessere Wahl, weil Consumer-Karten unter Dauerlast thermisch drosseln und keine Fehlerkorrektur im Speicher haben.
Können wir das System ohne Internetanbindung betreiben?
Ja. Internetzugang brauchen Sie nur zum initialen Herunterladen der Gewichte und für Updates. Beides lässt sich als kontrollierter Vorgang gestalten.
Wie lange bleibt ein Modell aktuell?
Der Markt bewegt sich in Monaten, nicht in Jahren. Bauen Sie Anwendungen so, dass das Modell austauschbar bleibt.
Der Markt für Sprachmodelle und ihre Lizenzbedingungen verändert sich schnell. Bevor Sie sich für ein konkretes Modell entscheiden, prüfen Sie dessen Lizenz und Nutzungsbedingungen an der Quelle.
Welche Modelle und welche Hardware für Ihren Fall tragen, klären wir am besten anhand Ihrer Datenklassen. Termin vereinbaren oder zuerst die Datenklassifikation ansehen.