Lokale KI einführen: 7 Punkte vor dem Start

Das Wichtigste in Kürze

• Starten Sie mit einer Aufgabe, nicht mit der Hardware.
• Für den Anfang reicht ein guter Rechner mit Grafikkarte.
• Prüfen Sie, ob das Modell gewerblich genutzt werden darf.
• Die größte Gefahr ist nicht das Modell, sondern ein offener Zugang im Netzwerk.
• Jemand muss sich kümmern: Updates, Sicherung, Regeln.

Lokale KI gilt als sicher. Das stimmt – wenn der Aufbau stimmt. Ein lokales Modell auf einem schlecht gesicherten Rechner ist kein Schutz, sondern ein neues Risiko.

Warum sich lokale KI rechtlich lohnt, lesen Sie im Artikel Lokale KI: Ihre Daten bleiben im Betrieb.

So sieht ein einfaches Setup aus

Eine Tischlerei mit zehn Mitarbeitenden will Kundenanfragen und Angebotstexte mit KI bearbeiten. Kundendaten sollen dabei nicht in die Cloud.

Baustein	Im Beispiel
Aufgabe	Kundenanfragen zusammenfassen, Angebotstexte vorformulieren
Hardware	Ein Rechner mit Grafikkarte (16 GB Grafikspeicher), im versperrten Büro
Software	Ollama (führt das Modell aus) und Open WebUI (Chatfenster im Browser)
Modell	gpt-oss-20b oder eine kleine Qwen-Variante – beide gewerblich frei nutzbar
Zugang	Nur im Firmennetz, jede Person mit eigenem Login
Betreuung	Der IT-Partner aktualisiert monatlich und sichert die Einstellungen

Im Alltag öffnen die Mitarbeitenden ein Chatfenster im Browser – wie bei ChatGPT. Der Unterschied: Alles bleibt im Haus.

1. Aufgabe festlegen

Welche Arbeit soll die KI übernehmen? Lokale Modelle sind gut im Zusammenfassen, Umformulieren, Sortieren und im Durchsuchen eigener Dokumente. Für schwierige Analysen sind große Cloud-Modelle meist noch besser – für KMU stellt sich die Frage Claude vs. ChatGPT.

Starten Sie mit einer Aufgabe, die oft vorkommt und vertrauliche Daten betrifft. Dort bringt lokale KI am meisten.

2. Passende Hardware wählen

Entscheidend ist der Speicher der Grafikkarte. Er bestimmt, wie groß das Modell sein kann.

Ausbaustufe	Speicher	Reicht für
Arbeitsplatzrechner mit Grafikkarte	ca. 16 GB	Wenige Personen, Texte und Zusammenfassungen
Workstation	ca. 32–128 GB	Kleines Team, Suche in eigenen Dokumenten
Server	80 GB und mehr	Ganze Firma, viele Nutzer gleichzeitig

Das sind Richtwerte. Denken Sie auch an Strom, Wärme und Lärm – ein KI-Server gehört nicht unter den Empfangstisch.

3. Lizenz prüfen

Nicht jedes frei herunterladbare Modell darf gewerblich genutzt werden. Unproblematisch sind die Lizenzen Apache 2.0 und MIT – das gilt etwa für Qwen, gpt-oss, Gemma 4 und DeepSeek. Bei anderen Lizenzen lesen Sie vorher nach.

Ein lokales Modell schickt keine Daten an seinen Hersteller. Testen Sie es trotzdem mit Ihren eigenen Aufgaben, bevor Sie sich festlegen. Der Vorteil: Sie können das Modell jederzeit austauschen.

4. Zugang absichern

Das Modell selbst ist nur eine Datei. Das Risiko liegt in der Software drumherum.

• Kein Zugang ohne Login – weder im Firmennetz noch aus dem Internet.
• Zusatzfunktionen wie Websuche nur bewusst einschalten.
• Modelle nur aus offiziellen Quellen laden.
• Regelmäßig aktualisieren.

5. Zugriffsrechte regeln

Durchsucht die KI Ihre Dokumente, darf sie niemandem mehr zeigen, als er ohnehin sehen darf. Die Lohnliste gehört nicht in die Suche fürs ganze Team. Wie Dokumentensuche ohne Cloud funktioniert, steht im Artikel RAG ohne Cloud.

6. Zuständigkeit klären

Cloud-KI wartet der Anbieter. Lokale KI warten Sie oder Ihr IT-Partner. Klären Sie vorab – am besten in einem strukturierten KI-Einführungsprozess:

• Wer ist zuständig, wer vertritt?
• Wer spielt Updates ein?
• Was wird gesichert?
• Wie lange werden Eingaben gespeichert?

7. Team schulen

Die beste lokale KI nützt nichts, wenn das Team Kundendaten weiter in öffentliche Chatbots kopiert – KI DSGVO-konform einsetzen ist keine Technikfrage allein.

• Kurze KI-Richtlinie: Welche Daten dürfen wohin?
• Einschulung an echten Aufgaben, kurz dokumentiert – das verlangt auch die KI-Verordnung (Art. 4).
• Dokumentation: Eintrag ins Verarbeitungsverzeichnis. Bei Mitarbeiterdaten den Betriebsrat einbinden.

Checkliste

• Eine konkrete Aufgabe ist festgelegt
• Die Hardware passt zur Zahl der Nutzer
• Die Lizenz erlaubt gewerbliche Nutzung
• Zugang nur mit Login
• Die Dokumentensuche beachtet Zugriffsrechte
• Zuständigkeit, Updates und Sicherung sind geregelt
• KI-Richtlinie und Einschulung sind dokumentiert – was Sie zur EU AI Act Kennzeichnungspflicht wissen müssen
• Verarbeitungsverzeichnis ergänzt, Betriebsrat bei Bedarf eingebunden

Fazit

Lokale KI ist kein Großprojekt, wenn Sie den richtigen Partner an Ihrer Seite haben. Eine Aufgabe, ein passender Rechner und ein gesicherter Zugang reichen für den Start. Wachsen kann das System später – vom Arbeitsplatz zum Teamserver.

Nächster Schritt: Welche Aufgabe sich für Ihren Betrieb lohnt und welche Hardware dafür reicht, klären wir in der IT-Sprechstunde von Strukturaflow IT – vor Ort oder online, 45 Minuten, ohne Angebotszwang.