Ein Corporate LLM einzuführen ist kein IT-Projekt, das man nebenbei erledigt, aber auch kein Großvorhaben von Monaten. Mit einem klaren Anwendungsfall, einer aufgeräumten Datenlage und einem Piloten in begrenztem Rahmen starten die meisten Unternehmen sicher. Diese Anleitung zeigt die fünf Schritte und die Fehler, die wir in Projekten am häufigsten sehen.
Fakten geprüft, Stand: August 2026
Nicht 'wir wollen KI', sondern: Wissensdatenbank für den Service, Angebotsentwürfe für den Vertrieb, Dokumentenanalyse für die Rechtsabteilung. Ein einziger klarer Fall reicht für den Start. Alles, was vage bleibt, wird später teuer, weil niemand sagen kann, wann das Projekt fertig ist.
Das Modell wird nur so gut wie die Dokumente, auf die es zugreifen darf. In Schritt 2 prüfen Sie: Welche Quellen sind relevant, wo liegen sie, wie aktuell und wie aufgeräumt sind sie. Vierzehn Versionen derselben Preisliste versteht kein System. Zeit für Datenaufbereitung einzuplanen ist der Punkt, den Unternehmen regelmäßig unterschätzen.
Hier entscheiden sich Datenschutz, Kosten und Betriebsaufwand. Die Grundfrage lautet: eigener Server im Haus oder deutsches Rechenzentrum mit Vertrag. Danach die Modellwahl nach Deutsch-Qualität, Lizenz und Speicherbedarf. Für die meisten Fälle genügt die 8B- bis 32B-Klasse; 70B-Modelle sind selten der richtige Einstieg.
Ein Pilot mit begrenztem Nutzerkreis, drei bis fünf Wissensquellen und definierten Testfragen. Zwei bis vier Wochen sind realistisch. Der Pilot entscheidet nicht nur über die Technik, sondern über die Akzeptanz: Wenn die ersten zehn Nutzer echte Zeit sparen, trägt sich das Projekt selbst.
Nach dem erfolgreichen Piloten folgen die unternehmensweiten Punkte: Rollen und Zugriffe, Nutzungsrichtlinie, Freigabeprozesse für sensible Ausgaben, Modell-Updates mit Test, Backups. Ab hier gilt auch die Dokumentationspflicht ernst, gerade mit Blick auf den EU AI Act, dessen Hochrisiko-Pflichten ab August 2026 greifen.
Unser Festpreis-Pilot ab 3.500 Euro deckt die Schritte 1 bis 4 ab, inklusive Hardware-Empfehlung, Modellwahl, Einrichtung und DSGVO-Dokumentation. Schritt 5 kalkulieren wir nach Umfang. Die Kosten fallen überwiegend einmalig an, anders als bei nutzerbasierten Cloud-Abos.
Der Pilot steht in zwei bis vier Wochen. Der vollständige Rollout über Abteilungen dauert je nach Umfang vier bis zwölf Wochen. Entscheidend ist der Zustand der Daten, nicht die Technik.
Drei Rollen genügen: ein Fachverantwortlicher für den Anwendungsfall, jemand mit Zugriff auf die Datenquellen, und ein IT-Ansprechpartner. Den Rest übernehmen wir im Pilot.
Ja, sobald Dokumente personenbezogene Daten enthalten. Lokaler Betrieb, Zugriffskonzept und Löschregeln machen die Umsetzung überschaubar. Die Dokumentation liefern wir mit, auch für das Verarbeitungsverzeichnis.
Davon raten wir ab. Ein Fall, ein Team, ein messbarer Erfolg. Der zweite Fall startet, wenn der erste läuft. Das ist schneller, als drei halbe Projekte gleichzeitig zu führen.
Sieben kurze Fragen – und Sie erhalten eine ehrliche Einschätzung, welcher Einstieg zu Ihrem Unternehmen passt. Unverbindlich und kostenlos.
