Die Frage lautet nicht "Chatbot ja oder nein", sondern: In welcher Form liegt Ihr Wissen vor? Liegt es in Dokumenten, gehört ein RAG-System dazu. Liegt es in Tabellen und Kennzahlen, bringt ein Text-to-SQL-Chatbot mehr. Soll etwas vorhergesagt werden, brauchen Sie Machine Learning. Wer diese Unterscheidung überspringt und für alles dieselbe Technik nimmt, bekommt ein System, das auf dem Papier funktioniert und im Alltag enttäuscht.
Dieser Beitrag erklärt die drei Ansätze, ihre Fallstricke und einen Zeitplan, mit dem Sie in wenigen Monaten zu einem funktionierenden Wissensassistenten kommen. Grundlagen zu RAG finden Sie in unserem Artikel RAG einfach erklärt.
Die drei Ansätze im Überblick
| Ansatz | Geeignet für | Typische Datenquellen | Typische Frage |
|---|---|---|---|
| RAG | Fragen zu Dokumenten und Regeln | PDFs, Handbücher, Wikis, Tickets, Verträge | "Wie läuft unser Reklamationsprozess?" |
| Text-to-SQL | Fragen zu Kennzahlen und Beständen | ERP, CRM, Data Warehouse, SQL-Datenbanken | "Wie viele Reklamationen hatten wir im Juli?" |
| Machine Learning | Prognosen und Klassifikation | Zeitreihen, Transaktionsdaten, Sensordaten | "Wie viele Reklamationen sind nächsten Monat zu erwarten?" |
Die Grenzen sind fließend. In der Praxis entstehen gute Systeme oft als Kombination: RAG erklärt die Vorgehensweise, SQL liefert die Zahlen, ein ML-Modell die Prognose. Entscheidend ist, dass jeder Baustein die Aufgabe bekommt, für die er gebaut wurde.
RAG: Der Assistent für Dokumente
RAG (Retrieval-Augmented Generation) durchsucht bei jeder Frage Ihre Dokumente, übergibt die passenden Abschnitte an das Sprachmodell und lässt es daraus antworten, idealerweise mit Quellenangabe. Das ist der richtige Weg für Handbücher, Richtlinien, Verträge, Projektwissen und interne FAQs. Updates sind billig: Sie pflegen Dokumente, kein Modell.
Zwei Fehler beobachten wir in Projekten immer wieder:
Erstens die falsche Datenbasis. RAG-Antworten sind nur so gut wie die Dokumente dahinter. Veraltete, doppelte oder widersprüchliche Unterlagen erzeugen Antworten, denen niemand vertraut, und die Pflege versandet. Der Aufbau einer sauberen Wissensbasis ist der Teil, den Software-Verkäufer gern verschweigen.
Zweitens die Vermischung von Datensätzen. Wer Kundendaten verschiedener Mandanten in einen gemeinsamen Index wirft, riskiert Antworten aus dem falschen Datensatz. Das System halluziniert dann nicht, es antwortet korrekt aus dem falschen Kontext. Abhilfe schaffen Metadaten und getrennte Collections, die pro Nutzer oder Mandant sauber getrennt bleiben. Mehr dazu in unserem Beitrag zur KI-Wissensdatenbank für Unternehmen.
Text-to-SQL: Fragen an Ihre Kennzahlen
Ein SQL-Chatbot übersetzt natürliche Sprache in Datenbankabfragen. "Wie hoch war der Auftragseingang im zweiten Quartal, aufgeschlüsselt nach Region?" wird zu einer Abfrage, das Ergebnis kommt als Tabelle. Der Reiz: Antworten sind präzise und halluzinationsfrei, weil sie aus Ihren Zahlen stammen. Und Sie arbeiten mit der Infrastruktur weiter, die Sie bereits haben.
Die Kehrseite: Das Sprachmodell braucht ein kuratiertes Datenmodell. Wer dem Modell das komplette rohe Datenbankschema übergibt, erntet Fehlabfragen. Begriffe wie "Umsatz", "Deckungsbeitrag" oder "aktiver Kunde" müssen fachlich eindeutig definiert sein. Hinzu kommen schreibgeschützte Zugänge, geprüfte Kennzahlen, Berechtigungen pro Nutzer und die Protokollierung jeder Abfrage. Ohne diese Absicherung ist ein SQL-Chatbot ein Werkzeug, das schöne, aber falsche Zahlen liefert.
Machine Learning: Wenn Vorhersagen zählen
Machine Learning ist der richtige Ansatz, wenn aus historischen Daten eine Prognose oder Entscheidung werden soll: Absatzplanung, Predictive Maintenance, Qualitätsabweichungen, Zahlungsausfallrisiken, Lieferzeiten. Das Modell lernt Muster aus der Vergangenheit und wendet sie auf neue Fälle an.
Der Aufwand ist höher als bei RAG oder SQL. Sie brauchen historische, konsistente und ausreichend gelabelte Daten. Dafür löst ML Aufgaben, die die beiden anderen Ansätze gar nicht angehen. Klassisches Beispiel aus der Praxis: Anfragen enthalten Produktbezeichnungen, die nicht normiert sind. Jeder Kunde beschreibt dasselbe Produkt anders. RAG und SQL stoßen hier an Grenzen, weil nichts sauber benannt ist. Ein ML-Modell kann die Zuordnung aus tausenden historischen Fällen lernen und damit Angebote oder Bestellungen automatisch richtig verknüpfen.
Vier Fragen für die richtige Wahl
1. Liegt die Information überwiegend in Dokumenten oder Freitext? Dann RAG. 2. Liegt sie in relationalen Tabellen oder Kennzahlensystemen? Dann Text-to-SQL. 3. Soll eine Entwicklung vorhergesagt oder ein Fall automatisch klassifiziert werden? Dann Machine Learning. 4. Müssen Dokumente, Kennzahlen und Prognosen zusammenarbeiten? Dann eine Kombination aus allen dreien.
Wie verbreitet ist KI im Mittelstand überhaupt?
Die Zahlen aus 2025 und 2026 zeigen ein klares Muster: KI ist angekommen, aber längst nicht überall im produktiven Einsatz.
Die Bitkom-Studie "Künstliche Intelligenz in Deutschland" meldet 36 Prozent KI-Einsatz unter deutschen Unternehmen, nach 20 Prozent im Jahr 2024. KfW Research kommt für den Mittelstand auf 20 Prozent, das entspricht knapp 780.000 Unternehmen. Die amtliche IKT-Erhebung des Statistischen Bundesamts nennt für 2025 insgesamt 26 Prozent, mit deutlichem Gefälle nach Größe: 23 Prozent bei kleinen Betrieben, 36 Prozent bei mittleren, 57 Prozent bei großen. Das Institut der deutschen Wirtschaft berichtet umgekehrt, dass 59,8 Prozent der Unternehmen noch keine KI nutzen.
Für Wissensassistenten mit eigenen Daten gibt es keine vergleichbar belastbare Zahl. Die Studien messen allgemeine KI-Nutzung, nicht den produktiven Betrieb von RAG- oder SQL-Systemen. Wer mit einem sauberen Wissensassistenten startet, liegt also weiter vorn, als die allgemeinen Prozentsätze vermuten lassen.
Zeitplan: Vom ersten Dokument zum Wissensassistenten
| Zeitraum | Schritt | Ergebnis |
|---|---|---|
| Woche 1-2 | Anwendungsfall festlegen und Dokumente sichten | Ein klar umrissenes Pilot-Thema, etwa interner Service oder IT-Support |
| Woche 3-4 | Wissensbasis aufräumen: aktuell, eindeutig, berechtigt | Saubere Dokumente als Fundament |
| Woche 5-6 | RAG-Pilot bauen und mit 5 bis 10 Mitarbeitern testen | Erste Antworten mit Quellenangabe im Alltag |
| Monat 3 | Kennzahlen per Text-to-SQL anbinden | Fragen an ERP- und CRM-Daten in natürlicher Sprache |
| Monat 4 | Messen: Trefferqualität, Nutzung, eingesparte Zeit | Entscheidungsgrundlage für Rollout oder Anpassung |
Checkliste vor dem Start
Fazit
KI-Wissensmanagement scheitert selten an der Technik, sondern an der falschen Zuordnung von Daten und Ansatz. RAG für Dokumente, Text-to-SQL für Kennzahlen, Machine Learning für Prognosen. Wer diese Reihenfolge einhält, klein startet und die Datenbasis ernst nimmt, bekommt ein System, das Mitarbeiter tatsächlich nutzen.
Mehr zum Einstieg: Lokale KI für Unternehmen erklärt, wie ein Wissensassistent ohne Datenabfluss ins Ausland läuft.
Quellen
- Bitkom e. V.: "Künstliche Intelligenz in Deutschland", Studie 2025 (veröffentlicht 2026).
- KfW Research: "Einsatz von Künstlicher Intelligenz vor allem in Unternehmen mit hoher Digitalisierungsreife", Fokus Volkswirtschaft Nr. 533, 2026.
- Statistisches Bundesamt: IKT-Erhebung für das Berichtsjahr 2025, KI-Nutzung nach Unternehmensgröße.
- Institut der deutschen Wirtschaft: "Künstliche Intelligenz als Wettbewerbsfaktor für die deutsche Wirtschaft", 2025.
Weiterführend: RAG einfach erklärt und KI-Wissensdatenbank für Unternehmen.
Stand: September 2026
