RAG steht für Retrieval-Augmented Generation, und im Mittelstand wird es meist falsch eingeführt: als „besseres ChatGPT", das jetzt auch die eigenen Dokumente kennt. Das ist die Verkaufsversion. Die Arbeitsversion ist nüchterner und nützlicher; RAG ist eine Quellenbindung: Der KI-Agent antwortet nur das, was in einem definierten Datenraum belegt ist, und nennt die Stelle, aus der er es hat.
Dieser Beitrag zeigt, was RAG in kleinen und mittleren Unternehmen (KMU) praktisch leistet, an welchen drei Stellen die Einführung regelmäßig scheitert und wann sich der Aufwand nicht lohnt. Er richtet sich an Inhaberinnen, Inhaber und Verantwortliche in 10- bis 250-MA-Unternehmen, die einen ersten KI-Anwendungsfall mit eigenem Wissen erwägen und vorher wissen wollen, worauf es ankommt.
Das Wichtigste in Kürze
- RAG ist eine Quellenbindung. Der Agent zieht vor der Antwort passende Stellen aus einem definierten Datenraum und bindet seine Aussage daran. Technisch kombiniert RAG ein Sprachmodell mit einem durchsuchbaren Index der eigenen Dokumente (Lewis et al. 2020).
- Drei sinnvolle Einsatzarten im Mittelstand: internes Wissen (Handbücher, Prozesse), Förder- und Vertragsakten, Angebots-Bibliothek. Jede setzt einen kuratierten Datenraum voraus.
- Drei Stolperstellen: der Datenraum ist nicht kuratiert, Updates sind nicht versioniert, das Rechte-Modell ist nicht abgebildet. Jede macht aus RAG ein neues System ohne Verbesserung.
- RAG lohnt sich nicht immer. Bei kleiner Wissensbasis, fehlender Update-Disziplin oder ohne Datenraum-Vorstufe trägt die manuelle Sichtung mehr als das Setup.
- RAG reduziert eine bestimmte Klasse von Halluzinationen. Es bindet faktische Bezüge an die Quelle; Fehlinterpretation und Lückenschluss bleiben Aufgabe der menschlichen Prüfung.
Was RAG für Ihr Unternehmen bedeutet
RAG verbindet ein Sprachmodell mit einem Suchschritt: Bevor das Modell antwortet, sucht es in einem hinterlegten Dokumentenbestand nach passenden Stellen und legt diese der Antwort zugrunde. Im Originalpapier von Lewis und Kolleginnen (2020) heißt das, parametrisches Wissen des Modells mit nicht-parametrischem Wissen aus einem durchsuchbaren Index zu kombinieren. Für Ihr Unternehmen übersetzt sich das in einen einfachen Satz: Der Agent erfindet nicht, er zitiert aus Ihrem Datenraum.
Das ist der Unterschied zur verbreiteten Erzählung. „RAG, damit die KI unsere Dokumente kennt" beschreibt ein Komfort-Feature. „RAG, damit der Agent nur belegte Aussagen trifft" beschreibt eine Verantwortungsregel. Die zweite Lesart ist die, die im Mittelstand trägt, weil sie die Frage beantwortet, der sich jeder erste KI-Einsatz stellen muss: Woher weiß ich, dass die Antwort stimmt?
Nicht „damit die KI unsere Dokumente kennt", sondern „damit der Agent nur belegte Aussagen trifft". Diese zweite Lesart trägt im Mittelstand.
Aus dieser Lesart folgt die zentrale Vorbedingung: RAG ist nur so gut wie der Datenraum, an den es bindet. Ein Quellenanker auf einen ungeordneten Dokumentenhaufen verankert nichts. Deshalb steht vor jedem RAG-Vorhaben die Frage, welcher Bestand kuratiert, aktuell und rechtlich sauber zugänglich ist.
Drei Arten, RAG im Mittelstand einzusetzen
Im Mittelstand tragen drei Anwendungsfälle den ersten RAG-Einsatz, weil sie einen klar abgrenzbaren Datenraum mit wiederkehrendem Lesebedarf haben.
Internes Wissen. Handbücher, Prozessbeschreibungen, Onboarding-Unterlagen, technische Dokumentation. Der Agent beantwortet Mitarbeitendenfragen aus diesem Bestand, mit Verweis auf das Quelldokument, sodass die Antwort prüfbar bleibt. Voraussetzung: Die Dokumente sind aktuell und es gibt eine benannte Person, die veraltete Stände aussortiert.
Förder- und Vertragsakten. Bei wiederkehrenden Förder- oder Vertragsfragen zieht der Agent aus der Aktenlage die relevanten Passagen und Fristen, als Vorarbeit für die menschliche Entscheidung, nicht als Ersatz. Voraussetzung: ein sauber abgegrenzter Aktenraum und ein Rechte-Modell, das sensible Inhalte schützt.
Angebots-Bibliothek. Der Agent stellt aus früheren Angeboten, Leistungsbeschreibungen und Preislogiken einen ersten Entwurf zusammen, vergleichbar mit dem Vorgehen im Angebots-Agenten-Fall aus dem Cluster. RAG liefert hier die Bausteine mit Herkunftsnachweis; die Freigabe bleibt beim Vertrieb.
Allen drei Fällen ist gemeinsam, dass der Nutzen an der Datenraum-Qualität hängt, nicht an der Modellgröße. Ein größeres Modell auf einem schlechten Datenraum produziert souveräner formulierte, aber nicht verlässlichere Antworten.
Drei Stolperstellen
Die meisten gescheiterten RAG-Einführungen im Mittelstand scheitern an drei Stellen davor.
Der Datenraum ist nicht kuratiert. Wird RAG auf einen gewachsenen Dateiablage-Bestand gerichtet (drei Versionen desselben Handbuchs, Entwürfe neben Endständen, Privates neben Betrieblichem), dann zitiert der Agent zuverlässig den falschen Stand. Das Halluzinations-Problem verschwindet nicht, es zieht in den Datenraum um. Kuratierung heißt: Ein Bestand, ein gültiger Stand pro Dokument, klare Aufnahme- und Aussortier-Regel.
Updates sind nicht versioniert. Ein Datenraum altert. Wenn neue Dokumente nicht nachgeführt und alte nicht zurückgezogen werden, antwortet der Agent nach einigen Monaten aus einer Vergangenheit, die niemand mehr verantwortet. Eine quartalsweise Re-Indizierung ist die Mindest-Disziplin; bei schnell wechselnden Beständen (Preise, Fristen) entsprechend häufiger.
Der Datenraum wird einmal aufgebaut und dann nicht gepflegt. Nach wenigen Monaten zitiert der Agent zuverlässig veraltete Stände.
Das Rechte-Modell ist nicht abgebildet. Wer im Datenraum lesen darf, muss auch über den Agenten lesen dürfen, und nicht mehr. Ein RAG-System, das die Zugriffsrechte der Quellsysteme ignoriert, macht vertrauliche Inhalte über die Hintertür zugänglich. Das Rechte-Modell gehört vor den ersten Index, nicht als Nachrüstung.
Wann RAG sich nicht lohnt
RAG ist ein Werkzeug mit Einrichtungs- und Pflegekosten. Drei Konstellationen sprechen dagegen.
Kleine Wissensbasis. Unter etwa 200 Dokumenten trägt die manuelle Quellensichtung in der Regel mehr als ein RAG-Setup. Als Orientierungswert gilt: Wenn ein Mensch den Bestand an einem Vormittag überblickt, lohnt der Index-Aufbau selten.
Keine Update-Disziplin. Wenn niemand benannt ist, der den Datenraum pflegt, wird RAG zur Fehlerquelle mit Verfallsdatum. Ohne Pflege ist die Antwort, mit dem Vorhaben zu warten, bis die Datenraum-Frage geklärt ist.
Fehlende Datenraum-Vorstufe. RAG setzt voraus, dass der Datenraum vor dem KI-Pilot steht: kuratiert, abgegrenzt, rechtlich geklärt. Wer diese Vorstufe überspringt, baut sie während des Pilots und bezahlt das mit Nacharbeit. Wie diese Vorstufe aussieht, beschreibt der Beitrag zum Datenraum vor dem KI-Pilot
RAG, Übergabe-Modi und Halluzinationen
RAG verändert, wer was prüft. Ohne Quellenbindung prüft ein Mensch die inhaltliche Richtigkeit jeder Agenten-Antwort. Mit Quellenbindung verschiebt sich die Prüfung: Statt „Stimmt das?" lautet die Frage „Ist die zitierte Stelle die richtige, und trägt sie die Aussage?". Das ist schneller prüfbar, aber kein Wegfall der menschlichen Aufsicht; der passende Übergabe-Modus bleibt zu wählen, wie ihn die Mensch-Agent-Übergabe im KMU beschreibt. Das NIST AI Risk Management Framework ordnet diese Bindung von Output an dokumentierte Quellen der Manage-Funktion zu: Risiko sinkt durch nachvollziehbare Belege und eine Routine, die sie prüft, nicht durch ein besseres Modell.
Wichtig ist die Grenze. RAG reduziert eine bestimmte Klasse von Halluzinationen: die faktische Treue zur Quelle. Andere Fehlerarten bleiben bestehen. Der Halluzinations-Survey von Ji und Kolleginnen (2023) ordnet als Halluzination, was die Generierung an Text erzeugt, der nicht in der Quelle gedeckt ist. Genau diese Klasse adressiert die Quellenbindung. Was sie nicht adressiert: eine falsch ausgewählte Quelle, eine Fehlinterpretation einer korrekt zitierten Stelle oder eine Lücke, die der Agent überbrückt, statt sie zu benennen. Wie sich diese verbleibenden Fälle einhegen lassen, behandelt der Beitrag KI-Halluzinationen im KMU vermeiden.
RAG sichert die Treue zur Quelle. Ob die Quelle passt und die Aussage trägt, bleibt eine menschliche Entscheidung.
Häufige Fragen
Brauche ich für RAG ein eigenes KI-Modell?
Nein. RAG funktioniert mit einem zugekauften Sprachmodell über Schnittstelle, einem selbst gehosteten Modell oder einer On-Premise-Lösung. Die Wahl hängt von Datenschutz, Latenz und Kosten ab. Der aufwendige Teil ist der Datenraum, nicht das Modell.
Ist RAG DSGVO-konform?
RAG ist eine Architektur ohne eigene Datenschutz-Aussage. Konform wird es durch den Datenraum und das Rechte-Modell: welche Daten aufgenommen werden, wo sie verarbeitet werden und wer über den Agenten worauf zugreifen darf. Personenbezogene Daten im Datenraum lösen dieselben Pflichten aus wie überall sonst. Eine Datenschutz-Folgenabschätzung kann nötig sein.
Wie groß muss der Dokumentenbestand sein?
Es gibt keine harte Grenze. Als Orientierung: Unter etwa 200 Dokumenten lohnt der Setup-Aufwand selten gegenüber der manuellen Sichtung. Entscheidender als die Zahl ist die Wiederkehr: ein kleiner Bestand mit täglichem Lesebedarf kann RAG eher tragen als ein großer, der zweimal im Jahr gebraucht wird.
Was passiert, wenn ein Dokument veraltet?
Genau das ist die Update-Stolperstelle. Ohne Versionierung zitiert der Agent den alten Stand weiter. Deshalb gehört zu jedem RAG-Vorhaben eine benannte Pflege-Verantwortung und eine Re-Indizierungs-Routine: quartalsweise als Minimum, bei Preisen und Fristen häufiger.
Ersetzt RAG die menschliche Prüfung?
Nein. RAG macht die Prüfung schneller und gezielter, weil die Antwort eine Quelle mitführt. Die Entscheidung, ob die Quelle passt und die Aussage trägt, bleibt beim Menschen, besonders dort, wo die Antwort nach außen wirkt oder rechtlich bindet.
Wenn Sie RAG erwägen
Wir begleiten Sie beim ersten Schritt: zu klären, ob ein tragender Datenraum vorhanden ist, welcher Anwendungsfall den Anfang trägt und welche Pflege-Routine RAG über die Zeit verlässlich hält. Wenn Sie einen Wissensbestand haben, der wiederkehrend gebraucht wird, sprechen wir im Erstgespräch darüber — vor dem Werkzeug, vor dem Index.
Erst der Datenraum, dann der Anwendungsfall, dann das Werkzeug. Wer diese Reihenfolge hält, spart sich die Nacharbeit im laufenden Pilot.
Was Sie aus dem Gespräch mitnehmen: eine Einschätzung, ob die Datenraum-Vorstufe heute schon steht — oder welche Vorarbeit zuerst zu leisten ist.
Weiterführend
- Agentisches Arbeiten im KMU ordnet Verantwortung und Geschwindigkeit ohne Kontrollverlust ein.
- Datenraum vor dem KI-Pilot — die Vorstufe für RAG mit den vier Eigenschaften, die zuerst stehen.
- Mensch-Agent-Übergabe im KMU — Validierungslast und Eskalationskante.
- KI-Halluzinationen im KMU vermeiden behandelt die Output-Validierung als Teil der Übergabe.