// blog · Dennis Canet
Warum RAG-Projekte im Mittelstand scheitern
Retrieval-Augmented Generation klingt nach der schnellen Lösung für internes Wissen. Doch in der Praxis scheitern die meisten RAG-Projekte am gleichen Punkt: an den Daten, nicht am Modell.
Das Versprechen klingt verlockend: Man nehme ein Sprachmodell, hänge die eigene Dokumentenablage dran und schon beantwortet ein virtueller Assistent Fragen zu Produkten, Prozessen und Verträgen. Genau deshalb starten so viele Mittelständler RAG-Projekte mit hoher Erwartungshaltung — und beenden sie mit dem Gefühl, die Technik sei noch nicht reif.
In den meisten Fällen ist das Modell aber nicht das Problem.
Das Problem sitzt vor der Abfrage
RAG lebt vom Abruf. Wenn das System die falschen Abschnitte aus den Dokumenten liefert, antwortet auch das beste Sprachmodell mit halluzinierten oder widersprüchlichen Inhalten. Der kritische Hebel liegt also nicht in der Größe des LLM, sondern in der Qualität der Quellen.
Im Mittelstand sieht das konkret so aus: Verträge liegen als gescannte PDFs ohne Textschicht vor, Produktdaten verteilen sich über CRM, ERP und Excel-Listen, und Wissensdokumente existieren in zehn Versionen auf fünf verschiedenen SharePoint-Seiten. Genau dieser Zustand ist normal — aber er ist tödlich für ein RAG-System, das auf sauberen, eindeutigen Kontext angewiesen ist.
Drei Bruchstellen, die fast jedes Projekt trifft
1. Die Quellen sind unzureichend aufbereitet. OCR-Fehler, gescannte Bilder, Tabellen ohne Struktur und Dokumente mit überlappenden Versionen verwandeln die Ablage in ein Rauschen aus halben Fakten. Ein Modell kann aus solchem Input keine verlässliche Antwort synthetisieren.
2. Die Chunking-Strategie passt nicht zum Wissen. Wer Dokumente willkürlich in gleich große Brocken zerschneidet, zerstört Zusammenhänge. Ein technisches Datenblatt braucht andere Grenzen als ein Vertragswerk oder ein Onboarding-Handbuch. Fehlt hier die Domain-Expertise, landen relevante Informationen in unterschiedlichen Chunks und das Retrieval verliert den roten Faden.
3. Es fehlt ein Bewertungsprozess für Antworten. Viele Projekte gehen direkt vom Prototypen in den produktiven Einsatz, ohne systematisch zu prüfen, ob die Antworten korrekt, aktuell und quellenbelegt sind. Mitarbeiter verlieren schnell das Vertrauen — und damit auch die Akzeptanz für das Tool.
Was stattdessen funktioniert
RAG lohnt sich, wenn man es als Wissensprojekt und nicht als KI-Projekt angeht. Der Aufwand verteilt sich anders: weniger Zeit für Prompt-Engineering, mehr Zeit für Datenhygiene, klare Chunking-Regeln und ein kontinuierliches Feedback der Fachabteilung.
Der sinnvolle Einstieg beginnt daher mit einem engen Anwendungsfall. Ein Bereich, eine klare Fragestellung, eine handhabbare Menge an Quellen. Erst wenn dieser erste Fall verlässlich funktioniert, erweitert man das System Schritt für Schritt. Das ist weniger spektakulär — aber es ist der einzige Weg, bei dem RAG im Mittelstand wirklich Nutzen statt Frust liefert.