Was ist RAG und wann lohnt es sich?

RAG (Retrieval-Augmented Generation) ist eine Technik, bei der ein System vor der Formulierung einer Antwort passende Materialien sucht und dem Modell als Kontext übergibt. Dadurch kann die Antwort aktuelle Daten außerhalb der Modellparameter nutzen und Quellen angeben. Den Namen und den grundlegenden Mechanismus beschrieben Lewis und Mitautoren in der ursprünglichen RAG-Arbeit von 2020.

Das ist die ganze Idee. Der Rest dieses Beitrags behandelt Folgen, Kosten und Fallstricke.

So funktioniert RAG Schritt für Schritt

Fünf Phasen. Die Vorbereitung von Quellen und Index wiederholt sich bei Änderungen am Material, Suche und Generierung bei einer Frage:

1. Quellen sammeln. Dokumente, Verträge, Verfahren, E-Mail-Verläufe, Tabellen. Einmalig, danach zyklisch bei Aktualisierungen.
2. Material aufteilen und beschreiben. Ein Dokument wird entlang seiner Struktur geteilt, die Abschnitte erhalten Metadaten. Der Einfluss der Abschnittsgröße muss in der Evaluation geprüft werden; es gibt keine für alle Quellen passende Länge.
3. Indexieren. In einer verbreiteten Variante erhalten die Abschnitte Vektorrepräsentationen; der Index kann auch Wortsuche, Filter und Metadaten unterstützen. Die Wahl des Mechanismus hängt von den Fragen ab.
4. Bei einer Frage suchen. Das System holt Kandidaten per Vektor-, Text- oder hybrider Suche oder über eine Abfrage der strukturierten Quelle und kann sie anschließend neu sortieren.
5. Antwort generieren und kontrollieren. Das Modell erhält Frage und gefundenes Material. Eine produktive Implementierung sollte Quellen ausweisen und eine Regel zum Ablehnen oder Eskalieren haben, wenn die Grundlage nicht ausreicht.

Eine bloße Anweisung garantiert nicht, dass das Modell ihr folgt. Deshalb braucht es überprüfbare Zitate, ein Kriterium für ausreichende Grundlage und die korrekte Antwort „keine Daten“. RAG kann Konfabulationen begrenzen, aber nicht beseitigen.

RAG oder Fine-Tuning? Entscheidungstabelle

RAG und Fine-Tuning können sich ergänzen, ihre Hauptanwendungen unterscheiden sich jedoch. RAG liefert Material zum Zeitpunkt der Antwort; Fine-Tuning verändert das Verhalten des Modells anhand von Beispielen. Fine-Tuning allein ist kein verlässlicher Speicher für aktuelles, zitierbares Wissen.

	RAG	Fine-Tuning
Beantwortet die Frage	„Was steht in unseren Daten?“	„In welchem Stil und Format soll geantwortet werden?“
Wissensaktualisierung	Index nach einer Quellenänderung aktualisieren	erfordert gewöhnlich einen neuen Fine-Tuning-Zyklus
Quellenangabe	Antwort lässt sich mit dem abgerufenen Abschnitt verknüpfen	folgt nicht aus dem Fine-Tuning; braucht einen separaten Mechanismus
Einstiegskosten	hängen von Quellen, Berechtigungen und Evaluation ab	hängen von Trainingsdaten und Fine-Tuning-Prozess ab
Wechsel des Basismodells	erfordert erneute Evaluation von Suche und Antworten	kann erneutes Fine-Tuning und Evaluation erfordern

Praktische Regel: Aktuelles, zitierbares Wissen lässt sich meist leichter über Suche bereitstellen; Format und Verhalten werden über Anweisungen, Beispiele oder Fine-Tuning geprägt. Diese Techniken lassen sich kombinieren; die Wahl wird mit einem Test an den Zielaufgaben bestätigt.

Was entscheidet darüber, ob RAG gut funktioniert?

Vier Bereiche sollten gemeinsam getestet werden; ihr Einfluss hängt von Quellen und Art der Fragen ab:

• Zustand der Quellen. Widersprüchliche Versionen eines Verfahrens können widersprüchliche Grundlagen liefern. Nötig sind Versionierung, ein verantwortlicher Dokumenteneigentümer und eine Regel für den Vorrang von Quellen.
• Aufteilung und Anreicherung der Abschnitte. Ein Abschnitt ohne Kontext („Punkt 4.2 gilt nicht für Kunden der Gruppe B“) ist nutzlos oder schädlich. Wir versehen Abschnitte mit Metadaten: Herkunft, Version und betroffene Personen.
• Qualität der Suche. Vektorähnlichkeit allein verarbeitet Eigennamen, Nummern und Symbole möglicherweise schlechter. Hybride Suche und Reranking sind Hypothesen, die an einem Fragenkatalog geprüft werden müssen, keine automatische Lösung.
• Evaluation. Ein Fragenkatalog mit erwarteten Antworten, der nach jeder Änderung ausgeführt wird. Ohne ihn bedeutet „wir haben verbessert“ lediglich „wir haben etwas geändert und hoffen es“.

Wann RAG nicht geeignet ist

• Wenn Wissen nicht zuverlässig beschafft werden kann. Text lässt sich direkt indexieren, Bilder oder Scans nach Extraktion oder in einer multimodalen Pipeline. Wenn die Antwort nur im Kopf einer Person steckt, muss sie zuerst dokumentiert werden.
• Wenn Fragen Berechnungen oder Aggregationen erfordern. „Wie viele Kunden sind im Juni abgesprungen?“ ist eine Datenbankabfrage und keine reine semantische Suche. Dafür braucht es eine Analyseebene oder einen kontrollierten Mechanismus zur Erstellung und Validierung von Abfragen.
• Wenn Fragen Berechnungen oder das Navigieren von Beziehungen erfordern. „Welche Verträge mit diesem Subunternehmer enden vor dem Audit?“ beantwortet eine Abfrage strukturierter Daten, manchmal unterstützt durch einen Wissensgraphen, besser als bloße Abschnittsähnlichkeit.
• Wenn ein kleiner, stabiler Bestand sicher in den Kontext passt. Die vollständige Übergabe kann einfacher sein als eine Pipeline, sofern Kosten, Berechtigungen und Antwortqualität den Test bestehen.

Was kostet eine RAG-Implementierung?

Unsere Richtwerte für August 2026: ein Pilot auf einem Wissensausschnitt 12.000–30.000 PLN netto (ungefähr 3–5 Wochen, einschließlich Evaluation), ein produktives System mit Integration 30.000–120.000 PLN netto, Qualitätssicherung 2.000–6.000 PLN netto/Monat.

Hinzu kommen laufende Kosten für Modelle und Infrastruktur, die unter anderem von Volumen, Kontextlänge, Caching und Wiederholungen abhängen. Ein Pilot erlaubt es, Qualität, Nutzung durch Anwender und Kosten auf den eigenen Daten vor der Produktionsentscheidung zu messen.

Häufige Fragen

Werden unsere Dokumente zum Training des Modells verwendet?

RAG entscheidet das nicht selbst. Dokumente können in Ihrer Datenbank bleiben, abgerufene Abschnitte gelangen jedoch weiterhin an das gewählte Modell. Nutzung zum Training, Aufbewahrung und Ort der Verarbeitung hängen vom Dienst, Tarif und Vertrag ab. Diese Bedingungen müssen vor der Implementierung geprüft werden.

Beseitigt RAG Halluzinationen?

Es begrenzt sie, beseitigt sie aber nicht. Das Modell kann einen Abschnitt weiterhin falsch interpretieren oder antworten, obwohl es „ich weiß es nicht“ sagen sollte. Deshalb erzwingen wir Quellenangaben und messen, wie häufig das System ohne Grundlage antwortet.

Wie viele Quellen braucht man, damit es sinnvoll wird?

Es gibt keine Mindestzahl von Quellen. Berücksichtigen Sie Häufigkeit und Kosten der Suche, das Risiko einer falschen Antwort, die Qualität der Dokumente sowie Bau- und Wartungskosten. Ein kleiner Bestand kann eine einfachere Suche oder die Übergabe des gesamten kontrollierten Kontexts statt einer vollständigen Pipeline rechtfertigen.

---

RAG und Wissensgraphen sind Technologien; für Sie zählt der Effekt, den wir Second Brain für Unternehmen nennen. Unsere eigenen Werkzeuge beschreiben wir im Labor für Wissensgraphen — wir haben sie für uns selbst entwickelt und trennen daher Forschungserfahrung klar von Kundenergebnissen.