RAG-Pilotprojekt auf Unternehmensdaten

Ein RAG-Pilotprojekt (Retrieval-Augmented Generation) ist ein Test auf einem ausgewählten Dokumentbestand, mit einem vereinbarten Fragenkatalog und messbaren Antwortkriterien. In 3–5 Wochen prüfen wir, ob das System die richtigen Quellen findet, sie in Antworten nutzt und sich bei fehlender Grundlage korrekt verhält. Das Ergebnis gilt für den Pilotumfang, nicht für das gesamte Unternehmenswissen.

Wann du das brauchst

• Wissen steckt in Hunderten von Dokumenten, und niemand weiß sicher, was darin eigentlich steht.
• Jemand hat bereits versucht, KI an eure Dateien anzubinden, und es entstanden erfundene Antworten.
• Die Geschäftsleitung möchte einen Beleg auf euren Daten, bevor sie eine große Einführung freigibt.
• Supportteam und Personen, die neue Mitarbeitende einarbeiten, verlieren Stunden mit der Suche nach Dingen, die irgendwo schon beschrieben sind.
• Du weißt nicht, ob das Problem beim Modell, der Suche, dem Dokumentformat oder widersprüchlichen Wissensversionen liegt.

Was wählen wir für das Pilotprojekt aus?

Ein guter Ausschnitt hat eine verantwortliche Person, bekannte Quellen und Fragen, die die spätere Nutzung abbilden. Das kann die Dokumentation eines Produkts, die Verfahren einer Abteilung oder ein Vertragstyp sein. Wir wählen nicht „alle Dateien des Unternehmens“, denn dann ist unklar, was das Ergebnis genau bestätigt hat.

Gemeinsam halten wir auch erwartete Antworten, akzeptable Varianten und Situationen fest, in denen das System sagen soll: „Ich habe keine Grundlage.“ Diese Liste wird zum Test, nicht zum Material für eine einmalige Demo.

Wie messen wir RAG-Qualität?

Wir trennen mindestens drei Fragen:

• Hat das System das richtige Dokument oder den richtigen Abschnitt gefunden?
• Entspricht die Antwort der gefundenen Quelle und ist sie für die Aufgabe vollständig?
• Führt die Quellenangabe zu Material, das die Aussage tatsächlich belegt?

Wir zeigen Ergebnisse für den vereinbarten Fragenkatalog vor und nach dem Tuning. Qualität reduzieren wir nicht auf den Eindruck der Person, die eine Präsentation hält.

Was du erhältst

• eine funktionierende Frage-und-Antwort-Oberfläche auf dem vereinbarten Ausschnitt;
• einen Ablauf für Indexierung, Suche und Antworten mit Quellenangaben;
• einen Testsatz und Qualitätsbericht mit Fehlerbeispielen;
• eine Einschätzung der Reife von Dokumenten, Metadaten, Versionen und Berechtigungen;
• eine Empfehlung: Ausbau, zusätzliche Bereinigung oder Stopp des Projekts;
• Umfang und Schätzung der nächsten Etappe, wenn das Ergebnis eine weitere Investition rechtfertigt.

Der Pilot kostet orientierend 12.000–30.000 PLN. Entscheidend sind vor allem Anzahl und Formate der Dokumente, Zugriffsanforderungen und die Größe des Testfragenkatalogs.

Wie verlaufen die 3-5 Wochen?

Zuerst schließen wir Ausschnitt, Zugänge und Fragenkatalog ab. Danach bereiten wir die Dokumente, den Index und die erste Suche vor. Nach dem Bau der Oberfläche starten wir die Qualitätsbewertung, analysieren Fehlerarten und stimmen die Elemente, die innerhalb des Pilotrahmens verbessert werden können. Das letzte Ergebnis ist ein Vergleich und eine Entscheidung, nicht bloß eine Chat-Demonstration.

Welchen Beleg haben wir?

Unser eigenes Werkzeug zum Aufbau von Wissensgraphen zeigen wir im Labor als Condictor-Produkt. Es ist keine Kundenreferenz, erlaubt aber einen realen Blick auf Datenmodell, Kennzeichnung unsicherer Beziehungen und Suchweise.

Was folgt nach dem Pilotprojekt?

Ein gutes Ergebnis öffnet den Weg zu einem Second Brain für das Unternehmen, in dem vollständige Quellen, Berechtigungen, Aktualisierungen und produktive Wartung hinzukommen. Ein schwaches Ergebnis kann auf die Notwendigkeit hinweisen, Dokumente zu ordnen oder die Annahme zu ändern — auch das ist vor einer größeren Ausgabe eine wertvolle Entscheidung.

Beschreibe Art der Dokumente, die Zahl beispielhafter Fragen und die Zielgruppen im Briefing. Das vollständige etappenweise Arbeitsmodell zeigt die Seite Prozess.