Pilotaż RAG na danych firmy

Pilotaż RAG (generowania wspomaganego wyszukiwaniem) to test na wybranym zbiorze dokumentów, uzgodnionym zestawie pytań i mierzalnych kryteriach odpowiedzi. W 3–5 tygodni sprawdzamy, czy system odnajduje właściwe źródła, używa ich w odpowiedzi i poprawnie zachowuje się przy braku podstaw. Wynik dotyczy zakresu pilotażu, nie całej wiedzy firmy.

Kiedy tego potrzebujesz

• Wiedza siedzi w setkach dokumentów i nikt nie ma pewności, co tam właściwie jest.
• Ktoś już próbował podpiąć AI do Waszych plików i wyszły zmyślone odpowiedzi.
• Zarząd chce dowodu na Waszych danych, zanim zatwierdzi duże wdrożenie.
• Zespół wsparcia i osoby wdrażające nowych pracowników tracą godziny na szukanie tego, co gdzieś już jest opisane.
• Nie wiesz, czy problemem jest model, wyszukiwanie, format dokumentów czy sprzeczne wersje wiedzy.

Co wybieramy do pilotażu?

Dobry wycinek ma jednego właściciela, znane źródła i pytania reprezentujące przyszłe użycie. Może to być dokumentacja jednego produktu, procedury jednego działu albo jeden typ umów. Nie wybieramy „wszystkich plików firmy”, bo wtedy nie wiadomo, co dokładnie potwierdził wynik.

Razem zapisujemy także odpowiedzi oczekiwane, akceptowalne warianty oraz sytuacje, w których system powinien powiedzieć „nie mam podstaw”. Ta lista staje się testem, a nie materiałem do jednorazowego demo.

Jak mierzymy jakość RAG?

Oddzielamy co najmniej trzy pytania:

• czy system odnalazł właściwy dokument lub fragment;
• czy odpowiedź jest zgodna z odnalezionym źródłem i kompletna dla zadania;
• czy cytowanie prowadzi do materiału, który rzeczywiście potwierdza twierdzenie.

Wyniki pokazujemy dla ustalonego zestawu pytań przed i po strojeniu. Nie sprowadzamy jakości do wrażenia osoby prowadzącej prezentację.

Co dostajesz

• działający interfejs pytań i odpowiedzi na uzgodnionym wycinku;
• proces indeksowania, wyszukiwania oraz odpowiedzi ze wskazaniem źródeł;
• zestaw testowy i raport jakości z przykładami błędów;
• ocenę gotowości dokumentów, metadanych, wersji i uprawnień;
• rekomendację: rozbudowa, dodatkowe porządki albo zatrzymanie projektu;
• zakres i wycenę kolejnego etapu, jeśli wynik uzasadnia dalszą inwestycję.

Cena pilotażu wynosi orientacyjnie 12 000–30 000 zł. Zależy przede wszystkim od liczby i formatów dokumentów, wymagań dostępu oraz wielkości zestawu pytań testowych.

Jak przebiega 3-5 tygodni?

Najpierw zamykamy wycinek, dostęp i zestaw pytań. Następnie przygotowujemy dokumenty, indeks oraz pierwszą wersję wyszukiwania. Po zbudowaniu interfejsu uruchamiamy ocenę jakości, analizujemy rodzaje błędów i stroimy te elementy, które można poprawić w granicach pilotażu. Ostatnim wynikiem jest porównanie oraz decyzja, nie sama demonstracja czatu.

Jaki mamy dowód?

Własne narzędzie do budowy grafów wiedzy pokazujemy w laboratorium jako produkt Condictora. Nie jest referencją klienta, ale pozwala przejść przez realny model danych, oznaczanie niepewnych relacji i sposób wyszukiwania.

Co po pilotażu?

Dobry wynik otwiera drogę do second brain dla firmy, gdzie dochodzą pełne źródła, uprawnienia, aktualizacje i produkcyjne utrzymanie. Słaby wynik może wskazać potrzebę uporządkowania dokumentów albo zmianę założenia — i to również jest wartościowa decyzja przed większym wydatkiem.

Opisz rodzaj dokumentów, liczbę przykładowych pytań i odbiorców w briefie. Pełny model pracy etapami pokazuje strona Proces.