Kurzer Fachleitfaden

RAG in einem bestehenden System

RAG ist ein Ansatz, bei dem das System relevante Informationen aus internen oder externen Quellen abruft, bevor das Modell antwortet. Die Antwort stützt sich auf das Wissen des Unternehmens, nicht nur auf das allgemeine Gedächtnis des Modells.

RAG ist sinnvoll, wenn KI auf Basis von Dokumenten, Abläufen, Daten oder einer Wissensdatenbank antworten muss, die sich mit der Zeit ändert.

Offizielle Quellen: Google SEO-Startleitfaden · Google-Dokumentation zu strukturierten Daten · Dokumentation zum OpenAI Agents SDK · Supabase-Dokumentation zur Migration · Fachartikel zu Retrieval-Augmented Generation

Welches Problem löst RAG?

Ein Sprachmodell kann eine Antwort formulieren, weiß aber nicht automatisch, was in den Dokumenten deines Unternehmens steht. RAG ergänzt einen Abrufschritt: Das System findet relevante Passagen, gibt sie an das Modell weiter, und das Modell antwortet auf Basis dieses Kontexts.

Das ist nützlich für Kundensupport, Fragen von Mitarbeitenden, Dokumentensuche, Schulungssysteme, Angebotserstellung, Vertragsanalyse und jeden Ablauf, in dem sich Unternehmenswissen mit der Zeit ändert.

Was muss vor der Einführung von RAG vorbereitet werden?

Wissensquellen müssen erfasst, Dokumente bereinigt, Inhalte in sinnvolle Abschnitte aufgeteilt, der Abruf konfiguriert und Antworten mit echten Fragen getestet werden. Lange Dokumente ohne gute Aufteilung liefern oft schwache Antworten, selbst mit einem starken Modell.

Auch Berechtigungen sind wichtig. Nicht jeder Benutzer sollte jedes Dokument sehen. RAG in einem Unternehmenssystem muss Zugriffskontrolle, Datenschutz und die Trennung zwischen Kunden oder Teams respektieren.

Was macht den Unterschied in der Antwortqualität?

Drei Dinge. Aufteilen nach der Struktur des Dokuments, nach Überschriften und Absätzen, nicht nach einer festen Zeichenzahl. Hybride Suche: semantische Suche, die die Absicht versteht, kombiniert mit Stichwortsuche, die Produktcodes, Namen und Klauseln findet. Und im Hebräischen muss die Stichwortsuche Präfixe wie ו, ב, ל, מ und ש verarbeiten, sonst verpasst sie einfache Treffer.

Berechtigungen werden gefiltert, bevor Informationen das Modell erreichen, nicht danach. Gelangt ein Dokument, das der Nutzer nicht sehen darf, in den Kontext des Modells, hält eine Anweisung an das Modell es nicht immer aus der Antwort heraus. Und es wird gemessen: ein Satz aus Dutzenden echter Fragen mit richtigen Antworten, der nach jeder Änderung läuft und prüft, ob die Antworten auf den Quellen beruhen und die Frage wirklich beantworten.

Wie setzt Itay Karkason RAG um?

Itay Karkason bindet RAG schrittweise an bestehende Systeme an: Wissen erfassen, indexieren, an die Oberfläche anbinden, Antworten testen, Berechtigungen regeln und überwachen. Ziel sind brauchbare Antworten auf Basis des Unternehmenswissens.

Zu planende Komponenten

Wissensquellen

PDFs, Dokumente, Webseiten, Tabellen oder Datensätze aus einem bestehenden System.

Chunking

Informationen in abrufbare Teile mit ausreichend Kontext aufteilen.

Berechtigungen

Benutzer, Kunden, Dokumente und sensible Daten getrennt halten.

Qualitätstests

Echte Fragen, fehlende Antworten, Widersprüche und Fälle, in denen das System sagen sollte, dass es keine Information hat.

Häufige Fragen

Ersetzt RAG eine Datenbank?

Nein. RAG ist eine Abruf- und Kontextschicht über vorhandenen Informationen. Die Datenbank verwaltet weiterhin die Daten.

Funktioniert RAG auf Deutsch?

Ja, aber Abrufqualität, Aufteilung der Dokumente und deutsche Antworten sollten mit echten Daten getestet werden.

Quellen

Diese Seite wurde als kurzer Referenzleitfaden auf Basis von NotebookLM-Recherchen und Fachquellen erstellt. Wichtigste Quellen:

Möchtest du KI mit deinem Unternehmenswissen verbinden?

Beginne mit einer Prüfung der Dokumente und des aktuellen Ablaufs.

Kontakt