Was ist Retrieval Augmented Generation (RAG)?
Retrieval Augmented Generation heißt übersetzt etwa abrufgestützte Erzeugung. Das Verfahren verbindet zwei Bausteine. Ein Suchsystem findet passende Inhalte, und ein großes Sprachmodell formuliert daraus die Antwort. Geläufig ist auch die Schreibweise Retrieval-Augmented Generation. Bei Google heißt die Technik außerdem Grounding.
Ohne Abruf kennt ein LLM nur den Stand seiner Trainingsdaten. Mit RAG kann es laut AWS auf eine externe Wissensquelle zugreifen, ohne neu trainiert zu werden. So gelangen neuere oder interne Informationen in die Antwort.
Der Begriff geht auf den Fachaufsatz von Patrick Lewis und Kolleg:innen aus dem Jahr 2020 zurück, der für die Konferenz NeurIPS angenommen wurde.
Wie RAG funktioniert: Abruf, Anreicherung, Antwort
Bei jeder Frage durchläuft ein RAG-System drei Schritte:
- Abruf (Retrieval): Das System sucht zur Frage passende Inhalte, etwa in einem Suchindex oder in einer eigenen Datenbank.
- Anreicherung (Augmentation): Die gefundenen Textstellen werden der Frage hinzugefügt und gemeinsam an das Sprachmodell übergeben.
- Antwort (Generation): Das Modell formuliert die Antwort auf dieser Grundlage. Viele Systeme nennen oder verlinken dabei ihre Quellen.
Fragt eine Kundin zum Beispiel den Chatbot eines Herstellers nach der Garantiezeit, findet das System den passenden Absatz in den Garantiebedingungen. Es gibt ihn dem Modell mit, und das Modell antwortet auf dieser Grundlage. Das Modell erhält dann etwa diesen Text:
Frage: Wie lange gilt die Garantie auf das Modell X?
Kontext aus „Garantiebedingungen, Abschnitt 3“:
Auf das Modell X gewähren wir 24 Monate Garantie ab Kaufdatum.
Anweisung: Antworte nur auf Grundlage des Kontexts und nenne die Quelle.Die Bausteine eines RAG-Systems
- Wissensbasis: Dokumente, Datenbanken oder Website-Inhalte, aus denen das System schöpft.
- Abrufkomponente (Retriever): die Suche, die zu einer Frage passende Stellen findet.
- Prompt-Aufbau: die Logik, die Frage, Textstellen und Anweisungen zusammenfügt.
- Sprachmodell: das Modell, das die Antwort formuliert.
Abschnitte, Embeddings und Vektorsuche
Damit der Abruf schnell passende Stellen findet, teilen viele RAG-Systeme Dokumente vorab in kurze Abschnitte auf, laut Anthropic meist höchstens einige Hundert Tokens lang. Jeder Abschnitt wird in einen Zahlenvektor umgewandelt, ein sogenanntes Embedding, das seine Bedeutung abbildet. Die Frage durchläuft denselben Schritt, und eine Vektorsuche findet die Abschnitte mit ähnlicher Bedeutung. Ergänzend kann eine Stichwortsuche wie BM25 genaue Wörter und Wendungen finden.
Die Kombination lohnt sich. Anthropic berichtet aus eigenen Tests, dass Abschnitte mit zusätzlichem Kontext zusammen mit einer Stichwortsuche die Fehlerquote beim Abruf um 49 % senkten, mit einer nachgelagerten Neusortierung der Treffer (Reranking) um 67 %. Das sind Werte des Herstellers für seine Testdaten.
Vorteile von RAG
- Aktuelles Wissen: Neue Inhalte kommen in die Wissensbasis, und das Modell kann sie bei der nächsten Frage nutzen. Ein neues Training ist dafür nicht nötig.
- Eigene Daten: Handbücher, Produktdaten oder Richtlinien eines Unternehmens fließen in die Antwort ein, obwohl das Modell sie nie gelernt hat.
- Nachprüfbare Antworten: Das System kennt die verwendeten Textstellen und kann sie als Quelle nennen.
- Weniger erfundene Angaben: Das Modell stützt sich auf vorgelegte Texte. Ausgeschlossen sind Fehler damit nicht, wie der Abschnitt zu den Grenzen zeigt.
- Steuerbare Zugriffsrechte: Der Abruf kann auf Dokumente beschränkt werden, die die fragende Person sehen darf. Diese Prüfung muss das System ausdrücklich vorsehen.
Wie KI-Suchsysteme RAG nutzen
KI-Suchsysteme rufen zu einer Frage Seiten aus dem Web ab und formulieren daraus eine Antwort mit Quellen. Google nennt RAG in seinem Leitfaden zur generativen KI-Suche als Technik für bessere, genauere und aktuellere KI-Antworten. Laut Google holen die Kernrankingsysteme relevante, aktuelle Seiten aus dem Suchindex. Die KI-Systeme prüfen die Angaben daraus und zeigen Links zu den Seiten, die die Antwort stützen. Das gilt etwa für die AI Overviews.
Einen ähnlichen Ablauf beschreibt OpenAI für die Websuche in seiner Programmierschnittstelle. Das Modell sucht im Web, kann Seiten öffnen und weist die verwendeten Adressen als Quellen aus. Nach welchen Regeln die Anbieter Seiten im Einzelnen auswählen, legen sie nicht offen.
Nicht jede KI-Antwort beruht auf einem Abruf. Ohne Suche antwortet ein Modell aus dem, was es im Training gelernt hat. Training und Abruf sind zwei getrennte Wege, auf denen Inhalte in eine Antwort gelangen. OpenAI nutzt dafür zum Beispiel unterschiedliche Crawler, mehr dazu unter KI-Crawler.
Wie sich RAG von verwandten Begriffen abgrenzt
RAG beschreibt die Technik auf der Seite des KI-Systems. Die anderen Begriffe bezeichnen das Modell, einen Teilschritt der Suche oder die Arbeit an Ihrer Website:
| Begriff | Was er bezeichnet | Verhältnis zu RAG |
|---|---|---|
| LLM | Das Sprachmodell, das den Text erzeugt | RAG versorgt das Modell mit Inhalten, das Modell schreibt die Antwort |
| Query Fan-out | Mehrere verwandte Suchanfragen, die das Modell aus einer Frage ableitet | Kann den Abruf erweitern, weil mehrere Suchen mehr Treffer liefern |
| Grounding | Bei Google ein anderer Name für RAG | Google verwendet beide Begriffe gleichbedeutend |
| Semantische Suche | Eine Suche, die Inhalte über ihre Bedeutung findet, auch ohne gleiche Wörter | Kann im RAG-System die Treffer liefern, die Antwort formuliert danach das Modell |
| GEO | Maßnahmen für die Sichtbarkeit einer Marke in KI-Antworten | GEO ist die Arbeit an Website und Marke, RAG ein Verfahren der KI-Anbieter |
RAG oder Fine-Tuning?
Beim Fine-Tuning trainieren Sie ein Basismodell mit Beispielen für erwartete Ein- und Ausgaben, so beschreibt es OpenAI. Für neue Nutzer:innen öffnet OpenAI sein eigenes Fine-Tuning laut Dokumentation allerdings nicht mehr. RAG lässt das Modell unverändert und gibt ihm je Frage passende Inhalte mit. Beide Wege lösen unterschiedliche Aufgaben:
| Merkmal | RAG | Fine-Tuning |
|---|---|---|
| Was sich ändert | Die Eingabe je Frage | Das Modell selbst |
| Neue Fakten | Inhalt in der Wissensbasis ergänzen | Neu trainieren |
| Quellen nennen | Möglich, weil die Textstelle bekannt ist | Schwierig, weil das Wissen im Modell steckt |
| Passt für | Fakten, die sich ändern, und eigene Dokumente | Tonfall, festes Antwortformat, wiederkehrende Aufgaben |
Beide Verfahren lassen sich kombinieren. Für kleine Wissensbestände gibt es einen dritten Weg. Laut Anthropic können Sie einen Bestand unter 200.000 Tokens vollständig in den Prompt geben und auf den Abruf verzichten.
Was RAG für Website-Inhalte bedeutet
Ein RAG-System kann nur Inhalte verwenden, die es findet und abrufen darf. Daraus ergeben sich fünf Anforderungen an Ihre Seiten:
- Abrufbar: Die Seite muss für die Such-Crawler des Anbieters erreichbar sein. Bei Google muss sie indexiert sein und mit Snippet angezeigt werden dürfen.
- Auffindbar: Google nutzt für den Abruf seine Kernrankingsysteme. Suchmaschinenoptimierung bleibt deshalb die Grundlage.
- Für sich verständlich: Nennen Sie Produkt, Zeitraum oder Bezugsgröße im Absatz selbst. Laut Anthropic verlieren herausgelöste Abschnitte sonst leicht ihren Zusammenhang.
- Eindeutig: Preise, Daten und Kennzahlen sollten aktuell sein und sich zwischen Ihren Seiten nicht widersprechen.
- Eigenständig: Google empfiehlt Inhalte mit eigener Expertise oder Erfahrung, die über Allgemeinwissen hinausgehen.
Zerlegen müssen Sie Ihre Texte dafür nicht. Google schreibt, dass Inhalte für die generative Suche weder in kleine Stücke geteilt noch speziell für KI geschrieben werden müssen. Für die Gliederung genügen klare Überschriften und Absätze. Die konkreten Maßnahmen beschreibt der Artikel zu Generative Engine Optimization.
Wann RAG zu Ihrem Vorhaben passt
Ein eigenes RAG-System lohnt sich, wenn diese Punkte zutreffen:
- Die Antworten hängen von Dokumenten ab, die sich ändern oder nicht öffentlich sind.
- Nutzer:innen sollen nachprüfen können, woher eine Aussage stammt.
- Der Bestand ist zu groß, um ihn bei jeder Frage vollständig an das Modell zu geben.
Typische Einsatzorte sind Chatbots im Kundendienst, interne Wissenssuchen und die Produktberatung im Shop. Weniger geeignet ist reiner Textabruf für Fragen, die Zählen oder Rechnen verlangen, etwa nach dem Umsatz eines Quartals. Dafür ist eine Abfrage der Datenbank der passende Abrufweg.
Grenzen von RAG
RAG verringert das Risiko falscher Antworten, schließt es aber nicht aus. AWS nennt das Verfahren einen Ansatz für einige der Probleme von Sprachmodellen. Findet das System die falsche Stelle oder ist die Quelle veraltet, übernimmt die Antwort den Fehler. Das Modell kann eine richtige Quelle auch falsch wiedergeben. Mehr dazu unter KI-Halluzinationen.
Typische Fehlerquellen beim Aufbau
- Abschnitte ohne Zusammenhang: Ein Absatz ohne Produktnamen wird nicht gefunden oder dem falschen Produkt zugeordnet.
- Nur Vektorsuche: Artikelnummern und exakte Bezeichnungen findet eine Stichwortsuche oft besser.
- Alte und neue Fassungen: Liegen beide in der Wissensbasis, kann das System die veraltete abrufen.
- Fehlende Rechteprüfung: Der Abruf liefert Dokumente, die die fragende Person nicht sehen darf.
- Kein Test: Änderungen gehen live, ohne dass ihre Wirkung gemessen wird.
RAG-Systeme bewerten
Prüfen Sie Abruf und Antwort getrennt. Der Fachaufsatz zu Ragas nennt drei Bereiche. Findet der Abruf passende Textstellen? Gibt das Modell sie treu wieder? Wie gut ist die Antwort insgesamt? Legen Sie dafür eine Liste typischer Fragen an und wiederholen Sie den Test nach jeder Änderung.
