RAG: Maßgeschneiderte KI-Antworten durch intelligente Wissensintegration

Die Arbeit mit generativer KI wie ChatGPT ist inzwischen Alltag. Der Mensch stellt eine Anfrage, die KI produziert eine Antwort. Je präziser die Anfrage, desto besser das Ergebnis. Dabei lernt die KI ständig dazu, sei es durch das Feedback der Nutzer:innen, sei es durch das betreiberseitige Training des der KI zugrundeliegenden Large Language Models (LLM). 

Für den Einsatz in Behörden hat eine solche generative KI drei Nachteile: Erstens bezieht sie ihr Wissen durch Training aus im Internet verfügbaren Quellen – und das beliebig allgemein. Zweitens vergisst sie einmal antrainiertes Wissen nicht, was insbesondere dann negative Auswirkungen hat, wenn Wissen schnell veraltet. Drittens kann die KI nur sehr allgemeine Antworten auf eine Fragestellung liefern, wenn sie keinen Zugriff auf einen individuellen Kontext hat – etwa auf behördenspezifische Arbeitsanweisungen oder Rechtsinterpretationen. Das antrainierte Wissen reicht für die oberflächliche Beantwortung von Anfragen, nicht aber für detailliertere Auskünfte oder gar Entscheidungshilfen für Sachbearbeiter:innen. 

RAG: KI bezieht nicht-öffentliche Daten in ihre Antwort ein

Anders bei einem RAG-System. Damit greift die KI auch auf solches Wissen zu, mit dem sie nicht trainiert wurde, weil die zugrundeliegenden Daten nicht oder nur eingeschränkt öffentlich zugänglich sind. Das können Gesetze, Verordnungen, Verfahrensanweisungen, Gebührentabellen oder vorformulierte Satzbausteine sein – oder auch besonders sensible, personenbezogene Daten. Darüber hinaus „lernt“ die KI aus diesen Daten nicht, sie baut sie auch nicht nachträglich in ihr Modell ein. 

Das Angebot von Materna und Elastic sorgt dafür, dass nicht-öffentliche Daten in der Hoheit ihres Besitzers bleiben und doch vorrangig zur Erzeugung einer konkreten Antwort herangezogen werden. 

RAG kombiniert also öffentlich zugängliches bzw. antrainiertes Wissen mit nicht-öffentlichen Daten. 

Vorteile von RAG für Behörden und Bürger:innen 

Ein Beispiel: ChatGPT erhält folgende Anfrage: „Wie hoch ist der Grundsteuerhebesatz?“ Die KI würde nun entweder in einen Dialog treten und nach präziseren Informationen (Grundsteuerhebesatz für welche Stadt?) fragen. Oder sie halluziniert ein Ergebnis. Wird die KI im Vorfeld aber angewiesen, bei Anfragen zum Grundsteuerhebesatz ausschließlich auf RAG-Daten (aktuelle Tabellen, vorgegebene Satzbausteine…) der Stadt Dortmund zuzugreifen, erzeugt sie ihre Antwort immer auf Basis dieser Daten. So können Auskünfte korrekt und rechtssicher werden. Ein auf dem Server der Stadt Dortmund laufendes System würde also immer den Hebesatz der Stadt Dortmund berücksichtigen, selbst wenn die Frage den Namen der Stadt gar nicht beinhaltet. 

Beim Einsatz von RAG-Systemen muss daher dringend darauf geachtet werden, dass die zugrundeliegenden Daten tatsächlich geschützt sind und nicht öffentlich oder zum grundsätzlichen Training des Large Language Models (LLM) herangezogen werden. Das hat datenschutzrechtliche Gründe, aber auch verfahrenstechnische. Denn die Qualität der RAG-generierten Antworten hängt stark von der Pflege der Daten ab. Die Datensätze müssen immer aktuell sein. Die Lösung von Materna und Elastic kann dabei auch on-premise , also vollständig im geschützten Bereich der Behörde installiert und betrieben werden. 

Generative KI mit RAG könnte die Kommunikation zwischen Behörden oder behördenähnlichen Einrichtungen wie etwa Krankenkassen also revolutionieren, da bereits ein Chatbot auf der Startseite Anfragen von Bürger:innen oder Kund:innen sehr präzise und je nach zur Verfügung stehenden Daten sogar personalisiert beantworten könnte.  

Schnellere Antworten, mehr Zeit für Beratung

Kommunikation mit Behörden ist oftmals schwierig: Lange Reaktionszeiten, eingeschränkte Sprechstunden und kompliziert formulierte Schreiben sind nur einige der Hürden. Automatisiert eine Behörde ihre Kommunikation mit RAG, können Bürger:innen unabhängig von Sprechzeiten Anfragen stellen und erhalten sofort eine fundierte und rechtssichere Auskunft. 

So ist beiden Seiten geholfen: Sachbearbeiter:innen können sich um die komplizierten Fälle kümmern und individuelle Beratung leisten, Antragsteller:innen mit Standardanliegen erhalten schneller ihre Bescheide.  

Falls Sie mehr über unsere RAG-Lösungen erfahren möchten, senden Sie bitte eine E-Mail an [email protected]. Anschließend stellen wir Ihnen die Aufzeichnung unseres Webcasts „It’s RAG-Time: Behördeninternes Wissen souverän in generative KI-Lösungen einbinden“ zur Verfügung.