GenAI trifft Unternehmenswissen: Retrieval Augmented Generation für korrekte Antworten

In der Welt der generativen KI markiert RAG den nächsten Evolutionsschritt. Textgeneratoren werden dabei um den Zugriff auf externe Informationsquellen angereichert.

ChatGPT, Bard und Co. fällt zwar zu nahezu jeder Frage etwas ein, aber ob die Antworten immer korrekt sind, dessen kann man sich nicht sicher sein. Nicht ohne Grund kam schnell das Schlagwort vom „Bullshit-Generator“ auf. Zumindest zum jetzigen Status ist außerdem keine vollständige Aktualität gegeben (ChatGPT reicht nicht weiter als bis 2021). Dennoch ist die neue Technologie natürlich beeindruckend. Und sie gewinnt noch an Reiz, wenn sie mit firmeneigenem Wissen verknüpft wird. Hierbei spricht man von Retrieval Augmented Generation (RAG) – eine KI, die Informationen aus externen Wissensquellen abruft und dadurch die Qualität ihre eigenen Antworten schlagartig verbessert.

In diesem Beitrag gebe ich Ihnen einen Überblick über die Möglichkeiten mit sowie Funktionsweise von RAG und Einblicke in Projektbeispiele.

Retrieval Augmented Generation: Verknüpfung von KI mit firmeneigenem Wissen

Große Sprachmodelle (Large Language Models = LLM) wie ChatGPT und Bard verfügen nicht über eigenes Wissen, sondern sind stark darin, aus sehr großen Mengen an Input zielgerichteten Output zu generieren (siehe dazu auch hier). Das Wissen, das ein LLM aus seinen Trainingsdaten gelernt hat, wird als parametrisches Gedächtnis bezeichnet und in seinen neuronalen Gewichten gespeichert. LLMs verwenden dieses parametrische Gedächtnis, um auf Anfragen zu antworten. In den meisten Fällen ist jedoch die genaue Informationsquelle nicht bekannt. Deshalb können LLM auch keine wörtlichen Zitate liefern.

Sprachmodelle sind daher gut darin, allgemeine Texte auf Grundlage ihres Trainingsdatenkorpus zu generieren. In der unternehmerischen Praxis kommt es allerdings darauf an, Texte aus eigenen Wissensdatenbanken zu erstellen, wie sie im Intranet, auf Sharepoint- und Confluence-Seiten, wenn PDFs, Office-Dokumenten usw. vorliegen. Auf Grundlage dieser Informationen kann der KI-Assistent dann genaue und relevante Antworten liefern. Das derzeit größte Problem generativer Chatbots, ihre Tendenz zu Halluzinationen, lässt sich damit umgehen. In der genAI-Sprache bedeutet „Prompten“ die Eingabeaufforderung, die an das LLM gesendet wird. Sie wird beim RAG-Verfahren mit relevanten Informationen aus externen Wissensdatenbanken ergänzt, die über einen Information-Retrieval-Mechanismus abgerufen werden. Diese Informationen dienen als Kontext und werden gemeinsam mit der Anfrage verwendet, wodurch das parametrische Gedächtnis umgangen wird.

Vektorbasierte Datenbanken: So funktioniert RAG

Der Prompt wird in numerische Werte umgewandelt, was die Verwendung eines Embedding-Modells erfordert. Die numerischen Werte werden an eine Vektor- oder Graphdatenbank geleitet, in der das gesamte Wissen des Unternehmens gespeichert ist. Anhand der Werte werden die entsprechenden Einträge in der Datenbank gefunden, in Text rückverwandelt und dem LLM übergeben, zusammen mit Metadaten wie dem Speicherort und dem Ersteller eines PDFs. Dadurch bekommt man mit der Antwort zusätzlich die Quellenangabe geliefert.

Das beschriebene Vorgehen gilt als derzeit beste Methode zur Suche nach Inhalten. LLMs müssen hier in der Regel nicht weiter feingetunt oder trainiert werden (obwohl es in einigen Fällen sinnvoll sein kann). Voraussetzung dafür ist, dass das gesamte Unternehmenswissen dauerhaft vektorisiert wird. Dafür müssen bestehende Datensilos im Unternehmen aufgebrochen und zusammengeführt werden. Bisher arbeitet die klassische Unternehmenssuche hauptsächlich mit Indexdatenbanken, die nicht immer die gewünschte Antwortqualität liefern.

Die Zukunft der Unternehmenssuche: RAG in der Praxis

Retrieval Augmented Generation wird in allen Bereichen benötigt, in denen es auf aktuelle und genaue Informationen ankommt. Weil es aktuelle und kontextspezifische Daten verwendet, holt RAG generative KI-Systeme sozusagen in die Gegenwart. Bei  aller Art von Anfragen liefert die Technik sichtlich bessere Ergebnisse als ein großes generatives Sprachmodell allein.

RAG in der Versicherungsbranche

RAG ist deshalb die Zukunft der Unternehmenssuche. Dies ist keine Utopie, sondern funktioniert bereits heute, wie X-INTEGRATE in einer Reihe von Projekten im Finanzdienstleistungssektor erfolgreich erprobt hat. Zum Beispiel hat eine Versicherung mithilfe von RAG einen Bot entwickelt, der automatisiert und individuell auf Sachstandsanfragen aus E-Mails oder Call-Center-Ereignissen antwortet, und zwar im spezifischen Kommunikationsstil der Versicherung.

RAG im Bankensektor

Weiteres Beispiel ist eine Bank, die Finanzprodukte auf ihr Risiko hin bewerten muss. Der Risiko-Score basiert auf regulatorischen Anforderungen, internen Verfahrensanweisungen und Compliance-Richtlinien, die in Tausenden von Dokumenten enthalten sind. Kein Controller kann all diese Informationen überblicken. Die Bank hat sie vollständig vektorisiert und verwendet RAG, um Fragen zur Risikoeinschätzung an die Vektordatenbank zu stellen. Die Ergebnisse waren äußerst beeindruckend. Sie lüften einen Blick darauf, welches enorme Potenzial Retrieval Augmented Generation in der nahen Zukunft haben wird.

Interesse geweckt? X-INTEGRATE berät technologieneutral und führt bei Kunden ein individuelles „Unternehmens-GPT“ ein. Weitere Informationen dazu gibt es in unserem Workshop.

Über den Autor: Matthias Bauer

Matthias Bauer ist seit 2020 als Teamlead Data Science und seit 2023 als CTO bei der X-INTEGRATE (Teil der TIMETOACT GROUP) und bringt mehr als 15 Jahre Expertise als Solution Architect mit. Daten dafür nutzen, Großes zu schaffen und Mehrwerte zu erzielen – in seinen Worten: Data Thinking – ist seine Leidenschaft. Matthias ist erfahren in Artificial Intelligence, Data Science und Data Management; dabei bedient er von Data Warehousing bis hin zu Data Virtualization ein breites Spektrum an datenbezogenen Fragestellungen.  

Matthias Bauer
CTO & Teamlead Data ScienceX-INTEGRATE Software & Consulting GmbHKontakt

Sprechen Sie uns gerne an!

* Pflichtfelder

Wir verwenden die von Ihnen an uns gesendeten Angaben nur, um auf Ihren Wunsch hin mit Ihnen Kontakt im Zusammenhang mit Ihrer Anfrage aufzunehmen. Alle weiteren Informationen können Sie unseren Datenschutzhinweisen entnehmen.

novaCapta
Blog
Frau arbeitet remote mit Smartphone und Laptop
Blog

Was Sie von Copilot erwarten können – und was nicht

Der Hype um Copilot for Microsoft 365 ist groß. Wie so oft in solchen Fällen, folgt bei vielen Usern schnell Ernüchterung. Daher ist ein realistisches Erwartungsmanagement wichtig. Wir zeigen Ihnen anhand von vier Mythen, was Copilot kann – und was nicht.

novaCapta
Blog
Smile, work and a businessman with a laptop for an email, communication or online coding. Happy, programming and a male programmer typing on a computer for web or software development in an office
Blog

Mit Microsoft Copilot in die Zukunft des Arbeitens

Microsoft Copilot in aller Munde. Auch wir werden in letzter Zeit häufig nach Copilot und Künstlicher Intelligenz im Allgemeinen gefragt. Deshalb beantworten wir in diesem Blogbeitrag die häufigsten Fragen und Bedenken kompakt und einfach!

Matthias BauerMatthias BauerBlog
Blog

Deep Learning: Ein Beispiel aus dem öffentlichen Dienst

Automatische Bilderkennung hat das Potenzial, Wasserwirtschaftsverbände spürbar zu entlasten – und so beim Hochwasserschutz zu unterstützen. Ein Fallbeispiel.

novaCapta
Blog
African American Business woman hard working, debtor, deferred debt, Times Interest Earned, Subsidiary Ledger, Special Journal, Shareholders Equity, Scrap value, Price Index, Profitability Ratios
Blog

Dokumentenmanagement mit GPT optimieren

KI und GPT sind in aller Munde. Doch welche konkreten Use Cases sind möglich? Wie sieht die Einführung aus? Wir zeigen Ihnen, wie einer unserer Kunden Dokumentenmanagement durch den Einsatz von GPT revolutioniert hat.

Christoph HasenzaglChristoph HasenzaglBlog
Blog

Fehler in der Entwicklung von AI-Assistenten

Wie gut, dass es Fehler gibt: Denn aus ihnen können wir lernen und besser werden. Wir haben genau hingesehen, wie Unternehmen in den letzten Monaten weltweit AI-Assistenten implementiert haben, und haben sie, leider, vielfach beim Scheitern beobachtet. Wie es zum Scheitern kam und was man daraus für künftige Projekte lernen kann, das möchten wir mit Ihnen teilen: Damit AI-Assistenten in Zukunft erfolgreicher umgesetzt werden können!

Christoph HasenzaglChristoph HasenzaglBlog
Blog

In 8 Schritten zu AI-Innovationen im Unternehmen

Künstliche Intelligenz hat sich von einem bloßen Schlagwort zu einem entscheidenden Werkzeug entwickelt, Business Value in Unternehmen zu generieren. Wir verfolgen einen achtstufigen Ansatz, um Unternehmen den Weg zur effektiven Nutzung von AI zu ermöglichen.

Christoph HasenzaglChristoph HasenzaglBlog
Blog

8 Tipps zur Entwicklung von AI-Assistenten

AI-Assistenten für Unternehmen sind ein Hype, und viele Teams arbeiteten bereits eifrig und voller Tatendrang an ihrer Implementierung. Leider konnten wir allerdings sehen, dass viele Teams, welche wir in Europa und den USA beobachten konnten, an der Aufgabe gescheitert sind. Wir bieten Ihnen 8 Tipps, damit Ihnen nicht dasselbe passiert.

novaCapta
Event
Group of People in Mission Control Center Witness Successful Space Rocket Launch. Flight Control Employees Sit in Front Computer Displays and Monitor the Crewed Mission.
Event

Microsoft Panel: Unser Kunde ESA auf Daten- & KI-Mission

Im Panel berichtet Bernhard Isemann (ESA) zusammen mit dem novaCapta Projektteam über das Innovationsprojekt „ESA Data Factory“. Auf Basis von Azure Synapse, Fabric, Power BI und KI-Funktionen werden die Informationen und vor allem das Wissen aus den riesigen Datenmengen aufbereitet.

novaCapta
Event
Microsoft Panel: KI-Agents: Was steckt dahinter? Künstliche Intelligenz für Businessprozesse am 18.07.2024
Event

Microsoft Panel: KI-Agents - Was steckt dahinter?

In unserem Microsoft Panel im Juli zeigen wir wie KI-Agents in Geschäftsprozessen den entscheidenden Unterschied machen können und wie man sie einführt. Im Panel schauen wir uns dafür exemplarisch den Prozess des Design Thinkings mit KI an.

novaCapta
Blog
Cropped shot of an african-american young woman using smart phone at home. Smiling african american woman using smartphone at home, messaging or browsing social networks while relaxing on couch
Blog

Best Practices für Copilot for Microsoft 365

Copilot for Microsoft 365 verspricht mehr Effizienz, Schnelligkeit und Produktivität im Arbeitsalltag. Doch hält Copilot, was es verspricht? Welche Dos & Don’ts sollte man beachten? Vier Kolleg:innen teilen ihre Erfahrungswerte und Best Practices!

TIMETOACT GROUP
Matthias BauerMatthias BauerBlog
Blog

Artificial Intelligence – No more experiments?!

Artificial Intelligence (AI) ist in aller Munde. Nach unserer Einschätzung – und damit deckungsgleich mit Prognosen von TechTarget, IDG und anderen Analysten – wird sich das auch im Jahr 2024 nicht ändern.

novaCapta
Blog
Close up of a business man working on a laptop, typing with his hands for work in office environment home office
Blog

Vorschau: IT-Trends 2024 - Teil 2

Von KI über IoT bis hin zu Intelligent Workplace: Welche Technologien und Herausforderungen warten 2024 auf Unternehmen? Wir haben gefragt, unsere Expert:innen haben geantwortet. Lesen Sie Teil 2 unserer IT-Trendvorschau!

novaCapta
Blog
Social media marketing concept. Women hand using smartphone typing, chatting conversation in chat box icons pop up
Blog

Vorschau: IT-Trends 2024 - Teil 1

Technologien entwickeln sich in rasantem Tempo weiter. Deshalb haben wir bei unseren Expert:innen nachgefragt, welche Themen und Herausforderungen in diesem Jahr auf Unternehmen im Bereich IT warten. Lesen Sie jetzt Teil 1 unserer Trendreihe!

Kompetenz
Headerbild für Edge Computing
Kompetenz

Edge Computing

Mit Edge Computing können Sie Daten dezentral, direkt am Ort ihrer Entstehung, analysieren und auswerten – und zwar nahezu in Echtzeit.

TIMETOACT GROUP
Service
Navigationsbild zu Data Science
Service

AI & Data Science

Die Datenmenge, die Unternehmen täglich produzieren und verarbeiten, wächst stetig an. Diese Daten enthalten wertvolle Informationen über Kunden, Märkte, Geschäftsprozesse und vieles mehr. Doch wie können Unternehmen diese Daten effektiv nutzen, um bessere Entscheidungen zu treffen, ihre Produkte und Dienstleistungen zu verbessern und neue Geschäftsmöglichkeiten zu erschließen?

Kompetenz
Headerbild GenAI Consulting
Kompetenz

GenAI Consulting

Spätestens ChatGPT, Bard & Co. haben gezeigt: Generative AI hat das Potenzial, die Arbeitswelt zu revolutionieren. Mit GenAI Consulting unterstützen wir Sie dabei, dieses Potenzial für Ihr Unternehmen auszuschöpfen.

novaCapta
Blog
KPI Dashboard Data Analytics
Blog

Microsoft Fabric: Für wen sich der Einstieg lohnt

Eine Data Plattform ist für Unternehmen im heutigen digitalen Zeitalter unverzichtbar. Wir zeigen Ihnen, warum und für wen Microsoft Fabric die passende Technologie für Ihre Data Analytics Strategie ist.

TIMETOACT
Technologie
Headerbild zu Cloud Pak for Data – Test-Drive
Technologie

IBM Cloud Pak for Data – Test-Drive

Wir wollen durch die Bereitstellung unserer umfassenden Demo- und Kundendatenplattform diesen Kunden eine Möglichkeit bieten, sehr schnell und pragmatisch einen Eindruck der Technologie mit ihren Daten zu bekommen.

TIMETOACT
Technologie
Headerbild zu IBM Cloud Pak for Data Accelerator
Technologie

IBM Cloud Pak for Data Accelerator

Zum schnellen Einstieg in bestimmte Use Cases, konkret für bestimmte Geschäftsbereiche oder Branchen, bietet IBM auf Basis der Lösung „Cloud Pak for Data“ sogenannte Akzeleratoren, die als Vorlage für die Projektentwicklung dienen, und dadurch die Umsetzung dieser Use Cases deutlich beschleunigen können. Die Plattform selbst bringt alle notwendigen Funktionen für alle Arten von Analyticsprojekten mit, die Akzeleratoren den entsprechenden Inhalt.

TIMETOACT
Dominic LehrDominic LehrBlog
Blog

Microsoft Azure-Ressourcen automatisch skalieren

Im Blog stellen wir Ihnen Autoscale in Azure vor und zeigen, warum es sich lohnt, diese mit der automatischen Skalierung mit IBM Turbonomics zu kombinieren.

TIMETOACT GROUP
Branche
Headerbild für lokale Entwicklerressourcen in Deutschland
Branche

Digitalisierungspartner vor Ort für Versicherungen

Als TIMETOACT GROUP gehören wir zu den führenden Digitalisierungspartnern für IT-Lösungen in Deutschland, Österreich und Schweiz. Als Ihr Partner sind wir an 17 Standorten für Sie da und finden die passende Lösung auf dem Weg der Digitalisierung – gerne gemeinsam im persönlichen Austausch vor Ort.

Kompetenz
Kompetenz

Graphentechnologie

Wir helfen Ihnen, das volle Potential der Graphen zu nutzen, um Ihr Unternehmen zu transformieren. Unser Fachwissen reicht von der Modellierung von Graphdatenbanken und Graph Data Science bis hin zu generativer KI.

TIMETOACT GROUP
Branche
Headerbild zur Logistik- und Transportbranche
Branche

KI & Digitalisierung für die Transport- und Logistikbranche

Digitalisierung und Transparenz der Prozesse sowie automatisierte Unterstützung bei der Optimierung können Logistikunternehmen helfen, den Spagat zwischen Kosten und Leistung besser zu bewältigen, um langfristig als wertvoller Partner der Wirtschaft zu agieren.

TIMETOACT GROUP
Branche
Branche

Digitaler Wandel in der Öffentliche Verwaltung

Die digitale Transformation wird die Arbeitswelt gerade in der öffentlichen Verwaltung massiv verändern. Wir unterstützen die Behörden von Bund, Ländern und Kommunen bei der strategischen und technischen Umsetzung ihrer Projekte in der Verwaltungsmodernisierung.

TIMETOACT GROUP
Event
Event

Data Fabric: Basis für Analytics und KI der nächsten Stufe

Im Webinar erfahren Sie, warum das Thema Data Fabric für Versicherer so wichtig ist. Wir erklären Ihnen, was die Data Fabric genau ist und welche Funktionalität sie für Data Science sowie den IT-Betrieb aufweist. In einer praktischen Demo zeigen wir Ihnen konkret Anwendungsfälle aus der Versicherungsbranche. Darüber hinaus erfahren Sie, in welchen Schritten Sie Ihre eigene Data Fabric einführen können.

TIMETOACT GROUP
Event
Event

KI basierte Kundenbetreuung für Versicherer

Im Webinar erfahren Sie, wie moderne Kundenbetreuung in der digitalisierten Welt aussieht. Watson Assistent hilft bei der Optimierung bestehender Lösungen. Dieser virtuelle KI-Assistent liefert Kunden schnelle, konsistente und akkurate Antworten über alle Kommunikations-Kanäle, -Plattformen, -Applikationen und Geräte hinweg.

Referenz
Referenz

Galuba & Tofote: KI-basierte Marktanalyse-Lösung swarmsoft

Ein ARS Team aus den Bereichen Softwareentwicklung und Künstliche Intelligenz unterstützte die Galuba & Tofote Consulting PartG bei der Entwicklung der KI-basierten Marktanalyselösung swarmsoft®

Referenz
Referenz

Miyu – die zentrale Sprachintelligenz

Unterstützung des Customer Service-Centers durch KI-gestützte Automatisierungsprozesse.

Sebastian VonhoffNews
News

Talend Open Studio Retirement

Nach der Ankündigung der Einstellung von Talend Open Studio, leiten wir Sie durch Ihre Migrationsmöglichkeiten. Erfahren Sie, wie Sie mit der kommerziellen Version von Talend oder anderen Plattformen wie IBM und Google erweiterte Datenintegrations- und Managementfunktionen nutzen können.

News
News

X-INTEGRATE wird Mitglied im KI-Bundesverband

TIMETOACT GROUP-Tochtergesellschaft bereichert das Ökosystem für Künstliche Intelligenz KI mit Use Cases und Know-how zu Geschäftsprozessmanagement.

TIMETOACT
Service
Service

Eventreihe: KI Governance

Die EU hat sich auf schärfere Regeln zur Nutzung von Künstlicher Intelligenz geeinigt. Ihre Auswirkungen und weitere wichtige Aspekte von "KI Governance" beleuchten wir in unserer Eventserie.

TIMETOACT
Referenz
Referenz

Standardisiertes Datenmanagement schafft Basis für Reporting

TIMETOACT implementiert für TRUMPF Photonic Components ein übergeordnetes Datenmodell in einem Data Warehouse und sorgt mit Talend für die notwendige Datenintegrationsanbindung. Mit diesem standardisierten Datenmanagement erhält TRUMPF künftig Reportings auf Basis verlässlicher Daten und kann das Modell auch auf andere Fachabteilungen übertragen.

Blog
Blog

8 Tipps für ein erfolgreiches Automatisierungsprojekt

Was sind die Regeln, die man bei der Planung und Umsetzung eines Automatisierungsprojektes in Betracht ziehen soll? Und woran scheitert es?

TIMETOACT
Dominic LehrDominic LehrBlog
Mit Turbonomic IT-Kosten sparen
Blog

So einfach sparen Sie mit IBM Turbonomic IT-Kosten!

Freuen Sie sich mit uns auf eine sechsteilige Blogserie zum Thema Infrastruktur-Optimierung mit IBM Turbonomic. Im ersten Teil klären wir Fragen und Mehrwert von Turbonomic.

Event
Event

X-INTEGRATE auf „Think about..AI – Meetup" der IBM

Dokumentenprozessierung im Gesundheitswesen: X-INTEGRATE berichtet in Frankfurt über neueste KI-Verfahren für Kliniken und Krankenversicherungen.

Event
Frankfurt, Austragungsort der IBM Watson Summit 2017
Event

Die TIMETOACT GROUP auf dem IBM Watson Summit 2017

Frankfurt – IBM lädt diesen Herbst erstmalig zum Watson Summit an den Main. Treffen Sie unsere Experten am TIMETOACT GROUP Stand und tauschen Sie sich über die neusten Trends rund um Watson und dessen Integration in Ihre Projekte aus.

Event
Interessiertes Publikum sinnbildlich für IBM Think 2019
Event

X-INTEGRATE auf der IBM THINK 2019

Freuen Sie sich außerdem auf zwei spannende Sessions mit IT-Manager und Geschäftsführer der X-INTEGRATE Software & Consulting GmbH Wolfgang Schmidt zu innovativen Business-Integrationstechnologien.