Ein Blick hinter die Ku­lis­sen: Das neue Re­trie­val Aug­men­ted Ge­ne­ra­ti­on (RAG) Frame­work von Gion Sialm

In eigener Sache: seit März 2024 verstärkt Gion Sialm das Team der Fachhochschule Graubünden als AI-Experte und Leiter des Denk- und Handlungsraums Artificial Intelligence. Bereits in den ersten Monaten hat Gion mit seiner Expertise und Tatkraft spannende neue Impulse gesetzt. Neben der Entwicklung einer hochschulweiten AI-Strategie hat er ein innovatives Retrieval Augmented Generation (RAG) Framework entwickelt, das nicht nur an unserer Fachhochschule, sondern auch für zahlreiche andere Anwendungsbereiche eingesetzt werden kann.

Was ist ein RAG?

Kurz gesagt: Die Retrieval Augmented Generation (RAG) Technik ermöglicht es, beliebige Dokumente als Quelle für ein AI-Sprachmodell zu nutzen. Das RAG wird entwickelt, um Antworten auf spezifische Fragen zu generieren – und das auf Grundlage der bereitgestellten Daten. Anstatt blind auf vortrainierte Modelle zurückzugreifen, wie es beispielsweise bei ChatGPT der Fall ist, zieht das RAG Framework relevante Informationen aus externen Quellen, die speziell für den jeweiligen Anwendungsfall wichtig sind.

Stellen Sie sich vor, Sie arbeiten in einem Industrieunternehmen und haben Zugang zu einer grossen Menge technischer Berichte, Produktspezifikationen und Betriebsanleitungen. Die manuelle Durchsicht dieser Dokumente kann extrem zeitaufwendig sein und oft fehlen präzise Informationen, die Sie für eine wichtige Entscheidung benötigen. Genau hier kommt das RAG Framework ins Spiel: Es ermöglicht Ihnen, all diese relevanten Dokumente ins System zu laden und liefert Ihnen auf Ihre spezifischen Anfragen präzise und kontextsensitive Antworten. So sparen Sie wertvolle Zeit und Sie erhalten die besten, auf Ihren Use Case zugeschnittenen Ergebnisse, um fundierte Entscheidungen zu treffen.

Warum Open-Source? Die bewusste Entscheidung für freie Modelle

Gion Sialm hat das Framework auf Open-Source-Sprachmodelle ausgelegt. Damit umgeht er ganz bewusst die Abhängigkeit von Closed-Source-Lösungen wie ChatGPT und Co. Dies hat mehrere Vorteile:

1. Kosteneffizienz: Proprietäre Modelle kosten oft viel Geld, vor allem wenn sie regelmässig in grossem Massstab eingesetzt werden. Mit Open-Source-Modellen bleiben die Betriebskosten deutlich geringer, was insbesondere für Bildungseinrichtungen und kleinere Unternehmen von Vorteil ist.
2. Unabhängigkeit: Die Nutzung von Open-Source-Modellen ermöglicht eine grössere Flexibilität und Kontrolle. Die Sprachmodelle können bei Bedarf angepasst oder erweitert werden – etwas, das mit Closed-Source-Systemen oft nicht möglich ist.
3. Datenschutz: Besonders in Forschungsprojekten oder bei sensiblen Daten ist es von Vorteil, wenn keine externen, kommerziellen Systeme genutzt werden müssen. Durch den Einsatz von Open-Source-Software bleibt die Datenhoheit bei den Nutzenden selbst.

Eine flexible Lösung für jeden Anwendungsfall

Das RAG Framework bietet noch mehr: Es ermöglicht die Nutzung mehrerer Sprachmodelle gleichzeitig. Das bedeutet, dass für jeden spezifischen Use Case die jeweils beste Konfiguration ermittelt werden kann. Statt nur auf ein Modell zu vertrauen, lassen sich die Antworten von verschiedenen Sprachmodellen miteinander vergleichen, um die qualitativ hochwertigste und präziseste Lösung zu finden. So bietet das Framework die Möglichkeit, immer das beste Modell für den jeweiligen Kontext zu nutzen – egal ob es sich um technische Dokumentationen, wissenschaftliche Artikel oder juristische Texte handelt.

Zugriff auf das Wissen des Internets

Das RAG Framework beschränkt sich nicht nur auf die lokal eingespeisten Daten. Es ist auch in der Lage, auf das gesamte Wissen des Internets zuzugreifen, um tagesrelevante Informationen abzurufen. Das ist besonders spannend, wenn es darum geht, Informationen zu aktuellen Entwicklungen, Trends oder neuen Forschungsergebnissen zu erhalten. Stellen Sie sich vor, Sie arbeiten an einem Projekt, das von den neuesten technologischen Innovationen abhängt – mit dem RAG Framework haben Sie stets den Finger am Puls der Zeit.

Ein Tool für Industrie, Bildung und Forschung

Das RAG Framework ist ein vielseitiges Werkzeug, das sowohl in der Industrie als auch im Bildungs- und Forschungssektor wertvolle Unterstützung anbieten kann. In der Industrie ermöglicht es die schnelle und präzise Analyse grosser Mengen technischer Dokumentationen und Berichte. Unternehmen können damit auf wichtige Informationen zugreifen, fundierte Entscheidungen treffen und Prozesse optimieren. Gleichzeitig bietet das Framework in der Forschung die Möglichkeit, wissenschaftliche Studien und Fachartikel effizient zu durchsuchen und kontextsensitive Antworten auf spezifische Fragen zu erhalten. Lehrende profitieren bei der Erstellung von Lehrmaterialien und der Vermittlung komplexer Inhalte, während Studierende es als nützliches Hilfsmittel für Unterrichtszusammenfassungen und Ideengenerierung einsetzen können. Durch die Nutzung von Open-Source-Technologien bleibt das RAG Framework dabei kostengünstig und zugänglich für unterschiedlichste Anwendungen.

Lust darauf, das Framework zu testen?

Sie siind nun neugierig darauf, das Framework zu testen und herauszufinden, wie Sie dieses Framework für sich nutzen könne?

Gion Sialm ist gerne bereit, die unterschiedlichen Funktionalitäten des Frameworks auf Anfrage in einer Demonstration zu zeigen und etwaige Fragen zu beantworten.

Zusätzliche Ressourcen

Podcast mit Gion Sialm zum Thema auf srf.ch vom 6. September 2024: RAG: Mit GPT eigene Daten abfragen (und noch viel mehr)