Blog
Nur ein Chat? Die vier Stufen der LLM-Integration
Vom einfachen Chat bis zur generativen UI – vier Möglichkeiten, ein LLM in eine Webapplikation zu integrieren.
«Wir hätten gerne ein LLM in unserer Web-App.»
Das kann für verschiedene Unternehmen etwas völlig Unterschiedliches bedeuten. Schauen wir uns an, was diese Anforderung konkret heissen kann – von einem einfachen Chat bis hin zu einer dynamisch generierten Benutzeroberfläche.
1. Nur ein Chat
Die einfachste Variante ist ein Chatfenster, wie man es von ChatGPT oder Dutzenden Support-Bots kennt.
Der Nutzer stellt eine Frage, das LLM antwortet. Die Oberfläche sieht aus wie WhatsApp oder eine andere Chat-Anwendung.
Man führt eine Unterhaltung, Inhalte werden zusammengefasst und Fragen beantwortet. Mit etwas Markdown sieht die Antwort auch dann gut aus, wenn sie Code, eine Formel oder eine Tabelle enthält.
Die Interaktion mit der bestehenden Anwendung ist jedoch gleich null. Der Chat ist einfach umzusetzen, bleibt aber ein Nebenprodukt der eigentlichen Anwendung.
2. Werkzeuge
Der nächste Schritt besteht darin, dem LLM Zugriff auf bestimmte Funktionen der Anwendung zu geben.
Jetzt kann das Modell Dinge tun, statt nur Fragen zu beantworten. Zum Beispiel könnte ein Nutzer eines GIS-Systems fragen:
«Zeig mir diesen Punkt auf der Karte.»
Nun kann das LLM entscheiden, die Funktion goToLocation aufzurufen. Die Anwendung reagiert, indem sie auf den entsprechenden Punkt zoomt.
Der entscheidende Unterschied ist nun, dass das LLM Teile der Anwendung steuern kann.
3. RAG und ein wenig mehr
Retrieval-Augmented Generation (RAG) bezeichnet eine Technik, bei der zur Laufzeit relevante Informationen abgerufen und dem LLM als Kontext zur Verfügung gestellt werden.
Doch statt einfach ein paar Dokumente mitzugeben und Referenzen dazu anzufordern, können die Quellen Teil der Nutzererfahrung sein.
Nutzer können das Dokument und die relevante Stelle sehen. Zudem können ihnen Metadaten oder andere relevante Informationen direkt angezeigt werden.
Das Ergebnis ist dann eher eine Antwort mit den dazugehörigen Belegen als eine Antwort mit blosser Quellenangabe.
Das ist vor allem dann wertvoll, wenn gezielt bestimmte Informationen gefunden und Vertrauen in die Ergebnisse geschaffen werden soll.
4. Generative UI
In der vierten Stufe wird nicht nur Kontext bereitgestellt, sondern das LLM entscheidet, wie dieser präsentiert werden soll.
Wird nach einer Übersicht über den momentanen Projektstatus gefragt, kann ein Dashboard mit Metriken, Diagrammen und einer Liste der aktuellen Tätigkeiten angezeigt werden.
Nach einer weiteren Frage könnte das Dashboard ganz anders aussehen.
Statt einer starren Benutzeroberfläche für alle möglichen Fragen wird auf Zuruf eine neue generiert, die möglichst gut zur aktuellen Frage passt. Im Gegensatz zu Stufe zwei kommen nicht nur vorgegebene Werkzeuge zum Einsatz; das LLM entscheidet auch, wie die Benutzeroberfläche aussehen soll.
Die Anwendung fühlt sich nun nicht mehr wie zwei separate Produkte an, sondern wie eine integrierte Anwendung, die sich dynamisch an die Fragestellung anpasst.
Der Weg
Diese vier Stufen ersetzen einander nicht, und eine höhere Stufe ist nicht automatisch besser.
Jede Stufe bildet eine andere Art der Interaktion ab.
Die Frage, die man sich stellen sollte, lautet nicht «Wo kann ich ein LLM hinzufügen?», sondern:
«Welche Probleme können durch die richtige Form der Interaktion tatsächlich besser gelöst werden?»
Diese Unterscheidung hilft dabei, ein Produkt zu entwickeln, das nicht bloss ein bestehendes Produkt mit angefügtem LLM ist, sondern Probleme mithilfe eines LLMs besser löst.