LLM Report 2024

Einleitung

„Revolutionäre Sprachmodelle für die Masse“

Der vorliegende Trend-Report bietet eine umfassende Übersicht über die Entwicklungen im Bereich künstlicher Sprachintelligenz und Large Language Models (LLMs) des Jahres 2023. Als KI-Berater mit dem Schwerpunkt auf diesen Technologien habe ich das vergangene Jahr genutzt, um die Fortschritte und Veränderungen, die durch die Einführung von OpenAI’s ChatGPT Ende 2023 entstanden sind, zu analysieren.

Die Veröffentlichung der fortschrittlichen Sprachmodelle von OpenAI, Meta und Co. markiert einen signifikanten Meilenstein in der KI-Entwicklung. Dieser besitzt das Potenzial, bestehende IT-Strukturen zu transformieren und neue Lösungsansätze zu bieten. Trotz des vorherrschenden Hypes ist es essenziell, einen klaren und objektiven Blick auf die tatsächlichen Auswirkungen und zukünftigen Potenziale dieser Technologien zu werfen.

Um eine fundierte Basis für meinen Report zu schaffen, habe ich über 50 Interviews und Gespräche mit Fachexperten, Beratern und Nutzern von LLMs geführt. Diese Gespräche dienten mir dazu, ein breites Spektrum an Perspektiven zu sammeln. Die daraus resultierenden Erkenntnisse habe ich hier einfließen lassen.

Mein Report zielt darauf ab, ein klares Verständnis für die aktuellen Trends zu schaffen, wichtige Diskussionen und Meinungen innerhalb der Branche widerzuspiegeln und einen Ausblick auf die mögliche zukünftige Entwicklung zu bieten. Die daraus gewonnenen Erkenntnisse dienen als Grundlage für strategische Entscheidungen zur Anwendung von künstlicher Sprachintelligenz.

Die Trends 2023

Das Jahr 2023 stellte sich als ein entscheidendes Jahr für die Entwicklung und Anwendung von Large Language Models (LLMs) und künstlicher Sprachintelligenz heraus. Die Fortschritte und Veränderungen habe ich analysiert und beleuchte die Schlüsseltrends, die sich als besonders prägend erwiesen haben.

Retrieval Augmented Generation (RAG)

Von ChatGPT zu RAG

Als Mittel der Wahl für die Verbindung von internem Unternehmenswissen mit künstlicher Sprachintelligenz haben sich RAG-Modelle bewährt. Sie ermöglichen es, das in Datenpools verborgene Wissen effektiv für die Generierung von Antworten zu nutzen und Halluzinationen effektiv zu vermeiden. In diesem Zusammenhang haben Vektor-Suchverfahren eine große Popularität erlangt.

Marktkonzentration und Anbieterabhängigkeit

One Model to Rule them All? - OpenAI als Goldstandard

OpenAI hat sich mit seinen LLMs, insbesondere im multilingualen Bereich, als Qualitätsstandard etabliert. Die hohe Qualität und die Fähigkeit, kontextreiche und grammatikalisch korrekte Texte in verschiedenen Sprachen zu generieren, haben OpenAI eine dominierende Marktstellung eingebracht.

Die Abhängigkeit von einem einzigen Anbieter wie OpenAI wird als Risiko wahrgenommen. Es besteht die Notwendigkeit für andere Anbieter, ihre Technologien zu verbessern, um mehr Vielfalt im Markt zu schaffen und eine Lock-In-Situation zu vermeiden.

Hardwarebedarf und die Rolle von NVIDIA

Elon Musk - Tesla earnings call Q2-23: „We actually take NVIDIA hardware as fast as NVIDIA will deliver it to us.”

In der Betrachtung der Trends für 2023 darf der Aspekt des Hardwarebedarfs, insbesondere die Rolle von NVIDIA mit ihren GPUs, nicht unerwähnt bleiben. Die Auslieferungen der NVIDIA H100 im Jahr 2023 waren von vielen Fragezeichen geprägt. Große Player wie Microsoft und Meta haben beachtliche Mengen dieser Chips bezogen, wobei Meta’s Bedarf besonders bemerkenswert war und Spekulationen über ihre internen KI-Projekte aufwirft.

Interessanterweise liegen Google und Amazon mit ihren Bestellungen von nur 50K Einheiten verhältnismäßig niedrig, was darauf hindeuten könnte, dass sie in hohem Maße auf eigene Hardware setzen. Tesla’s vergleichsweise geringe Bestellmenge von 15K lässt vermuten, dass sie entweder sehr effizient trainieren oder alternative Chips nutzen.

Die Liste offenbart ebenfalls, dass einige erwartete Namen wie z.B. Apple nicht auftauchen, und unterstreicht die immense Nachfrage nach GPUs, die weit über die Liefermöglichkeiten hinausgeht.

Qualität durch Spezialisierung kleinerer Modelle

Größe ist nicht alles

Ein weiterer Trend geht zu kleineren, offenen Modellen, die durch Finetuning und Spezialisierung auf eingeschränkte Anwendungsfälle ebenfalls eine hohe Qualität erreichen können. Diese Entwicklung wird durch den Wunsch nach datenschutzkonformen und kosteneffizienten Lösungen angetrieben, da diese Modelle mit vertretbarem Aufwand auch im eigenen Unternehmens betrieben werden können.

Aus der Praxis

Vektordatenbanken

Wiedergeburt einer alten Technologie

Im Jahr 2023 wurde deutlich, dass der einfache Einsatz von Vektor-Suchtechnologien kein Allheilmittel für die Herausforderungen im Bereich der künstlichen Sprachintelligenz ist. Meine Analyse zeigte‚ dass eine strategische Kombination von altbewährten und neuen Technologien notwendig ist, um den komplexen Anforderungen gerecht zu werden.

RAG – Retrieval Argumenten Generation

RAG und mehr

RAG-Fusion und Komposition verschiedener Suchtechnologien: Die Kombination von RAG mit verschiedenen Suchtechnologien sowie “HyDE”, einem Ansatz zur Verbesserung von Anfragen, bildet die Basis für einen neuen, effektiveren Ansatz in der Sprachintelligenz. Knowledge Graphen spielen ebenfalls eine zentrale Rolle, indem sie das gesamte Unternehmenswissen strukturieren und für LLMs zugänglich machen.

Finetuning und Anpassung: Das Finetuning und die Anpassung von LLMs an spezifische Anwendungsfälle werden zunehmend wichtiger, um den Output zu verbessern und die Modelle an individuelle Geschäftsbedürfnisse anzupassen.

Lokale Modelle und Datenschutz

Wird uns Apple überraschen?

Der Bedarf an lokalen Modellen, getrieben von Datenschutzbedenken und Kosteneffizienz, wird weiterhin steigen. Ich erwarte, dass Unternehmen wie Apple in diesem Bereich wichtige Beiträge leisten werden, insbesondere in der Grundlagenforschung.

Meine Prognose 2024

Wir werden im Jahr 2024 signifikante Entwicklungen in verschiedenen Bereichen der künstlichen Sprachintelligenz erleben.

Retrieval Augmented Generation

RAG als essenzielles Werkzeug etabliert

RAG wird sich als essenzielles Werkzeug etablieren, um Unternehmenswissen effektiv mit künstlicher Sprachintelligenz zu verknüpfen. Einfache RAG-Anwendungen sind bereits jetzt durch die direkte Integration mit OpenAI Agenten oder Azure möglich. Die wirkliche Innovation sehe ich jedoch in der Verbindung von symbolischem Wissen und Knowledge Graphen mit RAG, was zu einer noch tieferen und reichhaltigeren Wissensverarbeitung führen wird.

Die Integration von LLMs mit strukturierten und externen Datenquellen wird neue Anwendungsfälle ermöglichen, die weit über das bisherige Spektrum hinausgehen. Durch die Kombination von LLMs mit externem Wissen werden wir eine neue Ebene der Informationsverarbeitung und -analyse erreichen.

Hardwarebedarf

Hardware-Ressourcen weiterhin ein kritischer Faktor für die Zukunft der künstlichen Sprachintelligenz

Ein weiterer Durchbruch wird im Bereich der lokalen LLMs stattfinden. Die Implementierung von LLMs, die lokal auf Geräten laufen, wird Datenschutzbedenken adressieren und die Kontrolle über sensible Daten zurück in die Hände der Nutzer legen.

Die gegenwärtige Knappheit an Hochleistungs-GPUs kann paradoxerweise auch positive Effekte haben, da sie den Fokus weg von der ständigen Erweiterung der Modelle hin zur Reifung bestehender Verfahren und der Integration in praktische Anwendungen lenkt. Diese Zwangspause in der Hardwarebeschaffung wird den Unternehmen Zeit geben, die bisherigen Fortschritte zu konsolidieren und die Technologie effektiver in ihre Systeme zu integrieren.

Die Einschätzung von Elon Musk, dass für das Training eines hypothetischen GPT-5-Modells 30k-50k H100-GPUs benötigt würden, und eine ähnliche Anzahl für den Betrieb, zeigt, dass die Hardware-Ressourcen ein begrenzender Faktor sind. Dies gilt nicht nur für OpenAI, sondern auch für andere große Technologieunternehmen und Cloud-Anbieter.

EU AI Act

„Amerika innoviert, Europa reguliert“

Schließlich wird der EU AI Act eine entscheidende Rolle spielen. Die genaue Ausgestaltung dieses Regelwerks im Jahr 2024 wird sich zeigen, aber es ist davon auszugehen, dass es erhebliche Auswirkungen auf die Entwicklung und Anwendung von KI-Technologien in Europa haben wird. Es bleibt spannend zu beobachten, wie Unternehmen auf diese Vorschriften reagieren und wie sie Innovationen vorantreiben, während sie gleichzeitig die Compliance sicherstellen.

„Insgesamt stehen wir an der Schwelle zu einem Jahr, in dem die Kombination von fortschrittlichen neuen und etablierten Technologien neue Wege eröffnen wird. Diese Wege werden nicht nur die Möglichkeiten von LLMs und künstlicher Sprachintelligenz erweitern, sondern auch die Art und Weise, wie Unternehmen und Einzelpersonen von diesen Technologien profitieren können.“

Fazit - Nach dem Hype

Der erste Hype ist vorbei, und jetzt ist es an der Zeit, mit qualitativ hochwertigen Anwendungsfällen zu überzeugen. Ebenso ist eine realistische Kommunikation über die Fähigkeiten und Grenzen der Technologie von Beratern notwendig. Der Fokus wird darauf liegen, reale Geschäftsprobleme effektiv zu lösen und die Erwartungen an die Technologie realistisch zu halten. Die Qualität und Wirksamkeit von LLMs muss durch solide Anwendungsfälle unter Beweis gestellt werden.