Sprachmodell - einfach erklärt

Ein Sprachmodell ist ein mathematisches Modell, das berechnet, wie wahrscheinlich eine bestimmte Abfolge von Wörtern oder Buchstaben ist. Vereinfacht gesagt schätzt es, welches Wort in einem Text als Nächstes kommt. Das klingt schlicht, ist aber die Grundlage für viele Programme, die mit Sprache arbeiten, von der Spracherkennung bis zum Chatbot.

Ein Beispiel macht das Prinzip klar. Auf den Satzanfang "Ich trinke morgens gern eine Tasse" folgt sehr wahrscheinlich "Kaffee" oder "Tee" und sehr unwahrscheinlich "Fahrrad". Ein Sprachmodell hat solche Wahrscheinlichkeiten aus großen Mengen Text gelernt.

Wie ein Sprachmodell rechnet

Ein Sprachmodell betrachtet einen Text als Kette von Elementen, etwa Wörtern. Die Wahrscheinlichkeit für einen ganzen Satz ergibt sich dann Schritt für Schritt. Man fragt nacheinander, wie wahrscheinlich das erste Wort ist, dann das zweite, wenn das erste schon feststeht, und so weiter. Multipliziert man diese Wahrscheinlichkeiten, erhält man die Wahrscheinlichkeit des ganzen Satzes.

Das Problem ist, dass ein Satz beliebig lang werden kann, ein Modell aber nur endlich viele Werte speichern kann. Ältere Sprachmodelle haben sich deshalb mit einer Vereinfachung beholfen. Sie schauen nur auf eine feste Zahl der letzten Wörter und nicht auf den ganzen bisherigen Text. Solche Modelle heißen N-Gramm-Modelle. Ein Bigramm-Modell etwa sagt das nächste Wort nur aus dem einen Wort davor vorher.

Wofür man Sprachmodelle braucht

Sprachmodelle spielen in der Computerlinguistik eine zentrale Rolle. Sie sind ein wichtiger Baustein von Programmen zur maschinellen Übersetzung und zur Spracherkennung. Bei der Textgenerierung erzeugen sie selbst Text, indem sie immer wieder das nächste Wort vorhersagen und an den bisherigen Text anhängen.

Vom einfachen zum großen Sprachmodell

Ab den 2010er-Jahren haben künstliche neuronale Netze die Fähigkeiten von Sprachmodellen vertieft und erweitert. Einen großen Sprung brachte 2017 eine neue Architektur namens Transformer. Ein Transformer lernt den Zusammenhang und damit die Bedeutung eines Textes, indem er die Beziehungen zwischen den Wörtern eines Satzes auswertet. Auf ihr beruhen die heutigen großen Sprachmodelle, auf Englisch Large Language Models oder kurz LLM. Das Sprachmodell GPT, das hinter ChatGPT steckt, ist eines davon.