DEversAI: Training und Visualisierung deutsch lokalisierter direktionalkomplementärer LLMs

DEversAI: Training und Visualisierung deutsch lokalisierter direktionalkomplementärer LLMs

Macht es einen Unterschied, in welcher Leserichtung ein sogenanntes Large Language Model (LLM) Text verarbeitet? Um das herauszufinden, trainierte Leo Blume zwei solcher KI-Sprachmodelle – das eine wie üblich vorwärts, das andere rückwärts. Anschließend testete sie, wie gut die beiden Modelle Kochrezepte, Gesetzestexte oder Bundestagsreden erzeugen können. Der Vergleich ergab, dass das vorwärts trainierte Modell in der Regel etwas besser abschnitt. Es konnte Texte präziser und strukturierter generieren. Das rückwärts trainierte Modell überraschte mit interessanten, zum Teil brauchbaren Ergebnissen, etwa bei Texten mit klarer Struktur. Im Ergebnis sind Rückwärtsmodelle keine bloße Spielerei, sondern könnten neue Perspektiven für die KI-Forschung eröffnen, etwa indem sie mit Vorwärtsmodellen kombiniert werden.