Turing-Preisträger Richard Sutton, Autor des Essays "Die bittere Lektion" von 2019, schreibt in einem neuen Beitrag, dass rohe Rechenkraft allein nicht für Intelligenz ausreiche. Es brauche clevere neue Methoden; die KI-Wissenschaft sei "noch lange nicht am Ziel". Das berichtet The Decoder unter Berufung auf Suttons Posting auf X, das in der KI-Szene viel Resonanz fand.
Hintergrund
In seinem Essay von 2019 hatte Sutton argumentiert, dass sich langfristig allgemeine, mit Rechenleistung skalierende Methoden gegenüber menschlichen Spezialentwicklungen durchsetzen. Die neue Aussage ist laut The Decoder nicht völlig neu: Sutton hatte zuvor die Grenzen reiner Skalierung großer Sprachmodelle kritisiert, synthetische Daten als "großen Fehler" bezeichnet und Agenten mit Weltmodellen gefordert, die fortlaufend aus eigener Erfahrung lernen. Heutige Sprachmodelle lernten nach dem Training nicht weiter; nötig sei kontinuierliches Lernen, ohne dass altes Wissen zerstört werde.
Die Gegenseite
The Decoder berichtet auch von unterschiedlichen Positionen unter Forschern. KI-Forscher Jerry Tworek, der OpenAI verlassen hat, meint, die bittere Lektion gelte weiter, doch je mehr Rechenleistung ins Modelltraining fließe, desto wichtiger werde der Algorithmus. Auch KI-Forscher Jayden Teoh kritisiert, dass die bittere Lektion akademische Forschung ausgebremst habe, weil vielversprechende Ideen vorschnell abgetan würden.
OpenAI-CEO Sam Altman hält die Skalierung großer Sprachmodelle laut dem Bericht für lange nicht ausgereizt. Anthropic-Chef Dario Amodei beschreibt den Skalierungsfortschritt als "Regenbogen ohne Ende". The Decoder merkt an, dass beide als Chefs von Firmen, die auf diesen Ansatz setzen, befangen sein dürften.
Einordnung
Für Unternehmen, die sich auf die weitere Verbesserung heutiger Sprachmodelle durch größere Rechenleistung verlassen, könnte die Debatte bedeuten, dass Planungen mit unsicheren Annahmen über künftige Skalierung verbunden sind. Ob neue Lernverfahren kurzfristig Fortschritte bringen, ist laut den genannten Quellen offen.
Quellen
Redaktionell verantwortet von Ideal Syka. Quellen und Arbeitsweise: Redaktion & Methode. Hinweise und Korrekturen: ai@i6eal.de.
