Wir haben ein kleines Modell gebaut. 80 GPU-Stunden, bis es brauchbar war. Meta hat für ein offenes Modell mit 400 Milliarden Parametern rund 30 Millionen GPU-Stunden veröffentlicht. Das ist Faktor 400'000.
Zwei Zahlen
Ich mag diese beiden Zahlen nebeneinander, weil sie etwas zeigen, was man sonst nicht sieht.
Unser Modell hat eine klar begrenzte Aufgabe und ist darin gut. Das grosse Modell kann fast alles, halbwegs. Beide sind sinnvoll. Aber sie liegen so weit auseinander, dass man sie nicht mit denselben Massstäben messen kann.
Und bei den Frontier-Modellen, die wir alle über APIs benutzen, liegt man nochmal darüber. Wie weit, sagt niemand genau.
Der Preis pro Token ist nicht der Preis
Wer KI heute benutzt, sieht eine Zahl: Dollar pro Million Tokens. Die ist klein. Und sie wird jedes Jahr kleiner.
Das ist nicht falsch. Aber es ist so, als würde man den Strompreis anschauen und daraus schliessen, was ein Kraftwerk kostet.
Hinter dem Token-Preis stecken die 30 Millionen GPU-Stunden. Die Daten, die jemand gesammelt hat. Die Leute, die das Modell ausgerichtet und getestet haben. Die Rechenzentren, die es betreiben. Und das Kapital, das darauf wettet, dass sich das irgendwann rechnet.
Was ein Prozentpunkt kostet
Bei unserem kleinen Modell haben wir es genau gesehen. Die ersten 80 Prozent Genauigkeit kamen schnell. Danach wurde jeder Prozentpunkt teurer als der davor. Mehr Daten, mehr Läufe, mehr Auswertung, mehr Leute, die hinschauen.
Jetzt multipliziere das mit 400'000.
Ein Prozentpunkt auf einem Frontier-Modell ist kein Wochenende. Das sind Monate, Teams, Rechenzentren. Wenn ein Anbieter sagt „unser neues Modell ist drei Prozent besser", steckt dahinter ein Aufwand, den sich kaum jemand ausserhalb dieser Firmen vorstellen kann.
Deshalb nehme ich Benchmarks ernst. Und deshalb nehme ich sie nicht zu ernst. Drei Prozent im Benchmark heissen nicht automatisch drei Prozent in meinem Anwendungsfall.
Warum das Entscheidungen verändert
Das Gefühl für diese Zahlen verändert, wie man Projekte plant.
Erstens: Man baut nicht mehr alles auf das grösste Modell. Für 900 Kategorien braucht es kein Frontier-Modell. Ein kleines, gut trainiertes reicht, ist schneller und kostet im Betrieb fast nichts.
Zweitens: Man versteht, warum die Token-Preise nicht ewig fallen können. Fakt ist: Irgendwann muss jemand die 30 Millionen GPU-Stunden bezahlen. Heute subventioniert das der Wettbewerb. Das bleibt nicht so.
Drittens: Man hört auf, „die KI wird das schon lernen" zu sagen. Lernen kostet. Bei uns 80 Stunden. Bei den Grossen 30 Millionen. Nichts davon ist gratis.
Man muss es gefühlt haben
Ich glaube nicht, dass man das aus einem Artikel lernt. Auch nicht aus diesem.
Man lernt es, wenn man zum dreissigsten Mal ein Training startet, zwei Stunden wartet, und das Modell ist um 0,4 Prozent besser geworden. Dann versteht man, was Faktor 400'000 bedeutet.
Wer das nie erlebt hat, kann KI trotzdem gut einsetzen. Aber er sollte wissen, dass er den Preis nicht kennt. Und Entscheidungen, bei denen es um den Preis geht, jemandem überlassen, der ihn kennt.
Der Token-Preis ist die Stromrechnung. Das Kraftwerk dahinter sieht man nicht. Wer es einmal selber gebaut hat, im Kleinen, versteht plötzlich die Grossen.
Geschrieben von mir. Die Gedanken, die Werte, die Learnings, die Fehler: alles meins. Grammatik und Rechtschreibung korrigiert unser eigenes Twin-Modell, das auf meinen Texten trainiert ist. Manchmal bleibt ein Hüpfer drin. Das ist dann auch von mir.