Wer heute eine GPU in der Cloud mietet, zahlt rund drei Dollar pro Stunde für eine Karte, die zehntausende kostet. Das ist kein Marktpreis. Das ist eine Einladung.
Warum es gerade so billig ist
Ich will das nicht dramatisieren. Drei Dollar pro Stunde für eine A100 oder H100 ist ein Geschenk, und wir nehmen es gerne an. Unsere fünfzig Micro-Modelle kosten uns im Jahr ein paar tausend Dollar Rechenzeit. Vor fünf Jahren wäre das ein Vielfaches gewesen.
Aber man sollte wissen, warum es so billig ist. Nicht, weil die Karten billig geworden wären. Sondern weil im Moment jeder will, dass wir sie benutzen.
Aus eigenem Interesse
Fakt ist: Nvidia verschenkt die GPUs heute fast, aus eigenem Interesse. Die Cloud-Anbieter subventionieren sie, um Kunden auf ihre Plattform zu holen. Die Modell-Anbieter setzen Token-Preise unter ihre Kosten, um Marktanteile zu gewinnen. Und alle zusammen wetten darauf, dass wir uns an KI gewöhnen und später bezahlen.
Das ist keine Verschwörung. Das ist normale Marktlogik in einer Phase, in der alle wachsen wollen. Aber diese Phase endet. Sie endet immer.
Was eine Indexierung wirklich kostet
Genau deshalb haben wir NeoCoder so gebaut, dass wir jeden Posten sehen. Nicht, weil wir sparen wollten. Sondern weil wir wissen wollten, was das Ganze kostet, bevor jemand anderes die Preise ändert.
Ein Beispiel, das die meisten unterschätzen: ein Repository indexieren. Damit ein Agent ein grosses System versteht, muss der Code eingelesen, in Embeddings verwandelt und durchsuchbar gemacht werden. Bei einem Legacy-System mit hunderttausenden Zeilen läuft da einiges durch die API.
Die Antwort war: mehr, als wir dachten. Deutlich mehr als das Training unserer kleinen Modelle. Und das sieht man nur, wenn man die Pipeline selber in der Hand hat. Wer nur eine Rechnung vom Anbieter bekommt, sieht eine Zahl und keinen Grund.
Dazu kommt: Die Zahlen, die ich sonst nenne, gelten für ein Modell mit 900 Kategorien. Nicht für ein Sprachmodell. Training braucht Hardware, und bei allem, was in Richtung LLM geht, ist der Verbrauch extrem gross und teuer. Das darf man nie vergessen, wenn man die kleinen Zahlen hört.
Was passiert, wenn es vorbei ist
Ich weiss nicht, wann die Preise steigen. Vielleicht in zwei Jahren, vielleicht in fünf. Aber ich bin ziemlich sicher, dass sie es tun. Irgendwann müssen die Rechenzentren bezahlt werden, und der Wettbewerb um Marktanteile wird zu einem Wettbewerb um Marge.
Dann passiert Folgendes: Unternehmen, die ihre KI-Kosten nie verstanden haben, bekommen plötzlich eine Rechnung, die dreimal so hoch ist. Und sie können nicht sagen, warum. Welcher Prozess treibt die Kosten? Welcher Prompt ist zu lang? Welche Indexierung läuft jede Nacht, obwohl sich nichts geändert hat?
Wer das nicht weiss, kann nicht optimieren. Er kann nur zahlen oder abschalten.
Wie man sich vorbereitet
Ehrlich gesagt ist es nicht kompliziert. Es ist nur unbequem, weil es sich heute nicht lohnt.
Man misst. Pro Prompt, pro Agent, pro Aufgabe, pro Trainingslauf. Nicht, um heute zu sparen, sondern um zu wissen, wo das Geld hingeht. Man baut die kleinen Aufgaben auf kleine Modelle, die man selber betreibt, und behält die grossen Modelle für die Fälle, die sie wirklich brauchen. Und man behandelt Rechenzeit wie eine Ressource, die etwas kostet, auch wenn die Rechnung gerade noch klein ist.
Wer nicht weiss, was ihn ein Prompt, eine Indexierung oder ein Trainingslauf kostet, wird das irgendwann sehr deutlich merken. Ich würde es lieber jetzt wissen.
Die GPUs sind heute fast geschenkt. Das ist eine Einladung, nicht ein Zustand. Wer seine Kosten jetzt versteht, kann später entscheiden. Wer es nicht tut, kann nur noch zahlen.
Geschrieben von mir. Die Gedanken, die Werte, die Learnings, die Fehler: alles meins. Grammatik und Rechtschreibung korrigiert unser eigenes Twin-Modell, das auf meinen Texten trainiert ist. Manchmal bleibt ein Hüpfer drin. Das ist dann auch von mir.