Ein einzelnes Modell zu trainieren ist heute keine Kunst mehr. Ein Wochenende, ein paar Tutorials, ein bisschen GPU-Zeit. Das Problem beginnt danach.
Warum überhaupt so viele
Wir halten rund 50 Micro-Modelle aktuell. Nicht, weil wir Modelle sammeln. Sondern weil ein grosses Modell für alles in der Praxis schlechter ist als viele kleine für je eine Aufgabe.
Ein Modell ordnet Firmen Kategorien zu. Eines erkennt Objekte. Eines sortiert Dokumente vor. Eines prüft, ob eine Antwort zum Kontext passt. Jedes ist klein, schnell, günstig im Betrieb, und für genau eine Sache gut.
Der Vorteil: Wenn eines schlechter wird, weiss man sofort, welches. Der Nachteil: Man hat fünfzig Dinge, die schlechter werden können.
Die Rechnung, die niemand macht
Rechenzeit ist nicht das Problem. Wir haben es nachgerechnet.
600 bis 1'200 GPU-Stunden im Jahr, ein paar tausend Dollar. Überschaubar. Darüber diskutiert niemand.
Aber jetzt kommt der Teil, den niemand rechnet: Jedes Modell braucht monatlich frische Daten. Jedes Modell braucht nach dem Training eine Evaluierung. Bei fünfzig Modellen sind das hundert Datensätze und hundert Bewertungen pro Monat.
Die eine Frage, hundert Mal im Monat
Und bei jeder dieser hundert Bewertungen stellt sich dieselbe Frage: Ist die neue Version wirklich besser als die alte?
Das klingt einfach. Ist es nicht. „Besser" heisst: besser auf den Fällen, die uns wichtig sind. Nicht besser im Durchschnitt und schlechter bei den seltenen Kategorien. Nicht besser bei den einfachen Beispielen und schlechter bei den schwierigen. Und nicht besser, weil zufällig ein anderer Testsatz drin war.
Das haben wir gesehen. Nach ein paar Monaten schaut niemand mehr genau hin. Die Modelle werden neu trainiert, die Zahlen sehen ungefähr gleich aus, weiter. Bis eines Tages ein Modell in der Produktion Unsinn macht und keiner weiss, seit wann.
Was automatisiert sein muss
Deshalb haben wir aufgehört, das von Hand zu machen. Nicht weil wir faul sind, sondern weil Menschen für diese Art von Arbeit das falsche Werkzeug sind.
Der Testsatz ist fix und wird nur bewusst verändert. Der Vergleich läuft automatisch, pro Kategorie, nicht nur im Schnitt. Eine neue Version geht nur in Produktion, wenn sie auf den kritischen Fällen nicht schlechter geworden ist. Und jede Entscheidung wird festgehalten: welche Daten, welche Zahlen, welches Ergebnis.
Der Mensch schaut nur noch dort hin, wo die Pipeline etwas Auffälliges meldet. Das sind vielleicht fünf Fälle im Monat statt hundert. Und bei diesen fünf schaut er dann wirklich hin.
Genau dafür haben wir NeoCoder gebaut. Zuerst für uns selber. Weil wir sonst die fünfzig Modelle nicht mehr gehalten hätten.
Was das für andere heisst
Viele Unternehmen sind heute bei Modell Nummer eins oder zwei. Da funktioniert Handarbeit noch. Fakt ist: Wer KI ernsthaft einsetzt, landet schneller bei zehn oder zwanzig Modellen, als er denkt.
Und dann ist die Frage nicht mehr, ob man trainieren kann. Sondern ob man es sich leisten kann, jeden Monat hundert Mal hinzuschauen. Meine Antwort: nein. Niemand kann das.
Ein Modell ist ein Projekt. Fünfzig Modelle sind ein Betrieb. Und ein Betrieb ohne Automatisierung ist nur eine Frage der Zeit, bis etwas Wichtiges übersehen wird.
Geschrieben von mir. Die Gedanken, die Werte, die Learnings, die Fehler: alles meins. Grammatik und Rechtschreibung korrigiert unser eigenes Twin-Modell, das auf meinen Texten trainiert ist. Manchmal bleibt ein Hüpfer drin. Das ist dann auch von mir.