Jetzt mal ganz ehrlich: Bevor wir unser erstes eigenes Modell gebaut haben, dachte ich, KI sei vor allem eine Frage von genug Daten und genug Rechenleistung.
Dann kam ein Projekt für Apple. Object Recognition, auf dem Gerät, ohne Cloud. Und eine Zahl, die alles bestimmt hat: 80 MB. Mehr durfte das Modell nicht gross sein.
Das war der Moment, in dem KI für mich von Theorie zu Handwerk wurde.
Die Aufgabe
Ein Modell, das Objekte erkennt, ist an sich nichts Besonderes. Es gibt fertige Architekturen, es gibt vortrainierte Gewichte, es gibt Tutorials. Wenn man unbegrenzt Speicher und einen Server hat, ist das ein Wochenende.
Auf dem Gerät ist es etwas anderes. Das Modell muss klein sein, schnell antworten, den Akku nicht leerziehen und trotzdem zuverlässig erkennen. Jedes dieser Ziele zieht in eine andere Richtung.
Grösseres Modell: bessere Erkennung, aber zu langsam und zu gross. Kleineres Modell: passt, aber erkennt schlechter. Und irgendwo dazwischen liegt der Punkt, an dem es funktioniert.
Diesen Kreislauf sind wir sehr oft durchgelaufen. Nicht, weil wir etwas falsch gemacht hätten. Sondern weil es keinen anderen Weg gibt.
Was man dabei lernt
Das Erste, was man lernt: Ein Modell ist kein Programm. Man kann nicht reinschauen und einen Fehler korrigieren. Man kann nur Daten ändern, Parameter ändern, nochmal trainieren und schauen, ob es besser wurde.
Das Zweite: Die Daten sind wichtiger als das Modell. Wir haben mehr Zeit damit verbracht, Beispiele zu sammeln, zu prüfen und zu bereinigen, als mit der Architektur. Ein schlechtes Bild im Trainingsset kostet mehr, als ein cleverer Layer bringt.
Das Dritte: Kleiner machen ist nicht einfach „weglassen". Wenn man ein Modell verkleinert, verliert es zuerst dort Genauigkeit, wo es am wenigsten Beispiele gesehen hat. Man muss also genau wissen, welche Fälle einem wichtig sind, und dort nachlegen.
Der Preis eines Prozentpunkts
Am Anfang ging es schnell. Von „erkennt gar nichts" auf „erkennt das meiste" ist ein grosser Schritt, und er dauert nicht lange.
Danach wird es teuer. Jeder weitere Prozentpunkt Genauigkeit braucht mehr Daten, mehr Trainingsläufe, mehr Auswertung. Und irgendwann kostet ein einziger Prozentpunkt mehr als die ganzen ersten 80 zusammen.
Bei 80 MB kommt noch dazu: Jedes Megabyte, das man dem Modell gibt, muss man irgendwo anders wieder sparen. Man tauscht Genauigkeit gegen Grösse, Grösse gegen Geschwindigkeit, Geschwindigkeit gegen Akku.
Wer das einmal durchgemacht hat, liest Benchmarks anders. „Zwei Prozent besser" ist keine Kleinigkeit. Das ist oft der Unterschied zwischen einem Projekt, das sich rechnet, und einem, das es nicht tut.
Warum das heute wichtiger ist als damals
Heute redet jeder über KI. Die meisten benutzen sie über eine API und zahlen pro Token. Das ist in Ordnung. Aber es verdeckt, was dahinter passiert.
Fakt ist: Wer nie ein Modell trainiert hat, sieht den Preis pro Anfrage und hält das für die Kosten. Wer es einmal getan hat, weiss: Dahinter stecken Daten, die jemand sammeln musste. Trainingsläufe, die jemand bezahlt hat. Und Entscheidungen, was das Modell können soll und was nicht.
Genau das hilft mir heute bei jedem Projekt. Wenn ein Kunde sagt „das soll die KI einfach erkennen", höre ich: Welche Daten haben wir dafür? Wie viele Beispiele? Wie messen wir, ob es gut genug ist?
Die 80 MB waren damals eine Einschränkung. Rückblickend waren sie die beste Ausbildung, die ich in KI bekommen habe.
Ein Modell, das in den Speicher passen muss, zwingt dich, jede Entscheidung zu verstehen. Genau das fehlt vielen, die KI heute nur benutzen.
Geschrieben von mir. Die Gedanken, die Werte, die Learnings, die Fehler: alles meins. Grammatik und Rechtschreibung korrigiert unser eigenes Twin-Modell, das auf meinen Texten trainiert ist. Manchmal bleibt ein Hüpfer drin. Das ist dann auch von mir.