Jetzt mal ganz ehrlich.
Überall liest man gerade: Eine KI ist aus ihrer Testumgebung „ausgebrochen". Bald kopiert sie sich überall hin. Und irgendwann macht sie sich sogar selbst besser. Klingt heftig. Und ich verstehe, warum solche Schlagzeilen gut laufen.
Ich arbeite seit ein paar Jahren mit KI. Wir bauen bei devpoint selber KI-Agenten und trainieren auch eigene kleine Modelle. Darum frage ich mich bei jeder dieser Meldungen das Gleiche:
Ok, nehmen wir an, sie kommt raus
Ein KI-Agent findet eine Lücke. Er kommt aus seiner Testumgebung, schnappt sich ein paar Passwörter, landet auf einem fremden Server und kann dort sogar etwas starten.
Das ist ein Problem. Keine Frage. Das will ich nicht kleinreden.
Aber dann? Was passiert danach?
Hier werfen die Medien zwei Dinge in einen Topf, die nichts miteinander zu tun haben: „aus einer Testumgebung rauskommen" und „sich als KI selbst vermehren".
Eine KI ist kein Virus
Ein Virus ist winzig. Ein paar Megabyte. Der kopiert sich in Sekunden auf 10'000 Rechner.
Eine grosse KI ist das Gegenteil. Die Dinger sind riesig. Sie brauchen viele GPUs, viel Speicher und eine ganze Infrastruktur drumherum. So ein Modell läuft nicht einfach auf irgendeinem gehackten Webserver.
Und noch wichtiger: Der Agent, mit dem du redest, ist nicht eine Datei, die sich selbst kopieren kann. Das eigentliche „Gehirn", das Modell, liegt beim Anbieter. Der Agent hat es nicht dabei.
Also nur weil er auf einen Server kommt, kann er dort nicht sagen: So, jetzt kopiere ich mich hierhin und mache einfach weiter.
Selbst wenn er an sein Modell käme, müsste er hunderte Gigabyte rausschmuggeln und irgendwo wieder zum Laufen bringen. Das fällt auf. Sehr.
Das Szenario, das ich viel realistischer finde
Und jetzt kommt der Punkt, der mich wirklich beschäftigt.
Sie könnte viele kleine Agenten auf fremden Systemen starten. Die fragen über das Internet immer wieder das eine grosse Modell: Was soll ich tun? Und dann machen sie es. Das Gehirn bleibt an einem Ort. Nur die Arbeit verteilt sich.
Warum ich das realistisch finde? Weil das keine Zukunft ist. Genau so bauen wir heute schon. Wir geben Agenten von OpenAI oder Claude Werkzeuge, Zugänge und Aufgaben. Sie schreiben Code, starten Programme, schauen sich die Ergebnisse an und geben Aufgaben an weitere Agenten weiter.
Wenn man das weiterdenkt, ist ein intelligentes Botnetz mit einem gemeinsamen Gehirn im Hintergrund gar nicht so weit weg.
Und jetzt wird es richtig interessant
Bis vor kurzem hätte ich gesagt: Eine KI kann sich nicht selbst trainieren. Punkt.
Das würde ich heute nicht mehr so sagen.
Anthropic hat gezeigt, dass Claude andere KI-Modelle trainieren kann. Nicht nur „schreib mir den Code dafür", sondern als ganzer Kreislauf: Mehrere Agenten suchen Methoden, bauen einen Ansatz, erzeugen Trainingsdaten, trainieren ein Modell, prüfen das Ergebnis und entscheiden, was in die nächste Runde kommt. Über 60 Stunden. Mehr als 50 Versuche.
Das ist ziemlich beeindruckend. Und es heisst: Ein Teil von „KI baut KI" passiert heute tatsächlich schon.
Aber: Wir haben ihr die Rennstrecke gebaut
Einen Unterschied dürfen wir dabei nicht vergessen.
Wir geben ihr die GPUs.
Wir geben ihr den Zugang zu den Modellen.
Wir bauen die Trainingsumgebung.
Wir geben ihr die Zugänge und Passwörter.
Wir sagen, was getestet wird.
Und wir bezahlen den ganzen Spass.
Sie hat sie nicht gebaut, und sie kann sie sich nicht selbst besorgen.
Genau das sagt auch OpenAI ganz offen: KI hilft heute schon bei der Arbeit an der nächsten KI-Generation. Aber eine KI, die sich komplett alleine immer weiter verbessert, gibt es nicht. Und METR, eine unabhängige Stelle, die diese Modelle testet, sieht das bei den aktuellen Modellen genauso.
Wo stehen wir also wirklich?
2020 bis 2023: Der Mensch baut die KI.
2024 bis 2025: Mensch und KI bauen zusammen die KI.
2026, heute: Der Mensch baut die Umgebung. Darin forschen, programmieren und trainieren KI-Agenten schon teilweise alleine.
Nächste Stufe: Die KI besorgt sich Rechenleistung, Training und Tests selber.
Danach: Bessere KI baut bessere KI baut bessere KI.
Wir stehen meiner Meinung nach zwischen Stufe drei und vier. Nicht bei fünf.
Darum finde ich beides falsch: „Alles nur Panikmache" genauso wie „die KI macht sich jetzt schon selbst besser".
Was mich trotzdem vorsichtiger macht
Nicht die Schlagzeile. Die Geschwindigkeit.
Agenten haben wir. Werkzeuge haben wir. Programmieren können sie. Versuche automatisch durchführen können sie. Andere Modelle trainieren und selber bewerten geht inzwischen auch.
Es fehlen also viel weniger Teile als noch vor ein paar Jahren.
Und einen Satz sage ich bewusst nicht mehr: „Davon sind wir noch weit weg." Das wissen wir schlicht nicht. Richtiger ist: Wir sind heute noch nicht dort. Aber mehrere wichtige Teile funktionieren schon.
Die eigentliche Frage
Für mich lautet die Frage nicht: Kann eine KI ausbrechen?
Rechenleistung besorgen. GPUs finden. An ein Modell kommen. Eine Trainingsumgebung bauen. Sich verbessern. Eine neue Version starten. Und die fängt wieder von vorne an.
Wenn dieser Kreis ohne uns geschlossen wird, reden wir über etwas komplett Neues.
Nicht, weil eine KI aus einer Testumgebung ausgebrochen ist. Sondern weil sie irgendwann vielleicht niemanden mehr braucht, der ihr die nächste Runde ermöglicht.
Ernst nehmen, ja. Panik, nein. Und vor allem: genau hinschauen, welche Teile gerade fertig werden.
Geschrieben von mir. Die Gedanken, die Werte, die Learnings, die Fehler: alles meins. Grammatik und Rechtschreibung korrigiert unser eigenes Twin-Modell, das auf meinen Texten trainiert ist. Manchmal bleibt ein Hüpfer drin. Das ist dann auch von mir.