Ok, eine Frage, die ich oft höre: Ein Modell ist doch eine Blackbox, oder? Vorne schreibt man etwas hinein, hinten liest man, was herauskommt. Für ein Modell hinter einer Schnittstelle stimmt das. Für ein offenes Modell auf dem eigenen Rechner hat es nie gestimmt. Wer die Datei hat, kann hineinschauen. Die Frage ist nur, wie man bei ein paar Milliarden Zahlen etwas findet: Was steckt in so einem Modell drin, das uns niemand gesagt hat? Wir untersuchen das gerade mit einer bewusst seltsamen Testfrage: Wurde dieses Modell mit einem Spiel trainiert? Und wenn ja, mit welchem? Das ist ein Versuch, kein Ergebnis. Aber das Warum ist einfach: Wir wollen ein Modell besser machen, ohne es zu trainieren.
Die Frage
Wer ein offenes Modell herunterlädt, zum Beispiel eines aus der Qwen-Familie, bekommt eine Datei mit ein paar Milliarden Zahlen und eine Beschreibung, die über die Trainingsdaten wenig sagt. Das ist bei fast allen so. Die Forscher, die das systematisch untersucht haben, schreiben es trocken: Die Modelle sind überall im Einsatz, womit sie trainiert wurden, wird selten offengelegt.
Für uns ist das keine akademische Frage. Wir bauen auf diesen Modellen Agenten und trainieren sie weiter. Wenn ich nicht weiss, was das Modell schon gelernt hat, trainiere ich blind: entweder Dinge, die es längst kann, oder gegen etwas an, das tief drin sitzt. Das Spiel ist dabei nur der Prüfstein. Ein Spiel hat klare Regeln und einen klaren Zustand. Wenn man irgendwo sauber nachweisen kann, was ein Modell gelernt hat, dann dort.
Zwei Wege hinein: abhören und röntgen
Es gibt, vereinfacht, zwei Wege.
Von aussen, abhören. Man gibt dem Modell einen Text und misst, wie überrascht es ist. Ein Modell, das einen Text im Training gesehen hat, hält kaum ein Wort davon für unwahrscheinlich. Ein Modell, das ihn nicht kennt, stolpert über ein paar Ausreisser. Eine Arbeit von 2023 hat daraus ein Verfahren gemacht, das ohne Wissen über die Trainingsdaten auskommt, und es unter anderem benutzt, um urheberrechtlich geschützte Bücher in Modellen nachzuweisen. Man braucht dafür nur die Wahrscheinlichkeiten, die das Modell ausgibt.
Von innen, röntgen. Hier wird es genauer, und ein Begriff wird im Alltag oft verwechselt, auch bei uns im Gespräch, darum einmal sauber: Die Gewichte eines Modells sind nach dem Training fest. Was sich bei jeder Anfrage bewegt, sind die Aktivierungen: das, was im Modell passiert, während es liest und antwortet. Die kann man bei einem offenen Modell auslesen. Und dann kann man eine kleine Sonde darauf trainieren, die eine einzige Frage beantwortet: Steckt in diesen Zahlen eine bestimmte Information, ja oder nein?
Das Modell, das ein Brett im Kopf hatte
Die Arbeit, die das Thema für Sprachmodelle aufgemacht hat, ist von 2022. Forscher haben ein Sprachmodell nur mit Zugfolgen des Brettspiels Othello trainiert. Kein Brett, keine Regeln, nur Text: Zug, Zug, Zug. Die Aufgabe war, den nächsten erlaubten Zug vorherzusagen. Dann haben sie mit einer Sonde in die Aktivierungen geschaut. Und fanden dort den Zustand des Bretts. Das Modell hatte sich aus reinen Zugfolgen eine innere Darstellung des Spielfelds aufgebaut, die ihm niemand gegeben hatte.
Sie haben es nicht beim Hinschauen belassen. Sie haben in die Aktivierungen eingegriffen, den inneren Brettzustand verändert, und das Modell hat danach Züge vorgeschlagen, die zum veränderten Brett passten. Das ist der Unterschied zwischen einer Vermutung und einem Nachweis: Wenn man an der Stelle dreht und das Verhalten folgt, hat man die richtige Stelle gefunden. Eine zweite Arbeit hat ein Jahr später gezeigt, dass diese Darstellung sogar einfacher aufgebaut ist als gedacht: Das Modell denkt nicht in Schwarz und Weiss, sondern in „meine Farbe" und „die des Gegners".
Und dann Schach, 2024, und das ist die Stelle, an der es für uns praktisch wird. Ein Modell, nur auf echte Partien trainiert, nur auf das nächste Zeichen. Wieder fand sich innen das Brett. Aber zusätzlich etwas, womit niemand gerechnet hatte: Das Modell schätzte innerlich ein, wie gut die Spieler sind, weil es damit den nächsten Zug besser vorhersagen konnte. Der Forscher hat diese Richtung herausgelesen, sie dem Modell bei der Abfrage verstärkt, und die Gewinnrate stieg auf bis das 2,6-Fache. Ohne einen einzigen neuen Trainingsschritt.
Was wir versuchen
Unser Versuch dreht das Vorgehen der Forschung um. Dort wusste man, womit das Modell trainiert wurde, und suchte die Spur. Wir kennen das Training nicht und suchen, ob es eine Spur gibt.
Und wir machen es nicht von Hand. Ein zweites Modell spielt den Untersucher. So gehen wir vor:
Hypothesen. Der Untersucher stellt eine Liste auf: Welche Spiele kämen in Frage, und woran würde man jedes erkennen? Notation, typische Eröffnungen, Züge, die nur jemand macht, der das Brett kennt.
Testfälle. Zu jeder Hypothese Stellungen, die es so nirgends im Netz gibt. Das ist der wichtigste Schritt, dazu gleich mehr.
Messen. Das untersuchte Modell bekommt die Stellungen, und wir halten fest, was es tut, wie sicher es ist, und was dabei innen passiert.
Gegenprobe. Dieselbe Messung mit einem Spiel, das wir selber erfunden haben. Das kann kein Modell kennen. Was dort herauskommt, ist die Nulllinie.
Auswerten. Der Untersucher schreibt einen Befund mit Belegen. Ein Mensch liest ihn. Der Untersucher schlägt vor, er entscheidet nicht.
Wo es täuscht
Die grösste Falle kennt jeder, der Modelle prüft, und sie ist hier besonders tückisch. Ein Modell kann ein Spiel kennen, weil es darüber gelesen hat. Schachbücher, Foren, kommentierte Partien, das steht alles im Netz. Das ist nicht dasselbe wie mit dem Spiel trainiert worden zu sein. Ein Modell, das tausend Schachbücher gelesen hat, kann über Eröffnungen reden wie ein Kenner und trotzdem im zwanzigsten Zug eine Figur ziehen, die gar nicht mehr auf dem Brett steht.
Darum die erfundenen Stellungen. Auswendig Gelerntes hilft dort nicht. Wer in einer Stellung, die es nie gab, den Zustand des Bretts richtig weiterführt, hat das Spiel innen abgebildet. Wer nur schön darüber redet, hat darüber gelesen.
Zweite Falle: Eine Sonde findet manchmal etwas, das sie selber gelernt hat, nicht das Modell. Darum die Gegenprobe mit dem erfundenen Spiel, und darum, wenn es ernst wird, der Eingriff wie in der Othello-Arbeit: an der Stelle drehen und schauen, ob das Verhalten folgt. Dritte Falle: Der Untersucher ist selber ein Modell. Er kann sich irren, und er kann sich mit Überzeugung irren. Ich habe letzte Woche über genau das geschrieben, als unser nächtlicher Rat Einigkeit für Sturheit hielt.
Wozu das Ganze: optimieren ohne Training
Nicht wegen der Spiele. Wegen dem, was danach kommt. Wenn das Verfahren an einem Spiel funktioniert, wo man es sauber prüfen kann, dann funktioniert es auch für die Fragen, die uns in NeoCoder wirklich beschäftigen. Kennt dieses Modell unser Framework wirklich, oder redet es nur darüber? Hat es unsere Architekturregeln innen abgebildet, oder hält es sie ein, solange sie im Prompt stehen? Wo ist die Lücke zwischen dem, was es weiss, und dem, was es braucht?
Der eigentliche Grund ist dieser: Training ist teuer. Nicht nur in Dollar. Ein Lauf braucht saubere Daten, Tage an Kuration, eine Prüfung danach, und am Ende ein neues Modell, das man wieder gegen das alte messen muss. Ich habe in den letzten Wochen genug darüber geschrieben, wie viel Arbeit in einem einzigen Trainingspaar steckt. Darum die Frage, die uns antreibt: Wie viel können wir aus einem Modell herausholen, bevor wir es überhaupt anfassen?
Das passende Modell wählen. Für eine Aufgabe nimmt man das, in dem das meiste schon drin ist, nicht das grösste. Das kostet eine Messung, keinen Lauf.
Die Abfrage auf das Modell zuschneiden. Wer weiss, in welcher Form ein Modell etwas gelernt hat, fragt es in dieser Form. Dieselbe Aufgabe, anders gestellt, trifft innen die Stelle, an der das Wissen sitzt. Das ist mehr als Prompt-Basteln: Man probiert nicht, man misst.
Verstärken, was schon da ist. Das zeigt die Schach-Arbeit: Die Spielstärke war im Modell, man musste sie nur bei der Abfrage aufdrehen. So würde ich es als Nächstes versuchen, wenn der erste Schritt hält.
Und erst dann trainieren, und nur die Lücke. Was nach den ersten drei Schritten noch fehlt, ist die echte Lücke. Die trainieren wir, nicht das ganze Feld. Das ist der Unterschied zwischen einem Lauf über Nacht und einem über das Wochenende.
Und es gibt eine Stelle, an der wir die Technik schon einsetzen: bei den nächtlichen Abstimmungen unter den Agenten. Ich habe letzte Woche beschrieben, wie nachts ein Rat über unser Lernmaterial streitet, ein Fürsprecher, ein Prüfer, bei Patt ein Schiedsrichter. Jede dieser Rollen läuft auf einem Modell, und jede Rolle verlangt etwas anderes: Der Prüfer soll Schwächen finden, der Fürsprecher soll die Antwort so stark machen, wie sie ist. Wenn wir wissen, was ein Modell innen mitbringt, können wir jedem Agenten sein eigenes Profil geben und es Nacht für Nacht schärfen. Welches Modell eignet sich für welche Rolle? In welcher Form muss man ihm den Fall vorlegen, damit es sein Bestes zeigt? Wo ist es blind? Das beantworten wir nicht mehr nach Gefühl, sondern aus der Messung. Und der Rat liefert jede Nacht neue Fälle, an denen wir prüfen, ob das Profil besser geworden ist.
Die Kehrseite
Was man lesen kann, kann man prüfen. Das ist die gute Nachricht, und eine Arbeit von 2025 hat sie auf die Spitze getrieben: Forscher haben einem Modell absichtlich ein verstecktes Ziel antrainiert und vier Teams darauf angesetzt, die nichts davon wussten. Drei haben es gefunden. Modell-Audit ist also möglich.
Was man verstärken kann, kann aber auch jemand anders verändern. Bei einem offenen Modell sieht niemand von aussen, ob an den Aktivierungen gedreht wird, während es antwortet. Das ist dieselbe Lehre wie beim Cursor-Vorfall vor zwei Wochen, nur eine Schicht tiefer: Nicht nur die Umgebung um das Modell gehört zur Angriffsfläche, auch der Weg durch das Modell. Darum läuft bei uns alles lokal, mit geprüften Dateien, und darum gehört das Röntgen in dieselbe Werkstatt wie das Bauen.
Stand heute
Ehrlich: Bei der Spiel-Frage haben wir noch kein Ergebnis, das ich hier als Befund hinschreiben würde. Wir haben ein Verfahren, eine Gegenprobe, und erste Messungen, die ich noch nicht deuten kann. Ob sich in einem grossen Allzweckmodell eine Spielspur so sauber finden lässt wie in den kleinen Modellen der Forschung, weiss ich nicht. Es kann gut sein, dass die Antwort lautet: nicht mit unseren Mitteln. Dann schreibe ich das auch auf.
Was bleibt
Ein Modell ist keine Blackbox mehr, wenn man die Datei auf dem eigenen Rechner hat. Man kann hineinhören, man kann hineinschauen, und die Forschung hat gezeigt, dass darin Dinge stehen, die niemand hineingeschrieben hat. Wir versuchen, daraus ein Werkzeug zu machen: nicht um Spiele zu finden, sondern um zu wissen, was ein Modell kann, bevor wir ihm etwas beibringen.
Die Frage war: Hat dieses Modell ein Spiel gelernt, und welches? Die Antwort haben wir noch nicht. Aber die Frage dahinter ist die richtige: Was ist schon drin? Wer das weiss, wählt das passende Modell, fragt es so, wie es gelernt hat, verstärkt, was schon da ist, und trainiert am Schluss nur noch die Lücke. Optimieren ohne Training. Und wer es nicht weiss, trainiert blind. Das ist der teure Weg.
Quellen
Othello. Li, Hopkins, Bau, Viégas, Pfister, Wattenberg, Emergent World Representations: Exploring a Sequence Model Trained on a Synthetic Task, 2022. Innere Darstellung des Bretts, nachgewiesen durch Eingriff. Dazu Nanda, Lee, Wattenberg, Emergent Linear Representations in World Models of Self-Supervised Sequence Models, 2023: „meine Farbe" gegen „Farbe des Gegners".
Schach. Karvonen, Emergent World Models and Latent Variable Estimation in Chess-Playing Language Models, 2024. Brettzustand und Spielstärke innen abgebildet; Verstärken der Spielstärke-Richtung hebt die Gewinnrate auf bis das 2,6-Fache.
Trainingsdaten von aussen erkennen. Shi et al., Detecting Pretraining Data from Large Language Models, 2023. Verfahren Min-K% Prob, angewendet unter anderem auf urheberrechtlich geschützte Bücher.
Modell-Audit. Marks et al., Auditing language models for hidden objectives, 2025. Vier Teams, drei finden das versteckte Ziel.
Eigene Artikel. Vereinfacht erzählt: Frontier-KI (wie ein Modell lernt), Nachts berät sich die Plattform selbst, Nicht das Modell wurde gehackt, Wem gehört der Code.
Stand und Vorbehalt. 13. November 2026. Das ist ein Versuch mit offenem Ausgang. Die zitierten Arbeiten untersuchen kleine Modelle, die eigens für ein Spiel trainiert wurden; ob sich das auf grosse Allzweckmodelle überträgt, ist nicht belegt und Teil unserer Frage. Ein Nachweis, dass ein Modell etwas kann, ist kein Nachweis, womit es trainiert wurde. Ergebnisse trage ich hier nach, auch wenn sie negativ sind.
Geschrieben von mir. Die Gedanken, die Werte, die Learnings, die Fehler: alles meins. Grammatik und Rechtschreibung korrigiert ein eigenes Twin-Modell, das auf meinen Texten trainiert ist. Manchmal wird daraus ein Mix. Ich lese natürlich alles nochmal, aber niemand ist unfehlbar. Was drin bleibt, ist dann auch von mir.