Kimi K3 ging die Puste aus, während GPT-5.6-SOL bei drei anspruchsvollen Prompts – einem Wahrscheinlichkeitsproblem, einem Szenario zur Rollen-Trägheit und einem komplexen Python-Rucksack-Skript – die Ziellinie überquerte. Die Lücke zeigt, warum Token-Budgetierung und Latenz entscheidend sind, wenn man ein Modell benötigt, das in der Lage ist, mehrstufige Mathematik, Physik und Code zu durchdenken, ohne steckenzubleiben.

Warum der Benchmark wichtig ist

Entwickler und Forscher wählen ein LLM oft basierend auf Schlagzeilen-Scores aus, nicht danach, wie es unter realer Belastung reagiert. In diesem direkten Vergleich stellte jedes Modell eine Aufgabe, die eine lange Argumentationskette erfordert. GPT-5.6-SOL lieferte in allen drei Bereichen vollständige und korrekte Antworten; Kimi K3 erschöpfte sein Token-Budget oder lief in einen Timeout, bevor es verwertbare Ergebnisse liefern konnte.

Der Testaufbau

  • Mathematik – eine Wahrscheinlichkeitsfrage, die die Berechnung einer Musterüberlappungswahrscheinlichkeit sowie des Erwartungswerts und der Varianz (zweite Momente) erforderte.
  • Physik – Modellierung der Trägheit einer Rolle und des Energieverlusts, wenn ein federgespanntes Kabel erschlafft.
  • Programmierung – Schreiben einer Python-Lösung für ein Rucksack-Packproblem mit komplexen Abhängigkeiten und Tie-Break-Regeln, gefolgt von einer Überprüfung des Outputs gegen sechs unabhängige Testfälle.

Was die Zahlen sagen

GPT-5.6-SOL

  • Mathematik – lieferte eine vollständige, korrekte Lösung, in der Erwartungswert und Varianz klar dargestellt waren.
  • Physik – erstellte korrekt das Trägheitsmodell und berücksichtigte den Energieverlust, was mit der analytischen Antwort übereinstimmte.
  • Programmierung – generierte Code, der kompilierte, lief und alle sechs externen Prüfungen bestand. Eine interne Test-Assertion war jedoch falsch, was uns daran erinnert, dass von Modellen generierte Tests nicht unfehlbar sind.

Kimi K3

  • Mathematik – stieß an sein Token-Limit (zuerst bei 6.500 Tokens, dann bei 10.000) und stoppte, ohne eine Antwort anzuzeigen.
  • Physik – die Tokens gingen zur Neige, bevor ein sichtbarer Output erschien.
  • Programmierung – lief nach 245 Sekunden in einen Timeout und lieferte nichts zur Auswertung.

Reasoning-Effizienz vs. rohe Rechenleistung

Die Implikation für alle, die Produktions-Pipelines aufbauen, ist klar: Ein Modell, das Tokens verbraucht, ohne einen Output zu liefern, kann nachgelagerte Prozesse blockieren, Kosten erhöhen und Nutzer frustrieren.

Zuverlässigkeit und die versteckten Kosten von „perfektem“ Code

Selbst dem Gewinner-Modell unterlief ein Fehler: Die selbst generierte Testfall-Assertion von GPT-5.6-SOL war fehlerhaft. Dies zeigt, dass von Modellen erstellte Validierungen kein Ersatz für eine menschliche Überprüfung sind. Wenn ein Modell Code schreibt, müssen Sie dennoch unabhängige Prüfungen durchführen.

Worauf man als Nächstes achten sollte

  • Tracking des Abbruchgrundes (Finish Reason) – protokollieren Sie, ob eine Antwort endet, weil das Token-Limit erreicht wurde, ein Timeout auftrat oder ein natürlicher Stopp erfolgt ist.
  • Anzahl der Reasoning-Tokens – vergleichen Sie, wie viele Tokens jedes Modell für interne Überlegungen im Vergleich zum finalen Output verbraucht.
  • Latenz-Monitoring – messen Sie die reale Zeit für jeden Schritt; ein Modell, das Minuten pro Abfrage benötigt, ist möglicherweise für interaktive Anwendungen ungeeignet.

Entwickler sollten diese Metriken als erstklassige Signale behandeln, nicht nur als bloße Endantworten.

Fazit

GPT-5.6-SOL übertrifft Kimi K3 in der Vollständigkeit. Der Test erinnert uns auch daran, dass selbst ein Modell, das „alles richtig macht“, fehlerhafte interne Prüfungen produzieren kann, weshalb menschliche Aufsicht unerlässlich bleibt. Das Tracking von Abbruchgründen, Token-Verbrauch und Latenz wird Ihnen helfen, das richtige Werkzeug für die Aufgabe zu wählen, ohne in einem stillen Timeout steckenzubleiben.