Das Experiment eines Solo-Entwicklers mit drei Claude-Modellen senkte die monatlichen API-Kosten um 35 % und reduzierte die mediane Aufgabenlatenz von 42 Sekunden auf 27 Sekunden. Indem er einfache, wenig mehrdeutige Aufgaben an das günstige Haiku-Modell, Routinearbeiten an Sonnet und das leistungsstarke Opus für kritische Probleme delegierte, bewies der Autor, dass die Einstellung „das beste Modell für alles“ eine kostspielige Gewohnheit ist.

Warum das Routing entscheidend war

Der Autor betreibt einen autonomen Coding-Agenten, der einen stetigen Strom von Entwicklungsaufgaben erhält – Lint-Fixes, Funktionserweiterungen, Sicherheitsüberprüfungen und tiefgehende Debugging-Sessions. Monatelang schickte der Agent jede Anfrage an Opus, das leistungsfähigste Claude-Modell, in der Annahme, dass eine höhere Qualität stets den Preis rechtfertigen würde. Da Opus einen Premiumpreis pro Token verlangt, stiegen die Kosten unkontrolliert an.

Als der Autor ein gestuftes Routing-Schema einführte, sanken die Ausgaben auf 65 % des ursprünglichen Niveaus und die Nutzung von Opus fiel auf 11 % der Gesamtaufgaben.

So funktioniert das Drei-Stufen-System

Die Routing-Logik basiert auf Mehrdeutigkeit (Ambiguity) und nicht darauf, wie viele Codezeilen eine Aufgabe betrifft. Der Autor definierte drei Kategorien:

  • Haiku – wenig mehrdeutige, deterministische Aufgaben. Beispiele: Beheben von Lint-Warnungen, Umbenennen von Variablen, Zusammenfassen von Logdateien. Die richtige Antwort ist meist eine einzelne Codezeile oder ein Textabschnitt.
  • Sonnet – das Standard-Arbeitstier. Übernimmt die Implementierung von Funktionen, routinemäßige Fehlerbehebungen und Standard-Refactorings, bei denen das Problem klar ist, die Lösung aber mehrere Schritte erfordern kann.
  • Opus – kritische, hochgradig mehrdeutige Aufgaben. Architektur-Entscheidungen, Sicherheitsaudits, komplexe Debugging-Sessions oder Aufgaben, bei denen der richtige Weg unklar ist und ein Fehltritt die Pipeline unterbrechen könnte.

Eine statische Lookup-Tabelle ordnet jede eingehende Anfrage basierend auf diesen Regeln dem entsprechenden Modell zu. Der Autor versuchte es mit einem „intelligenten“ Modell, das die Stufe on-the-fly entscheiden sollte, aber der zusätzliche Token-Verbrauch machte alle Einsparungen zunichte. Einfache statische Regeln deckten etwa 80 % der Arbeitslast ab und hielten das System kostengünstig und berechenbar.

Das Eskalations-Sicherheitsnetz

Günstige Modelle machen immer noch Fehler. Um zu verhindern, dass eine fehlerhafte Antwort von Haiku oder Sonnet den Build aus dem Tritt bringt, eskaliert das System eine Anfrage nach zwei Fehlversuchen und stuft sie in die nächste Ebene hoch. Dieses Sicherheitsnetz erkennt Fehler frühzeitig und hält die Pipeline ohne manuelles Eingreifen am Laufen.

Zahlen, die für sich selbst sprechen

Nach vier Wochen Betrieb des gestuften Routers verzeichnete der Autor folgende Änderungen:

  • API-Ausgaben sanken auf 65 % der ursprünglichen Kosten (eine Reduzierung um 35 %).
  • Mediane Bearbeitungszeit sank von 42 Sekunden auf 27 Sekunden.
  • Opus-Nutzung schrumpfte von der Bearbeitung jeder Anfrage auf nur noch 11 % der Gesamtaufgaben.

Diese Zahlen zeigen, dass der Großteil der Entwicklungsarbeit an günstigere Modelle delegiert werden kann, ohne dass die Qualität spürbar sinkt, während die schwierigsten Probleme weiterhin vom größeren Kontextfenster von Opus profitieren.

Lehren für andere Entwickler

  1. Niedrig anfangen, nicht hoch. Die meisten täglichen Coding-Aufgaben benötigen nicht das leistungsstärkste Modell. Sonnet als Standard für mehrdeutige Aufgaben festzulegen, sparte mehr Geld, als alles durch Haiku zu schleusen.
  2. Schwierigkeit messen, nicht die Größe. Ein Einzeiler-Fix für eine Race Condition kann schwieriger sein als das Refactoring einer ganzen Datei. Routen Sie nach der Mehrdeutigkeit der Lösung, nicht nach der Anzahl der geänderten Zeilen.
  3. Die Eskalationsrate im Auge behalten. Eine steigende Anzahl an Eskalationen signalisiert, dass die statischen Regeln nicht mehr zur Arbeitslast passen. Passen Sie die Kategorien an, bevor die günstigen Modelle vermehrt zu Pipeline-Ausfällen führen.

Das teuerste Modell für die schwierigsten Probleme zu reservieren und die günstigeren Modelle den Rest erledigen zu lassen, hält die KI-gestützte Entwicklung schnell und erschwinglich. Der wahre Vorteil liegt in einer disziplinierten Routing-Strategie, die das richtige Werkzeug für die richtige Aufgabe bereitstellt.