Kimi K3 a manqué de souffle alors que GPT-5.6-SOL a franchi la ligne d'arrivée sur trois requêtes complexes : un problème de probabilité, un scénario de poulie et d'inertie, et un script Python complexe pour un sac à dos. L'écart montre pourquoi la gestion du budget de tokens et la latence sont cruciales lorsqu'on a besoin d'un modèle capable de raisonner à travers des étapes multiples en mathématiques, en physique et en code sans s'interrompre.

Pourquoi ce benchmark est important

Les développeurs et les chercheurs choisissent souvent un LLM en se basant sur les scores mis en avant, et non sur son comportement sous une pression réelle. Dans ce test comparatif, chaque modèle a dû s'attaquer à un problème exigeant une longue chaîne de raisonnement. GPT-5.6-SOL a fourni des réponses complètes et correctes dans les trois domaines ; Kimi K3 a épuisé son budget de tokens ou a expiré avant de produire quoi que ce soit d'utilisable.

Configuration du test

  • Mathématiques – une question de probabilité nécessitant le calcul d'une probabilité de chevauchement de motifs ainsi que l'espérance et la variance (moments d'ordre deux).
  • Physique – modélisation de l'inertie d'une poulie et de la perte d'énergie lorsqu'un câble sous tension de ressort se détend.
  • Programmation – rédaction d'une solution Python pour un problème de remplissage de sac à dos avec des dépendances complexes et des règles de départage, puis vérification du résultat par rapport à six cas de test indépendants.

Ce que disent les chiffres

GPT-5.6-SOL

  • Mathématiques – a produit une solution complète et correcte, avec l'espérance et la variance clairement exposées.
  • Physique – a correctement construit le modèle d'inertie et a pris en compte la perte d'énergie, correspondant à la réponse analytique.
  • Programmation – a généré un code qui a compilé, s'est exécuté et a passé les six vérifications externes. Une assertion de test interne était erronée, nous rappelant que les tests générés par les modèles ne sont pas infaillibles.

Kimi K3

  • Mathématiques – a atteint son plafond de tokens (d'abord à 6 500 tokens, puis à 10 000) et s'est arrêté sans afficher de réponse.
  • Physique – a épuisé ses tokens avant qu'aucun résultat visible n'apparaisse.
  • Programmation – a expiré après 245 secondes, ne livrant rien à évaluer.

Efficacité du raisonnement vs puissance brute

L'implication est claire pour quiconque construit des pipelines de production : un modèle qui consomme des tokens sans produire de résultat peut bloquer les processus en aval, augmenter les coûts et frustrer les utilisateurs.

Fiabilité et coût caché du code « parfait »

Même le modèle gagnant a commis une erreur : le cas de test auto-généré par GPT-5.6-SOL contenait une assertion erronée. Cela montre que la validation produite par un modèle ne remplace pas une revue humaine. Lorsqu'un modèle écrit du code, vous devez toujours effectuer des vérifications indépendantes.

Ce qu'il faut surveiller ensuite

  • Suivi de la raison de fin (finish reason) – enregistrez si une réponse s'arrête parce qu'elle atteint la limite de tokens, un délai d'attente (timeout) ou un arrêt naturel.
  • Nombre de tokens de raisonnement – comparez le nombre de tokens que chaque modèle dépense pour sa délibération interne par rapport à la sortie finale.
  • Surveillance de la latence – mesurez le temps réel (wall-clock time) pour chaque étape ; un modèle qui prend plusieurs minutes par requête peut être inadapté aux applications interactives.

Les développeurs devraient traiter ces métriques comme des signaux de premier ordre, et pas seulement comme une réponse finale.

L'essentiel

GPT-5.6-SOL surpasse Kimi K3 en termes d'exhaustivité. Ce test nous rappelle également que même un modèle qui « réussit » peut encore produire des vérifications internes erronées, l'œil humain restant donc essentiel. Le suivi des raisons de fin, de l'utilisation des tokens et de la latence vous aidera à choisir le bon outil pour la tâche sans vous retrouver bloqué par un timeout silencieux.