Kimi K3 se quedó sin fuerzas mientras que GPT-5.6-SOL cruzó la línea de meta en tres prompts de gran exigencia: un problema de probabilidad, un escenario de inercia de polea y un complejo script de Python para una mochila. La brecha muestra por qué el presupuesto de tokens y la latencia son cruciales cuando se necesita un modelo capaz de razonar a través de matemáticas, física y código de múltiples pasos sin detenerse.

Por qué es importante el benchmark

Los desarrolladores e investigadores suelen elegir un LLM basándose en las puntuaciones de los titulares, no en cómo se comporta bajo presión en el mundo real. En esta prueba comparativa, cada modelo abordó un problema que exige una larga cadena de razonamiento. GPT-5.6-SOL ofreció respuestas completas y correctas en los tres dominios; Kimi K3 agotó su presupuesto de tokens o agotó el tiempo de espera antes de producir algo utilizable.

Configuración de la prueba

  • Matemáticas – una pregunta de probabilidad que requería calcular la probabilidad de solapamiento de patrones y tanto la esperanza como la varianza (segundos momentos).
  • Física – modelado de la inercia de una polea y la pérdida de energía cuando un cable con tensión de resorte se afloja.
  • Programación – escribir una solución en Python para un problema de empaquetado de mochilas con dependencias complejas y reglas de desempate, y luego verificar el resultado frente a seis casos de prueba independientes.

Lo que dicen los números

GPT-5.6-SOL

  • Matemáticas – produjo una solución completa y correcta con el valor esperado y la varianza claramente expuestos.
  • Física – construyó correctamente el modelo de inercia y tuvo en cuenta la pérdida de energía, coincidiendo con la respuesta analítica.
  • Programación – generó código que se compiló, se ejecutó y superó las seis comprobaciones externas. Una aserción de prueba interna era incorrecta, lo que nos recuerda que las pruebas generadas por modelos no son infalibles.

Kimi K3

  • Matemáticas – alcanzó su límite de tokens (primero a los 6.500 tokens, luego a los 10.000) y se detuvo sin mostrar ninguna respuesta.
  • Física – se quedó sin tokens antes de que apareciera cualquier resultado visible.
  • Programación – agotó el tiempo de espera tras 245 segundos, sin entregar nada para evaluar.

Eficiencia de razonamiento frente a potencia bruta

La implicación es clara para cualquiera que construya pipelines de producción: un modelo que consume tokens sin entregar resultados puede detener los procesos posteriores, aumentar los costes y frustrar a los usuarios.

Fiabilidad y el coste oculto del código “perfecto”

Incluso el modelo ganador cometió un error: el caso de prueba autogenerado de GPT-5.6-SOL contenía una aserción errónea. Esto demuestra que la validación producida por un modelo no sustituye la revisión humana. Cuando un modelo escribe código, sigue siendo necesario realizar comprobaciones independientes.

Qué observar a continuación

  • Seguimiento del motivo de finalización – registrar si una respuesta termina porque alcanza el límite de tokens, un tiempo de espera agotado o una parada natural.
  • Recuento de tokens de razonamiento – comparar cuántos tokens gasta cada modelo en la deliberación interna frente al resultado final.
  • Monitorización de la latencia – medir el tiempo de reloj de cada paso; un modelo que tarda minutos por consulta puede no ser adecuado para aplicaciones interactivas.

Los desarrolladores deberían tratar estas métricas como señales de primer orden, no solo la respuesta final.

Conclusión

GPT-5.6-SOL supera a Kimi K3 en completitud. La prueba también nos recuerda que incluso un modelo que “acierta” puede producir comprobaciones internas defectuosas, por lo que la supervisión humana sigue siendo esencial. El seguimiento de los motivos de finalización, el uso de tokens y la latencia le ayudará a elegir la herramienta adecuada para el trabajo sin quedar atrapado en un tiempo de espera silencioso.