¿Los modelos se están volviendo peores — o nosotros?

Cada pocos meses, la misma ola. Alguien escribe «GPT se ha vuelto más tonto», alguien «a Claude lo han lobotomizado», alguien publica dos capturas juntas y pide el checkpoint de marzo. Los foros se llenan. Luego sale un modelo nuevo, el mundo está bien dos semanas — hasta que la frase vuelve.

Conozco la sensación. La tengo yo, con regularidad, en proyectos de clientes. Mi tesis menos cómoda: a menudo no son los modelos los que empeoran. A menudo nos volvemos más vagos nosotros. Y de forma llamativa, justo cuando los modelos mejoran y empezamos a confiar más en ellos.

La respuesta corta

Pasan las dos cosas. Los proveedores cambian el enrutado, la precisión, los filtros de seguridad, el reparto de carga — y sí, eso cambia el comportamiento, a veces de forma evidente, a veces en silencio. Pero el ciclo que más veo en mi propio trabajo es este:

El modelo mejora. Confiamos más. Los prompts se acortan. El resultado se vuelve más vago. Concluimos: el modelo ha empeorado.

El error es cómodo: deja la responsabilidad en un sitio donde no tenemos que sostenerla nosotros.

Qué se mueve de verdad en el lado del proveedor

En el verano de 2023, Lingjiao Chen, Matei Zaharia y James Zou, de Stanford y Berkeley, enfrentaron el mismo GPT-4 y el mismo GPT-3.5 en marzo y en junio. El resultado: el mismo producto, otro mes, otro comportamiento. GPT-4 empeoró claramente con los números primos y con código ejecutable; GPT-3.5 mejoró claramente con los mismos primos. La disposición a seguir una instrucción se desplazó. El estudio se criticó con razón. Parte del desplome vino de que el modelo dejó de pensar en voz alta, y la evaluación penalizó justo eso. La frase útil sobrevivió igual: un servicio con el mismo nombre no es un objeto fijo.

OpenAI lo restó importancia al principio. Peter Welinder, VP de Producto, escribió: no, no habían vuelto GPT-4 más tonto. Hipótesis actual: cuando lo usas más a fondo, empiezas a notar problemas que antes no veías. No es del todo falso, pero tampoco es toda la historia. Unos días después el paper de Stanford era público. OpenAI admitió que tareas concretas pueden empeorar en una actualización aunque la media suba.

Dos años después, Anthropic hizo algo raro en este sector: escribió un postmortem. Entre agosto y principios de septiembre de 2025, tres bugs de infraestructura degradaron Claude a ratos. No un modelo barato en secreto. Un error de enrutado mandó peticiones de Sonnet 4 a servidores configurados para otra ventana de contexto, el 16 por ciento de las peticiones en la peor hora. Por el «sticky routing», si te tocaba, solías quedarte en los servidores equivocados. Más corrupción de salida en TPUs y un bug de compilador. Anthropic lo escribió claro: nunca bajamos la calidad del modelo por demanda, hora del día o carga. Que tuvieran que decirlo dice algo del problema de confianza.

Qué hacer con eso es más seco que la conspiración. Los pesos del entrenamiento no son lo mismo que el camino hasta los pesos. En medio están la cuantización, el enrutado mixture-of-experts, una mezcla de hardware de GPUs, TPUs y chips propios, el balanceo de carga, los filtros de seguridad. Cualquiera de esas capas puede moverse sin que cambie el nombre en el selector. Para eso no hace falta mala fe. La inferencia es lo bastante cara como para que un servicio que bajo carga responde «un poco más barato» tenga un incentivo que el benchmark no ve.

«El modelo», en la práctica, suele ser ChatGPT un martes por la tarde. Eso no es un modelo, es un producto.

Qué se mueve en nuestro lado

La parte de la que se escribe menos es la que yo veo más.

Sale un modelo nuevo. La primera semana todavía escribo como antes: contexto, ejemplos, qué significa «listo», qué no entra en el archivo. Funciona extrañamente bien. A la tercera semana la carta se ha vuelto una línea. «Hazlo otra vez, pero más limpio.» «Fix this.» «Ya sabes.» El modelo tiene el hilo, así que recorto. Entonces el resultado se vuelve blando, genérico, un poco torcido — y noto que hace dos meses le confiaba más.

No es casualidad: cuanto mejor es el modelo, menos resistencia sientes al omitir. La confianza vuelve fácil dejar de pensar el encargo.

Encima hay cuatro desplazamientos que se sienten como una pérdida de calidad sin que se haya movido un solo peso.

Pedimos cosas más difíciles. Lo que hace un año era una proeza — renombrar un archivo, reescribir un texto — hoy es el suelo. Mandamos al modelo toda la base de código, toda la negociación, toda la estrategia, y nos extraña que ya no conteste «tan claro». El listón se ha movido con nosotros, pero el salto sigue siendo invisible y solo se ve el tropezón.

Dejamos el chat abierto. Un trabajo de Microsoft Research y Salesforce de 2025 mostró que las mismas tareas, repartidas en varios turnos incompletos, salen de media un 39 por ciento peor que en un solo prompt completo. Si el modelo toma un recodo equivocado, no encuentra el camino de vuelta. Así trabaja la mayoría: primero una línea vaga, luego correcciones, luego «no, de otra manera», en un hilo abierto desde el martes.

Nos acostumbramos al nivel. Las mejoras se vuelven el nuevo cero, los retrocesos se sienten como una traición. Así funciona la percepción, y tiene poco que ver con la IA.

Desaprendemos el encargo. El GPS no abolió la memoria espacial, pero la volvió prescindible para mucha gente. Un modelo que todavía saca algo plausible de una línea mala premia exactamente eso. En Nature, en 2024, un equipo describió que los modelos más grandes y más dóciles dicen «no lo sé» con menos frecuencia y devuelven más a menudo una respuesta aparentemente razonable y falsa. Para los prompts vagos ese es el hábitat ideal: siempre vuelve algo y suena bien. Solo que a menudo no es lo que necesitabas — y te das cuenta cuando ya es caro.

«El modelo se ha vuelto más tonto» es entonces la explicación más cómoda para una relación en la que una de las partes ha dejado de formar frases.

Cómo distinguir los dos casos

No tienes que creerme, puedes probarlo.

Coge de tres a cinco prompts que hace uno o dos meses encajaban de verdad. Las mismas palabras, un chat nuevo.

Si los prompts viejos siguen funcionando y tus frases de hoy no: te has movido tú. Si los viejos también fallan: se ha movido el stack. Si solo el hilo largo es malo y el chat fresco no: te has perdido en la conversación, no en el modelo.

En producción vale lo mismo, solo que con fecha: un snapshot de API fijado es comprobable, el nombre en la interfaz de chat no.

Lo que no ayuda: dos capturas de semanas distintas, hilos distintos, tareas distintas, y luego un veredicto sobre la inteligencia del proveedor. Eso mide un estado de ánimo, no un modelo.

Qué hago yo con esto

No trato la confianza como un valor por defecto.

El prompt es el encargo. Si no se lo daría así a un junior, no se lo doy así al modelo. Los ejemplos ganan a los adjetivos, y «ya sabes» no es contexto.

Cuando la calidad importa en un producto, fijamos la versión. Las superficies de chat sirven para pensar, no para operar.

Cuando se siente peor, lo primero que hago no es cambiar de modelo. Mando el prompt viejo y cuidadoso a un chat nuevo. Solo cuando ese también falla, una sensación se vuelve un diagnóstico.

Y sí: a veces el diagnóstico es de verdad el proveedor. Bugs, enrutado, una actualización que sacrifica una tarea para que otras diez mejoren. Pasa, y volverá a pasar. Solo que es menos a menudo toda la historia de lo que parece — sobre todo en la semana en la que empezaste a deberle al modelo frases enteras y a mandarle solo una línea.

Si estás exactamente en ese momento de «antes iba mejor» y no sabes si tocar el prompt o el stack, escríbeme. A veces la respuesta es «tu prompt es el problema», y esa sale gratis.