Misma pregunta, respuestas distintas

Ya sabes que el chat construye lo que dice trozo a trozo, eligiendo en cada paso entre las palabras más probables. Aquí me detengo en una consecuencia de eso que despista a casi todo el mundo: haces la misma pregunta dos veces y no te llega la misma respuesta. Cuando entendí por qué, dejé de pensar que la máquina se contradecía y empecé a usar esa variación a mi favor.

La primera vez que me chocó

Me pasó pronto. Le pedí algo, no me convenció del todo, borré y volví a escribir exactamente lo mismo, palabra por palabra. Y la segunda respuesta era distinta: otro orden, otros ejemplos, a veces hasta otra conclusión. Mi reacción fue la de cualquiera: o se ha equivocado antes, o se ha equivocado ahora, o ha cambiado de opinión por algún motivo que se me escapa.

Ninguna de las tres. No se equivocó ni cambió de idea, porque no hay una idea fija que cambiar. La máquina está construida para que cada respuesta lleve una pizca de azar, y por eso dos intentos idénticos no producen el mismo texto. No es una avería: es el funcionamiento normal de un chat de IA, igual que vimos en Cómo funciona realmente un chat. Lo raro sería lo contrario.

El sorteo de cada paso

Para ver de dónde sale esa variación hay que volver al mecanismo de fondo. En cada trozo de texto, el modelo no señala una única palabra correcta: reparte probabilidades entre varias candidatas. Después de "Me gustan los" puede tener "perros" con bastante peso, "deportes" con algo menos, "libros" un poco por detrás, y así una larga cola de opciones cada vez más improbables.

Lo que no conté antes es qué hace exactamente con esa lista. No coge siempre, sin falta, la de arriba. Sortea entre las más probables, dándole a cada una una oportunidad proporcional a su peso. La favorita gana casi siempre, sí, pero no siempre; de vez en cuando sale la segunda, o la tercera. Y basta con que en un punto de la frase salga una candidata distinta para que, a partir de ahí, la respuesta tire por otro camino. Una palabra diferente arrastra a la siguiente, y a la siguiente, y dos textos que empezaban igual acaban separándose.

Ese pellizco de aleatoriedad no está ahí por capricho. Si el modelo cogiera siempre, sin excepción, la palabra más probable, su escritura saldría rígida y repetitiva, con el mismo giro mil veces. El azar controlado es lo que le da soltura, lo que hace que suene a lenguaje vivo y no a plantilla. Lo pagas con que no se repita igual; ese es el trato.

El mando del azar

A ese azar se le puede subir y bajar el volumen, y el control tiene nombre: la temperatura. Piénsalo como el mando del azar. Con la temperatura baja, el modelo se vuelve cauto: tiende a quedarse con las candidatas de más peso y se separa poco de lo más previsible, así que dos respuestas se parecen mucho. Con la temperatura alta, se atreve más: da oportunidades a candidatas raras que normalmente quedarían descartadas, y el texto se vuelve más variado, más sorprendente y también más propenso a desbarrar.

No vamos a entrar en cómo se calcula eso por dentro; basta con que sepas que existe ese mando y qué hace. En los chats que usas a diario ese ajuste suele venir puesto en un punto intermedio que sus creadores consideran buen equilibrio, y muchas veces ni siquiera puedes tocarlo. Pero conviene conocerlo, porque explica algo que de otro modo parece magia: cuando notas a una IA más "creativa" o más "loca", muchas veces es, sencillamente, ese mando girado hacia arriba.

Ni pidiendo lo más predecible

Te dirás: vale, pues que lo pongan al mínimo y se acabó la variación. Tiene su lógica, pero el matiz fino es que ni así te garantizas dos respuestas calcadas. Con la temperatura muy baja la coincidencia es altísima, casi total, pero el "casi" pesa. Pequeñas diferencias técnicas en cómo el sistema hace y ordena sus cuentas pueden bastar para que, llegado cierto punto, dos respuestas que iban idénticas se bifurquen. Una sola palabra que cae distinta y el resto del texto se va detrás.

Quédate con la conclusión por encima del detalle: en estos sistemas la variación es la norma, no la excepción. Esperar que la misma pregunta dé siempre exactamente lo mismo es esperar lo que la máquina no está hecha para darte.

Lo demás que mueve la aguja

El azar no actúa solo. Hay otras dos cosas que mueven el resultado y a menudo más que la propia aleatoriedad. La primera es lo que ya había en el hilo: como vimos al hablar de la conversación, todo lo dicho antes entra en juego cuando el modelo redacta lo siguiente. Si entremedias ha pasado cualquier cosa, el contexto no es el mismo, y con otro contexto la respuesta cambia aunque tu última pregunta sea idéntica.

La segunda es cómo formulas tú la pregunta. Y aquí la sensibilidad es mayor de lo que parece. Una coma de más, cambiar "explícame esto" por "explícamelo como a un niño", reordenar la frase: gestos mínimos por tu parte pueden mover bastante lo que recibes. No porque la máquina sea caprichosa, sino porque cada palabra que pones altera las probabilidades con las que va a trabajar. Esto, que ahora suena a inconveniente, es justo la palanca que aprenderás a usar dentro de poco.

No hay una respuesta guardada

Debajo de todo esto hay un malentendido que conviene tumbar del todo, porque es el que más confunde. Mucha gente imagina que la IA tiene "la respuesta correcta" guardada en algún sitio y que debería soltarla siempre igual, como quien recita una ficha aprendida. Si fuera así, la variación sería un fallo: dos versiones distintas significarían que al menos una está mal recuperada.

Pero no hay ficha que recuperar. Ya lo vimos: el modelo no guarda respuestas hechas, las construye de cero cada vez, palabra a palabra, sorteando en cada paso. Por eso varía. No es que recupere mal una respuesta archivada; es que no hay archivo, hay una generación nueva en cada intento. La variación no contradice el mecanismo: es exactamente lo que cabe esperar de él.

Lo que te da y lo que te avisa

Sabiendo esto, la variación deja de molestar y empieza a servir. Si una respuesta no te convence, puedes regenerarla y quedarte con la mejor de varias tentativas: como cada intento se compone de nuevo, cada uno es una versión genuinamente distinta entre las que elegir. Le sacas partido al azar en lugar de sufrirlo.

Pero hay un reverso que conviene tener a mano. Una cosa es que cambien el tono, el orden o los ejemplos; otra muy distinta es que cambie un dato. Si le preguntas una fecha, una cifra o un nombre y entre dos intentos te da respuestas diferentes, eso es una señal de alarma sobre su fiabilidad en ese punto concreto. Ese hilo —cuándo la variación delata que la máquina está rellenando huecos en vez de saber— lo recojo más adelante. Y la otra punta, la de que tu manera de preguntar mueve tanto el resultado, es justo donde empieza el siguiente tramo de esta escalera.

Definiciones

- Muestreo: el gesto de elegir el siguiente trozo de texto sorteando entre las palabras más probables, en vez de coger siempre la de mayor probabilidad. De ahí nace la variación entre respuestas. - Temperatura: el mando que regula cuánto azar entra en ese sorteo. Baja, el modelo es predecible y se repite mucho; alta, es más variado y sorprendente, también más propenso a desbarrar. - Contexto del hilo: todo lo dicho antes en la conversación, que el modelo tiene en cuenta al redactar lo siguiente. Si cambia, la respuesta cambia aunque tu última pregunta no. - Regenerar: pedir otra versión de la misma respuesta. Como cada intento se construye de nuevo, obtienes una alternativa distinta entre la que escoger.

Para saber más

- Otterly.ai, Why does ChatGPT provide different answers to the same question? — explicación divulgativa del azar, la temperatura y el contexto. https://otterly.ai/blog/why-does-chatgpt-provide-different-answers-to-the-same-question/ - AirOps, Does ChatGPT Give the Same Answers to Everyone? — aterriza el mecanismo de muestreo con ejemplos concretos. https://www.airops.com/blog/does-chatgpt-give-the-same-answers-to-everyone - Víctor Mollá, ¿Qué es la temperatura en los LLM? — explicación divulgativa en español del mando del azar y sus efectos. https://www.victormolla.com/que-es-la-temperatura-en-los-llm