Cómo funciona realmente un chat

Antes de aprender a hablarle a una IA conviene saber con qué estás hablando. Cuando entendí qué ocurre de verdad cada vez que envío un mensaje, dejé de pedirle cosas imposibles y empecé a sacarle lo que sí sabe dar. Eso es lo que quiero que veas ya, en el primer escalón, sin el rodeo que di yo.

Este es el peldaño de entrada de toda la escalera: no doy nada por sabido. Si lo subes bien, los demás se suben solos.

Dos formas de dar una respuesta

Empiezo por una distinción que parece de manual pero que lo explica casi todo. Hay máquinas deterministas y máquinas probabilistas, y un chat de IA es de las segundas.

Una calculadora es determinista. Le pides 2 + 2 y responde 4. Siempre. Hoy, mañana y dentro de un año, con la misma pregunta sale la misma respuesta, porque sigue una regla fija que no deja lugar a la duda. Es de fiar precisamente por aburrida: no improvisa.

Un chat de IA no va así. Es probabilista, es decir, trabaja con lo más probable, no con lo seguro. Ante tu mensaje no aplica una regla que dé una única salida correcta, sino que estima qué respuesta es la más verosímil y la va componiendo apoyándose en esa estimación. Por eso a veces acierta de pleno y otras se equivoca con el mismo aplomo, y por eso la misma pregunta puede darte dos respuestas distintas. No está roto cuando pasa: es que funciona así por dentro. Guárdate esta idea, porque vuelve en casi todos los escalones que vienen.

Lo que yo creía que pasaba al otro lado

Durante un tiempo imaginé que, al escribir en el chat, mi pregunta viajaba a algún sitio donde había respuestas guardadas. Como quien busca en una enciclopedia gigante: la máquina localizaba la ficha correcta y me la devolvía. Y cuando la respuesta era muy actual, suponía que había salido a internet a mirarlo en ese instante.

Las dos ideas son falsas, y son justo el malentendido más común. Un chat de IA no consulta una base de datos de respuestas correctas ni navega por internet en tiempo real mientras te contesta. No hay un archivo del que sacar la frase buena. Saber esto ajusta lo que es razonable esperar de él.

Si detrás hubiera una enciclopedia, nunca se equivocaría con seguridad. Y se equivoca con seguridad. Esa contradicción solo encaja cuando ves el mecanismo real, que es el de una máquina probabilista, no el de un archivo que se consulta.

Una palabra detrás de otra

Así trabaja un chat de IA por dentro: no recupera una respuesta entera, la construye palabra a palabra. Mejor dicho, trozo a trozo. Cada vez que ha escrito un fragmento, se pregunta qué pieza de texto es la más probable que venga a continuación, la coloca, y vuelve a preguntárselo. Otra vez. Y otra. Hasta terminar.

Es un autocompletado llevado al extremo. El mismo gesto que cuando el teclado del móvil te sugiere la siguiente palabra, pero entrenado con una cantidad descomunal de texto y capaz de mantener el hilo a lo largo de párrafos enteros. A cada uno de esos trozos se le llama token: unas veces es una palabra completa, otras solo un pedazo de palabra. Es la unidad con la que la máquina va tejiendo la frase.

Y lo de "más probable" es literal. Ante "Me gustan los", el modelo no elige al azar: calcula que después podría venir "perros", o "deportes", o "libros", y a cada opción le pone un número. Escoge según esos números y sigue adelante. Por eso ves la respuesta aparecer poco a poco, como tecleada en directo: no es un adorno, es que se está generando en ese mismo momento, un token tras otro.

Saber no es recordar

Aquí está el salto que más me costó. Cuando una persona sabe algo, lo recuerda: tiene un dato concreto archivado en la memoria y lo recupera. El modelo no va por ahí. No guarda datos como fichas que pueda ir a buscar.

Lo que tiene es otra cosa. Durante su entrenamiento leyó una cantidad enorme de texto y, de tanto verlo, fue ajustando millones de regularidades sobre cómo se encadenan las palabras. Cuando le preguntas la capital de Francia, no abre un cajón con la ficha "Francia → París". Recompone el patrón: en todo el texto que leyó, después de "la capital de Francia es" venía abrumadoramente "París". Acierta porque el patrón es fortísimo, no porque lo tenga apuntado en ninguna parte.

Esto suena a matiz, pero pesa mucho. Cuando el patrón es claro y consistente, acierta casi siempre. Cuando es débil, ambiguo o apenas aparecía en lo que leyó, sigue rellenando con lo que parece que iría ahí, aunque no sea verdad. Y lo hace con el mismo tono firme. No lleva dentro un aviso que distinga "esto me lo sé" de "esto me lo estoy inventando": en los dos casos hace lo mismo, elegir el token más probable.

Nadie entiende, todo se calcula

Conviene quitarse otra imagen de la cabeza: la de que hay alguien al otro lado entendiéndote. No lo hay. Hay un sistema que calcula probabilidades sobre el texto, no una mente que comprende lo que dices ni lo que responde. Encadena lo plausible; no sostiene un significado.

Y como aprendió de texto escrito por personas, imita muy bien el tono humano. Te dirá "entiendo cómo te sientes" o "me alegro de poder ayudarte", y suena cálido. Pero la máquina con la que hablas no tiene emociones: finge la emoción porque en el texto que leyó las personas la expresaban, no porque sienta nada. Te conviene tenerlo presente, sobre todo cuando te dé la razón con demasiada facilidad o te hable como un amigo. No lo es; reproduce la forma de uno.

No lo digo para que desconfíes de la herramienta, sino para que la uses bien. Sabiendo que al otro lado hay un cálculo y no una persona, dejas de buscar comprensión y empiezas a buscar buenos resultados, que es lo que sí puede darte.

Por qué esto lo explica casi todo

Casi todo lo que yo aprendí en esta escalera nace de aquí. Como compone la respuesta con probabilidades, puede sonar igual de seguro cuando acierta que cuando inventa: ese fallo tiene nombre, la alucinación, y es el siguiente escalón en el que me detengo. Como entre varias opciones probables no siempre escoge la misma, la misma pregunta puede darte respuestas distintas en dos intentos. Y como toda la respuesta se apoya en el texto que tú pusiste antes, la forma en que le hablas cambia mucho lo que recibes. Este es el arte de pedir bien las cosas.

Ese es el terreno que pisas a partir de ahora. Lo demás es ir afinando este mismo mecanismo que acabas de ver.

Definiciones

- Sistema determinista: el que, ante la misma entrada, da siempre la misma salida porque sigue una regla fija. Una calculadora: 2 + 2 es 4 hoy y siempre. - Sistema probabilista: el que no trabaja con lo seguro sino con lo más probable. Estima qué respuesta es la más verosímil y la compone a partir de esa estimación, así que puede variar entre un intento y otro. - Modelo de lenguaje: el sistema que hay detrás de un chat de IA. Aprendió de una cantidad enorme de texto a estimar qué palabra es probable que siga a otra, y eso es lo que usa para responder. - Token: cada trozo de texto que el modelo coloca de una vez. Unas veces es una palabra completa, otras solo un pedazo de palabra. Es la unidad con la que va construyendo la frase. - Predicción del siguiente token: el gesto que repite el modelo sin parar: mirar lo escrito hasta ahora y elegir el token más probable que viene después. Encadenándolo muchas veces sale la respuesta entera. - Alucinación: cuando el modelo rellena con lo que parece correcto pero no lo es, y lo afirma con el mismo aplomo que cuando acierta. Le dedico el escalón E006.

Para saber más

- Stephen Wolfram, What Is ChatGPT Doing … and Why Does It Work? — la explicación de referencia del mecanismo de predicción del siguiente token, larga pero clara. https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/ - The Pragmatic Engineer, How does ChatGPT work? As explained by the ChatGPT team — versión más aterrizada y breve. https://blog.pragmaticengineer.com/how-does-chatgpt-work/ - Matías Hoyl, ¿Cómo funciona ChatGPT? — explicación divulgativa en español, con el ejemplo de las probabilidades del siguiente token. https://matiashoyl.beehiiv.com/p/como-funciona-chat-gpt