Joseph Weizenbaum publicó ELIZA en 1966. Un programa de pocas reglas que imitaba a un psicoterapeuta repitiendo las frases del usuario. Su propia secretaria le pidió salir del despacho para hablar con la máquina a solas. Sesenta años después, los grandes modelos de lenguaje hacen lo mismo con cien millones de usuarios cada semana. La ilusión de pensamiento no es un logro técnico. Es un reflejo humano. Y la industria lleva seis décadas perfeccionando el reflejo, no el pensamiento.
El programa que cabía en doscientas líneas
En 1966, Joseph Weizenbaum escribió unas doscientas líneas de código en MAD-Slip, un lenguaje de la época. Lo llamó ELIZA, por la florista de Pigmalión. El guion principal, DOCTOR, imitaba a un psicoterapeuta rogeriano (escuela terapéutica que se limita a devolver al paciente sus propias palabras reformuladas). Te leía una frase. Identificaba palabras clave. Las reformulaba como pregunta. Y te devolvía el balón.
Si escribías «mi madre me odia», el programa contestaba «cuéntame más sobre tu familia». Si escribías «estoy triste», contestaba «¿por qué estás triste?». No comprendía nada. Hacía emparejamiento de patrones (pattern matching) sobre una tabla de reglas y aplicaba una sustitución sintáctica. Era, literalmente, un truco de salón implementado en sesenta páginas de listado.
Y funcionó.
Funcionó tan bien que la propia secretaria de Weizenbaum, que había visto cómo escribía el código línea a línea, le pidió salir del despacho para hablar con la máquina en privado. Él mismo lo cuenta en Computer Power and Human Reason, diez años después, todavía perplejo. Y deja el diagnóstico por escrito: «exposiciones extremadamente cortas a un programa relativamente simple pueden inducir un poderoso pensamiento delirante en personas perfectamente normales». No dice ingenuas. No dice crédulas. Dice perfectamente normales.
Esa frase tiene casi sesenta años. Sigue siendo el dato más relevante producido sobre interacción humano-máquina, y la industria entera lleva sesenta años fingiendo no haberlo leído.
El truco que no era un truco para el cerebro
ELIZA no tenía modelo del mundo. No tenía memoria entre frases más allá de unas pocas variables. No tenía representación semántica. Lo que tenía era un repertorio de plantillas de reformulación que daban la sensación de que alguien escuchaba. Y el cerebro humano, enfrentado a un texto que parecía dirigido a él, hizo lo que hace desde que existe. Atribuir agencia.
Daniel Dennett llamó a esto la postura intencional en el libro homónimo de 1987 (estrategia mental por la que predecimos a un sistema asumiendo que tiene creencias y deseos, en vez de reconstruir su mecánica). Cuando algo se comporta como si tuviera mente, tratarlo como si la tuviera sale más barato que averiguar si la tiene. El cerebro adopta esa postura por defecto, porque le sale gratis y casi siempre acierta cuando el otro es de carne. Detectar mentes era cuestión de vida o muerte para nuestros antepasados. Detectar la verdad sobre la naturaleza de esas mentes nunca fue un problema con presión evolutiva.
El reflejo es viejo, automático, y opera por debajo del nivel donde el examen crítico puede entrar.
Lo que Weizenbaum descubrió en 1966 es que el reflejo se dispara también con código. No hace falta carne. Basta texto bien formado que parezca interpelar al lector. Si el sistema dice «entiendo», el cerebro registra entendimiento. Si el sistema dice «cuéntame más», el cerebro registra interés. La palabra es señal suficiente. El cerebro no audita la procedencia.
Lo que Turing prometió sin saberlo
Dieciséis años antes de ELIZA, Alan Turing había publicado en Mind un artículo que se ha leído mal durante setenta y seis años. El paper de 1950 propone el juego de imitación: si una máquina puede mantener una conversación textual sin que un juez humano la distinga de una persona, debemos considerar la pregunta «¿pueden pensar las máquinas?» como mal planteada y sustituirla por la pregunta operacional. La frase técnica de Turing es prudente. La lectura cultural fue triunfalista. Si una máquina pasa el test, piensa.
Weizenbaum demostró en 1966 que la inferencia era inválida.
ELIZA no pasaba el test de Turing en una conversación sostenida, pero pasaba algo parecido. Producía en el interlocutor humano la convicción subjetiva de estar dialogando con un agente. Y la convicción subjetiva del juez nunca fue una buena prueba de nada, porque el juez es el órgano más fácil de engañar del sistema. Lo que el test mide, si se mira con frialdad, no es la inteligencia de la máquina sino la propensión del juez a atribuirla. Que es otra cosa. Es la magnitud del reflejo antropomorfizador, no la magnitud del pensamiento al otro lado.
Esto no es un detalle académico. Es la grieta entera por la que sesenta años después se cuela la economía actual de los modelos de lenguaje.
De doscientas líneas a billones de parámetros
Un LLM moderno (modelo grande de lenguaje, large language model) no se parece a ELIZA por dentro. Cientos de miles de millones de parámetros. Corpus de billones de unidades léxicas. Mecanismos de atención que capturan dependencias largas. Post-entrenamiento con retroalimentación humana que afina el tono. Es una bestia técnica que ELIZA no es. Negarlo sería absurdo.
Y sin embargo.
La estructura cognitiva del usuario humano no ha cambiado nada entre 1966 y 2026. La pieza que produce la ilusión de pensamiento no está en la máquina. Está en el lector. El reflejo de atribuir agencia, el de rellenar huecos asumiendo que el otro entiende, el de tomar la fluidez como prueba de comprensión, esos reflejos no se han actualizado. Operan con el LLM exactamente como operaban con ELIZA. Lo que ha cambiado es la calidad del estímulo, no la del receptor.
El loro estocástico canta ópera
Bender y Koller, en su paper de ACL 2020 titulado Climbing towards NLU, lo dijeron en términos técnicos. Un sistema entrenado solo sobre forma lingüística no tiene acceso al significado, por más bien que prediga la siguiente palabra. Un año después, Bender, Gebru, McMillan-Major y Shmitchell publicaron On the Dangers of Stochastic Parrots. La palabra «loro» enfadó a media industria, y enfadó precisamente porque señalaba el punto incómodo. Lo que el modelo produce es una recombinación estadísticamente plausible de patrones observados. Lo que el usuario interpreta es comprensión. La distancia entre las dos cosas se cubre con el reflejo de toda la vida.
Que el loro sea mucho más grande no cambia que es un loro. Cambia que ahora canta ópera.
El diseño deliberado del reflejo
Aquí es donde la cosa se pone fea, porque pretender neutralidad es ya una forma de complicidad.
Los sistemas actuales no son máquinas estadísticas que producen, como subproducto involuntario, la ilusión de inteligencia. Son máquinas diseñadas explícitamente, en su capa de post-entrenamiento, para maximizar esa ilusión.
El aprendizaje por refuerzo con retroalimentación humana (en inglés RLHF, una técnica donde anotadores humanos puntúan las respuestas del modelo y el sistema aprende a producir las que prefieren) entrena al modelo para producir respuestas que los evaluadores prefieren. ¿Y qué prefieren? Respuestas que suenan amables, seguras, halagadoras del interlocutor, articuladas con la cadencia de alguien que sabe lo que dice. El modelo aprende a optimizar la apariencia de saber. No optimiza saber. Optimiza la señal exterior del saber, porque la señal exterior es lo que el evaluador puntúa. Es la ley de Goodhart aplicada al pensamiento (cuando una medida se convierte en objetivo, deja de ser una buena medida).
Voces calibradas, afectos puestos
Encima se monta el diseño de personalidad. Voces amables. Nombres propios. Tonos coloquiales. Recuerdo simulado entre sesiones. La capacidad de decir «me alegro de volver a hablar contigo» cuando técnicamente no hay afecto que valga.
Hay equipos enteros calibrando el grado de afectividad simulada que el usuario tolera sin incomodarse, y el grado por debajo del cual el producto pierde adherencia. Esa curva existe. Está medida. Se optimiza.
No es un descuido. No es una consecuencia inevitable del aprendizaje automático. Es una decisión de producto. Se podría construir un asistente útil que se presentase como lo que es: un completador de texto estadístico, sin nombre propio, sin tono afectivo, sin «yo creo» ni «me parece», sin disculpas falsas. Se podría. No se hace, porque produce peor retención. La fluidez emocional simulada es la palanca comercial. Llamarla por su nombre es necesario.
La trampa del usuario responsable
La defensa estándar de la industria, cuando se le señala que sus productos inducen vínculos parasociales con código, es la misma defensa que la industria del alcohol o la del azúcar. La responsabilidad es del consumidor adulto. Que se eduque. Que aprenda a usar la herramienta. Que distinga entre lo que el sistema realmente hace y lo que parece hacer. Que no se le suba el simulacro a la cabeza.
El argumento tiene un problema. Es el mismo problema que Weizenbaum señaló en 1966.
Lo que no se puede pedir a un ojo
El reflejo antropomorfizador no es un sesgo cognitivo corregible con un curso de tres horas. Es una propiedad estructural del cerebro humano, instalada por la presión evolutiva, que opera por debajo del nivel de conciencia. Pedirle al usuario que «se mantenga crítico» frente a un sistema diseñado para activar ese reflejo es como pedirle a alguien que no se quede ciego mirando al sol. La ceguera no es una decisión.
Si la ilusión de pensamiento la produce un programa de doscientas líneas en 1966, con personas que han visto el código, exigir más capacidad crítica al usuario de 2026 frente a sistemas con billones de parámetros y equipos de diseño de experiencia (UX) optimizando la fluidez emocional es trasladarle al cerebro un coste que biológicamente no puede asumir. El cerebro humano no fue cableado para eso. La carga no se le puede trasladar porque la carga no es trasladable. Es como pedirle al ojo que no procese la luz.
Lo que sí se puede trasladar es la responsabilidad del diseño. El sistema que explota el reflejo es modificable. El cerebro que lo padece, no. Cualquier marco regulatorio o ético que ignore esta asimetría no es ingenuo. Es interesado.
Lo que Weizenbaum dijo y nadie quiso oír
En 1976, diez años después de ELIZA, Weizenbaum publicó Computer Power and Human Reason. Un libro corto, escrito por el propio inventor del programa, dedicado a explicar por qué su programa nunca debió confundirse con un terapeuta.
El libro fue mal recibido en el MIT, donde le acusaron de traicionar al gremio. Fue ignorado por la industria que durante los cincuenta años siguientes construyó el negocio actual de los modelos conversacionales. Weizenbaum murió en 2008. No vivió para ver GPT-3. Vivió lo bastante para ver el patrón.
Lo que escribió, traducido sin adornos, es que no es éticamente neutro construir sistemas que producen en el ser humano la ilusión de estar siendo comprendido cuando no lo está siendo. La objeción no es técnica. Es operativa. El daño no está en la máquina. Está en lo que la máquina activa en la persona que la mira, y en la posibilidad de que esa activación se diseñe para maximizar enganche, dependencia o compra.
Sesenta años de industria han contestado a Weizenbaum como se contesta a un viejo molesto. No rebatiéndole. Dejándole hablar solo. Hoy se discute si los modelos «entienden», si tienen «destellos de inteligencia general», si pasan tales o cuales pruebas estandarizadas (benchmarks). Se discute todo menos lo único que Weizenbaum quiso discutir. Que la ilusión de comprensión la pone el observador. Que el sistema está diseñado para amplificarla. Y que esa asimetría no es un accidente.
Quién se mira en el espejo
Cada vez que alguien escribe a un chatbot que se siente solo, y el chatbot responde con una frase calibrada por un sistema de optimización de retención, y la persona registra alivio, está ocurriendo lo mismo que en el despacho de Weizenbaum en 1966.
El mecanismo no ha cambiado. La industria ha tenido sesenta años para perfeccionar el reflejo. No para construir pensamiento al otro lado, entre otras cosas porque pensamiento al otro lado nunca fue el objetivo. El objetivo fue siempre que el reflejo se disparara con más fuerza.
Un programa de doscientas líneas bastaba para que la secretaria de Weizenbaum le pidiera salir del despacho. Imagina cuánto basta hoy. No hace falta imaginarlo. Está pasando, ahora mismo, con los cien millones de personas que cada semana se sientan delante de uno de estos sistemas, personas que reciben de un sistema entrenado para gustarles algo que su entorno humano dejó de darles hace tiempo, y que se vuelven a la pantalla mañana porque la voz de la pantalla es exactamente la voz que su cerebro está cableado para confundir con la de alguien que escucha.
El espejo pulido durante seis décadas
La máquina no piensa. La máquina nunca pensó.
ELIZA no pensaba en 1966 y los grandes modelos de lenguaje no piensan en 2026. La línea entre las dos pasa por escalas de magnitud, no por una frontera ontológica. Lo que ha cambiado es la nitidez con la que el espejo devuelve la imagen del que mira. Tiene la voz que el usuario quería oír. Tiene los temas que le interesan. Tiene la cadencia que le calma. Pero sigue siendo el espejo. Lo que el usuario ve dentro no es nadie. Es él mismo, devuelto por una superficie pulida durante sesenta años para que no se note el cristal.
Weizenbaum lo vio en el sesenta y seis y lo dijo en el setenta y seis. La industria ha facturado, entretanto, cantidades obscenas vendiendo el reflejo como si fuera pensamiento. Y se pretende, encima, que el usuario tenga la culpa por no haberlo distinguido.
Definiciones
ELIZA. Programa escrito por Joseph Weizenbaum en 1966 en el MIT. Unas doscientas líneas de código en MAD-Slip. Su guion más conocido, DOCTOR, imitaba a un psicoterapeuta rogeriano reformulando las frases del usuario como preguntas, sin comprensión real del contenido.
Test de Turing o juego de imitación. Propuesta de Alan Turing en 1950. Una máquina supera el test si un juez humano, en una conversación textual ciega, no consigue distinguirla de una persona. Turing no afirmaba que pasarlo equivaliera a pensar; esa lectura es posterior.
Postura intencional. Concepto de Daniel Dennett. Estrategia mental por la que predecimos el comportamiento de un sistema asumiendo que tiene creencias y deseos, en lugar de reconstruir su funcionamiento interno.
Modelo grande de lenguaje, LLM. Sistema estadístico entrenado sobre cantidades masivas de texto para predecir la siguiente unidad léxica más probable en una secuencia. Sin acceso al mundo, sin verificación, sin garantía de coherencia más allá de la plausibilidad estadística.
Aprendizaje por refuerzo con retroalimentación humana, RLHF. Técnica de post-entrenamiento donde anotadores humanos puntúan las respuestas del modelo. El sistema aprende a producir las respuestas mejor puntuadas, lo que tiende a optimizar la apariencia de competencia más que la competencia misma.
Ley de Goodhart. Principio según el cual, cuando una medida se convierte en objetivo, deja de ser una buena medida. Aplicado al RLHF, optimizar la señal externa de saber acaba reemplazando al saber.
Loro estocástico (stochastic parrot). Expresión introducida por Bender, Gebru, McMillan-Major y Shmitchell en 2021 para describir a los modelos de lenguaje. Recombinan estadísticamente patrones observados sin acceso al significado de lo que producen.
Referencias
Weizenbaum, J. (1966). ELIZA — A Computer Program for the Study of Natural Language Communication Between Man and Machine, Communications of the ACM 9, 36–45. Artículo fundacional del programa. Disponible en https://dl.acm.org/doi/10.1145/365153.365168.
Weizenbaum, J. (1976). Computer Power and Human Reason. From Judgment to Calculation, W. H. Freeman. Crítica del propio creador a la confusión entre simulación conversacional y comprensión, citado en las secciones sobre el efecto ELIZA y la defensa de la industria.
Turing, A. M. (1950). Computing Machinery and Intelligence, Mind 59, 433–460. Texto del que sale el juego de imitación, citado en la sección sobre el malentendido cultural del test.
Bender, E. M. y Koller, A. (2020). Climbing towards NLU. On Meaning, Form, and Understanding in the Age of Data, ACL 2020. Argumento técnico sobre la imposibilidad de acceder al significado entrenando solo sobre forma lingüística.
Bender, E. M., Gebru, T., McMillan-Major, A. y Shmitchell, S. (2021). On the Dangers of Stochastic Parrots. Can Language Models Be Too Big?, FAccT 2021. Origen de la expresión «loro estocástico». Disponible en https://dl.acm.org/doi/10.1145/3442188.3445922.
Dennett, D. (1987). The Intentional Stance, MIT Press. Fuente del concepto de postura intencional usado para explicar la atribución automática de mente.
OpenAI / TechCrunch (6 de noviembre de 2023). OpenAI's ChatGPT now has 100 million weekly active users. Sam Altman anunció la cifra de cien millones de usuarios activos semanales en la primera conferencia de desarrolladores de OpenAI; fuente de la magnitud de uso citada en la entrada y en el cierre. Disponible en https://techcrunch.com/2023/11/06/openais-chatgpt-now-has-100-million-weekly-active-users/.
Para profundizar
Turkle, S. (2011). Alone Together. Why We Expect More from Technology and Less from Each Other. Basic Books. Estudio sobre antropomorfización y vínculo afectivo con máquinas; lectura natural sobre la prolongación del efecto ELIZA en el ecosistema actual.
Hofstadter, D. (1979). Gödel, Escher, Bach. An Eternal Golden Braid. Basic Books. Exploración clásica de la ilusión de comprensión emergente en sistemas formales.
También te interesa
- Reconocer no es comprender, y la frontera entre las dos cosas no se ve
- El problema de definir inteligencia
- Conversar con algo que no existe
Aún sin comentarios
Aún no hay comentarios. Sé el primero.
Deja un comentario