Alucinaciones y mentira. La palabra que la industria eligió

Llamar «alucinación» a un error de un LLM (modelo de lenguaje extenso, un sistema que predice texto a partir de probabilidades) es marketing. La máquina no ve cosas que no existen; calcula la palabra más probable y a veces la probable es falsa. Tampoco miente, porque mentir requiere intención y aquí no hay intención. La palabra correcta sería invención estadística, pero no vende. Y la diferencia entre cómo se llama el fallo decide a quién se le pasa la factura.

Schwartz, Avianca y seis precedentes que no existían

Un abogado neoyorquino, Steven Schwartz, treinta años de ejercicio a la espalda, presentó en 2023 ante el juez Castel un escrito en el caso Mata v. Avianca citando seis precedentes jurisprudenciales. Varghese v. China Southern Airlines. Shaboon v. Egypt Air. Petersen v. Iran Air. Casos con número de expediente, jueces firmantes, párrafos citados textualmente. La defensa de Avianca intentó localizarlos. No pudo. El juez tampoco. Schwartz había usado ChatGPT y, cuando le preguntó al sistema si los casos eran reales, ChatGPT le contestó que sí. La sanción cayó en junio. Cinco mil dólares, retirada del escrito, vergüenza pública en periódicos de medio mundo.

La prensa tituló a coro. «Las alucinaciones de la IA llegan a los tribunales.»

Esa palabra, «alucinación», ya estaba dentro del titular como si fuera un término neutro de glosario técnico. No lo es. No lo fue nunca. La elección de esa palabra y no de otra es uno de los movimientos comerciales más eficaces de la historia reciente del marketing tecnológico, y el escrito de Schwartz pagó la factura semántica que la industria había emitido un par de años antes.

De dónde viene la palabra y por qué no encaja

La revisión sistemática de Ji et al., Survey of Hallucination in Natural Language Generation, publicada en ACM Computing Surveys en 2023, intentó al menos cerrar la definición. Lo que llamamos alucinación es, traducido sin retórica, contenido lingüísticamente coherente pero no relacionado con el input ni con fuentes confirmadas. La taxonomía habla de alucinación intrínseca (cuando el modelo contradice la información que tiene delante) y alucinación extrínseca (cuando añade información que no se puede verificar en el corpus, es decir, el conjunto de textos con los que el sistema fue entrenado). Subdivide también entre errores factuales y errores lógicos. Cuando llegaron las revisiones específicas sobre modelos de lenguaje extenso, como la que Lei Huang y sus coautores difundieron en preprint a finales de 2023 y publicaron luego en revista, el campo ya había decidido que la palabra se quedaba. Es una definición útil. Es también una definición que no necesita en absoluto la palabra «alucinación» para sostenerse.

Porque la palabra viene de otro sitio. Viene de la psiquiatría.

Una alucinación, en sentido clínico, es la percepción de un estímulo sensorial en ausencia del estímulo real. El paciente oye voces que no existen, ve figuras que no están, huele cosas que no hay. Hay un órgano perceptivo malfuncionando, un sujeto con experiencia subjetiva, un mundo exterior que no se corresponde con lo percibido. Tres elementos, todos imprescindibles para que la palabra signifique algo.

Un LLM no tiene órgano perceptivo. No tiene experiencia subjetiva. No tiene mundo exterior con el que comparar nada. Lo que hace es calcular, dado un contexto, la distribución de probabilidad sobre el siguiente token (la unidad mínima de texto que el modelo manipula, que suele ser una palabra o un fragmento de palabra) y muestrear de ahí. Cuando el corpus en que se entrenó tenía señal clara sobre el caso Varghese v. China Southern Airlines, sale el caso real. Cuando no la tenía, sale la continuación más probable. Un nombre verosímil de demandante, un nombre verosímil de aerolínea, un número de expediente con el formato correcto, una jurisdicción plausible. El cálculo es exactamente el mismo en los dos casos. El sistema no cambia de modo. No se «desconecta de la realidad» porque nunca estuvo conectado a ella. No hay nada que alucinar porque no hay percepción.

Lo que hay es invención estadística. La continuación más probable, cuando la probabilidad asentada es baja, se vuelve indistinguible de la confabulación. Y la palabra «invención» tiene la enorme desventaja, desde el punto de vista de quien vende el producto, de que describe lo que el producto hace. Bender, Gebru, McMillan-Major y Shmitchell ya lo enunciaron en On the Dangers of Stochastic Parrots (2021): un sistema entrenado solo sobre forma no toca significado, y los humanos que lo leemos rellenamos esa ausencia con sentido nuestro. Melanie Mitchell, en Why AI Is Harder Than We Think (2021), recordaba además que el sector lleva décadas confundiendo rendimiento de demostración con comprensión real, y que cada generación ha tropezado con el mismo escalón un poco más arriba.

Qué se gana eligiendo la otra palabra

Decir «alucinación» humaniza el sistema. Le presta un órgano que no tiene. Sugiere que el problema es excepcional, comparable al delirio puntual de una mente sana que en general funciona. Una persona sensata no alucina todo el rato. Tiene episodios.

Si trasladamos ese marco al modelo, el modelo es alguien sensato que de vez en cuando se va. Lo cual implica que el resto del tiempo está cuerdo, percibe correctamente, dice la verdad. La metáfora hace casi todo el trabajo retórico sin que nadie tenga que argumentarlo.

Decir «invención estadística» no permite ninguno de esos préstamos. Describe el mecanismo. Y describir el mecanismo obliga a aceptar que no hay episodios: hay una operación continua de muestreo probabilístico cuyo resultado a veces coincide con la realidad y a veces no, sin que el sistema disponga de ninguna palanca interna para distinguir las dos situaciones. La diferencia entre acierto y fallo, desde dentro del modelo, no existe. Se ve igual desde dentro responder «Madrid es la capital de España» que responder «Madrid es la capital de Portugal». Las dos frases son la continuación más probable que el modelo encontró dado su contexto. Una coincide con el mundo. La otra no. Pero esa coincidencia no es una propiedad de la frase. Es una propiedad del corpus y de la distribución que lo produjo.

Por qué decirlo bien sería caro

Asumir esto en público es comercialmente devastador. Si lo que el sistema hace es muestrear probabilidades sobre tokens, sin acceso a la verdad, vender el producto como «asistente que responde preguntas» se vuelve incómodo. Porque «responder una pregunta» implica saber, y aquí no hay saber, hay distribución estadística. Si en cambio lo que el sistema hace es «a veces alucinar», entonces el grueso del tiempo el sistema responde de verdad y el problema queda reducido a un fallo intermitente, casi cosmético, achacable a versiones futuras que lo corregirán. El primer marco implica reconocer que el producto no es lo que se vende. El segundo permite seguir vendiéndolo.

La elección de palabra no fue casual. Fue precisa.

Por qué tampoco es mentira

Hay una tentación simétrica, sobre todo entre los críticos del sector, de decir que entonces lo que el LLM hace es mentir. La palabra suena justa, porque el daño que produce un caso inventado en un escrito judicial es el mismo daño que produciría una mentira humana. Schwartz quedó igual de sancionado fuera o no la maniobra deliberada. La víctima de un diagnóstico falso producido por un sistema queda igual de muerta o de mutilada que si el médico hubiera mentido a sabiendas. Desde el punto de vista del receptor, el efecto es indistinguible.

Y sin embargo la palabra no encaja.

Mentir requiere intención de engañar. Requiere un sujeto que sepa cuál es la verdad y elija decir otra cosa. Requiere un cálculo sobre el estado mental del oyente y una voluntad de manipularlo. Nada de eso está en el modelo. El modelo no sabe que su salida es falsa, no sabe qué es saber, no tiene representación del oyente como mente a la que orientar. Decir que miente es prestarle, en sentido contrario, exactamente los atributos que la palabra «alucinación» también le presta. Las dos metáforas humanizan. Una en clave benévola, la otra en clave acusatoria. Las dos son falsas por el mismo motivo.

Frankfurt y el charlatán sin lealtad a la verdad

Harry Frankfurt, en su pequeño libro On Bullshit, abrió hace veinte años una distinción que aquí viene como anillo al dedo. La mentira y el bullshit (literalmente, charlatanería; lo que se dice sin importar si es verdad o no) no son lo mismo. El mentiroso conoce la verdad y la oculta. Le importa la verdad, aunque sea para traicionarla. El charlatán no tiene relación con la verdad. Habla con el único objetivo de producir un efecto en el oyente, y la verdad o falsedad de lo que dice es accidental respecto a ese objetivo. Para Frankfurt, el bullshit es más corrosivo que la mentira, porque la mentira sigue reconociendo a la verdad como referencia y el bullshit la disuelve.

Un LLM, en ese vocabulario, no miente. Produce charlatanería en estado puro. La salida está optimizada para producir un efecto, no para corresponderse con nada. La distinción importa porque cambia el tipo de problema que tenemos delante. Una sociedad puede defenderse contra mentirosos identificándolos. No puede defenderse igual contra un sistema que no tiene posición respecto a lo que dice. No hay traición que reprochar, porque no hubo lealtad inicial.

La factura jurídica de la palabra

Aquí es donde el vocabulario deja de ser un asunto académico y se convierte en una decisión jurídica disfrazada.

Si el sistema «alucina», la culpa es del usuario que no comprobó. Schwartz no comprobó. Schwartz preguntó al modelo si los casos eran reales y se conformó con la respuesta. Mala práctica profesional, decisión torpe, falta de diligencia debida. La sanción cae sobre el abogado, no sobre OpenAI. Y en cierto modo es razonable, porque un profesional del derecho tiene que verificar fuentes. Pero la razón de fondo por la que la sanción cae solo ahí, y por la que ni siquiera se ha discutido seriamente la responsabilidad del fabricante, es que la palabra «alucinación» ha pre-cargado el marco. El fallo es del que se fió, no del que vendió un producto que produce ficciones con el mismo aplomo con el que produce hechos.

Si cambias la palabra, cambia el demandado

Cámbiese la palabra. Sustitúyase «alucinación» por «invención estadística». Léase el caso de nuevo. ChatGPT inventó seis precedentes jurisprudenciales con apariencia de reales y los entregó al abogado como si fueran reales. El abogado preguntó si eran reales y el sistema inventó la confirmación de que lo eran.

¿Quién vendió un producto defectuoso? ¿Qué obligación tenía el fabricante de etiquetarlo como lo que es antes de ponerlo en manos de profesionales?

La diferencia entre los dos marcos es la diferencia entre un usuario sancionado y un fabricante demandado en masa. La diferencia entre una externalidad asumible y un coste regulatorio gigantesco. La diferencia entre seguir vendiendo el producto tal cual y tener que rediseñarlo o etiquetarlo de forma que el caso de Schwartz no hubiera podido producirse. La palabra es la frontera entre esos dos mundos. Por eso la industria la eligió, la repitió, la metió en los papers, la dejó caer en los titulares, hasta que se quedó pegada como si hubiera estado siempre ahí.

Gary Marcus lleva años diciéndolo desde su newsletter y se le trata como ese viejo pesado que no se entera. No es que no se entere. Es que se enteró antes y señala el sitio exacto por el que el lenguaje hace trampa. Su insistencia no es manía terminológica. Es la única forma de mantener viva la pregunta que la palabra fue diseñada para cerrar.

El receptor que cobra la diferencia

Las víctimas del producto no necesitan saber la palabra para sentir la factura.

La paciente a la que un sistema le sugiere una dosis errónea, basada en un estudio inventado con formato impecable de cita médica, no acaba menos intoxicada porque a aquello le llamen alucinación. El candidato cuyo currículum, generado por una herramienta de ayuda, incluye una titulación inexistente, no acaba menos despedido cuando recursos humanos lo verifica. Lo que cambia, según qué palabra se use, es a quién se le pide cuentas. A la paciente que debió consultar a un humano. Al candidato que debió revisar el documento. Siempre el receptor, nunca el productor. La palabra «alucinación» reparte la responsabilidad antes de que nadie discuta la responsabilidad. Hace el trabajo de la defensa antes de que haya juicio.

Mientras tanto se publican modelos cada vez más fluidos, con menos marcadores de duda en la salida. La fluidez ha mejorado más que la fiabilidad, y la confianza superficial de la respuesta ha crecido más rápido que la calidad del contenido. El producto suena cada vez más cuerdo. Y cuanto más cuerdo suena, más se carga al usuario con la obligación de descubrir que sigue inventando con la misma naturalidad de siempre, solo que ahora con mejor gramática.

La palabra que la industria eligió no era para describir el fenómeno. Era para repartir la culpa. Lleva diez años repartiéndola con eficiencia notable, mientras los que pagamos la diferencia seguimos escribiendo titulares con la palabra dentro, como si fuera neutra, como si la hubiera puesto ahí la naturaleza y no un departamento de comunicación corporativa al que le tocó decidir cómo se iba a llamar lo que iba a fallar.

Definiciones

LLM (Large Language Model, modelo de lenguaje extenso). Sistema entrenado sobre grandes cantidades de texto que, dado un contexto, calcula la probabilidad del siguiente fragmento y produce salida muestreando de esa distribución. No verifica hechos. No tiene acceso a una representación del mundo separada del texto.

Token. Unidad mínima de texto que el modelo manipula internamente. Suele ser una palabra, un fragmento de palabra o un signo. Las predicciones del modelo se producen token a token, no frase a frase.

Corpus. Conjunto de textos con los que el modelo fue entrenado. Lo que el modelo «sabe» es una propiedad estadística de ese corpus, no del mundo.

Alucinación intrínseca. Salida que contradice información presente en la entrada que se le dio al modelo. Tiene material delante y aun así se desvía.

Alucinación extrínseca. Salida que añade información que no se puede verificar contra ninguna fuente del corpus. El modelo rellena el hueco con una continuación verosímil.

Invención estadística. Descripción no metafórica del mismo fenómeno. La continuación más probable, cuando la señal de entrenamiento es débil o ambigua, se parece a un hecho pero no se corresponde con ninguno.

Bullshit (charlatanería, en la acepción de Harry Frankfurt). Discurso producido sin interés por la verdad o falsedad de lo dicho, orientado únicamente al efecto sobre el oyente. Distinto de la mentira, que sí presupone una verdad reconocida y ocultada.

Referencias

Ji, Z. et al., Survey of Hallucination in Natural Language Generation, ACM Computing Surveys 55, Article 248, 2023. arXiv:2202.03629 (https://arxiv.org/abs/2202.03629). De ahí procede la definición técnica del fenómeno y la taxonomía intrínseca/extrínseca usada en el artículo.

Huang, L. et al., A Survey on Hallucination in Large Language Models. Principles, Taxonomy, Challenges, and Open Questions. Preprint en arXiv:2311.05232 (noviembre de 2023, https://arxiv.org/abs/2311.05232), publicado después en ACM Transactions on Information Systems (2025), DOI 10.1145/3703155 (https://dl.acm.org/doi/10.1145/3703155). Revisión específica sobre modelos de lenguaje extenso citada en el artículo.

Bender, E., Gebru, T., McMillan-Major, A., Shmitchell, S., On the Dangers of Stochastic Parrots, FAccT 2021, DOI 10.1145/3442188.3445922 (https://dl.acm.org/doi/10.1145/3442188.3445922). Trasfondo del argumento sobre lo que un modelo de lenguaje hace y no hace cuando produce texto.

Mata v. Avianca, Inc., 22-cv-1461 (PKC), Southern District of New York, 2023. Caso citado al inicio del artículo. Opinión judicial en https://www.courtlistener.com/docket/63107798/mata-v-avianca-inc/.

Marcus, G., newsletter Marcus on AI, https://garymarcus.substack.com. Crítica sostenida del uso del término «alucinación» referida en la sección sobre la factura jurídica de la palabra.

Mitchell, M., Why AI Is Harder Than We Think, arXiv:2104.12871, 2021. Contexto general sobre la distancia entre lo que se vende y lo que el sistema hace.

Frankfurt, H. G., On Bullshit, Princeton University Press, 2005. Fuente de la distinción entre mentira y bullshit utilizada en la sección «Por qué tampoco es mentira».

También te interesa

En otros sitios

#alucinaciones #dao-real-ia #antropomorfismo #papers