Mandaste el currículum. No te llamaron. Pediste una hipoteca y te la denegaron «por scoring». Solicitaste una ayuda social y tu expediente quedó marcado para revisión durante catorce meses. En ninguno de esos momentos hubo una persona al otro lado. Hubo un modelo. Y el modelo no se llamaba IA.
Se llamaba algoritmo de selección, motor de riesgo, sistema antifraude. Nadie te explicó qué entrada te penalizó, porque la empresa no lo sabe, porque el proveedor lo considera secreto comercial, y porque la ley que en teoría te protege casi nunca se aplica.
Esta es la IA que importa. La que no tiene cara, la que no tiene interfaz, la que no abre conversación en Twitter cada vez que se anuncia un modelo nuevo. La conversación pública lleva tres años obsesionada con el chatbot, el peluche que la industria empuja al centro de la mesa para que el público discuta si entiende, si miente, si es consciente, si va a quitarnos el trabajo. Mientras se discute al peluche, los modelos que deciden sobre vidas concretas operan en silencio. Sin nombre comercial. Sin demo. Sin presentación en Las Vegas.
El catálogo que nadie ha escrito en titulares
En 2016, la matemática Cathy O'Neil publicó Weapons of Math Destruction. El libro hizo un trabajo que ningún periódico se había molestado en hacer. Catalogar los sistemas opacos que ya decidían, en aquel momento, quién entraba en qué universidad, quién conseguía qué trabajo, quién recibía qué crédito, quién iba a qué cárcel y por cuánto tiempo.
La tesis técnica, en una frase, es esta. Los modelos que más afectan a las personas son los que menos auditoría reciben, y los que menos auditoría reciben son los que más opacidad protegen por contrato. La asimetría no es un error del sistema. Es el sistema.
Virginia Eubanks, en Automating Inequality (2018), recorrió el mismo terreno desde el otro lado del expediente: el de las familias en servicios sociales que ven cómo un algoritmo decide si su hijo entra en una lista de riesgo de protección infantil. Su tesis fue todavía más cruda. Cuando estos sistemas se instalan en la administración del bienestar, no se reparten equitativamente: caen sobre los pobres. Frank Pasquale, en The Black Box Society (2015), había puesto el marco jurídico: la combinación de aprendizaje automático y secreto comercial produce una opacidad que el derecho clásico no estaba preparado para abrir. Tres libros, una década, el mismo dedo señalando al mismo sitio. Y ningún catálogo de los grandes medios ha incorporado ese dedo a su rutina.
Diez años después, el catálogo ha engordado y nadie lo ha rebautizado. El credit scoring (puntuación crediticia automatizada) decide tu hipoteca con docenas de variables que el banco no te enumerará, y algunas de esas variables son proxies (variables sustitutivas que correlacionan con otra sin nombrarla) de raza, código postal y red social. Los filtros ATS (Applicant Tracking System, software de cribado de candidaturas usado por departamentos de recursos humanos) ordenan y puntúan los currículums por su coincidencia léxica con las palabras clave de la oferta, no por la idoneidad del candidato. La cifra de cuántas candidaturas quedan descartadas antes de que un humano lea una línea circula por todas partes sin estudio publicado que la respalde, y conviene desconfiar de ella: lo verificable es el criterio, no el porcentaje.
Los modelos de predicción policial concentran patrullas en barrios que ya estaban sobre-policiados, generan más detenciones en esos barrios, retroalimentan los datos del modelo y producen una profecía estadísticamente autorrealizada. La segmentación publicitaria decide a qué público se le muestra una oferta de vivienda y a cuál no, lo que en Estados Unidos llevó a Meta a un acuerdo con el Departamento de Justicia en 2022 por discriminación en anuncios inmobiliarios. La optimización de rutas decide en qué orden visita a sus pacientes una enfermera de cuidados domiciliarios, lo que en la práctica decide a qué pacientes les llega a tiempo y a cuáles no.
Ninguno de esos sistemas se vende como IA. Se venden como soluciones de scoring, como motores de decisión, como herramientas de business intelligence (literalmente «inteligencia de negocio», eufemismo industrial para software de análisis de datos corporativo). El término inteligencia artificial está reservado al producto que sale en la prensa. Lo que efectivamente decide se llama otra cosa, y se llama otra cosa por una razón.
La palabra que evita el escrutinio
Cuando un departamento de recursos humanos compra un filtro de currículums, el contrato no dice IA. Dice plataforma de talent acquisition. Cuando una administración pública instala un sistema de detección de fraude en ayudas sociales, el pliego no menciona IA. Menciona modelo de scoring de riesgo. Cuando un cuerpo de policía implementa software predictivo, el comunicado de prensa habla de herramienta de apoyo a la toma de decisiones, no de algoritmo que decide nada.
Hay una asimetría lingüística cuidadosamente mantenida.
El chatbot conversacional, que en términos de daño individual es prácticamente irrelevante para la mayoría de la población, se llama IA y ocupa el ochenta por ciento de la conversación pública sobre IA. Los modelos que efectivamente concentran decisiones de vida sobre cientos de millones de personas se llaman algoritmos, sistemas, motores, herramientas. Cualquier cosa menos lo único que son. Aprendizaje automático aplicado a decisiones sobre humanos, con consecuencias materiales medibles, en producción desde hace una década.
El motivo de la asimetría no es semántico. Es regulatorio y reputacional. Llamarlo IA atrae atención de prensa, exige explicabilidad, activa cláusulas de la GDPR (Reglamento General de Protección de Datos de la UE, vigente desde 2018), dispara obligaciones de la EU AI Act. Llamarlo «modelo de riesgo» mantiene el sistema en la categoría de software corporativo aburrido, donde nadie pregunta nada. El lenguaje es el primer filtro. La invisibilidad no es una propiedad emergente. Es una elección de marketing inverso.
Cuatro casos donde el daño dejó rastro
COMPAS es un algoritmo desarrollado por Northpointe que asigna a cada acusado en Estados Unidos un score de probabilidad de reincidencia. Lo usan jueces para decidir fianzas, libertad condicional, duración de condenas. En 2016, ProPublica publicó un análisis sobre más de siete mil casos en el condado de Broward, Florida. El sistema clasificaba como de alto riesgo a acusados negros que no reincidían a una tasa casi el doble que la de acusados blancos en idéntica situación. Northpointe respondió que su modelo no usaba la variable raza. No hacía falta. Usaba veinte proxies. La empresa nunca publicó el modelo. Nunca se sometió a auditoría externa. El score sigue usándose. Algunos jueces siguen citándolo como elemento objetivo.
Apple Card y la disparidad sin variable
En 2019, varios usuarios de la recién lanzada Apple Card reportaron en redes que sus mujeres recibían límites de crédito muy inferiores, con idéntico patrimonio, ingresos e historial. El desarrollador David Heinemeier Hansson denunció que su límite era veinte veces superior al de su esposa; Steve Wozniak, cofundador de Apple, describió una diferencia de alrededor de diez veces respecto al de la suya. Goldman Sachs, banco emisor, respondió que el algoritmo no usaba el género. El Departamento de Servicios Financieros del estado de Nueva York abrió investigación. En marzo de 2021 concluyó que no había hallado discriminación ilegal por razón de género, lo que no equivale a demostrar la ausencia de sesgo. La diferencia importa. El modelo nunca se publicó. Nadie sabe qué variables generaron la disparidad. Nadie puede repetir el experimento.
Robodebt y los muertos de un promedio anual
En Australia, entre 2016 y 2020, el gobierno federal usó un sistema automatizado llamado coloquialmente Robodebt para detectar pagos indebidos en ayudas sociales. El sistema cruzaba ingresos declarados con datos de la agencia tributaria mediante un promediado anual que, aplicado a trabajadores con ingresos irregulares, generaba deudas ficticias. Cuatrocientas setenta mil personas recibieron cartas reclamándoles dinero que no debían. Públicamente se vincularon al programa varios casos de suicidio entre personas que recibieron esas reclamaciones. En 2023, una Comisión Real concluyó que el sistema fue ilegal desde el primer día, que sus arquitectos lo sabían, y que los avisos jurídicos internos que lo señalaban se enterraron. El informe final ocupa tres volúmenes de casi mil páginas. El primer ministro de la época pidió perdón. Nadie fue a la cárcel.
SyRI y la sentencia que casi nadie cita
En Holanda, el sistema SyRI (Systeem Risico Indicatie) hacía algo parecido. Cruzar datos de varias administraciones para identificar a probables defraudadores en ayudas sociales. Se aplicó casi exclusivamente en barrios pobres y de mayoría migrante. En 2020 el Tribunal de La Haya lo declaró contrario al artículo 8 del Convenio Europeo de Derechos Humanos. La sentencia es uno de los pocos precedentes europeos donde un tribunal ha desmontado un sistema de decisión automatizada del Estado por incompatibilidad con derechos fundamentales. El sistema se retiró. Su sucesor, ligeramente reformado, sigue en uso bajo otro nombre.
Cuatro casos, cuatro países, cuatro sectores. Lo único que tienen en común es que el daño se documentó porque alguien con tiempo, dinero y formación jurídica empujó durante años para que se documentase. La inmensa mayoría de los daños de la IA invisible no se documentan, porque la persona perjudicada no sabe que ha sido perjudicada, no sabe a quién señalar, y aunque lo supiera no tendría recurso técnico para demostrarlo. La asimetría es total. Tú no sabes que existió la decisión. La decisión sí supo todo de ti.
El artículo 22 que nadie aplica
La GDPR, aprobada en 2016 y aplicable desde 2018, incluye un artículo 22 que sobre el papel debería haber resuelto buena parte del problema. El texto dice que el ciudadano tiene derecho a no ser sometido a una decisión basada únicamente en tratamiento automatizado que produzca efectos jurídicos sobre él. Si lees la frase con calma, parece sólida. Si la lees con un abogado de empresa al lado, descubres dónde están los huecos.
«Únicamente» es la palabra que vacía el artículo.
Cualquier empresa puede sostener que la decisión no es únicamente automatizada porque un humano revisó el resultado antes de comunicarlo. En la práctica, ese humano dispone de noventa segundos por expediente, ve el score en pantalla, da clic en aceptar. Eso es revisión humana según la jurisprudencia mayoritaria. Es un mono de goma firmando lo que la máquina ya decidió, y eso basta para que el artículo 22 no aplique. La cláusula de salvaguarda se diseñó con la intención correcta y se redactó con la suficiente vaguedad como para que la industria pudiera anularla por procedimiento.
Información significativa sobre la lógica aplicada
Encima, el artículo 22 garantiza un derecho a obtener intervención humana, a expresar el punto de vista del afectado y a impugnar la decisión. No garantiza un derecho a entender. La explicabilidad efectiva, saber qué variable concreta tumbó tu solicitud, no aparece en el texto. El Grupo de Trabajo del Artículo 29 (el órgano consultivo europeo de autoridades de protección de datos, antecesor del actual Comité) adoptó en octubre de 2017 unas directrices que insistían en la información significativa sobre la lógica aplicada. Esas directrices no son vinculantes. Los reguladores nacionales casi nunca las exigen. Y cuando las exigen, las empresas responden con explicaciones genéricas redactadas por su departamento de cumplimiento, que cumplen la letra y no informan de nada.
La EU AI Act (Reglamento Europeo de Inteligencia Artificial, aprobado en 2024 y de aplicación escalonada hasta 2027) introduce la categoría de sistemas de alto riesgo y obliga a registrar muchos de estos modelos en una base europea. Es un avance real. Es también la próxima cláusula que la industria llevará una década aprendiendo a circunvalar. Las empresas grandes contratarán abogados especializados en reclasificar sus sistemas como de menor riesgo. Las consultoras venderán certificaciones que la propia industria autogestionará. Los reguladores nacionales tendrán plantilla para auditar el dos por ciento de los sistemas registrados. El resto operará sin supervisión efectiva, con un sello de cumplimiento en la portada. No es derrotismo. Es lo que ha pasado con cada marco regulatorio digital desde la directiva de cookies hasta la propia GDPR.
La conversación que el chatbot tapa
Mientras se discute si GPT entiende, si Claude alucina, si Gemini debería poder generar imágenes de figuras históricas, los sistemas que efectivamente concentran poder decisional siguen sin nombre y sin auditoría. Esto no es un fallo de coordinación informativa. Es un éxito de redirección de atención.
La industria que vende chatbots y la industria que vende sistemas opacos de scoring no son la misma, pero la primera funciona como cortina de la segunda. La carga reputacional la come el chatbot, que es ruidoso, visible y discutible. La carga decisional la lleva el motor de riesgo, que no hace ruido, no tiene cuenta de prensa y no responde correos.
Quién audita lo que nadie ve
La pregunta de quién audita la capa invisible tiene respuesta corta. Nadie con poder real. La capa la auditan, en el mejor de los casos, periodistas de investigación con financiación filantrópica, grupos académicos sin acceso a los datos, ONGs que tardan tres años en conseguir una sentencia. La auditan a destiempo, una vez que el daño ya ha ocurrido en miles de expedientes. La auditan sobre las migajas técnicas que las empresas se ven obligadas a soltar bajo presión judicial. Auditar de verdad implicaría acceso al modelo, a los datos de entrenamiento, al historial de decisiones reales, a las métricas de error desagregadas por grupo. Nada de eso se obtiene sin pleito, y los pleitos los pierde casi siempre la parte que no es la empresa.
El debate sobre la IA que se ve es entretenimiento. Hay piezas interesantes en él, hay decisiones de diseño que merecen escrutinio. Pero ocupa una posición desproporcionada en la atención pública comparada con el otro debate, que es donde se está jugando todo. Si los próximos diez años de conversación sobre IA se gastan en si los modelos generativos son creativos o son loros, mientras los modelos discriminativos siguen decidiendo en silencio quién accede a qué y con qué pena, no será un accidente. Será el resultado natural de un sistema donde la atención se canaliza hacia lo discutible y lo importante se mantiene fuera del marco.
Tú no sabes qué modelo evaluó tu última solicitud. No sabes qué proveedor lo entrenó. No sabes qué variables te penalizaron. No sabes a quién reclamar, y si lo supieras, no podrías demostrar nada porque el modelo es secreto comercial. El sistema funciona exactamente como se diseñó para funcionar. La invisibilidad no es un fallo. Es la característica principal del producto.
Definiciones
Credit scoring. Puntuación crediticia generada por un modelo automatizado que cruza variables financieras, demográficas y de comportamiento del solicitante para asignar un nivel de riesgo. Las variables exactas y sus pesos son secreto comercial del proveedor.
ATS. Applicant Tracking System, plataforma de cribado automatizado de candidaturas usada por departamentos de recursos humanos. Filtra los currículums por coincidencia léxica con la oferta antes de que un humano vea ninguno.
Predicción policial. Familia de modelos que estima la probabilidad de delito por zona geográfica o por individuo, a partir de datos históricos de denuncias y detenciones. Tiende a generar bucles de retroalimentación en barrios ya sobre-policiados.
Proxy. En estadística aplicada, variable sustitutiva que correlaciona con otra que no se quiere o no se puede usar directamente. Un código postal puede actuar como proxy de raza sin que el modelo nombre la raza en ningún momento.
GDPR. Reglamento General de Protección de Datos de la Unión Europea (Reglamento UE 2016/679), aplicable desde mayo de 2018. Su artículo 22 regula las decisiones basadas en tratamiento automatizado.
EU AI Act. Reglamento Europeo de Inteligencia Artificial, aprobado en 2024 y de aplicación escalonada hasta 2027. Clasifica los sistemas de IA por niveles de riesgo y obliga al registro de los de alto riesgo en una base europea.
Explicabilidad. Capacidad de un sistema automatizado de ofrecer una justificación comprensible de una decisión individual. No equivale a publicar el modelo. La industria suele aportar explicaciones genéricas que no permiten reconstruir el motivo del rechazo concreto.
COMPAS. Correctional Offender Management Profiling for Alternative Sanctions. Algoritmo de evaluación de riesgo de reincidencia desarrollado por la empresa Northpointe (hoy Equivant), usado en tribunales de varios estados de Estados Unidos.
SyRI. Systeem Risico Indicatie. Sistema holandés de detección de fraude en prestaciones sociales mediante cruce de datos de varias administraciones, declarado contrario a derechos humanos por el Tribunal de La Haya en 2020.
Robodebt. Nombre coloquial del Online Compliance Intervention, sistema automatizado del gobierno australiano (2016-2020) que reclamó deudas indebidas a unas 470.000 personas usando un cálculo de promedio anual mal aplicado.
Referencias
O'Neil, Cathy — Weapons of Math Destruction (Crown, 2016). Obra fundacional que cataloga los modelos opacos en universidades, recursos humanos, seguros, banca y justicia penal. Base conceptual del artículo.
Eubanks, Virginia — Automating Inequality (St. Martin's Press, 2018). Investigación sobre sistemas automatizados en servicios sociales en Estados Unidos. Referencia para el tratamiento de la asimetría informativa.
Pasquale, Frank — The Black Box Society (Harvard University Press, 2015). Análisis jurídico de la opacidad algorítmica en finanzas e información. Marco conceptual sobre secreto comercial y derechos del afectado.
Angwin, J., Larson, J., Mattu, S. y Kirchner, L. — Machine Bias (ProPublica, 23 de mayo de 2016). Análisis empírico del algoritmo COMPAS en el condado de Broward, Florida. Fuente del caso COMPAS.
Apple Card investigated by NY regulator after gender discrimination claims — Bloomberg, 9 de noviembre de 2019. Cobertura del caso Apple Card y de las denuncias de David Heinemeier Hansson y Steve Wozniak.
New York DFS clears Goldman Sachs of gender bias in Apple Card algorithm — Banking Dive, marzo de 2021, https://www.bankingdive.com/news/goldman-sachs-gender-bias-claims-apple-card-women-new-york-dfs/597273/. Fuente de la resolución del Departamento de Servicios Financieros de Nueva York.
Royal Commission into the Robodebt Scheme — Final Report — Commonwealth of Australia, julio de 2023. Informe oficial sobre el sistema Robodebt. Fuente del caso australiano.
Tribunal de Distrito de La Haya — Sentencia NJCM y otros contra Estado holandés (caso SyRI), 5 de febrero de 2020. Fuente del caso holandés.
Parlamento Europeo y Consejo de la UE — Reglamento (UE) 2016/679, Reglamento General de Protección de Datos, artículo 22. Texto legal citado al tratar el derecho a no ser sometido a decisiones únicamente automatizadas.
Grupo de Trabajo del Artículo 29 (WP29) — Guidelines on Automated individual decision-making and Profiling for the purposes of Regulation 2016/679, adoptadas en octubre de 2017 y revisadas en febrero de 2018, https://ec.europa.eu/newsroom/article29/items/612053. Directrices citadas sobre la información significativa de la lógica aplicada.
Parlamento Europeo y Consejo de la UE — Reglamento (UE) 2024/1689, Reglamento de Inteligencia Artificial (EU AI Act). Disponible en https://artificialintelligenceact.eu. Citado al tratar la clasificación por riesgo y el registro europeo de sistemas.
Department of Justice de Estados Unidos — Acuerdo con Meta Platforms Inc. sobre publicidad de vivienda discriminatoria, 21 de junio de 2022. Citado en el catálogo de la IA invisible.
Para profundizar
Crawford, K. (2021). Atlas of AI. Power, Politics, and the Planetary Costs of Artificial Intelligence. Yale University Press. Lectura general sobre la materialidad política de la IA, marco natural para el argumento sobre la invisibilidad operativa.
Noble, S. U. (2018). Algorithms of Oppression. How Search Engines Reinforce Racism. NYU Press. Documentación del sesgo agregado en sistemas algorítmicos, extensible a los motores de scoring y filtrado descritos en el artículo.
También te interesa
- Cathy O'Neil y las armas matemáticas
- Sesgos invisibles. El sesgo declarado se filtra, el de base sigue intacto
- Los escalones de la IA pública. La fachada y los pisos de abajo
- Por qué Shoshana Zuboff lleva razón sobre la IA
Aún sin comentarios
Aún no hay comentarios. Sé el primero.
Deja un comentario