Presento un artículo sobre Inteligencia Artificial y su sesgo, de la Licenciada Ria Panchal de la Universidad de Cornell; aportado por una alumna del curso intensivo de verano, Micaela Pasardi. Leemos en el artículo:
DEI para IA: ¿Existe una solución política para el sesgo algorítmico?
A medida que las capacidades de inteligencia artificial crecen exponencialmente, la IA se ha utilizado cada vez más para tomar decisiones importantes y de alto riesgo en la contratación, la atención médica, los seguros y la vivienda. Este tipo de uso solo se expandirá, ya que los algoritmos permiten a las empresas tomar decisiones más rápidas y más económicas. Sin embargo, se ha vuelto cada vez más evidente que la inteligencia artificial está plagada de sesgos, y las decisiones tomadas por la IA a menudo discriminan a las clases protegidas. Ya han surgido muchos casos sobre discriminación algorítmica, que afirman violaciones de estatutos como la Ley de Vivienda Justa o la Ley de Estadounidenses con Discapacidades, y los estados han intentado abordarlos utilizando varias soluciones políticas. Sin embargo, estas soluciones políticas con frecuencia no abordan el problema central que crea modelos sesgados: el uso de datos de entrenamiento sesgados y no representativos. Aunque existen soluciones y deben implementarse para mitigar la discriminación por parte de la IA, el sesgo algorítmico está inherentemente integrado en los algoritmos. En lugar de intentar desafiar casos individuales bajo las leyes existentes, sería mucho más efectivo prohibir el uso de la IA en decisiones consecuentes.
El sesgo algorítmico surge en gran medida de la forma en que se entrenan los modelos de IA. Los modelos de lenguaje grandes como ChatGPT son modelos predictivos: utilizan datos de entrenamiento para predecir la probabilidad de ciertas cadenas de palabras y seleccionan la siguiente palabra más plausible para crear pasajes de texto que parecen razonables pero que son precisos solo por coincidencia. Como resultado, a menudo recrean patrones de formas impredecibles y pueden amplificar los sesgos en los datos de entrenamiento de maneras que ni siquiera un humano lo haría. En un ejemplo frecuentemente citado y particularmente atroz, la herramienta de contratación de IA de Amazon rebajó automáticamente la calificación de los currículos de todas las candidatas. El algoritmo, que se había entrenado con los currículos de la fuerza laboral predominantemente masculina blanca de Amazon, calculó que era poco probable que las personas que iban a universidades solo para mujeres o jugaban en equipos deportivos femeninos trabajaran en Amazon, y tomó decisiones de contratación en consecuencia. En un ejemplo más reciente, los demandantes alegaron que el uso de IA por parte de State Farm para detectar reclamaciones fraudulentas utilizaba datos biométricos y de comportamiento para determinar la raza, lo que señalaba con mayor frecuencia a los propietarios negros por fraude y los sometía a retrasos y obstáculos adicionales. Históricamente, ha existido una falta de transparencia sobre con qué modelos de datos se entrenan, y muchos sistemas se describen como "cajas negras" donde ni siquiera los desarrolladores tienen control ni comprenden cómo el algoritmo ha interpretado los datos que se le han suministrado.
Los intentos de los desarrolladores por resolver el sesgo pueden conducir a peores resultados. Las soluciones a medias son un sustituto insuficiente para datos de entrenamiento robustos y, a menudo, producen "alucinaciones" algorítmicas igualmente problemáticas. El "problema del nazi negro", por ejemplo, describe imágenes generadas por IA con una diversidad irreal, como nazis negros o papas indígenas. Aunque se critica por ser excesivamente "woke", este tipo de resultados suelen ser el resultado de sobre correcciones por parte de los desarrolladores de IA que no han incorporado datos suficientemente diversos. Debido a la tendencia de la IA a generar exclusivamente hombres blancos, los desarrolladores simplemente añaden palabras como "negro" o "mujer" a las indicaciones del usuario. Los intentos de los desarrolladores de instalar otros tipos de barandillas también pueden ser defectuosos. Muchos modelos, por ejemplo, pueden ser manipulados para ignorar sus políticas de seguridad y difundir información perjudicial a través de indicaciones redactadas específicamente. Aunque los desarrolladores están abordando estos problemas actualmente, los modelos de lenguaje grandes carecen de la capacidad fundamental de razonar, y "decirle" a un modelo de lenguaje grande que siga ciertas instrucciones nunca será tan efectivo como incorporar o eliminar datos de entrenamiento. La eliminación de datos sobre raza o género suele exacerbar el sesgo algorítmico. Los métodos específicos utilizados para abordarlo son vitales para prevenir resultados no deseados o discriminatorios.
Tras los llamamientos para regular este proceso, varios estados han aprobado o propuesto leyes para abordar el problema de la discriminación en la IA. Estas regulaciones tienden a clasificarse en cuatro categorías: prohibiciones o restricciones del uso de la IA, regulaciones sobre la forma en que se utiliza la IA, regulación de los datos de entrada y regulaciones basadas en los datos de salida. California, por ejemplo, prohíbe el uso de la IA para discriminar a candidatos a un puesto de trabajo que pertenecen a una clase protegida. Colorado, en una legislación que entrará en vigor en febrero de 2026, exige a los implementadores de «sistemas de inteligencia artificial de alto riesgo» que tengan «cuidado razonable» para evitar la discriminación algorítmica. Nueva York prohíbe el uso de la IA en las decisiones laborales a menos que la herramienta haya sido auditada para comprobar su impacto dispar. Este tipo de legislación suele abordar la discriminación posterior al hecho, utilizando el análisis del impacto dispar para determinar si un modelo está sesgado y deja las soluciones tecnológicas a la discreción de los desarrolladores. El impacto dispar es en gran medida útil debido a la imposibilidad de determinar la intención discriminatoria en los seres humanos, pero la IA no tiene intención de la que hablar. Los grandes modelos de lenguaje no son más que código informático y datos de entrenamiento. Aunque puede resultar difícil, uno puede acceder a su "cabeza", por así decirlo, y evaluar lo que encuentra dentro. Si un freno defectuoso en un coche provoca un accidente, la "intención" del fabricante puede ser importante en casos individuales de responsabilidad civil, pero rara vez resulta útil analizarla desde una perspectiva de políticas públicas.
Debido a que la forma en que se desarrollan y entrenan los modelos es vital para prevenir resultados discriminatorios, los formuladores de políticas deberían regular proactivamente las herramientas de IA en etapas tempranas, tratando a la IA como una pieza de maquinaria particularmente riesgosa en lugar de una entidad incognoscible capaz de pensamiento independiente. Actualmente se están probando métodos emergentes para adaptar las bases de datos y prevenir el sesgo, con resultados prometedores. Los investigadores han experimentado con el uso de conjuntos de datos más pequeños, curados y más precisos para obtener control sobre los resultados. Los investigadores también han probado métodos para identificar y eliminar datos de entrenamiento que conducen a fallas para grupos minoritarios. Las agencias gubernamentales como la FTC ya han considerado requerir a los consumidores que "opten por" la recopilación de datos por parte de las empresas de IA. Debido a la complejidad de estas soluciones y la jerga técnica requerida para evaluarlas adecuadamente, probablemente sería un gran beneficio que expertos y agencias las regulen de esta manera.
Sin embargo, la inteligencia artificial suele ser inherentemente sesgada, y muchos concluyen que es imposible eliminar por completo estos problemas de los modelos. La IA solo puede reproducir patrones, y debido al largo historial de discriminación en la contratación, la atención médica y la vivienda a nivel mundial, cualquier dato adicional incorporado a los modelos estará sesgado de alguna manera. Incorporar datos adicionales puede ser difícil y poco ético: la inteligencia artificial también ha sido ampliamente criticada por sus violaciones de las leyes de derechos de autor y privacidad de datos, y si bien la regulación de los conjuntos de datos de entrada podría abordar múltiples problemas, surge la preocupación de que permitir que los consumidores opten por no usar sus datos podría aumentar el sesgo.
Aunque el desarrollo de estos modelos debería estar regulado, la única manera de eliminar por completo la discriminación es prohibir su uso en ciertos casos. Varios estados han implementado o propuesto legislación para evitar que la IA tome decisiones consecuentes. Sin embargo, las regulaciones de la UE son mucho más completas. Prohíben por completo la "comercialización" o la "puesta en servicio" de algoritmos que intentan clasificar a las personas según su comportamiento social, se utilizan para la clasificación o evaluación de riesgos, o explotan las vulnerabilidades de ciertos grupos, por nombrar algunos ejemplos. Este tipo de regulaciones son mucho más completas y efectivas que prohibir vagamente los algoritmos que son "discriminatorios" o que requieren "precauciones razonables", y no se basan en soluciones tecnológicas impredecibles.
La inteligencia artificial está programada para analizar y repetir patrones basados en datos, y los propios desarrolladores, que alimentan los modelos con grandes cantidades de datos de fuentes indiscriminadas, a menudo no saben exactamente qué patrones ha detectado la máquina. Los usuarios de estos programas tienden a asumir que son capaces de realizar análisis razonados, pero los modelos no son verdaderamente "inteligentes" y solo son capaces de repetir patrones presentes en los datos de entrenamiento. La mejor manera de minimizar el sesgo en estos modelos es regular los datos que utilizan o prohibirlos por completo, en lugar de intentar utilizar auditorías o análisis de impacto dispar para analizar los modelos una vez que ya se han creado.
Ria Panchal, DEI for AI: Is There a Policy Solution to Algorithmic Bias?, Cornell J.L. & Pub. Pol’y, The Issue Spotter, (Nov. 21, 2025), el presente artículo fue traducido por Google
