Inteligencia artificial y regulación: el poder sin sujeto

Esta página es una traducción del texto original en portugués, ofrecida para facilitar la lectura. Trata del derecho brasileño. En caso de divergencia, prevalece la versión en portugués. Leer el original en portugués

Los sistemas de inteligencia artificial ya deciden sobre crédito, empleo, salud y beneficios sociales, pero ningún sujeto responde por esos actos. Se analiza el concepto de poder sin sujeto, la gobernanza algorítmica y por qué Brasil necesita con urgencia una ley de IA.

Las decisiones adoptadas por sistemas de inteligencia artificial tienen una característica poco común: producen efectos jurídicos reales sobre personas reales, pero con frecuencia no existe un responsable claro. El algoritmo no es una persona. La empresa que lo creó alega que el modelo aprendió por sí solo. El cliente que lo contrató dice que se limitó a seguir la recomendación de la herramienta. El resultado es una zona gris de poder sin sujeto, en la que se afectan derechos sin que exista un agente identificable que responda por la lesión.

Este fenómeno no es abstracto. Ocurre cuando un banco niega un crédito con base en una puntuación algorítmica sin explicar los criterios; cuando un sistema de selección descarta currículos de candidatos antes de que cualquier ser humano los lea; cuando plataformas de salud recomiendan conductas clínicas derivadas de modelos entrenados con poblaciones específicas. En todos estos casos hay una decisión con consecuencias jurídicas y un vacío de responsabilidad que el derecho brasileño aún no ha llenado de forma adecuada.

El concepto de gobernanza algorítmica

La gobernanza algorítmica describe el conjunto de procesos mediante los cuales sistemas automatizados ejercen funciones que, hasta hace poco, estaban reservadas a agentes humanos con capacidad de rendir cuentas. Se trata de un desplazamiento del poder de decisión: en lugar de un funcionario público, un gerente o un médico, quien filtra, clasifica y recomienda es ahora un modelo de aprendizaje automático.

El problema no es tecnológico, sino político y jurídico. La teoría clásica del derecho administrativo y del derecho civil se construyó sobre la premisa de que las decisiones relevantes las toman sujetos identificables, a quienes se puede notificar, cuestionar, responsabilizar y, si es necesario, demandar judicialmente. Cuando quien decide es un modelo de IA, esa cadena se rompe.

Investigadores como Antoinette Rouvroy y Thomas Berns, quienes acuñaron el término «gubernamentalidad algorítmica», advierten que los sistemas de IA no se limitan a ejecutar políticas: las producen, muchas veces sin que las organizaciones que los utilizan comprendan por completo sus criterios internos. Eso es lo que convierte la opacidad de los modelos, el llamado problema de la caja negra, en una cuestión central del derecho y no solo de la ingeniería.

«Una decisión que afecta derechos fundamentales no puede quedar al margen del contradictorio solo porque la haya generado un algoritmo. La automatización del poder exige la democratización de la transparencia».

El EU AI Act como modelo comparativo

En junio de 2024, la Unión Europea promulgó el AI Act, el primer marco regulatorio integral sobre inteligencia artificial en el mundo. La norma adopta un enfoque basado en el riesgo: cuanto mayor es el potencial de daño de un sistema de IA, más estrictos son los requisitos que debe cumplir antes de ponerse en funcionamiento.

La normativa europea clasifica los sistemas de IA en cuatro categorías. Los de riesgo inaceptable, como los sistemas de puntuación social gubernamental o la manipulación subliminal del comportamiento, están prohibidos. Los de alto riesgo, que incluyen la IA utilizada en reclutamiento, concesión de crédito, educación, salud e infraestructura crítica, deben someterse a una evaluación de conformidad, conservar registros de auditoría, garantizar la supervisión humana y asegurar la transparencia frente al usuario afectado. Los de riesgo limitado tienen obligaciones de transparencia más modestas. Los de riesgo mínimo están, en esencia, libres de regulación.

El aspecto más relevante para el debate brasileño es lo que el EU AI Act denomina derecho a la explicación. Toda persona sujeta a una decisión significativa adoptada por un sistema de alto riesgo tiene derecho a recibir una explicación inteligible sobre los principales factores que influyeron en el resultado. Hoy ese derecho no existe de forma expresa en el ordenamiento brasileño, aunque la Ley General de Protección de Datos (LGPD) contiene un embrión relevante en el artículo 20, que trata de la revisión de decisiones automatizadas.

El resultado es una zona gris de poder sin sujeto, en la que se afectan derechos sin que exista un agente identificable que responda por la lesión.

Otro punto del EU AI Act que merece atención es la responsabilidad a lo largo del ciclo de vida. La norma distribuye obligaciones entre proveedores, importadores, distribuidores y operadores de sistemas de IA, y crea una cadena de responsabilidad solidaria que mitiga el problema del poder sin sujeto. Esta arquitectura regulatoria ofrece un modelo útil que Brasil puede adaptar.

Brasil ante el vacío regulatorio

Brasil no está del todo desprevenido. La LGPD, en vigor desde 2020, ya prevé en su artículo 20 el derecho del titular de los datos a solicitar la revisión de decisiones adoptadas únicamente con base en un tratamiento automatizado. El problema es que esta disposición tiene una aplicación limitada: exige que el controlador informe los criterios utilizados, pero no define qué es una explicación suficiente ni establece un régimen de responsabilidad específico para los daños causados por sistemas automatizados.

El Código de Defensa del Consumidor y el Código Civil ofrecen cierta protección residual, especialmente mediante la teoría de la responsabilidad objetiva del proveedor de productos y servicios defectuosos. Pero la aplicación de estas normas a los sistemas de IA suscita controversias doctrinales relevantes: ¿el modelo de IA es un producto o un servicio? ¿El defecto está en la programación original o en el aprendizaje posterior? ¿Quién responde por el daño: el desarrollador del modelo base, la empresa que lo ajustó o el operador que lo implementó?

En el Congreso, el PL 2338/2023, de autoría del Senado Federal, representa el intento más estructurado de crear un marco regulatorio para la IA en Brasil. El proyecto adopta un enfoque de riesgo similar al europeo y establece deberes de transparencia, evaluación de impacto y responsabilización para los sistemas de IA de alto riesgo. Sin embargo, el texto aún está en trámite y enfrenta resistencias del sector productivo, que alega que una regulación prematura puede inhibir la innovación nacional.

Este argumento merece ser examinado con rigor. La experiencia europea sugiere que los marcos regulatorios claros tienden a aumentar la confianza de los usuarios y a atraer inversiones en IA responsable, en lugar de ahuyentar el desarrollo tecnológico. La ausencia de regulación, en cambio, genera inseguridad jurídica tanto para las propias empresas, que desconocen los límites de lo que pueden hacer, como para los ciudadanos, que no saben cómo defenderse cuando resultan perjudicados.

Cabe recordar que Brasil ya ha regulado sectores tecnológicos con resultados positivos. El Marco Civil de Internet (Ley 12.965/2014) se cita a nivel internacional como referencia en protección de derechos digitales. La LGPD, pese a sus limitaciones, situó al país en el grupo de naciones con una legislación moderna de privacidad. Un marco regulatorio de IA bien diseñado seguiría esa tradición de liderazgo normativo regional. Para profundizar en los derechos digitales en el contexto brasileño, se recomienda el análisis de las áreas de actuación en derecho digital y derecho administrativo.

Responsabilidad y derechos de los afectados

Desde un punto de vista práctico, el ciudadano brasileño perjudicado hoy por una decisión algorítmica enfrenta un camino tortuoso. Identificar al responsable, obtener acceso a los criterios del modelo y probar el nexo causal entre el funcionamiento del sistema y el daño sufrido son obstáculos considerables, especialmente ante la asimetría de información y de recursos entre los individuos y las grandes organizaciones.

Una regulación adecuada debe abordar al menos cuatro puntos. Primero, el derecho a la explicación: la persona afectada debe recibir, en un lenguaje accesible, los factores determinantes de la decisión automatizada que la alcanzó. Segundo, el derecho a la revisión humana: las decisiones de alto impacto, como la denegación de crédito, el despido o la exclusión de un beneficio, deben poder ser revisadas por un ser humano calificado. Tercero, la inversión de la carga de la prueba en litigios que involucren IA: ante la opacidad de los modelos, es razonable que la empresa operadora demuestre que el sistema funcionó correctamente, y no que el consumidor pruebe lo contrario. Cuarto, la auditabilidad: los sistemas de IA de alto riesgo deben conservar registros (logs) suficientes para permitir una auditoría ex post, ya sea por parte de autoridades regulatorias o de peritos en procesos judiciales.

La Autoridad Nacional de Protección de Datos (ANPD) tiene potencial para ser el órgano regulador central de este ecosistema, pero necesitaría ampliar su mandato y contar con recursos humanos especializados para fiscalizar de forma efectiva los sistemas de IA. Esta discusión sobre el diseño institucional de la regulación es tan importante como el contenido de las normas materiales, y suele descuidarse en el debate público.

Para quienes trabajan con cuestiones de derecho digital y desean entender cómo estos cambios regulatorios pueden afectar su situación específica, el camino más seguro es buscar orientación jurídica especializada. Acceda a la página de contacto para agendar una consulta y analizar su caso con un abogado especializado.

Preguntas frecuentes

¿Qué significa «poder sin sujeto» en el contexto de la inteligencia artificial?

El término describe la situación en la que sistemas de IA toman decisiones con efectos jurídicos reales sobre las personas, pero ningún agente humano o jurídico identificable puede ser responsabilizado directamente por ellas. El algoritmo no es una persona, el desarrollador alega que el modelo aprendió de forma autónoma y el operador dice haberse limitado a seguir la recomendación del sistema. Esta cadena de negación de responsabilidad crea un vacío incompatible con los principios fundamentales del derecho.

¿Se aplica el EU AI Act a las empresas brasileñas?

El EU AI Act tiene alcance extraterritorial: se aplica a todo sistema de IA introducido en el mercado europeo o utilizado en la Unión Europea, con independencia de dónde tenga su sede el desarrollador o el operador. Por lo tanto, las empresas brasileñas que exportan productos o servicios basados en IA a clientes europeos, o que operan plataformas accesibles en la UE, deben evaluar su conformidad con la norma. Además, el EU AI Act sirve de referencia para el debate regulatorio brasileño y puede influir directamente en el texto final del PL 2338/2023.

¿Qué garantiza ya el artículo 20 de la LGPD en relación con las decisiones automatizadas?

El artículo 20 de la LGPD asegura al titular de los datos el derecho a solicitar la revisión de decisiones adoptadas únicamente con base en el tratamiento automatizado de datos personales, incluidas las decisiones destinadas a definir su perfil personal, profesional, de consumo y de crédito. El controlador debe informar los criterios y procedimientos utilizados para la decisión. Sin embargo, la norma no detalla qué constituye una explicación adecuada, no define un régimen específico de responsabilidad civil y no prevé sanciones diferenciadas por el incumplimiento en este punto, lo que limita su efectividad práctica.

As informações deste artigo são de caráter informativo e não substituem consulta jurídica individualizada. Cada caso possui particularidades que exigem análise específica.