Transparencia algorítmica: obligaciones legales y desafíos

Esta página es una traducción del texto original en portugués, ofrecida para facilitar la lectura. Trata del derecho brasileño. En caso de divergencia, prevalece la versión en portugués. Leer el original en portugués

La transparencia algorítmica dejó de ser solo un ideal ético y se convirtió en una exigencia legal cada vez mayor, que impone obligaciones concretas a las empresas y a los organismos públicos que utilizan sistemas de inteligencia artificial para tomar decisiones que afectan la vida de los ciudadanos.

Qué es la transparencia algorítmica y por qué importa

Al analizar el panorama actual de la digitalización de los servicios públicos y privados, se advierte que los algoritmos toman decisiones cada vez más relevantes sobre la vida de las personas. Desde la concesión de crédito bancario hasta la selección de currículos en procesos de contratación, pasando por el análisis de beneficios de seguridad social y la moderación de contenido en redes sociales, los sistemas automatizados ejercen un poder real sobre derechos fundamentales. La transparencia algorítmica consiste, en términos objetivos, en la capacidad de explicar cómo funcionan esos sistemas, qué datos utilizan, qué criterios adoptan y cómo llegan a sus conclusiones.

La preocupación por la opacidad de los algoritmos no es meramente teórica. Situaciones concretas ya han demostrado que los sistemas automatizados pueden reproducir y amplificar discriminaciones históricas relacionadas con el género, la raza, la edad y la condición socioeconómica. Cuando un algoritmo niega un beneficio social o rechaza a un candidato en un proceso de selección sin ninguna justificación comprensible, el ciudadano afectado queda imposibilitado de ejercer su derecho de defensa. Es precisamente en este punto donde la transparencia algorítmica se conecta con garantías constitucionales como el debido proceso legal, la amplia defensa, el contradictorio y el principio de motivación de los actos administrativos.

La cuestión cobra aún más relevancia si se considera que muchos de estos sistemas funcionan como verdaderas «cajas negras», cuyo funcionamiento interno resulta incomprensible incluso para sus propios desarrolladores. Los modelos complejos de aprendizaje automático (machine learning), como las redes neuronales profundas, con frecuencia producen resultados sin que sea posible rastrear con precisión el camino lógico recorrido. Esta característica técnica plantea un desafío jurídico significativo: ¿cómo exigir transparencia a algo que, por su propia naturaleza computacional, se resiste a una explicación simplificada?

El marco legal brasileño y las obligaciones de transparencia

En Brasil, la construcción de un marco normativo orientado a la transparencia algorítmica ha avanzado de manera progresiva. La Ley General de Protección de Datos de Brasil (LGPD, Ley n.º 13.709/2018) ya establece, en su artículo 20, el derecho del titular de los datos a solicitar la revisión de decisiones adoptadas únicamente sobre la base del tratamiento automatizado de datos personales, incluidas aquellas destinadas a definir su perfil personal, profesional, de consumo y de crédito. Esta disposición representa un hito importante, pues reconoce de forma expresa que las decisiones automatizadas pueden afectar derechos y que el ciudadano tiene legitimidad para cuestionarlas.

Además de la LGPD, se sigue con atención el proceso legislativo en torno a la regulación de la IA en el país. El Proyecto de Ley n.º 2338/2023, que se tramita en el Congreso Nacional, propone la creación de un marco regulatorio integral para los sistemas de IA, con obligaciones específicas de transparencia proporcionales al nivel de riesgo de cada aplicación. Los sistemas clasificados como de alto riesgo (aquellos que afectan derechos fundamentales, la salud, la seguridad o el acceso a servicios esenciales) quedarían sujetos a exigencias más estrictas de documentación, explicabilidad y auditoría.

Observamos también que el Código de Defensa del Consumidor (Ley n.º 8.078/1990) ofrece instrumentos aplicables a la transparencia algorítmica, especialmente en lo que se refiere al derecho a una información clara y adecuada sobre productos y servicios. Cuando una empresa utiliza algoritmos para fijar precios personalizados, negar una cobertura de seguro o definir condiciones contractuales diferenciadas, el consumidor tiene derecho a conocer los criterios que fundamentaron esa decisión. La combinación entre el CDC y la LGPD crea una base normativa relevante para exigir explicaciones sobre el funcionamiento de los sistemas automatizados en las relaciones de consumo.

La opacidad algorítmica no es solo un problema técnico: es una amenaza para el Estado democrático de derecho, pues impide que los ciudadanos comprendan y cuestionen decisiones que afectan directamente sus derechos fundamentales.

En el ámbito de la Administración Pública, la Ley de Acceso a la Información (Ley n.º 12.527/2011) y el principio constitucional de publicidad (artículo 37 de la Constitución Federal) imponen obligaciones adicionales. Cuando los organismos públicos utilizan algoritmos para apoyar decisiones administrativas (como el análisis de solicitudes de beneficios de seguridad social por el INSS (Instituto Nacional del Seguro Social de Brasil) o la asignación de recursos en políticas públicas), la transparencia no es solo deseable: es un imperativo constitucional. El ciudadano tiene derecho a saber cómo y por qué se tomó una decisión administrativa, con independencia de que haya sido dictada por un funcionario humano o por un sistema automatizado.

Desafíos técnicos y jurídicos de la explicabilidad

Reconocemos que la implementación efectiva de la transparencia algorítmica enfrenta obstáculos considerables, tanto en el plano técnico como en el jurídico. El primer gran desafío reside en la tensión entre explicabilidad y complejidad computacional. Los modelos de IA más sofisticados tienden a ser menos interpretables, mientras que los modelos más simples y explicables suelen tener un desempeño inferior. Esta relación inversamente proporcional coloca a los reguladores ante un dilema: exigir transparencia total puede significar impedir el uso de tecnologías más avanzadas, mientras que aceptar la opacidad puede comprometer derechos fundamentales.

Otro desafío relevante tiene que ver con la protección del secreto industrial y de la propiedad intelectual. Las empresas que desarrollan algoritmos propietarios sostienen que la divulgación detallada de sus modelos equivaldría a exponer secretos comerciales y comprometería su competitividad. Entendemos que este argumento, aunque legítimo hasta cierto punto, no puede servir como justificación absoluta de la opacidad. El ordenamiento jurídico brasileño ya contempla mecanismos para conciliar la transparencia con la protección de la propiedad intelectual, como la posibilidad de una auditoría por terceros independientes bajo cláusulas de confidencialidad, o la exigencia de explicaciones funcionales (que describen lo que hace el algoritmo) en lugar de explicaciones estructurales (que revelan cómo está construido).

La cuestión de la alfabetización digital de la población también representa un obstáculo práctico significativo. De poco sirve exigir a las empresas que publiquen documentación técnica sobre sus algoritmos si el ciudadano promedio no tiene los conocimientos necesarios para comprender esa información. Por ello, se concluye que la transparencia algorítmica efectiva debe operar en múltiples niveles: información técnica detallada para especialistas y auditores, explicaciones accesibles para el público general y notificaciones claras y directas para las personas afectadas por decisiones automatizadas específicas.

Se observa además que la ausencia de estándares técnicos consolidados para evaluar la explicabilidad dificulta tanto la fiscalización como el cumplimiento de las obligaciones legales. Distintos sectores y aplicaciones pueden requerir formas diferentes de transparencia, y el intento de imponer un modelo único y rígido puede resultar inadecuado. El desarrollo de marcos sectoriales (frameworks), con directrices específicas para cada área de aplicación (salud, crédito, seguridad social, seguridad pública), tiende a producir resultados más efectivos que las regulaciones genéricas.

La transparencia algorítmica en el ámbito de la seguridad social

Merece especial atención la aplicación de la transparencia algorítmica en el ámbito de la seguridad social, un área que afecta directamente a millones de brasileños. El INSS ha adoptado progresivamente sistemas informatizados para apoyar el análisis de solicitudes de beneficios, la detección de irregularidades y la gestión de los peritajes médicos. Estas herramientas, bien implementadas, pueden contribuir a la agilidad y la eficiencia de la atención. Sin embargo, cuando operan sin la transparencia adecuada, pueden generar injusticias difíciles de identificar y corregir.

Consideremos la situación de un asegurado a quien se le deniega un beneficio con base en criterios establecidos por un sistema automatizado. Sin acceso a las razones que fundamentaron esa decisión, el asegurado queda en una posición de extrema vulnerabilidad para ejercer su derecho de recurso administrativo o judicial. La motivación de las decisiones administrativas, exigencia expresa del artículo 50 de la Ley n.º 9.784/1999 (Ley del Proceso Administrativo Federal), se aplica íntegramente a las decisiones adoptadas con ayuda de algoritmos. El hecho de que la decisión haya sido generada o influida por un sistema automatizado no exime a la Administración Pública del deber de fundamentarla de forma clara y comprensible.

La transparencia algorítmica en el sector de la seguridad social plantea además cuestiones relacionadas con la equidad. Los algoritmos entrenados con datos históricos pueden perpetuar patrones discriminatorios preexistentes y perjudicar sistemáticamente a determinados grupos de asegurados. Los trabajadores informales, las personas con discapacidad, las poblaciones rurales y otros grupos vulnerables pueden verse especialmente afectados por sesgos algorítmicos que reproducen desigualdades estructurales. La auditoría periódica de estos sistemas, con un análisis de su impacto sobre distintos grupos de la población, constituye una medida esencial para garantizar la justicia en las decisiones de seguridad social.

Perspectivas regulatorias y buenas prácticas

Al examinar el panorama internacional, identificamos tendencias regulatorias que pueden influir en el desarrollo del marco legal brasileño. El Reglamento Europeo de Inteligencia Artificial (AI Act), aprobado por la Unión Europea, establece un modelo regulatorio basado en el riesgo que ha servido de referencia para varios países. Este reglamento prevé obligaciones de transparencia escalonadas según el nivel de riesgo del sistema de IA, e incluye requisitos de documentación técnica, registro de actividades, supervisión humana e información a los usuarios afectados.

Entendemos que la construcción de un modelo regulatorio eficaz para Brasil debe tener en cuenta las particularidades del contexto nacional, entre ellas la dimensión continental del país, las desigualdades regionales en el acceso a la tecnología y la capacidad institucional de los organismos reguladores. La designación de una autoridad competente con experiencia técnica adecuada, recursos suficientes e independencia funcional es fundamental para que las obligaciones de transparencia algorítmica sean efectivamente fiscalizadas y no queden como meras normas programáticas.

En cuanto a las buenas prácticas, se recomienda que las organizaciones que utilizan sistemas algorítmicos para tomar decisiones relevantes adopten desde ya medidas proactivas de transparencia. La elaboración de informes de impacto algorítmico, la documentación detallada de los datos utilizados y de los criterios adoptados, la realización de pruebas periódicas para detectar sesgos y la implementación de canales accesibles para que los ciudadanos puedan solicitar explicaciones sobre decisiones automatizadas son iniciativas que, además de anticiparse a futuras obligaciones legales, fortalecen la confianza pública y reducen los riesgos jurídicos.

Concluimos que la transparencia algorítmica representa uno de los grandes desafíos jurídicos de la era digital. La capacidad de equilibrar la innovación tecnológica con la protección de los derechos fundamentales definirá, en gran medida, la calidad de la democracia en los próximos años. Corresponde a los operadores del Derecho, a los legisladores, a los desarrolladores de tecnología y a la sociedad civil actuar de forma colaborativa para construir un entorno regulatorio que promueva la transparencia sin inviabilizar el progreso tecnológico, y que garantice que los algoritmos sirvan a la sociedad y no al revés.

As informações deste artigo são de caráter informativo e não substituem consulta jurídica individualizada. Cada caso possui particularidades que exigem análise específica.