IA y privacidad en las redes sociales: moderación algorítmica

Esta página es una traducción del texto original en portugués, ofrecida para facilitar la lectura. Trata del derecho brasileño. En caso de divergencia, prevalece la versión en portugués. Leer el original en portugués

La moderación algorítmica en las redes sociales plantea cuestiones jurídicas complejas sobre privacidad, libertad de expresión y protección de datos personales en Brasil y en el mundo.

El avance de la moderación algorítmica y sus impactos jurídicos

Vivimos en una era en la que se publican a diario miles de millones de mensajes en las redes sociales, y la tarea de moderar ese volumen colosal de contenido recae, cada vez más, en sistemas de inteligencia artificial. Estas herramientas analizan textos, imágenes y videos en fracciones de segundo y deciden qué permanece visible y qué se elimina, se restringe o pierde posición en los algoritmos de distribución. Cuando se examina este escenario desde la óptica del Derecho, se advierte que nos encontramos ante uno de los mayores desafíos regulatorios de la actualidad.

La moderación algorítmica no se limita a filtrar contenidos manifiestamente ilícitos, como la pornografía infantil o la apología del terrorismo. Se extiende a zonas grises, como el discurso político, la sátira, las críticas a figuras públicas y los debates sobre salud. En este contexto, las decisiones automatizadas pueden afectar directamente el ejercicio de derechos fundamentales, entre ellos la libertad de expresión (artículo 5º, inciso IX, de la Constitución Federal) y el derecho a la información (artículo 5º, inciso XIV). Se constata que el problema se agrava cuando esas decisiones se adoptan sin transparencia, sin posibilidad de recurso efectivo y sin criterios claros que el usuario pueda consultar.

En Brasil, el Marco Civil de Internet (Ley nº 12.965/2014) estableció principios fundamentales para la gobernanza de la red, entre ellos la protección de la privacidad y de los datos personales. Sin embargo, esa legislación fue concebida en un momento en que la inteligencia artificial aún no desempeñaba el papel central que ocupa hoy en la moderación de contenido. La Ley General de Protección de Datos (LGPD) (Ley nº 13.709/2018) significó avances importantes, en especial al prever, en el artículo 20, el derecho del titular a solicitar la revisión de las decisiones adoptadas únicamente con base en el tratamiento automatizado de datos personales. Esta disposición resulta particularmente relevante si se considera que la moderación algorítmica implica, necesariamente, el procesamiento masivo de datos personales de los usuarios.

Privacidad y elaboración de perfiles: el costo oculto de la moderación automatizada

Para que un sistema de inteligencia artificial module contenido de forma eficaz, necesita datos, muchos datos. Se observa que las plataformas recopilan no solo el contenido publicado por el usuario, sino también metadatos como la hora de acceso, la ubicación geográfica, el dispositivo utilizado, el historial de navegación, los patrones de interacción e incluso el tiempo que el usuario permanece viendo una determinada publicación. Este conjunto de información permite construir perfiles de comportamiento extremadamente detallados, que se utilizan tanto para la moderación como para la personalización de los anuncios publicitarios.

La elaboración algorítmica de perfiles suscita serias preocupaciones desde el punto de vista de la protección de datos. La LGPD exige que el tratamiento de datos personales respete principios como la finalidad, la adecuación, la necesidad y la transparencia (artículo 6º). Cuando una plataforma utiliza datos recopilados con una finalidad (como mejorar la experiencia del usuario) y los emplea también para alimentar sistemas de moderación automatizada, surgen cuestionamientos legítimos sobre el desvío de finalidad y sobre la necesidad de un consentimiento específico para cada operación de tratamiento.

Un aspecto particularmente delicado es el tratamiento de datos personales sensibles, categoría que comprende la información sobre origen racial o étnico, convicción religiosa, opinión política, afiliación sindical, datos referentes a la salud o a la vida sexual, y datos genéticos o biométricos (artículo 5º, inciso II, de la LGPD). Los algoritmos de moderación deben interpretar con frecuencia contenidos que revelan, directa o indirectamente, este tipo de información. Cuando un sistema de IA analiza una publicación sobre orientación sexual, posición política o práctica religiosa para decidir si infringe las directrices de la plataforma, está procesando necesariamente datos personales sensibles, lo que exige bases legales específicas y medidas de protección reforzadas.

La moderación algorítmica en las redes sociales opera en una zona de tensión permanente entre la protección de la privacidad, la libertad de expresión y la seguridad digital de los usuarios.

Observamos también que la opacidad de los algoritmos de moderación crea una asimetría de información significativa entre las plataformas y los usuarios. En la mayoría de los casos, el usuario cuyo contenido fue eliminado o cuya cuenta fue suspendida no tiene acceso a los criterios concretos que motivaron esa decisión. Esta falta de transparencia dificulta no solo el ejercicio del derecho de defensa, sino también la fiscalización por parte de las autoridades reguladoras. La Autoridad Nacional de Protección de Datos (ANPD) tiene un papel fundamental en este contexto, pero enfrenta desafíos considerables ante la complejidad técnica de los sistemas involucrados y la dimensión global de las plataformas.

El escenario regulatorio internacional y las lecciones para Brasil

Al observar el panorama internacional, se identifican movimientos regulatorios importantes que pueden influir en el debate brasileño. La Unión Europea aprobó el Reglamento de Inteligencia Artificial (AI Act), que clasifica los sistemas de IA según niveles de riesgo y establece obligaciones específicas para cada categoría. Los sistemas de moderación de contenido de las plataformas de gran tamaño se consideran de alto riesgo, lo que conlleva rigurosas obligaciones de transparencia, supervisión humana y evaluación de impacto.

La Digital Services Act (DSA), también de la Unión Europea, impone a las plataformas digitales de gran dimensión la obligación de realizar evaluaciones de riesgo sistémico, incluidos los riesgos asociados a la moderación algorítmica de contenido. Estas plataformas deben poner a disposición informes de transparencia detallados sobre sus prácticas de moderación, que incluyan el número de decisiones automatizadas, las tasas de error y los mecanismos de recurso disponibles. Se constata que este modelo regulatorio parte de una premisa importante: la moderación de contenido mediante inteligencia artificial no es una cuestión puramente técnica o empresarial, sino una cuestión de interés público que exige una supervisión regulatoria adecuada.

En Brasil, el debate sobre la regulación de las plataformas digitales y la inteligencia artificial ha avanzado en el Congreso Nacional. El Proyecto de Ley nº 2338/2023, que regula el uso de la inteligencia artificial en Brasil, contiene disposiciones relevantes sobre transparencia algorítmica, derecho a la explicación y evaluación de impacto de los sistemas de IA. Se estima que la aprobación de un marco regulatorio sólido para la inteligencia artificial es esencial para complementar las protecciones ya existentes en la LGPD y en el Marco Civil de Internet, y para crear un andamiaje jurídico más completo que permita afrontar los desafíos de la moderación algorítmica.

Derechos de los usuarios y mecanismos de protección

Ante este escenario, es fundamental que los usuarios conozcan sus derechos y los mecanismos de protección disponibles. El artículo 20 de la LGPD garantiza al titular el derecho a solicitar la revisión de las decisiones adoptadas únicamente con base en el tratamiento automatizado de datos personales que afecten sus intereses. Este derecho es directamente aplicable a las situaciones en que la moderación algorítmica da lugar a la eliminación de contenido, la suspensión de una cuenta o la reducción del alcance de las publicaciones.

Además, el artículo 19 del Marco Civil de Internet establece que el proveedor de aplicaciones de internet solo puede ser responsabilizado civilmente por los daños derivados de contenido generado por terceros si, tras una orden judicial específica, no adopta las medidas necesarias para dejar no disponible el contenido señalado como infractor. Esta regla, conocida como «notice and takedown judicial», fue concebida para proteger la libertad de expresión, pero genera debate cuando se la confronta con la práctica de las plataformas de eliminar contenido de manera proactiva mediante algoritmos, muchas veces antes de cualquier requerimiento judicial.

Constatamos que la protección efectiva de los derechos de los usuarios exige un enfoque multifacético. En primer lugar, es necesario garantizar la transparencia de los criterios de moderación, de modo que los usuarios comprendan las reglas aplicables y las razones de las eventuales decisiones restrictivas. En segundo lugar, deben existir mecanismos de recurso efectivos, que incluyan la posibilidad de una revisión humana de las decisiones automatizadas. En tercer lugar, las plataformas deben realizar evaluaciones de impacto sobre la protección de datos (conforme a lo previsto en el artículo 38 de la LGPD) antes de implantar sus sistemas de moderación algorítmica o de modificarlos de manera significativa.

El papel de la supervisión humana

Uno de los puntos más debatidos en el contexto de la moderación algorítmica es el equilibrio entre automatización y supervisión humana. Reconocemos que la escala de las redes sociales hace imposible la revisión manual de todo el contenido publicado. Sin embargo, esto no significa que deba abandonarse la supervisión humana. El modelo más adecuado desde la perspectiva jurídica es aquel en el que la inteligencia artificial actúa como herramienta auxiliar, que señala los contenidos potencialmente problemáticos, mientras que las decisiones con impacto significativo sobre derechos fundamentales (como la suspensión permanente de cuentas o la eliminación de contenido periodístico) se someten a una revisión humana cualificada.

Este modelo de «humano en el circuito» (human-in-the-loop) encuentra respaldo tanto en la LGPD como en las tendencias regulatorias internacionales. El artículo 20, párrafo 3º, de la LGPD establece que la autoridad nacional podrá realizar una auditoría para verificar aspectos discriminatorios en el tratamiento automatizado de datos personales. Se considera que esta previsión es particularmente relevante para la moderación algorítmica, habida cuenta de los numerosos estudios que demuestran sesgos en los sistemas de IA, los cuales pueden traducirse en un trato desigual de los contenidos producidos por distintos grupos sociales, étnicos o lingüísticos.

Perspectivas futuras y la construcción de un modelo equilibrado

El desafío de regular la moderación algorítmica en las redes sociales exige un delicado equilibrio entre diversos valores constitucionales e intereses legítimos. Por un lado, existe la necesidad de combatir los contenidos ilícitos y de proteger a los usuarios frente al discurso de odio, la desinformación y otras formas de abuso. Por otro, es preciso preservar la libertad de expresión, la privacidad y la protección de los datos personales.

Consideramos que el camino más prometedor pasa por construir un modelo regulatorio que combine obligaciones de transparencia algorítmica, derechos efectivos de impugnación y revisión, una supervisión humana proporcional al impacto de las decisiones, auditorías independientes de sesgo y discriminación, y cooperación entre plataformas, autoridades reguladoras y sociedad civil. La regulación no debe buscar eliminar la moderación algorítmica, que desempeña un papel necesario en la gobernanza de las plataformas, sino garantizar que opere dentro de parámetros compatibles con el Estado Democrático de Derecho y con la protección de los derechos fundamentales de los ciudadanos brasileños.

Observamos que la evolución tecnológica seguirá planteando nuevos desafíos. Los sistemas de IA generativa, los deepfakes y las nuevas formas de manipulación digital exigirán respuestas regulatorias ágiles y técnicamente informadas. En este contexto, la formación de profesionales del Derecho con competencia en tecnología y la creación de espacios de diálogo entre juristas, desarrolladores y reguladores son inversiones esenciales para construir un entorno digital más justo, seguro y respetuoso de los derechos fundamentales.

As informações deste artigo são de caráter informativo e não substituem consulta jurídica individualizada. Cada caso possui particularidades que exigem análise específica.