Su empresa quiere adoptar IA: precauciones jurídicas antes de empezar

Esta página es una traducción del texto original en portugués, ofrecida para facilitar la lectura. Trata del derecho brasileño. En caso de divergencia, prevalece la versión en portugués. Leer el original en portugués

La adopción de sistemas automatizados en la atención al cliente, la contratación y las decisiones internas promete eficiencia, pero traslada al negocio una cadena de obligaciones legales cuyo incumplimiento expone a la empresa a sanciones administrativas, acciones indemnizatorias y un daño reputacional relevante.

El tratamiento de datos personales como primera línea de riesgo

Todo sistema automatizado que interactúa con clientes, candidatos o colaboradores procesa datos personales a gran escala. La Ley General de Protección de Datos de Brasil (Ley 13.709/2018) exige que ese tratamiento tenga una finalidad legítima, una base legal adecuada e información clara para el titular. Cuando la empresa alimenta una herramienta de atención al cliente o de selección de currículos sin definir el supuesto legal que autoriza su uso, crea una vulnerabilidad jurídica que la Autoridad Nacional de Protección de Datos puede sancionar.

El riesgo aumenta cuando los datos recopilados para una finalidad se reutilizan para otra. Un asistente virtual de soporte que pasa a nutrir modelos de elaboración de perfiles crediticios se aparta de la finalidad original y viola el principio de adecuación. La empresa también responde por los datos sensibles, como los de salud, biometría o convicciones, captados de manera incidental, cuyo tratamiento exige salvaguardas reforzadas y, con frecuencia, el consentimiento específico del titular.

La minimización es la consigna. Los sistemas automatizados tienden a recopilar más de lo que necesitan, y cada dato excedente amplía la superficie de exposición en caso de un incidente de seguridad. Notificar las filtraciones a la autoridad y a los titulares, cuando existe un riesgo relevante, es una obligación legal, y la falta de registro de las operaciones de tratamiento dificulta la defensa de la empresa ante una eventual fiscalización.

La elección de la base legal define lo que está permitido. El consentimiento, cuando se utiliza, debe ser libre, informado y específico, y puede revocarse en cualquier momento, lo que obliga al sistema a interrumpir el tratamiento. El interés legítimo exige una prueba de proporcionalidad documentada. Recurrir a un consentimiento genérico incorporado en unos extensos términos de uso es una debilidad frecuente, fácilmente cuestionable por la autoridad reguladora y por el Poder Judicial.

Transparencia y el deber de explicar las decisiones automatizadas

La opacidad es uno de los mayores pasivos de los sistemas automatizados. La Ley General de Protección de Datos garantiza al titular el derecho a solicitar la revisión de las decisiones adoptadas únicamente con base en un tratamiento automatizado que afecten sus intereses, incluidas aquellas destinadas a definir perfiles personales, profesionales o de consumo (artículo 20 de la Ley 13.709/2018). Esto alcanza directamente la denegación automática de crédito, el rechazo de candidatos mediante una selección algorítmica y la suspensión de cuentas por sistemas antifraude.

Explicar no significa revelar el código fuente, sino informar, en un lenguaje comprensible, los criterios y las consecuencias del procesamiento. La empresa que no logra justificar por qué un sistema denegó un servicio o descartó un currículo se queda sin respuesta ante el titular y ante el órgano regulador. Por ello, la documentación de los parámetros de decisión deja de ser un detalle técnico y pasa a funcionar como un instrumento de defensa.

La transparencia también dialoga con la buena fe objetiva en las relaciones de consumo. Ocultar al consumidor que conversa con un sistema automatizado, o que su solicitud fue resuelta sin intervención humana, puede constituir una práctica abusiva y una información inadecuada, lo que da lugar a la responsabilidad prevista en el Código de Defensa del Consumidor.

El deber de explicación revela un problema más profundo. Los sistemas automatizados aprenden de datos históricos, y los datos históricos arrastran las desigualdades acumuladas a lo largo del tiempo, listas para reproducirse a gran escala y con apariencia de neutralidad técnica.

El consentimiento, cuando se utiliza, debe ser libre, informado y específico, y puede revocarse en cualquier momento, lo que obliga al sistema a interrumpir el tratamiento.

Sesgo algorítmico y riesgo de discriminación

Un sistema de selección entrenado con el historial de contrataciones de una empresa reproduce los patrones de ese historial, incluidos los discriminatorios. Si en el pasado se relegó a determinado perfil, el modelo tiende a perpetuar la exclusión, ahora disfrazada de criterio objetivo. La discriminación algorítmica es discriminación, y el ordenamiento jurídico brasileño la rechaza con firmeza, independientemente del medio empleado.

La Constitución prohíbe las distinciones arbitrarias, y la Ley 9.029/1995 prohíbe las prácticas discriminatorias para el acceso a la relación de trabajo. Rechazar candidatos por criterios correlacionados con el género, la raza, la edad o el origen, aunque sea de forma indirecta y no intencional, genera responsabilidad de la empresa, y no del proveedor de la tecnología. Para el Poder Judicial, quien se beneficia de la automatización responde por sus resultados.

El mismo razonamiento alcanza la fijación dinámica de precios, la concesión de crédito y la definición de límites de consumo. Tratar a los clientes de forma desigual con base en correlaciones estadísticas oscuras puede constituir una práctica abusiva y vulnerar la igualdad contractual. La empresa debe auditar periódicamente los resultados del sistema para detectar patrones discriminatorios antes de que se conviertan en un litigio colectivo.

Probar que no hubo discriminación es una carga que recae sobre la empresa. Sin registros de las decisiones, de los datos de entrenamiento y de las revisiones periódicas, el negocio llega a una eventual disputa sin elementos para demostrar diligencia. La documentación técnica y jurídica del ciclo de vida del sistema, desde su concepción hasta su monitoreo, se convierte en una prueba favorable y reduce el monto de una eventual condena.

Supervisión humana y responsabilidad por los errores del sistema

Ningún sistema automatizado exime de responsabilidad a quien lo utiliza. En el ámbito del consumo, la responsabilidad del proveedor por defectos en la prestación del servicio es objetiva, es decir, no depende de la culpa (artículo 14 del Código de Defensa del Consumidor). Si el sistema de atención proporciona información incorrecta, cancela un pedido legítimo o niega un derecho garantizado, la empresa responde por el daño ante el consumidor y después discute la falla con el proveedor de la solución.

Fuera de las relaciones de consumo se aplica el deber general de indemnizar por acto ilícito, con la posibilidad de exigir responsabilidad sin necesidad de culpa cuando la actividad normalmente desarrollada implique, por su naturaleza, riesgo para los derechos de otros (artículo 927 del Código Civil y su párrafo único). La automatización de decisiones sensibles, que afecta al patrimonio, a la reputación o al acceso a servicios esenciales, acerca al negocio a este supuesto de riesgo agravado.

La supervisión humana es la principal salvaguarda. Mantener a una persona capaz de revisar, impugnar y revertir la decisión automatizada no es solo una exigencia de transparencia, sino un mecanismo de contención de daños. El punto de control humano debe ser real, con autoridad y tiempo para actuar, y no un sello formal que se limita a ratificar el resultado de la máquina.

Gobernanza: cómo reducir la exposición jurídica

La mitigación comienza antes de la implantación. Mapear qué datos usa el sistema, con qué base legal y para qué finalidad es el primer paso de cualquier proyecto responsable. La evaluación de impacto sobre la protección de datos, cuando el tratamiento es de alto riesgo, documenta las decisiones adoptadas y demuestra diligencia ante la autoridad reguladora, lo que atenúa una eventual sanción.

Los contratos con proveedores de tecnología merecen una atención redoblada. Las cláusulas que definen responsabilidades, garantías de cumplimiento legal, derecho de auditoría y obligaciones de corregir fallas distribuyen el riesgo de forma equilibrada. Sin previsión contractual, la empresa que contrata la solución suele cargar sola con el pasivo frente a clientes y organismos públicos, sin un derecho de regreso efectivo.

Un plan de respuesta a incidentes cierra el ciclo de gobernanza. Las fallas ocurren, y la diferencia entre un problema manejable y una crisis está en la capacidad de identificar con rapidez el error, corregir la decisión, comunicar a los afectados y, cuando se exija, notificar a la autoridad. Las empresas que ensayan estos procedimientos antes de la crisis conservan a sus clientes, reducen las sanciones y demuestran la diligencia que los órganos reguladores esperan de quien automatiza decisiones relevantes.

Preguntas frecuentes

¿Puede la empresa ser considerada responsable por un error cometido por un sistema automatizado?

Sí. Quien adopta la tecnología y se beneficia de ella responde por los resultados ante el cliente y ante los organismos públicos. En las relaciones de consumo, la responsabilidad por defectos en la prestación del servicio no depende de la culpa: bastan el defecto y el daño para generar el deber de reparar. En las demás relaciones se aplica el deber general de indemnizar, que puede adquirir carácter objetivo cuando la actividad crea un riesgo relevante para terceros. La eventual falla del proveedor se discute en una acción de regreso y no elimina el deber inmediato de reparar al perjudicado.

¿Es obligatorio informar al cliente que está siendo atendido por un sistema automatizado?

La transparencia es un deber legal, no una cortesía. Ocultar al consumidor la naturaleza automatizada de la atención, o de una decisión que lo afecta, puede constituir una información inadecuada y una práctica abusiva. El titular de los datos tiene derecho a solicitar la revisión de las decisiones adoptadas únicamente mediante un procesamiento automatizado que afecten sus intereses. Informar de forma clara, en el momento adecuado, y ofrecer un canal de impugnación reduce el riesgo de cuestionamiento judicial y refuerza la buena fe que debe regir la relación.

¿Cómo reducir el riesgo de discriminación por parte de los sistemas de selección o de crédito?

El camino es la auditoría continua de los resultados del sistema, cruzándolos con criterios sensibles para detectar patrones desiguales antes de que se conviertan en litigio. También es necesario revisar los datos que entrenan el modelo, documentar los parámetros de decisión y mantener una supervisión humana con autoridad real para corregir distorsiones. Como la responsabilidad por el resultado discriminatorio recae sobre quien utiliza la herramienta, y no sobre quien la desarrolló, la prevención deja de ser un costo y pasa a ser una protección patrimonial del negocio.

As informações deste artigo são de caráter informativo e não substituem consulta jurídica individualizada. Cada caso possui particularidades que exigem análise específica.