巴西社会评分系统的监管
本页为葡萄牙语原文的译文,仅供参考,内容涉及巴西法律。如有出入,以葡萄牙语版本为准。 阅读葡萄牙语原文
社会评分系统已经在信贷、就业和公共服务等决策中对数百万巴西人进行评估,但在巴西,对这一做法的监管仍处于起步阶段。
什么是社会评分系统,为什么需要监管
社会评分系统,是指依据个人的行为、历史记录和个人特征,自动为其打分的机制。这些分数被用来作出直接影响人们生活的决定,从发放信贷到公共服务排队时的优先级排序,不一而足。传统的信用评分主要分析财务历史,而社会评分系统则可能纳入上网浏览数据、社交媒体互动、消费模式、地理位置,甚至个人关系。
在巴西,这类技术在私营部门和公共行政部门都在迅速扩张。金融科技公司使用的评分算法远远超出了传统的信用分析,纳入了许多连数据主体本人都不知情的行为变量。在公共部门,也出现了一些采用自动化评分的做法,例如筛选社会项目的受益人、确定监督检查的优先顺序,甚至在治安政策中分配资源。这种普及引发了关于算法歧视、透明度和正当法律程序的深层问题。
之所以需要专门的监管,是因为这些系统有可能固化并放大结构性不平等。以历史数据训练出来的算法,往往会复制社会中既有的偏见,使弱势群体受到不成比例的不利对待。例如,住在某个城市边缘社区的人,可能会被自动给予较低的分数,这并不是因为其个人的任何行为,而是因为其所在位置与社会经济指标之间存在统计相关性。这样的运作方式,把社会偏见变成了看似客观、技术化的决定。
巴西与国际的监管概况
《通用数据保护法》(LGPD,第13.709/2018号法律)是适用于社会评分系统的巴西主要规范性文件。LGPD第20条保障数据主体有权要求对仅基于个人数据自动化处理而作出的决定进行复核,其中包括用于确定个人画像、职业画像、消费画像和信用画像的决定。这一规定确立了必不可少的保障,但在实际适用中仍面临相当大的挑战,尤其是在复核的有效性以及所用标准的透明度方面。
除LGPD之外,《积极征信法》(第12.414/2011号法律,经第166/2019号补充法修订)专门规范信用评分,对数据库的建立、登记人的权利以及管理者的责任作出了规定。然而,这部法律是针对传统的信用分析模式制定的,并不能充分涵盖纳入行为变量和非财务数据的新型评分方式。因此,现行法律的规定与当前的技术现实之间,存在明显的监管空白。
在国际上,有多种思路可以为巴西立法者提供借鉴。欧盟通过《人工智能法案》(AI Act,即《人工智能条例》),将由公共当局运营的社会评分系统归为不可接受的风险,并明确予以禁止。欧盟立法还对用于影响基本权利的决定的人工智能系统,规定了严格的透明度和影响评估义务。在美国,监管依然零散,以各州和各行业的举措为主,例如《公平信用报告法》(Fair Credit Reporting Act),面对新型系统的复杂性,它所提供的保护十分有限。
没有针对社会评分的专门监管,并不意味着没有权利:LGPD、《消费者保护法典》以及《联邦宪法》本身,已经为质疑带有歧视性的算法决定提供了依据。
巴西《人工智能法律框架》(PL 2338/2023)是填补这些空白的一次尝试。该法案规定按风险等级对人工智能系统进行分类,并相应设定与风险相称的透明度、可审计性和问责义务。用于信贷、就业、教育和公共服务等领域决策的社会评分系统,往往会被归为高风险系统,需要满足更严格的要求。该法案的审议进程正受到密切关注,它可能在保护公民权利、抵御自动化决策方面带来重大进步。
具体风险及其对基本权利的影响
社会评分系统带来切实的风险,直接影响受宪法保护的权利。首先,也是最明显的,是算法歧视的风险。当算法使用与种族、性别、社会阶层或地理位置相关的变量时,产生的结果虽然形式上中立,却会对历史上长期被边缘化的群体造成不成比例的影响。已有案例显示,评分系统给某些地区的居民、非正规就业者,或消费模式与较低收入段相关联的人打出较低分数,从而在获得信贷、就业和服务方面设置了额外的障碍。
第二个重要风险在于决策标准不透明。大多数社会评分系统就像“黑箱”:评分标准要么作为商业秘密受到保护,要么过于复杂,难以用通俗易懂的方式向数据主体解释。这种不透明损害了辩护权和对抗权的行使,因为如果决定的依据根本无从获知,又该如何提出异议?巴西的司法实践正在逐步承认,算法透明是有效行使权利的前提,不过这一要求的具体边界仍在形成之中。
还有连锁效应的风险。在某个系统中得到低分,可能会被其他系统沿用,形成逐步被排斥的循环。在某个信贷平台上得到不利评分的人,可能因此在租房时遇到困难,而这又可能影响其在其他场景中的评分。这种负面的反馈循环尤其严重,因为它对受影响的个人而言是无形的,当事人往往并不知道自己所面临的限制源于何处。
从基本权利的角度看,社会评分系统触及《联邦宪法》第1条和第5条所规定的各项保障,包括人的尊严、平等、隐私、自由和正当法律程序。当算法在没有实质性人工介入的情况下,认定某人不值得获得信贷、不应被录用,或在公共服务中没有优先权时,就构成了对权利的限制,需要有充分的正当理由,以及切实可行的异议途径。
在巴西实现有效监管的路径
要为巴西的社会评分系统建立适当的监管框架,需要多种规范性和制度性工具相互配合。首先,必须通过一部专门的人工智能立法,其中应包含明确的算法透明义务。这不仅意味着有权知道某项决定是由自动化系统作出的,还意味着有权以通俗易懂的方式了解,哪些因素影响了所给出的分数,以及这些因素是如何被加权的。
其次,对于影响基本权利的社会评分系统,应当强制要求进行算法影响评估。这类评估类似于LGPD所规定的《个人数据保护影响报告》,应在系统投入使用之前完成,并定期更新。评估应包括偏见与歧视测试、对所用数据与预期目的之间是否相称的分析,以及对已发现偏差的纠正机制。
建立有效的异议和人工复核机制,是另一项基本支柱。LGPD第20条规定的复核权需要通过细化规定加以落实,确保复核是实质性的(而不是仅仅走形式),并且由系统运营者而非受影响的个人承担证明决定正确的责任。这种举证责任倒置,与《消费者保护法典》的原则,以及保护关系中弱势一方的逻辑是一致的。
最后,国家数据保护局(ANPD)应当在社会评分系统的监督和规范中发挥核心作用。ANPD依据LGPD本已有权在这一领域行动,但仍需要与任务复杂程度相匹配的技术和人力资源。与检察院、消费者保护机构(Procons)和经济防卫行政委员会(CADE)等机构开展合作,可以增强监督能力,形成多学科的处理方式,兼顾这一问题中数据保护、竞争以及消费者权益等多个层面。
公民今天如何保护自己
在专门的监管尚未成形之前,巴西公民已经拥有一些法律工具,可以对基于社会评分作出的决定提出质疑。第一步是行使LGPD规定的数据访问权,向数据处理责任方询问使用了哪些个人数据、分数是如何计算的,以及哪些因素对该决定起了决定性作用。这一请求可以直接向数据控制者提出;如果对方拒绝或答复不令人满意,可以通过数据主体申诉的方式提交给ANPD。
当发现自动化决定产生了歧视性或不成比例的结果时,可以依据LGPD、《消费者保护法典》和《联邦宪法》寻求司法复审。当评分系统系统性地影响一大批人时,由检察院或消费者保护协会提起的公益民事诉讼等集体救济方式尤为适合。
同时,建议留意数据收集的做法。许多社会评分系统依赖应用程序、数字平台和联网设备所收集的数据,而这些收集往往基于冗长的使用条款,很少有人会完整阅读。检查授予应用程序的权限、尽可能限制数据共享,并定期行使删除不必要数据的权利,都是预防性的措施,可以减少被不想要的评分系统评估的可能。
这一主题与信贷与评分直接相关,本所已有专文探讨。
如需进一步阅读,您还可以参阅本所关于人工智能在教育中的应用的文章。
常见问题
社会评分和信用评分是一回事吗?
不是。传统的信用评分主要分析消费者的财务历史(还款、债务、查询记录),而社会评分则纳入范围更广的行为变量,如浏览模式、社交媒体互动、位置和个人关系。社会评分所能影响的决定不限于信贷,还会涉及就业、住房和获得公共服务等领域。
我可以要求对自动化评分系统作出的决定进行复核吗?
可以。LGPD第20条保障数据主体有权要求对仅基于自动化处理而作出的决定进行复核,其中包括评分决定。该请求应向数据控制者提出;如果未能得到令人满意的处理,可以提交给国家数据保护局(ANPD)或司法机关。
社会评分系统在巴西被禁止吗?
目前,巴西并没有对社会评分系统作出明确的、普遍性的禁止。与欧盟不同(欧盟在《人工智能法案》中禁止了政府主导的社会评分),巴西尚无专门的人工智能立法。不过,LGPD、《消费者保护法典》和《联邦宪法》对这些系统的使用设定了限制,尤其是在其产生歧视性结果,或在缺乏适当透明度的情况下运行时。
Base legal citada
Leia o texto integral e atualizado no CM Legis:
Receba novidades por e-mail
Cadastre-se gratuitamente para receber nossos novos artigos.
Seus dados estão protegidos conforme a LGPD.
Ficou com dúvidas? Fale com um advogado especialista.
📱 Falar pelo WhatsAppAs informações deste artigo são de caráter informativo e não substituem consulta jurídica individualizada. Cada caso possui particularidades que exigem análise específica.






