Profissional de laboratório em jaleco e touca, com efeito de rede luminosa
|

人工智能与弱势消费者保护

本页为葡萄牙语原文的译文,仅供参考,内容涉及巴西法律。如有出入,以葡萄牙语版本为准。 阅读葡萄牙语原文

人工智能已经开始影响信贷、医疗和消费方面的决策,波及数百万巴西弱势群体,法律必须跟上这一变革。

人工智能在消费关系中的快速发展

如今,人工智能系统几乎渗透到了经营者与消费者之间关系的每一个环节。从个性化的商品推荐到信贷的自动化审查,再到客服聊天机器人和动态定价,算法所做的决定直接影响着数百万人的生活。从巴西《消费者保护法典》的角度来看,这些技术不透明、运行速度快,使传统的保护机制面临前所未有的挑战。

“弱势消费者”这一概念在巴西消费者法学理论中早已确立,而在人工智能的背景下,它的内涵变得更加复杂。老年人面对虚拟助手,却不了解这是自动化客服;数字素养较低的人要面对冗长的电子合同;残障人士在算法平台上遇到无障碍障碍:这些群体都因技术的介入而处境更加不利。这正是学界所说的“算法弱势”:它叠加在已被承认的技术弱势、法律弱势、事实弱势和信息弱势之上,需要相应水平的规范予以回应。

信息不对称一直是消费关系的典型特征。当经营者利用人工智能系统处理海量个人数据,用以预测行为、识别情绪弱点并实时调整销售策略时,这种不对称已经达到前所未有的程度。在这一过程中,消费者甚至意识不到自己正在被“画像”,也不知道自己收到的推送经过精心调校,正是为了利用其行为倾向。

人工智能法律框架与巴西对弱势消费者的保护

巴西关于人工智能监管的立法讨论不断推进,多项法案正在审议,意在为人工智能系统的开发和使用确立原则、权利和义务。在这一背景下,保护弱势消费者成为讨论的核心议题之一。反算法歧视原则、自动化决策的透明度要求以及获得解释的权利,是与CDC保护体系直接呼应的几大支柱。

可以看到,《通用数据保护法》(第13.709/2018号法律,即LGPD)已经为这种保护提供了重要工具。LGPD第20条保障数据主体有权要求复核完全基于个人数据自动化处理作出的决定,包括旨在确定个人、职业、消费和信用画像的决定。该条款为防范可能损害弱势消费者的算法决策提供了第一层保护,但其实际效果仍取决于配套的实施细则和适当的监督。

而《消费者保护法典》仍然是保护体系的脊梁。客观诚信、透明和适当信息等原则(CDC第4条和第6条)完全适用于有人工智能介入的消费关系。使用算法与消费者互动的经营者,并不因此免除以清晰、易懂的方式告知所提供产品和服务条件的义务。法律推定消费者处于弱势地位(第4条第I项),而屏幕另一端的交流对象,可能是一个旨在最大化成交转化率的自动化系统,这使得这种推定的意义进一步扩大。

算法弱势要求消费者法与时俱进,确保影响弱势群体的自动化决策具备透明度、可解释性和公平性。

我们还注意到,规范电子商务的第7.962/2013号法令以及《互联网民事框架法》(第12.965/2014号法律)构成了可适用的规范体系。然而,这些法律文件都不是专门为应对生成式人工智能和自动化决策系统给弱势群体带来的风险而设计的。这一空白凸显了尽快出台专门立法的紧迫性,并使之与现有保护体系相衔接。

人工智能给弱势消费者带来的现实风险

梳理人工智能系统给弱势消费者带来的风险,我们发现一些令人担忧的模式已经出现在巴西消费关系的日常之中。算法歧视或许是其中最严重的一种。基于人工智能的信用评分系统可能复制并放大历史偏见,使某些地区、年龄段或社会经济背景的消费者无法获得金融产品,而这种区别对待并没有正当理由。

个性化定价(或称歧视性定价)是另一项重大风险。能够识别个人支付意愿的算法,可以根据消费者画像对同一产品或服务收取不同价格。对线上比价不太熟悉的老年人,可能被推送价格更高的商品,而熟悉数字工具的年轻消费者则因被认为更容易转向竞争对手而获得折扣。这种做法一旦针对超级弱势消费者,就构成了法律秩序无法容忍的滥用。

在补充医疗保健领域,同样存在严重风险。健康险运营商使用人工智能系统分析赔付率并审批医疗项目,可能在获得治疗的道路上设置自动化障碍。老年消费者或慢性病患者的申请,可能被以降低成本为目的训练出来的算法系统性地拒绝或拖延,而没有专业人员对个案的特殊情况进行妥善审查。

所谓算法“暗黑模式”(dark patterns)尤其值得关注。这是借助人工智能设计的界面和交互流程,目的是诱导消费者作出决定,而如果消费者掌握清晰的信息并有充足的考虑时间,是不会作出这些决定的。难以取消的自动订阅、摆在关键位置的确认按钮、人工智能生成的用来化解顾虑的说服性语言:所有这些做法对数字素养较低的消费者造成的影响尤为不成比例。

受影响尤其严重的人群

在受影响最大的群体中,首先要提到老年人,他们在巴西数字消费者中所占比例不断上升,却往往缺乏识别自动化互动或滥用做法所需的技术能力。当人工智能系统在设计时没有把无障碍作为要求,残障人士还会面临额外障碍,由此造成的数字排斥会转化为消费排斥。负债过重的消费者尤其容易受到掠夺性信贷推销的影响,算法会把他们脆弱的财务状况视为商机,对其精准推送。

保护机制与行业监管的作用

面对这一局面,我们来分析可以为弱势消费者对抗人工智能而调用的保护机制。首先,CDC第6条第VIII项规定的举证责任倒置变得更为重要。鉴于人工智能系统的不透明(即“黑箱”问题),如果要求消费者证明算法决策与所受损害之间的因果关系,就等于强加了一种“魔鬼证明”(prova diabólica,即几乎不可能完成的举证)。应当由经营者证明其系统的运行合法、无歧视且透明。

经营者对产品或服务缺陷的无过错责任(CDC第12条和第14条)是另一根基本支柱。我们认为,经营者所使用的人工智能系统属于供应链的一部分,任何算法缺陷(歧视性决策、人工智能生成的错误信息、无障碍方面的缺陷)都构成服务瑕疵,无论有无过错,经营者均负有赔偿义务。

在行业监管层面,我们看到了一些重要动向。巴西中央银行已发布关于在金融体系中使用人工智能的规范,重点关注防止自动化信贷审查中的歧视。国家补充健康署(ANS)面临着如何规范算法在医疗项目审批中使用的挑战。国家消费者秘书处(Senacon)则就数字消费关系中算法透明的必要性表明了立场。

还应强调集体救济机制的重要性。检察院和消费者保护组织提起的公益民事诉讼,可以成为打击影响整批弱势消费者的滥用算法行为的有效手段。在这一背景下,集体救济尤为适宜,因为人工智能系统造成的损害往往具有分散性,个人难以察觉。

经营者的良好实践

建议在消费关系中使用人工智能系统的经营者至少采取以下做法:在部署自动化决策系统之前进行算法影响评估,特别关注对弱势群体的影响;对可能限制权利或影响基本服务获取的决定,确保有实质性的人工监督;建立便于使用的渠道,使消费者可以对自动化决策提出异议并获得人工复核;以及采取数字无障碍措施,确保基于人工智能的系统不会给残障人士制造额外障碍。

人工智能时代消费者保护的前景

展望人工智能时代弱势消费者保护的未来,我们认为,巴西在CDC和LGPD中已经建立了稳固的原则性框架,但要应对算法时代的特殊挑战,这一框架还需要更新和补充。通过一部与消费者法体系明确衔接的人工智能通用法,是关键的一步,前提是它不能仅仅宣示笼统的原则,而要确立具体的义务、监督机制和有效的制裁措施。

形成算法审计的文化同样至关重要。正如实体产品要经过质量和安全控制一样,与消费者互动的人工智能系统也应接受定期、独立的审计,重点是发现歧视性偏见、核查是否符合消费者保护原则,并评估对弱势群体的影响。

我们的结论是,人工智能时代对弱势消费者的保护,并不单纯是技术问题,而从根本上说是法律问题和社会问题。这需要不同法律部门之间的协同、监管机构之间的合作以及公民社会的积极参与。弱势原则是巴西消费者法的基石,必须重新诠释并加以强化,以确保算法革命不会变成加深不平等的工具,而法律秩序所要消除的正是这种不平等。

这一话题与防范滥用行为的保护直接相关,我们已有专文论述。

为了便于您进一步阅读,也请参阅本所关于完整指南的文章。

常见问题

什么是消费者的算法弱势?

算法弱势是叠加在消费者传统弱势(技术、法律、事实和信息方面)之上的一种状态,源于消费关系中使用人工智能系统所造成的力量不对称。当消费者无法理解、质疑或抵御影响其权利的自动化决策时,这种弱势就显现出来,而在老年人、残障人士和数字素养较低的消费者等群体中,情况更为严重。

消费者可以对人工智能作出的决定提出异议吗?

可以。LGPD第20条保障数据主体有权要求复核完全基于自动化处理作出的决定,包括信贷决定、消费画像以及服务获取方面的决定。此外,《消费者保护法典》规定了有利于消费者的举证责任倒置,由经营者证明人工智能系统的运行合法且无歧视。

人工智能给弱势消费者带来的主要风险有哪些?

主要风险包括:算法歧视(基于自动化偏见而拒绝信贷或服务)、滥用性的个性化定价(向比价能力较弱的人收取更高价格)、利用“暗黑模式”(dark patterns)诱导作出不利决定,以及自动化平台中的无障碍障碍。这些风险对老年人、残障人士、负债过重的消费者以及对数字技术不太熟悉的人影响尤为不成比例。

Ficou com dúvidas? Fale com um advogado especialista.

📱 Falar pelo WhatsApp

As informações deste artigo são de caráter informativo e não substituem consulta jurídica individualizada. Cada caso possui particularidades que exigem análise específica.

类似文章