Notebook exibindo fórmulas e gráficos na tela

算法透明度:法律义务与现实挑战

本页为葡萄牙语原文的译文,仅供参考,内容涉及巴西法律。如有出入,以葡萄牙语版本为准。 阅读葡萄牙语原文

算法透明度已不再只是一种伦理理想,而是日益成为一项法律要求,对利用人工智能系统作出影响公民生活的决策的企业和公共机构提出了具体义务。

什么是算法透明度,它为何重要

纵观当下公共和私营服务的数字化图景,我们不难发现,算法正越来越多地对人们的生活作出重要决定。从银行授信,到招聘流程中的简历筛选,再到社会保障福利的审核和社交网络的内容审核,自动化系统都在对基本权利施加着实实在在的影响。客观地说,算法透明度指的是能够说明这些系统如何运行、使用了哪些数据、采用了哪些标准,以及是如何得出结论的。

可以看到,人们对算法不透明的担忧并非纯粹停留在理论层面。现实中的案例已经表明,自动化系统可能复制并放大历史上存在的歧视,涉及性别、种族、年龄和社会经济状况等方面。当算法拒绝发放某项社会福利,或在招聘流程中淘汰某位应聘者,却没有给出任何可以理解的理由时,受影响的公民就无法行使自己的辩护权。算法透明度正是在这一点上,与正当法律程序、充分辩护、对质原则以及行政行为说明理由原则等宪法保障联系在一起。

当我们考虑到许多此类系统实际上如同真正的“黑箱”,其内部运作甚至连开发者本人也难以理解时,这个问题就显得更加重要。复杂的机器学习(machine learning)模型,例如深度神经网络,往往会给出结果,却无法准确追溯其所经过的逻辑路径。这一技术特征带来了一个重大的法律难题:对于一个因其自身的计算属性而难以被简单解释的对象,如何要求它具备透明度?

巴西的法律框架与透明度义务

在巴西,围绕算法透明度的规范体系正在逐步建立。《通用数据保护法》(LGPD,第13.709/2018号法律)第20条已经规定,数据主体有权要求对仅基于个人数据自动化处理而作出的决定进行复核,包括那些旨在确定其个人、职业、消费及信用画像的决定。该条款具有重要意义,因为它明确承认自动化决策可能影响权利,并承认公民有资格对此提出质疑。

除LGPD之外,人们还在密切关注该国人工智能监管的立法进程。目前正在国会审议的第2338/2023号法案,提出建立一套涵盖面广泛的人工智能监管框架,其中包括与各类应用风险等级相称的具体透明度义务。被归类为高风险的系统(即影响基本权利、健康、安全或基本服务获取的系统),将适用更为严格的文档记录、可解释性和审计要求。

我们还注意到,《消费者保护法》(第8.078/1990号法律)提供了可适用于算法透明度的工具,尤其是其中关于获得清晰、充分的产品和服务信息的权利。当企业利用算法对产品进行个性化定价、拒绝保险承保,或设定差异化的合同条件时,消费者有权了解作出该决定所依据的标准。CDC(《消费者保护法》)与LGPD相结合,构成了一个重要的规范基础,可据此要求对消费关系中自动化系统的运行作出说明。

算法不透明不仅仅是一个技术问题:它还是对民主法治国家的威胁,因为它使公民无法理解并质疑那些直接影响其基本权利的决定。

在公共行政领域,《信息获取法》(第12.527/2011号法律)和宪法上的公开原则(《联邦宪法》第37条)施加了额外的义务。当公共机构利用算法辅助作出行政决定时(例如INSS (巴西国家社会保障局)审核社会保障福利申请,或在公共政策中分配资源),透明度不仅是值得期待的,更是宪法上的当然要求。无论决定是由公务人员作出,还是由自动化系统作出,公民都有权知道该行政决定是如何、又是为何作出的。

可解释性面临的技术与法律挑战

我们认识到,要切实落实算法透明度,无论在技术层面还是法律层面都面临相当大的障碍。第一个重大挑战在于可解释性与计算复杂性之间的矛盾。越先进的人工智能模型往往越难以解释,而越简单、越容易解释的模型,其性能往往又较差。这种此消彼长的关系使监管者陷入两难:要求完全透明,可能意味着阻碍更先进技术的使用;而容忍不透明,则可能损害基本权利。

另一项重要挑战涉及商业秘密和知识产权的保护。开发专有算法的企业主张,详细披露其模型无异于泄露商业秘密,会损害其竞争力。我们认为,这一理由在一定程度上固然正当,但不能成为不透明的绝对借口。巴西法律体系已经具备协调透明度与知识产权保护的机制,例如在保密条款约束下由独立第三方进行审计,或者要求提供功能性解释(说明算法做了什么),而不是结构性解释(揭示算法是如何构建的)。

民众数字素养的问题,同样是一个重大的现实障碍。如果普通公民缺乏理解这些信息所需的知识,那么要求企业公布其算法的技术文档就收效甚微。因此,有效的算法透明度需要在多个层面同时运作:为专家和审计人员提供详尽的技术信息,为社会公众提供通俗易懂的说明,并向受特定自动化决策影响的个人发出清晰、直接的通知。

此外还可以看到,由于缺乏成熟统一的可解释性评估技术标准,监管和履行法律义务都变得更加困难。不同行业和应用场景可能需要不同形式的透明度,试图强推单一而僵化的模式可能并不合适。针对各应用领域(医疗、信贷、社会保障、公共安全)制定带有具体指引的行业性框架,往往比笼统的规定更能取得实效。

社会保障领域的算法透明度

算法透明度在社会保障领域的适用值得特别关注,因为这一领域直接关系到数以百万计的巴西人。INSS已逐步采用信息化系统,用于辅助审核福利申请、发现违规行为以及管理医学鉴定。这些工具如果运用得当,有助于提高办理速度和服务效率。然而,一旦在缺乏充分透明度的情况下运行,就可能造成难以发现和纠正的不公。

试想这样一种情形:一名被保险人的福利申请因自动化系统设定的标准而被驳回。在无法获知该决定所依据理由的情况下,这名被保险人在行使行政救济或司法救济权利时处于极为不利的境地。行政决定必须说明理由,这是第9.784/1999号法律(《联邦行政程序法》)第50条的明确要求,该要求完全适用于借助算法作出的决定。决定由自动化系统生成或受其影响这一事实,并不能免除公共行政机关以清晰、易懂的方式说明理由的义务。

社会保障领域的算法透明度还涉及公平性问题。利用历史数据训练的算法,可能延续原有的歧视性模式,系统性地损害某些被保险人群体。非正规就业的劳动者、残障人士、农村人口以及其他弱势群体,可能尤其容易受到那些复制结构性不平等的算法偏见的影响。对这类系统进行定期审计,并分析其对不同人群的影响,是保障社会保障决定公正性的一项必要措施。

监管前景与良好实践

审视国际局面,我们可以发现一些可能影响巴西法律框架发展的监管趋势。欧盟通过的《欧洲人工智能条例》(AI Act)确立了以风险为基础的监管模式,已成为多个国家的参照。该条例规定,透明度义务应根据人工智能系统的风险等级分级设定,内容包括技术文档、活动记录、人工监督,以及向受影响用户提供信息等要求。

我们认为,要为巴西构建行之有效的监管模式,就必须考虑本国的具体国情,包括国土幅员辽阔、各地区在技术获取方面的不平等,以及监管机构的制度能力。指定一个具备相应技术专长、资源充足并拥有职能独立性的主管机构,对于确保算法透明度义务得到切实监督、而不至于沦为纲领性规范,至关重要。

在良好实践方面,建议利用算法系统作出重要决定的组织从现在起就主动采取透明度措施。编制算法影响报告,详细记录所用数据和所采标准,定期开展测试以发现偏见,并设立便捷的渠道供公民就自动化决定申请说明,这些举措不仅能够提前应对未来的法律义务,还能增强公众信任并降低法律风险。

我们的结论是,算法透明度是数字时代最重大的法律挑战之一。能否在技术创新与基本权利保护之间取得平衡,将在很大程度上决定未来几年民主的质量。法律从业者、立法者、技术开发者和公民社会应当通力合作,营造一个既促进透明度、又不阻碍技术进步的监管环境,确保算法服务于社会,而不是相反。

常见问题

什么是算法透明度?它对普通公民为何重要?

算法透明度是指能够说明自动化系统(算法和人工智能)如何作出影响个人的决定,包括它们使用了哪些数据、采用了哪些标准。对普通公民而言,这一点至关重要,因为算法决策已经在影响日常生活的诸多基本方面,例如信贷审批、社会保障福利的获取以及求职筛选。缺乏透明度,就无法发现错误、无法对不公正的决定提出异议,也无法行使《联邦宪法》所保障的辩护权。

巴西现行法律是否已经保障了与自动化决策透明度相关的权利?

是的。《通用数据保护法》(LGPD)第20条保障数据主体有权要求对仅基于自动化处理而作出的决定进行复核,包括那些确定个人、职业和信用画像的决定。此外,《消费者保护法》保障消费者就消费关系中所用标准获得清晰信息的权利,《联邦行政程序法》则要求行政决定必须说明理由,这同样适用于借助算法作出的行政决定。

算法透明度如何影响INSS发放社会保障福利?

INSS使用信息化系统辅助审核福利申请,这些系统的透明度对于被保险人理解申请被驳回的原因、并妥善行使救济权利至关重要。缺乏透明度,可能导致行政决定缺乏充分的理由说明,尤其损害非正规就业劳动者和残障人士等弱势群体,因为用于训练这些算法的历史数据中存在的偏见,可能对他们造成系统性影响。

Base legal citada

Leia o texto integral e atualizado no CM Legis:

Ficou com dúvidas? Fale com um advogado especialista.

📱 Falar pelo WhatsApp

As informações deste artigo são de caráter informativo e não substituem consulta jurídica individualizada. Cada caso possui particularidades que exigem análise específica.

类似文章