搭载嵌入式人工智能的硬件制造商的责任

本页为葡萄牙语原文的译文，仅供参考，内容涉及巴西法律。如有出入，以葡萄牙语版本为准。 阅读葡萄牙语原文

嵌入式于实体设备中的人工智能,开创了民事责任的新局面:硬件制造商可能需要为其产品的自主决策所造成的损害承担责任。

嵌入式人工智能的发展与新的法律风险

我们正经历一场深刻的变革,它改变了人们与电子设备互动的方式。会自行决定何时采购食品的冰箱、能够自动刹车的汽车、可以自行确定农药施用量的农业无人机、能够调整药物剂量的医疗设备:这些产品内部都装有人工智能系统,无需人类直接干预便能作出决策。从法律的角度审视这一局面,我们会发现,传统的制造商民事责任框架亟须重新检视。

普通产品与搭载嵌入式人工智能的产品之间,根本区别在于行为的不可预测性。传统家用电器出现故障,原因在于制造缺陷、设计缺陷或信息缺陷,这几类缺陷在《消费者保护法典》(Código de Defesa do Consumidor)中已有清晰界定。而搭载人工智能的设备出现意外行为,未必是因为机械或电路方面的缺陷,而可能是算法决策所致:面对模型训练阶段未曾预见的数据,算法得出了造成损害的结果。这里出现了一个重要的概念空白,因为经典的”产品缺陷”概念,本就不是为涵盖自主系统的”认知性”故障而设计的。

在巴西,《消费者保护法典》(第8.078/1990号法律)规定,制造商对产品缺陷所致的损害承担无过错责任,无论其是否存在过错。这一保护性制度是一个稳固的起点,但当”缺陷”并不存在于硬件本身,而是存在于控制硬件的智能软件层时,就会引发复杂的问题。分析认为,立法和学说的趋势是继续坚持无过错责任,并扩大缺陷的概念,使其涵盖那些损害消费者合理期待的安全性的算法故障。

责任链条:制造商、开发者与集成商

就搭载嵌入式人工智能的硬件而言,责任问题最具挑战性的方面之一,是最终产品的创造过程涉及多个主体。传统消费品由制造商掌控整个生产流程,而智能设备则至少涉及三个不同的层面:硬件制造商(物理组件、传感器、执行器)、人工智能模型的开发者(算法、训练数据、决策逻辑),以及将二者组合成可用产品的集成商。在许多情况下,这些角色相互重叠,但在另一些情况下,则由完全独立的公司分别承担。

可以看到,生产链条的这种碎片化,给受害的消费者带来了一个现实的难题:应当向谁提出赔偿请求?假设一台搭载嵌入式人工智能的扫地机器人损坏了家具,原因是其导航系统错误解读了传感器数据,那么故障可能出在传感器(硬件)、地图绘制算法(人工智能软件),也可能出在二者的集成方式上。消费者通常不具备确定缺陷确切来源的技术能力。

在这一点上,《消费者保护法典》所规定的连带责任制度发挥着关键作用。供应链中的所有成员对消费者所受损害承担连带责任,他们之间可以提起追偿之诉,按各自的责任份额分担经济负担。分析认为,这种连带责任尤其适合嵌入式人工智能的情形,因为它使消费者免受这类产品固有的技术复杂性之累,而无需消费者具备软件工程或机器学习方面的知识。

不过,在生产链条各主体之间的关系层面,也出现了值得关注的合同问题。硬件制造商一直试图在与人工智能开发者签订的合同中加入责任限制条款,反之亦然。可以看到,法律上的趋势是认定此类条款不得对抗最终消费者,尽管它们在企业之间的关系中,仍可为追偿之目的产生效力。

算法缺陷与合理期待的安全性

“合理期待的安全性”这一概念,是分析搭载嵌入式人工智能产品之责任的核心。《消费者保护法典》将产品不能提供人们对其合理期待的安全性的情形界定为存在缺陷,并综合考虑产品的呈现方式、使用情况、可合理预期的风险以及其投入流通的时间。当我们把这一标准适用于智能设备时,在解释上面临着相当大的挑战。

嵌入式人工智能系统本质上是概率性的。它并不保证确定性的结果,而是在随使用情境而变化的正确率和错误率范围内运行。例如,车辆驾驶辅助系统识别障碍物的准确率可能达到99,9%,但那0,1%的错误可能意味着一起严重事故。分析认为,核心问题并不在于人工智能系统是否可能出错(因为任何计算机系统都难免出现故障),而在于其出错的程度,是否与消费者对该特定产品所合理期待的安全性相匹配。

由此可见,向消费者提供的关于系统局限性的信息起着决定性作用。销售搭载嵌入式人工智能设备的制造商,负有以清晰、醒目的方式告知以下内容的义务:系统的真实能力如何、在何种条件下能够可靠运行,以及其已知的局限有哪些。这些信息的缺失或不充分,即构成信息缺陷,即便硬件和算法均按设计运行,也会引发供应商的无过错责任。

搭载嵌入式人工智能的硬件制造商的责任,并不随产品交付而终结:它贯穿设备的整个生命周期,包括算法更新和安全支持。

另一个值得关注的方面,是系统在商品售出之后的演变。许多搭载嵌入式人工智能的设备会接收软件更新,从而随时间推移改变系统的行为。如果某次更新引入了造成损害的故障,制造商须对这一后发缺陷承担责任。同样,如果制造商不再提供必要的安全更新,这种不作为可能构成因未对产品进行适当维护而产生的缺陷。分析认为,更新和售后支持的义务,是制造商所负安全义务的自然延伸。

行业监管与立法前景

巴西正朝着建立专门的人工智能监管框架迈进。无论立法程序目前进展到何种阶段,可以看到,某些原则已经在法律界形成共识:根据系统影响程度进行相应的风险评估的必要性、算法透明度的要求、高风险决策中人工监督的义务,以及切实追究相关经济主体的责任。

具体到搭载嵌入式人工智能的硬件,行业监管起着重要的补充作用。例如,智能医疗器械已受巴西国家卫生监督局(Anvisa)的监管,该机构要求注册、认证以及上市后监测。自动驾驶或半自动驾驶车辆须遵守Contran(巴西国家交通委员会)和Denatran(巴西国家交通部)的规范。智能工业设备则须符合劳动部的《监管规范》(Normas Regulamentadoras)。分析认为,这种行业监管设置了额外的多层要求,一旦违反,将进一步印证产品缺陷的成立。

在国际层面,欧盟《人工智能法案》(AI Act)采取基于风险的方法,将人工智能系统分为若干类别(不可接受的风险、高风险、有限风险和最低风险),并针对各级别施加相应的义务。可以看到,这一模式有可能影响巴西的立法,尤其是对嵌入实体产品的高风险人工智能系统所要求的技术文档、合规评估和可追溯机制。

有一点尤其值得关注,即用于训练嵌入式人工智能模型的数据问题。如果系统是用存在偏见、不完整或不适当的数据训练的,其行为可能带有歧视性或具有危险性。分析认为,训练数据质量的责任,由开发和训练模型的一方承担,但将该模型集成到自己产品中的硬件制造商,在消费者面前并不因此免责,因为它承担了将一款依赖这些数据质量才能安全运行的产品投放市场的风险。

缓释策略与制造商的良好实践

面对这一正在形成中的监管格局,搭载嵌入式人工智能的硬件制造商可以(也应当)采取预防措施,以降低自身的责任风险。可以看到,在当前巴西的法律环境下,以下做法尤为重要。

首先,对嵌入式人工智能系统的开发、集成和测试的全过程进行严格的文档记录。其中包括所用训练数据的说明、模型的验证标准、已开展的安全测试,以及已识别的故障场景。这些文档既可在可能发生的诉讼中证明制造商已尽勤勉,也可满足未来在透明度和可追溯性方面的监管要求。

其次,在商品售出之后,建立对系统行为的持续监测机制。遥测传感器、决策日志和事故报告渠道,能够使异常模式在转化为实际损害之前被发现。分析认为,在发现和纠正问题方面表现出积极主动态度的制造商,不仅履行了上市后的监测义务,也会在可能发生的司法纠纷中增强自身的地位。

再次,拟定使用条款和手册,以清晰、易懂、完整的方式说明人工智能系统的能力与局限。可以看到,判例的趋势是重视与消费者沟通的透明度,因此含糊不清或过于专业的信息,在认定缺陷时可能被等同于未提供信息。

最后,针对嵌入式人工智能相关风险投保专项保险,正逐渐成为市场上值得推荐的做法。虽然保险并不能免除法律责任,但它为制造商提供了经济上的保障,也间接地为受害的消费者提供了更有保障的赔偿。分析认为,这类保险的可得性和成本,往往会起到一种市场机制的作用,激励人们采取更安全的人工智能开发与集成做法。

这一主题与LGPD与直接相关,我们已在专门的文章中探讨过。

为了便于您进一步阅读,也请参阅本所关于民事责任的文章。

As informações deste artigo são de caráter informativo e não substituem consulta jurídica individualizada. Cada caso possui particularidades que exigem análise específica.