人工智能监管的路径选择（二）——欧盟《人工智能法》的突破性在哪儿？

Connor 欧易okex交易所 2024-08-27 35 0

编者按

作为全球首部全面规制人工智能的重点法律，欧盟《人工智能法》的重要性不言而喻。一方面，它具有域外效力，将对包括在欧盟以外运营、开发和使用 AI 系统或模型的企业产生重大影响；另一方面，我国已将“人工智能立法”提上日程，欧盟《人工智能法》在AI监管领域的先行探索，或将影响我国立法的监管路径。

《互联网法律评论》本次刊登北京航空航天大学法学院副教授王天凡的文章《人工智能监管的路径选择——欧盟<人工智能法>的范式、争议及影响》（经作者授权，转载自《欧洲研究》2024年第3期）。该文对欧盟《人工智能法》进行了全面解析，篇幅较长，本文将分为三个主题进行刊载。今日刊载第一部分——欧盟《人工智能法》背景及进程。

作者王天凡认为，这一突破性主要体现在“横向监管体系”和“基于风险的方法”在法规中的具体应用，可以看出欧盟在努力兼顾法规的确定性和灵活性，以便能在保证欧洲境内AI“可信度”的基础上，保证该行业足够的发展空间。

此外，今日《互联网法律评论》二条继续提供2份关于欧盟《人工智能法》的资料（iapp整理），一是欧盟《人工智能法》的开创性图表，可以帮助读者进一步理解今日头条文章的“突破性”观点；二是《人工智能法》的合规目录，将AI价值链上不同义务主体所应当遵守的具体条款做成概览表，方便相关公司制定合规体系。

【往期回顾】

人工智能监管的路径选择（一）——欧盟《人工智能法》背景及进程

四、欧盟《人工智能法》的监管范式

从技术上看，一方面，《人工智能法》制定了一个强大的法律框架：它根据“基于风险的方法”构建相应的“横向”监管体系，在调整对象“广泛性”的基础上，尽力实现“确定”而“适度”的监管；另一方面，它的基本监管选择又必须是面向未来的，包括人工智能系统应遵守的原则性要求，必须尽力使规制具有“灵活性”，为技术的发展留足空间。

（一）“横向监管”——规制对象的广泛性

《人工智能法》是有史以来首次尝试对人工智能进行横向监管的法规，适用于在欧盟市场上投放或使用的几乎所有的人工智能系统。

在《人工智能法》正式形成之前，欧盟委员会曾拥有四种不同程度的监管干预的政策选择方案，其中方案二是建议采取部门性的“临时”（ad-hoc）方法，即“纵向”（vertical）的监管思路，通过“定制”方式，针对不同的人工智能应用或类型分别制定法规。这种思路最终被欧盟立法者抛弃，轻而采取了横向监管的立法工具。

这两种立法模式各有优劣，欧盟的选择更多考虑的其实是作为联盟层面立法的目标和现实需求。与其他欧盟层面数字立法相同，欧盟《人工智能法》的基本诉求之一是促进合法、安全和可信的人工智能应用单一市场的发展，防止市场分散和各国分别立法导致的法律碎片化。在构建统一化规则这一点上，横向立法具有绝对的优势。同时，对于欧盟而言，实际的问题是其立法商谈成本畸高，采取行业或部门立法型的纵向立法模式并不现实。欧盟的立法者无法像一个主权国家的立法者那样，及时关注各类型（包括新出现的）人工智能应用并做出响应，制定相应的垂直法规。采取横向监管的方法，意味着在某种程度上节约了立法的成本，而将更实质和具体的工作，如标准制定等，留给了各相关标准制定者、具体监管机构和法院等。

展开全文

作为欧盟《人工智能法》横向监管的核心要素，“人工智能”的定义直接决定了该法调整对象的范围。条例中界定的“人工智能系统”是指一种基于机器的、被设计为以不同程度的自主方式运行的系统，在部署后可表现出适应性，并且出于明确或隐含的目标，从其收到的输入信息中推断出如何生成输出，如可以影响物理或虚拟环境下的预测、内容、建议或决策。这一定义与原草案相比有三个最明显的修改：

第一，强调人工智能系统必须具有“不同程度的自主性”，这意味着人工智能系统至少在一定程度上独立于人类控制，能够在没有人类干预的情况下运行。所谓“自主性”强调须排除仅基于自然人定义的规则而自动执行操作的系统。在原草案公布后，人工智能的定义条款遭到猛烈抨击。学者认为，这一定义十分不专业，过于宽泛，未能触及人工智能技术与其他一般技术之间的核心区别，据此，智能电表和其他基于人定规则的系统等几乎所有软件都可能被包括在内。修改后加入的这一限缩条件显著缩小了定义的范围。

第二，增加了“在部署后可表现出适应性”要件。人工智能系统在部署后表现出的适应性是指自我学习能力，允许系统在使用过程中发生变化。这是针对一读修正案中“人工智能”概念所受到最大批评的回应。学者尖锐地指出，其未能体现核心要素：“学习”及“适应新环境”的能力。否则，电动牙刷的系统也可能被归属于定义中的“自主”系统，而其实际上距离人工智能还很远；若不加入这一要素对概念进行限制，《人工智能法》将成为“软件法案”。

第三，明确人工智能系统具有“推理”功能。条例鉴于条款中（第12条）特别说明，人工智能系统的概念应该基于该系统的关键特征，以区别于更简单的传统软件系统或编程方法，而人工智能系统的一个关键特征是它们的推理能力。这种推理能力是指获取可能影响物理和虚拟环境的输出（如预测、内容、建议或决策）的过程，以及人工智能系统从输入或数据中推导出模型或算法的能力。人工智能系统的推理能力超越了基本的数据处理，可以进行学习、推理或建模。

除此之外，条例的另一个重要修正是删除了原草案中对人工智能技术和方法进行补充界定的附件一。这也是对批评意见的回应，即认为附件一不适当地扩大了人工智能系统的定义，使得传统的非智能软件（如Excel电子表格中的简单程序）也被涵盖在人工智能系统的概念范畴，因为其可以“在一定程度上”自主运行。相对的，条例最终淡化了对人工智能技术和方法的强调，仅在鉴于条款提及，人工智能系统实现推理的技术包括从数据中学习如何实现某些目标的机器学习方法，以及从待解决任务的编码知识或符号表示中进行推理的基于逻辑和知识的方法。

对“人工智能系统”这一核心概念的界定，直接关系到横向立法模式下欧盟《人工智能法》的调整范围和规制对象的问题。当然，基于其抽象性和概括性的表述，欧盟《人工智能法》对“人工智能系统”规定的构成要件也是相对灵活的，这在一定程度上缓解了纯粹横向框架的广泛性带来的关键精度挑战，使得合规策略能够在跨部门和技术发展的过程中保持适当的灵活性。

（二）“基于风险”的方法——确定性与灵活性

《人工智能法》最突出的特点，即其“基于风险”的监管方法（RBR）对现有人工智能系统进行分类，并据此“精确”规定不同的要求和义务，使干预措施与风险水平成正比。条例在肯定人工智能系统的技术中立的基础上，依据所涉及的权利和利益的不同，区分了四个不同的风险级别，相对应的监管也分为四级，采取逐步降级的干预措施，从完全禁止到自由放任。

四个风险级别具体如下：

（1）具有不可接受风险的被禁止的人工智能系统；

（2）受详细规则约束的高风险人工智能系统；

（3）仅受某些透明度要求约束的低风险人工智能系统；

（4）以及从一读修正案开始作为一个新的风险级别被引入的通用人工智能，包括生成式人工智能模型，例如ChatGPT。

实际上，欧盟委员会在本条例制定之初尚有其他替代政策选择，除了上述提及的纵向部门性“临时”方案之外，还包括自愿标签计划及对所有人工智能系统提出强制性要求的横向方法。为何欧盟委员会最终确立“基于风险”的监管路径？如果我们稍作回顾，会发现这种规制模式在欧盟立法中并不鲜见。从早期针对食品安全、医疗设备和药品等领域的规制，到近年来的《数字服务法》等数字领域立法，均采用了此类监管路径。欧盟委员会在确立首选方案之前对每个政策选项都根据经济和社会影响进行了评估，最终确定首选方案是“方案3+”，即仅针对高风险人工智能系统设置强制性义务及监管措施，而非高风险人工智能系统的提供者仅需遵守一定行为准则。该首选方案被认为无论从基本价值、社会成本还是从欧盟战略需求上看，均是以最适合、最有效的方式实现《人工智能法》之目标。

但学者对这一规制路径的争议与质疑从未停止。虽然有学者认为，在监管机构面临技术创新和风险控制之间的权衡时，风险分析是理性解决问题的工具。但有学者针锋相对地提出，《人工智能法》草案只是表面上满足了部分“基于风险”方法所要求的理性解决问题的期望，其“从任何科学角度上看都是不系统的”，倒不如说是欧盟立法者高层对不可接受的人工智能系统范围划定的政治决定和对高风险人工智能的基于“经验法则”的分类。这种政治决定背后，更深层的是欧盟立法者选择的“话语策略”，使其作为一种科学工具出现，并使之合理化，有助于将高度政治化的监管决策正当化为客观的和可信的。而这种监管决策在很大程度上是基于建立欧盟共同人工智能市场的愿景，以及欧盟立法者希望通过其话语和监管选择来实现这一愿景的意愿。一言以蔽之，“基于风险”的方法并非“基于科学”，而是政治决策的包装。

通过对不可接受的人工智能系统风险进行定义和禁止，欧盟立法者重申了其基本价值观，将欧盟人工智能共同市场描绘为坚定致力于基本权利保护的空间，开启“滤网效应”，将不符合欧盟价值观的全球人工智能市场上的其他大型企业及其应用排除在欧盟市场之外。

在高风险领域，《人工智能法》的风险界定和监管措施在规范上均尽可能明确具体，是整个条例中规则最为集中和密集的领域，除尽可能减少侵犯个人权利的责任风险之外，更着力于提供法律确定性，为相关人工智能系统的提供者和部署者提供明确的行为要求和可预测性。

在低风险和无风险的领域，监管较为宽松，仅针对低风险有少量非强制性行为规范。欧盟立法者认为，在不可接受的风险和高风险两者已经确立严格规则的前提下，欧盟人工智能市场的“可信度”已经建立。因此，余下空间被立法者保留为“创新”和小微人工智能企业成长的空间。

通过风险界定和分级的框架，并且允许监管机构随着人工智能用途的发展将新的应用领域纳入现有风险类别，欧盟《人工智能法》试图在法律可预测性和为人工智能发展保留空间的双重要求之间，即规则的确定性和灵活性之间保持平衡。

五、“不可接受的风险”——禁止的人工智能系统

《人工智能法》第二章第五条规定了应被禁止的人工智能，主要包括八大类型。

针对实质性地扭曲自然人的行为，并造成或可能造成该人或他人的重大伤害的人工智能系统，条例规定了两类禁止：第一类禁止采用超越个人意识的潜意识技术，或有目的的操纵或欺骗技术，明显损害个人或群体作出知情的决定的能力，实质性地扭曲他们的行为，从而导致其作出本来不会作出的决定；第二类禁止利用个人或特定人群因其年龄、残疾或特定社会或经济状况而存在的弱点，实质性地扭曲该人或与该群体有关的人的行为。

与草案相比，议会通过版最重要的修订在于，上述两项禁令均不再仅适用于人工智能技术对人们造成身体或心理伤害，而是只需“重大损害”就足够了，这意味着仅造成财产损失也满足条件。并且，此类人工智能技术的提供者或部署者并不必须具有主观故意，只需损害是由人工智能操纵或剥削性做法所造成的即可。

第三类禁止主要针对“社会评分”（social scoring）人工智能系统。若此类人工智能系统在与最初生成或收集数据的背景无关的社会环境中，导致对该人或群体的有害或不利待遇，或者该有害或不利待遇，与其社会行为或其严重性不合理或不相称，则也被禁止。因为此类系统可能导致歧视性结果和排斥某些群体，侵犯了人之尊严和不受歧视的权利以及平等和公正的价值观。且依据条例，该项禁令的行为主体不再局限于“公共当局或代表公共当局”。

第四类禁止主要针对为执法目的在公共场所使用“实时”远程生物识别系统，如果生物识别数据的捕获、比较和识别都在没有显著延迟的情况下发生，此类远程生物识别系统将被禁止。对此，在原草案中规定了三大例外，在一读修正案中被全部删除，但到议会的通过版中又再度“复活”，并进行了补充修正。

除此之外，第五至第八类禁止的人工智能系统为：仅根据自然人画像（profiling）或对其个性特征和特点的评估，以评估或预测其实施刑事犯罪可能性的人工智能系统；通过无针对性地从互联网或闭路电视录像中抓取面部图像，来创建或扩展面部识别数据库的人工智能系统；在工作场所和教育机构用以推断自然人的情绪的人工智能系统（出于医疗或安全原因的除外）；根据自然人的生物识别数据对自然人进行分类，以推断其种族、政治观点、工会成员身份、宗教或哲学信仰、性生活或性取向的生物信息分类系统。

可见，欧洲议会总体上对涉及伦理的复杂问题仍持保守态度。例如，对于刑事犯罪等可能导致基本权利受到严重侵犯的重要决定，欧洲议会否定了完全依赖人工智能系统，由其依据统计相关性和归纳法作出决策的可能性。

六、高风险人工智能系统

在欧盟《人工智能法》中，监管的核心是所谓的高风险人工智能系统，条例对高风险人工智能监管的规则数量最多，内容上也是细节最密集的。无论从风险级别划定到监管措施的设置，欧盟立法者都尽力追求监管的“合比例性”。

（一）高风险人工智能系统的范围

根据《人工智能法》的规定，高风险人工智能系统的范围主要包括两个部分：

其一，如果人工智能系统作为产品或产品的安全组件，为附件一所列欧盟协调立法所涵盖，且必须接受第三方合格评估，才能根据该协调立法将该产品投放市场或投入使用，则这一人工智能系统应被视为高风险人工智能系统。只要同时满足这两个条件，无论人工智能系统是否独立于上述产品投放市场或投入使用，该人工智能系统都应被视为高风险系统。其中比较重要的包括机械、玩具、无线电设备、医疗设备、体外诊断设备、车辆、民航安全、铁路系统等。

其二，条例附件三所指的人工智能系统被归属于高风险。它主要包括：

（1）生物识别的系统；

（2）关键基础设施；

（3）教育和职业培训；

（4）就业、员工管理与自营职业；

（5）获得和享受基本私人服务和基本公共服务及福利；

（6）执法；

（7）移民、庇护和边境管制管理；

（8）司法和民主进程。

条例同时指出，如果人工智能系统不对自然人的健康、安全或基本权利构成重大损害风险，不对决策结果产生实质性影响，则不应被视为高风险。条例第6条第3款列明了不影响决策结果的人工智能系统适用的四种情形，作为例外的例外，附件三所涵盖的人工智能系统在对自然人进行特征分析时，应始终被视为高风险系统。条例要求欧盟委员会在咨询欧洲人工智能委员会后，不迟于2026年2月2日提供具体说明本条实际实施的指南，以及高风险和非高风险人工智能系统用例的实例清单。

上述范围的划定并非一成不变，满足特定条件时欧盟委员会有权通过授权法案，修改、增加或删除不再视为高风险人工智能系统的条件。但是，任何修改均不得降低欧盟对健康、安全和基本权利的总体保护水平。委员会也可以通过授权法案增加或修改附件三中所列高风险人工智能系统及其用例，只要该人工智能系统拟用于附件三所列的任何领域，并且对健康与安全构成损害风险，或对基本权利产生不利影响，且该风险等于或大于附件三中已提及的高风险人工智能系统造成的伤害或不利影响的风险。委员会应确保两类授权法案保持一致，并应考虑市场和技术的发展。

如果提供者认为附件三中提及的人工智能系统不是高风险的，则应在该系统投放市场或投入使用之前记录其评估结果，但其仍应遵守条例规定的注册义务，并应国家主管当局的要求提供评估文件。

（二）对高风险人工智能系统的要求

条例对高风险人工系统提出了明确的合规要求，首先是建立、实施、记录与维护风险管理体系的义务。条例明确指出，风险管理系统应该贯穿高风险人工智能系统的整个生命周期，包括其持续迭代过程，并应当定期进行系统审查和更新。对高风险人工智能系统应进行测试，以确定最合适和最有针对性的风险管理措施，使与每种危害相关的残余风险及总体残余风险控制在可接受范围内。条例特别强调，在实施风险管理系统时，提供者应考虑高风险人工智能系统的预期目的是否可能对未成年人和其他弱势群体产生不利影响。

在数据集与数据治理方面，条例规定了相应数据集的最低质量标准。使用涉及用数据训练模型技术的高风险人工智能系统，其功能主要取决于所使用的用于训练、验证和测试的数据集。需要强调的是，议会通过版中对数据集可能存在偏见的情形做出补充规定，明确了所谓“歧视风险”。将此内容加入法案，足见欧盟立法者对算法监管的重视：包括训练、验证和测试数据集的偏见审查义务和采取措施的义务，特别是针对“反馈回路”等问题，以及例外地处理特殊类别个人数据的条件及义务。

在透明度和可解释性方面，条例规定了高风险人工智能提供者的透明度义务和向部署者提供信息的义务。高风险人工智能系统的设计和开发应确保其运行足够透明，使部署人员能够解释系统的输出并适当使用。透明度的类型和程度，应使提供者和部署者能够遵守条例规定的相关义务。条例要求高风险人工智能系统附有数字形式或其他形式的使用说明，其中包括与部署人员相关、可访问和理解的简洁、完整、正确和清晰的信息。但与先前草案一样，“可解释”这一概念仍然是极为模糊、缺乏标准的，并未明确可解释的范围和程度。

“人工监督”的规定是条例的创新点之一，“反向”体现了欧盟建立“以人为本”的人工智能环境的期望。条例要求，高风险人工智能系统的设计和开发应包括适当的人机界面工具，以便在使用期间能够受到自然人的有效监督。人工监督的措施应与高风险人工智能系统的风险、自主程度和使用环境相适应。

针对高风险人工智能系统进入欧盟市场可能呈现出的复杂样态，条例系统性地规定了价值链参与者义务。与其他数字领域的条例相比，《人工智能法》规定的监管措施总体呈现出一个重要特点：义务主体的广泛性。条例第三章的第三节专门针对各类主体规定了各自义务，虽然其主要约束对象是人工智能系统的提供者，但义务主体涵盖了人工智能系统价值链中几乎所有的参与者。在某些情况下，经营者可以同时扮演一个以上的角色，因此应累计履行与这些主体相关的所有义务。例如，运营商可以同时充当分销商和进口商。并且，符合条件时主体可能发生“身份转换”。此时，最初将人工智能系统投放市场或投入使用的提供者将不再被视为该特定人工智能系统的提供者。此外，如果高风险人工智能系统是特定欧盟协调立法所涵盖产品的安全组件，则产品制造商符合条件时应被视为提供者而承担义务。

一读修正案引入了基本权利影响评估制度，并被条例最终采纳。在部署条例附件三所涵盖的高风险人工智能系统（除关键基础设施之外）之前，部署者有义务就该系统对基本权利的潜在影响进行全面评估。一读修正案中“对基本权利的可合理预见的影响”曾引发了较多批评，因部署者面临一定的调查难度，特别是由于许多人工智能系统缺乏透明度，不过这一困难由于限定在“可合理预见”的范围而得以缓和。但在最终版中，这一限定却被删除，仅保留“可能对基本权利产生的影响”，对部署者而言更为严格。

根据条例规定，高风险人工智能系统在投放市场或投入使用之前应确保经过相关合规评估程序，并且在发生重大修改时，应进行重新评估。条例规定了两类合规评估程序：自评估和第三方评估。第三方合规评估的范围多限于与产品有关的高风险人工智能系统，一般情况下，提供者可以选择任何公告机构进行评估。在法律适用方面，《人工智能法》对高风险人工智能系统的要求应作为相关领域立法合规要求的一部分。根据条例规定，合规评估的首要义务人是高风险人工智能系统的提供者。而实际上部署者、授权代表及进口商等均在其各自价值链功能层面上负担相应确保合规的义务，这也意味着在义务违反时均有责任承担之可能。

条例还要求，高风险人工智能的提供者应为每个高风险人工智能系统起草一份合规声明，并在投放市场之前加贴CE标志，以表明其符合《人工智能法》的规定。对于纯数字高风险人工智能系统，应使用数字式CE标志。

此外，高风险人工智能系统的设计和开发方式应确保在整个生命周期中达到适当水平的准确性、鲁棒性和网络安全性，其技术文件应保持最新，并应从技术上允许在其生命周期内自动记录事件（日志）。并且，属于附件三所规定的高风险人工智能系统，在投放市场或投入使用之前，其提供者（或其授权代表）、公共机关或根据《数据市场法》被认定为看门人企业的部署者须在欧盟数据库中注册该系统。

七、其他人工智能系统

对于非高风险人工智能系统，条例仅施加有限的透明度义务，包括：

其一，人机交互的示明义务。条例要求，与自然人交互的人工智能系统的设计与开发中须使自然人得知其正在与人工智能系统交互，除非（对自然人而言）是显而易见的。

其二，人工智能生成合成音频、图像、视频或文本内容的标记义务。生成式人工智能的提供者应确保其输出以机器可读格式标记，并可检测为人工生成或篡改，且应确保技术方案最新。这一特别规则是议会通过版中的新增义务。

其三，情绪识别及生物识别分类系统示明义务。这些特定类别可能涉及性别、年龄、头发颜色、眼睛颜色、纹身、个人特征、种族血统、个人喜好和兴趣等方面。

其四，“深度伪造”图片、音视频的披露义务。如果内容构成明显具有艺术性、创造性、讽刺性、虚构性的作品或节目的一部分，上述披露义务仅限于以不妨碍作品展示或欣赏的适当方式完成。

此外，为向公众通报公共利益问题而发布的文本，若为人工智能生成或篡改，部署者亦需进行披露。除非人工智能生成的内容经过了人工审查或编辑控制的过程，并且自然人或法人对内容的发布负有编辑责任。

上述义务均不适用于经法律授权用于侦查、预防、调查和起诉刑事犯罪的人工智能系统。条例要求，上述信息最迟应在首次与自然人互动或接触时提供给该自然人。

（待续）