哈希力量归集文库路径访问: 首页 > 业界门户 > 法规政策动态

欧盟《人工智能法》提案全文(2021)

许可 ☉ 文 收录源:数字经济与社会 2021-05-12 @ 哈希力量

【小哈划重点:4月21日,欧盟发布了《关于人工智能的统一规则(人工智能法)并修正某些联合立法行为》的提案,这是继2020年2月19日欧盟《人工智能白皮书》之后的又一重量级法案。编译单位:对外经济贸易大学金融科技实验室。原文标题:《前沿译文丨欧盟《人工智能法》提案》。】

编者按:4月21日,欧盟发布了《关于人工智能的统一规则(人工智能法)并修正某些联合立法行为》的提案,这是继2020年2月19日欧盟《人工智能白皮书》之后的又一重量级法案。该提案从“维护欧盟的技术领先地位,并确保欧洲人民可以从按照欧盟价值观、基本权利和原则人工智能中受益”的原则出发,采取基于风险的监管思路,在区分“禁止类AI”和“高风险类AI”的基础上,提出了如下具体目标:4qp哈希力量 | 消除一切智能鸿沟

(1)确保投放到欧盟市场并使用的AI系统是安全的,并尊重现行法律中的基本权利和欧盟价值;4qp哈希力量 | 消除一切智能鸿沟

(2)确保法律上的确定性,以促进对人工智能的投资和创新;4qp哈希力量 | 消除一切智能鸿沟

(3)加强对适用于AI系统的基本权利和安全要求的现有法律有效执行和治理;4qp哈希力量 | 消除一切智能鸿沟

(4)促进针对合法、安全和可信赖的AI应用的开发,促进欧盟单一数字市场的发展。4qp哈希力量 | 消除一切智能鸿沟

鉴于该提案对于我国人工智能和算法治理的重要价值,我们特编译提案正文,以飨读者。因原文较长,我们将分两期刊发,敬请期待。4qp哈希力量 | 消除一切智能鸿沟

——对外经济贸易大学数字经济与法律创新研究中心执行主任 许可4qp哈希力量 | 消除一切智能鸿沟


4qp哈希力量 | 消除一切智能鸿沟

布鲁塞尔21.4.2021 COM(2021)206最终

2021/0106(COD)
提案
欧洲议会和理事会
制定关于人工智能的统一规则(人工智能)并修某些联合立法行为
 
 
 
 第一编 
一般规定 
 
第1条
主旨

该法规规定:
(a) 在欧盟中投放市场,投入服务和使用人工智能系统(“ AI系统”)的统一规则;
(a) 禁止某些人工智能实践;
(b) 高风险AI系统的具体要求以及此类系统的操作员的义务;
(c) 旨在与自然人互动的AI系统、情感识别系统和生物特征分类系统以及用于生成或操纵图像、音频或视频内容的AI系统的统一透明度规则;
(d) 市场监测和监督规则。

第2条
适用范围

1. 本法规适用于:
(a) 在欧盟中投放市场或将AI系统投入服务的提供商,无论这些提供商是在欧盟内部还是在第三国建立的;
(b) 位于欧盟内的AI系统的用户;
(c) 位于第三国的AI系统的提供者和用户,该系统产生的输出在欧盟中使用;
2. 对于属于产品或系统安全组件的高风险AI系统,或者本身属于产品或系统的高风险AI系统,属于以下行为的范围内,仅适用本法规的第84条:
(a) 法规(EC)300/2008;
(b) 法规(EU)第167/2013号;
(c) 法规(EU)第168/2013号;
(d) 指令2014/90/EU;
(e) 指令(EU)2016/797;
(f) 法规(EU)2018/858;
(g) 法规(EU)2018/1139;
(h) 法规(EU)2019/2144。
3. 本法规不适用于专门用于军事目的而开发或使用的AI系统。
4. 本法规不适用于第三国的公共当局,也不适用于根据本条第1款属于本法规范围内的国际组织,在这些机关或组织在与执法机关进行国际执法和司法合作的国际协议框架内使用AI系统的情况欧盟或一个或多个成员国。
5. 本法规不得影响欧洲议会和理事会第2000/31 / EC号指令60 第II章第IV节中所规定的中介服务提供者责任规定的适用[将由欧盟《数字服务法》的相应条款]。

第3条
定义

就本法规而言,适用以下定义:
(1)“人工智能系统”(AI system)是指使用附件I中所列的一种或多种技术和方法开发的软件,并且对于给定的一组人类定义的目标,可以生成诸如内容、预测之类的输出,影响与其互动的环境的建议或决策;
(1)“提供者”是指开发AI系统,或者拥有已开发的AI系统并将其投放市场或以自己名义(商标)投入使用的自然人、法人、公共机构或其他机构,无论是付费还是免费的;
(3) “小型提供商”是指委员会建议2003/361/EC61所指的小微企业的提供商;
(4) “用户”是指在其授权下使用AI系统的任何自然人、法人、公共机构、代理机构或其他机构,除非在个人非专业活动中使用了AI系统;
(5) “授权代表”是指在欧盟中建立的任何自然人或法人,均已从AI系统的提供者处获得书面授权,分别代表其执行和执行本法规所规定的义务和程序;
(6) “进口商”是指在欧盟中建立的任何自然人或法人,其在市场上投放或投入使用的AI系统均带有欧盟外所建立的自然人或法人的名称或商标;
(7) “发行人”是指供应商中除了供应商或进口商之外的任何自然人或法人,可以在欧盟市场上提供人工智能系统而不影响其属性;
(8) “运营商”是指提供者、用户、授权代表、进口商和分销商;
(9) “投放市场”是指在欧盟市场上首次提供AI系统;
(10) “在市场上可用”是指在商业活动过程中以联合市场的形式分发或使用的AI系统的任何供应,无论是付费还是免费;
(11) “投入使用”是指直接为用户提供的AI系统,或为其预期目的在欧盟市场上供其自己使用的AI系统;
(12) “预期目的”是指提供者针对AI系统的用途,包括提供者在使用说明,促销或销售材料和声明中提供的信息中指定的特定上下文和使用条件,如下所述:以及技术文档中的内容;
(13) “合理可预见的滥用”是指以不符合其预期目的的方式使用AI系统,但可能是由于合理可预见的人类行为或与其他系统的交互作用而导致的;
(14) “产品或系统的安全组件”是指为该产品或系统执行安全功能,或者其故障或功能失常危及人员或财产的健康和安全的产品或系统的组件;
(15) “使用说明”是指提供者提供的信息,用于告知用户特别是AI系统的预期目的和正确使用,包括打算将高风险AI系统纳入其中的特定地理,行为或功能设置用过的;
(16) “召回AI系统”是指旨在向用户提供AI系统提供商返还的任何措施;
(17) “退出AI系统”是指旨在防止AI系统的分发,显示和提供的任何措施;
(18) “AI系统的性能”是指AI系统达到其预期目的的能力;
(19) “通知机构”是指负责建立和执行必要的程序以评估,指定和通知合格评定机构并进行监督的国家机构;
(20) “合格评定”是指验证本法规第二章第三章第三节中关于人工智能系统的要求是否得到满足的过程;
(21) “合格评定机构”是指执行第三方合格评定活动(包括测试,认证和检查)的机构;
(22) “通知机构”是指根据本法规和其他相关的欧盟协调法规指定的合格评定机构;
(23) “重大修改”是指在AI系统投入市场或投入使用后对AI系统进行的更改,这会影响AI系统对本法规第2章第III节中规定的要求的遵从性,或者导致对AI系统的修改。评估AI系统的预期目的;
(24) “CE合格标记”(CE标记)是指提供者表明AI系统符合本法规第二章第III节和协调市场营销条件的其他适用的欧盟法规所规定的标记。(“统一法规”);
(25) “上市后监控”是指由AI系统提供者进行的所有活动,以主动收集和审查从他们投放市场或投入使用的AI系统获得的经验,以识别是否需要立即应用任何必要的东西。纠正或预防措施;
(26) “市场监督机构”是指根据(EU)2019/1020法规开展活动并采取措施的国家机构;
(27) “统一标准”是指第1025/2012号法规(EU)第2(1)(c)条所定义的欧洲标准;
(28) “通用规范”是指除标准以外的包含技术解决方案的文件,该技术解决方案提供了一种手段来满足本法规规定的某些要求和义务;
(29) “训练数据”是指用于通过拟合其可学习的参数(包括神经网络的权重)来训练AI系统的数据;
(30) “验证数据”是指用于对经过训练的AI系统进行评估,调整其不可学习的参数及其学习过程等数据,以防止过拟合;验证数据集可以是单独的数据集,也可以是训练数据集的一部分,可以是固定拆分或可变拆分;
(31) “测试数据”是指用于对经过培训和经过验证的AI系统进行独立评估的数据,以便在该系统投放市场或投入使用之前确认该系统的预期性能;
(32) “输入数据”是指提供给AI系统或由AI系统直接获取的数据,并以此为基础产生输出;
(33) “生物特征数据”是指通过与自然人的身体,生理或行为特征相关的特定技术处理而得到的个人数据,这些数据允许或确认该自然人的唯一标识,例如面部图像或手指镜检查数据;
(34) “情感识别系统”是指用于根据自然人的生物特征数据识别或推断自然人的情感或意图的AI系统;
(35) “生物分类系统”是指一种AI系统,用于根据生物特征数据将自然人分为特定类别,例如性别、年龄,头发颜色,眼睛颜色,纹身,族裔或性别或政治取向;
(36) “远程生物特征识别系统”是指一种AI系统,其目的是通过将人的生物特征数据与参考数据库中包含的生物特征数据进行比较来在远处识别自然人,而无需AI系统用户的事先了解该人将在场并且可以被识别;
(37) “实时”远程生物特征识别系统是指一种远程生物特征识别系统,在此过程中,生物特征数据的捕获,比较和识别均没有明显的延迟。这不仅包括即时识别,还包括有限的短暂延迟,以避免规避。
(38) “发布远程生物特征识别系统”是指除“实时”远程生物特征识别系统之外的远程生物特征识别系统;
(39) “公众可进入的空间”是指公众可进入的任何物理场所,无论是否适用某些进入条件;
(40) “执法机关”是指:
(a) 负责预防,调查,侦查或起诉刑事犯罪或执行刑事处罚(包括防止和预防对公共安全的威胁)的任何公共当局;或者
(b) 成员国法律授权的其他任何机构或实体,为了预防,调查,侦查或起诉刑事犯罪或执行刑事处罚(包括保护和防止对公众的威胁)而行使公共权威和权力;
(41) “执法”是指执法机构为预防,调查,侦查或起诉刑事犯罪或执行刑事处罚而开展的活动,包括防范和预防对公共安全的威胁;
(42) “国家监督机构”是指成员国将实施和实施本法规,协调委托给该成员国的活动,作为委员会的单一联系点并在欧洲人工智能委员会成员国代表成员国的职责分配给的机构;
(43) “国家主管机关”是指国家监管机关,通知机关和市场监督机关;
(44) “严重事件”是指直接或间接导致,可能导致或可能导致以下任何事件的任何事件:
(a) 人的死亡或对人的健康,财产或环境的严重损害,
(b) 对关键基础架构的管理和运营的严重且不可逆转的破坏。

4
对附件一的修正

委员会有权根据第73条采取授权行动,以修改附件一中所列的技术和方法清单,以便根据与该技术和方法类似的特征将该清单更新为市场和技术发展在其中列出。
 
第二编 
 禁止的人工智慧实践 
 
5

1. 禁止以下人工智能实践:
(a) 在市场上投放、投入使用或使用AI系统,该AI系统以个人无法认知的方式部署潜意识教化技术,以某种方式严重扭曲一个人的行为,从而导致或可能导致该人或他人的身体或心理伤害;
(b) 投放市场、投入使用或使用AI系统,该系统利用特定人群的年龄、身体或精神残疾等特定人群的任何脆弱性,实质性地扭曲与该人群有关的行为,以导致或可能造成该人或他人的身体或心理伤害的方式;
(c) 公共机构或其代表在市场上投放、投入使用或使用人工智能系统,用以根据自然人的社会行为或已知或预测的个性特征或性格,在一定时期内对自然人的信誉进行评估或分类,且该社交评分则导致以下一项或两项:
(i) 在与原始数据生成或收集的场景无关的社会场景中,对某些自然人或整个群体的有害或不利待遇;
(ii) 对某些自然人或整个群体的社会行为或其严重不合理或不相称的有害或不利待遇;
(d) 出于执法目的在公共场所使用“实时”远程生物特征识别系统,除非出于以下目的之一使用且绝对必要时:
(i) 有针对性地寻找特定的潜在犯罪受害者,包括失踪儿童;
(ii) 预防对自然人的生命或人身安全或恐怖袭击的具体、实质性和迫在眉睫的威胁;
(iii) 侦测、定位、识别或起诉理事会第2002/584 / JHA62 号决议第2(2)条所述的犯罪行为的犯罪嫌疑人或嫌疑人,并在有关成员国以监禁刑罚或根据该成员国的法律确定的最长拘留期限,至少为三年。
2. 为了第1款d)项中提到的任何目标的执法目的,在公共场所使用“实时”远程生物特征识别系统时,应考虑以下因素:
(a) 导致可能使用的情况的性质,特别是在不使用该系统的情况下造成的损害的严重性,可能性和严重程度;
(b) 使用该系统对有关所有人的权利和自由产生的后果,特别是这些后果的严重性,可能性和严重性。
此外,出于执法目的,在公共场所使用“实时”远程生物特征识别系统以实现第1款d)项中提到的任何目标的目的,应符合与之相关的必要且相称的保障措施和条件,尤其是在时间,地理和个人限制方面。
3. 关于第1款第(d)项和第2款,为在公共场所使用“实时”远程生物特征识别系统的执法目的而进行的个人使用,均应事先获得司法当局或政府的批准。根据合理的要求并根据第4段所述的国家法律的详细规则发布的,将在其中进行使用的成员国的独立行政当局。但是,在有充分理由的紧急情况下,使用可能未经授权而启动系统,并且仅在使用期间或使用之后才可以请求授权。
司法或行政主管部门应仅在基于其客观证据或明确指示而感到满意的情况下,授予使用有争议的“实时”远程生物特征识别系统的必要性并与之成比例地授予该授权。请求中确定的第1款(d)项中指定的目标之一。在决定请求时,主管司法或行政当局应考虑到第2款所指的内容。
4. 为保持灵活性,成员国可以决定以完全或部分授权在公共场所使用“实时”远程生物特征识别系统,在第1段(d)点,第2和第3段中列出的限制范围内执法。该成员国应在其本国法律中制定必要的详细规则,以请求、签发和行使与上述许可有关的授权,并对其进行监督第3款。这些规则还应具体说明第1款第(d)项中列出的目标,包括第(iii)项中提到的哪些刑事犯罪,主管当局可以被授权使用这些系统出于执法目的。
 
第三编 
 高风险AI系统 
 
1
AI系统归类为高风险
 
6
高风险AI系统的分类规则

1. 无论AI系统是独立于(a)和(b)点提到的产品投放市场还是投入服务,都应同时满足以下两个条件的AI系统视为高风险:
(a) AI系统旨在用作附件II中所列的欧盟协调法规所涵盖的产品或本身就是产品的安全组件;
(b) 安全组件为AI系统的产品或AI系统本身为产品的产品,必须经过第三方合格评定,以根据欧盟统一标准将该产品投放市场或投入使用附件二中列出的立法。
2. 除第1款所指的高风险AI系统外,附件三所指的AI系统也应视为高风险。

7
对附件三的修正

1. 委员会有权根据第七十三条采取授权行动,通过增加满足以下两个条件的高风险人工智能系统来更新附件三中的清单:
(a) 人工智能系统旨在用于附件三第1至第8点所列的任何领域;
(b) AI系统存在危害健康和安全的风险,或对基本权利造成不利影响的风险,即就其严重性和发生的可能性而言,等于或大于由附件三中已经提到的高风险AI系统所构成的危害或不利影响风险。
2. 为第1款的目的,评估人工智能系统是否会对健康和安全造成危害的风险或对基本权利的不利影响的风险等于或大于委员会已经在附件三中提及高风险人工智能系统所造成的风险时,应考虑以下标准:
(a) 人工智能系统的预期目的;
(b) AI系统已被使用或可能被使用的程度;
(c) 如报告所表明,使用人工智能系统已在多大程度上对健康和安全造成损害或对基本权利的不利影响,或已引起与这种损害或不利影响的实现有关的重大关切,提交给国家主管部门的书面指控;
(d) 这种损害或不利影响的潜在程度,特别是在其强度和影响多个人的能力方面;
(e) 可能受到伤害或受到不利影响的人的程度取决于人工智能系统产生的结果,特别是因为出于实际或法律原因,不可能合理地选择退出该结果;
(f) 相对于AI系统的用户而言,潜在受到伤害或受到不利影响的人员处于脆弱状态的程度,尤其是由于权力,知识,经济或社会环境或年龄的不平衡所致;
(g) 人工智能系统产生的结果易于逆转的程度,因此对人的健康或安全有影响的结果不应被视为容易逆转;
(h) 欧盟现有法规在多大程度上规定:
(i) 针对人工智能系统带来的风险的有效补救措施,但不包括损害赔偿要求;
(ii)采取有效措施来预防或大幅度降低这些风险。
 
2
高风险AI系统的要求
 
8
符合要求

1. 高风险的AI系统应符合本章规定的要求。
2. 确保遵守这些要求时,应考虑到第9条中提到的高风险AI系统和风险管理系统的预期目的。

第9条
风险管理系统

1. 应建立、实施、记录和维护与高风险AI系统有关的风险管理系统。
2. 风险管理系统应包括在高风险AI系统的整个生命周期中运行的连续迭代过程,需要定期进行系统更新。它应包括以下步骤:
(a) 识别和分析与每个高风险AI系统相关的已知和可预见的风险;
(b) 评估和评估高风险AI系统按照其预期目的并在合理可预见的滥用条件下使用时可能出现的风险;
(c) 根据对第61条所述的上市后监测系统收集的数据的分析,对其他可能产生的风险进行评估;
(d) 根据以下各段的规定,采取适当的风险管理措施。
3. 第2款(d)项中提到的风险管理措施应适当考虑合并应用本第2章中规定的要求所产生的影响和可能的相互作用。这些措施应考虑到公认的风险状态和条款,包括相关的协调标准或通用规范中反映的内容。
4. 第2款(d)点所指的风险管理措施应使得与每种危害相关的任何剩余风险以及高风险AI系统的总体剩余风险均被判定为可接受,但前提是高风险AI系统是根据其预期目的或在合理可预见的误用条件下使用的。这些剩余风险应传达给用户。
在确定最适当的风险管理措施时,应确保以下内容:
(a) 通过充足的设计和开发,尽可能消除或降低风险;
(b) 在适当的情况下,针对无法消除的风险,采取适当的缓解和控制措施;
(c) 根据第13条提供足够的信息,尤其是有关本条第2款(b)项中提到的风险的信息,并在适当情况下对用户进行培训。在消除或减少与使用高风险AI系统相关的风险时,应适当考虑用户的技术知识,经验,教育,培训以及打算使用该系统的环境。
5. 为了确定最适当的风险管理措施,应对高风险的AI系统进行测试。测试应确保高风险的AI系统按预期目的一致运行,并且符合本章规定的要求。
6. 测试程序应适合于实现AI系统的预期目的,并且不需要超出实现该目的所必需的范围。
7. 高风险AI系统的测试应在整个开发过程中的任何时候适当地进行,并且无论如何要在投放市场或投入使用之前进行。应针对适合高风险AI系统预期目的的预先定义的度量标准和概率阈值进行测试。
8. 在实施第1至第7段所述的风险管理系统时,应特别考虑高风险的AI系统是否可能被儿童使用或对其产生影响。
9. 对于受指令2013/36 / EU监管的信贷机构,第1至第8段中所述的方面应是这些机构根据该指令第74条建立的风险管理程序的一部分。

10
数据与数据治理

1. 利用涉及对数据进行模型训练的技术的高风险AI系统,应在满足第2至5段所述质量标准的训练,验证和测试数据集的基础上开发。
2. 培训、验证和测试数据集应遵守适当的数据治理和管理规范。这些实践应特别关注:
(a) 有关的设计选择;
(b) 数据采集;
(c) 相关的数据准备处理操作,例如注释,标记、清洗、充实和汇总;
(d) 制定有关假设,特别是有关数据应衡量和代表的信息的假设;
(e) 事先评估所需数据集的可用性、数量和适用性;
(f) 鉴于可能存在的偏见进行检查;
(g) 确定任何可能的数据空白或不足,以及如何解决这些空白和不足。
3. 培训、验证和测试数据集应是相关的、有代表性的、没有错误且完整的。它们应具有适当的统计属性,包括(如果适用)与打算使用高风险AI系统的人员或人群有关的属性。可以在单个数据集或其组合的级别上满足数据集的这些特性。
4. 培训、验证和测试数据集应在预期目的要求的范围内考虑到打算使用高风险AI系统的特定地理、行为或功能设置所特有的特征或要素。
5. 在一定程度上,出于确保与高风险AI系统相关的偏差监视、检测和更正的目的,此类系统的提供者可以处理第9条第1款所指的特殊类别的个人数据法规(EU)2016/679,指令(EU)2016/680的第10条和法规(EU)2018/1725的第10(1)条。但是,当匿名化可能会极大地影响所追求的目的时,要对自然人的基本权利和自由采取适当的保障措施,包括技术限制重用和使用最新的安全性和隐私保护措施,例如假名或加密,。
6. 适当的数据治理和管理实践应适用于高风险AI系统的开发,而不是使用那些涉及模型训练的技术的系统,以确保这些高风险AI系统符合第2款的规定。

11
技术文件

1. 高风险AI系统的技术文档应在该系统投放市场或投入使用之前起草,并应保持最新状态。技术文件的编制应证明高风险AI系统符合本章规定的要求,并向国家主管部门和指定机构提供所有必要信息,以评估AI系统的合规性满足这些要求。技术文件至少应包含附件四中列出的要素。
2. 如果与产品相关的高风险AI系统(适用附件II A节中列出的法律行为)投放市场或投入使用,则应草拟一份单独的技术文件,其中应包含本文档中列出的所有信息。附件四以及这些法律法案所要求的信息。
3. 委员会有权根据第73条采取授权行动,在必要时对附件四进行修订,以确保根据技术进步,技术文件提供所有必要的信息,以评估系统是否符合这一章中规定的要求。

第12
记录保存

1. 高风险AI系统的设计和开发应具有能够在高风险AI系统运行时自动记录事件(“日志”)的功能。这些记录功能应符合公认的标准或通用规范。
2. 记录功能应确保AI系统在其整个生命周期中的功能可追溯性水平,该水平应适合于系统的预期目的。
3. 特别是日志记录功能应能够针对可能导致AI系统呈现第65条第1款所指的风险或导致实质性损失的情况的发生进行监视,并且修改并促进第61条所指的上市后监管。
4. 对于附件三第1段(a)点所指的高风险AI系统,日志记录功能至少应提供:
(a) 记录系统每次使用的时间(每次使用的开始日期和时间以及结束日期和时间);
(b) 系统已针对其检查输入数据的参考数据库;
(c) 搜索导致匹配的输入数据;
(d)根据第14条第5款的规定,确定参与结果验证的自然人的身份。

第13
透明度和向用户提供信息

1. 高风险AI系统的设计和开发方式应确保其操作足够透明,以使用户能够理解系统的输出并适当地使用它。为了确保遵守本标题第3章中规定的用户和提供者的相关义务,应确保适当的类型和程度的透明性。
2. 高风险的AI系统应随附以适当的数字格式或以其他方式使用的说明,其中包括与用户相关,可访问和可理解的简明、完整、正确和清晰的信息。
3. 第2款所指的信息应具体说明:
(a) 提供者及其授权代表(如适用)的身份和联系方式;
(b) 高风险AI系统的性能特征、功能和局限性,包括:
(i) 其预期目的;
(ii) 高风险AI系统已针对之进行测试和验证且可以预期的第15条中提到的准确性、鲁棒性和网络安全级别,以及可能对该预期精度水平产生影响的任何已知和可预见的情况,健壮性和网络安全性;
(iii) 与按照预期目的或在合理可预见的滥用条件下使用高风险AI系统有关的任何已知或可预见情况,可能会导致健康,安全或基本权利的风险;
(iv) 关于拟使用该系统的个人或人群的性能;
(v) 在适当的情况下,考虑到AI系统的预期目的,在使用的训练,验证和测试数据集方面确定输入数据的规范或任何其他相关信息。
(c) 提供者在初次合格评定时已预先确定的高风险AI系统及其性能的更改;
(d) 第14条所述的人为监督措施,包括为方便用户解释AI系统的输出而采取的技术措施;
(e) 高风险AI系统的预期寿命以及确保该AI系统正常运行(包括软件更新)的任何必要维护和保养措施。

第14
人为监督

1. 高风险的AI系统的设计和开发,包括使用适当的人机界面工具,应使其在使用AI系统期间可以由自然人有效地进行监督。
2. 人为监督的目的应是,防止或最大程度地降低高风险人工智能系统在其设计意图或在合理可预见的误用条件下可能产生的健康、安全或基本权利风险,尤其是当存在此类风险时,尽管此时本章规定的其他要求依然适用。
3. 应通过以下一项或全部措施确保人为监督:
(a) 在技术可行的情况下,识别并在提供商将其投放市场或投入使用之前,将其内置到高风险的AI系统中;
(b) 由提供商确定,然后再将高风险的AI系统投放市场或投入使用,并且应该由用户实施。
4. 第3款所指的措施应使被指派进行人工监督的人员能够根据情况进行以下操作:
(a) 充分了解高风险AI系统的功能和局限性,并能够对其运行进行适当监控,以便尽快发现并解决反常,功能异常和意外性能的迹象;
(b) 意识到自动依赖或过度依赖高风险AI系统产生的输出的可能趋势(“自动化偏差”),特别是对用于为自然人决策提供信息或建议的高风险AI系统而言;
(c) 能够特别考虑系统的特征以及可用的解释工具和方法来正确解释高风险AI系统的输出;
(d) 能够在任何特定情况下决定不使用高风险AI系统或以其他方式无视,手动控制或逆转高风险AI系统的输出;
(e) 能够干预高风险AI系统的运行或通过“停止”按钮或类似程序来中断系统。
5. 对于附件三第1点(a)所指的高风险AI系统,第3款所指的措施应确保,在此之外,用户不根据系统产生的身份验证采取任何行动或决定,除非至少有两个自然人对此系统进行了验证和确认。

15 
准确性、鲁棒性和网络安全性

1. 高风险AI系统的设计和开发方式应使其能够根据其预期目的达到适当的准确性、鲁棒性和网络安全性,并在其整个生命周期内在这些方面保持一致。
2. 高风险AI系统的准确性等级和相关准确性度量应在随附的使用说明中声明。
3. 高风险的AI系统应具有复原性,可以应对系统或系统运行所处的环境内可能发生的错误,故障或不一致,特别是由于其与自然人或其他系统的相互作用所致。
高风险AI系统的鲁棒性可以通过技术冗余解决方案来实现,其中可能包括备份或故障安全计划。
在投入市场或投入使用后仍会继续学习的高风险AI系统的开发方式,应确保适当处理用作未来操作输入的输出而产生的可能有偏差的输出(“反馈循环”)并且采取适当的缓解措施。
4. 对于未经授权的第三方通过利用系统漏洞来更改其使用或性能的尝试,高风险AI系统应具有复原性。
旨在确保高风险AI系统的网络安全的技术解决方案应适合于相关情况和风险。
解决AI特定漏洞的技术解决方案应在适当情况下包括预防和控制试图操纵训练数据集的攻击(“数据中毒”)的措施,旨在导致模型出错的输入(“对抗性示例”)或模型缺陷。
 
3
高风险AI系统和其他方的供应商和用户的义务
 
第16
高风险AI系统提供商的义务

高风险AI系统的供应商应:
(a) 确保其高风险AI系统符合本标题第2章中规定的要求;
(b) 拥有符合第17条的质量管理体系;
(c) 编制高风险AI系统的技术文档;
(d) 在他们的控制下,保留由其高风险AI系统自动生成的日志;
(e) 确保高风险的AI系统在投放市场或投入使用之前经过相关的合格评定程序;
(f) 遵守第51条所述的注册义务;
(g) 如果高风险AI系统不符合本标题第2章规定的要求,则采取必要的纠正措施;
(h) 将不遵守情况和采取的任何纠正措施告知提供或启用人工智能系统的成员国的国家主管当局,并在适用的情况下通知指定机构;
(i) 根据其第49条,在其高风险AI系统上贴上CE标志,以表明其符合本法规的规定;
(j) 应国家主管部门的要求,证明高风险AI系统符合本标题第2章中规定的要求。

第17
质量管理体系

1. 高风险AI系统的供应商应建立质量管理体系,以确保遵守本法规。该系统应以书面政策,程序和说明的形式系统地,有条理地形成文件,并且至少应包括以下几个方面:
(a) 监管合规性策略,包括合规性评估程序和高风险AI系统修改管理程序;
(b) 用于高风险AI系统的设计,设计控制和设计验证的技术,程序和系统动作;
(c) 用于高风险AI系统的开发,质量控制和质量保证的技术,程序和系统动作;
(d) 在开发高风险AI系统之前,之中和之后要进行的检查,测试和确认程序,以及执行这些程序的频率;
(e) 要应用的技术规范,包括标准,以及在未完全应用相关的统一标准的情况下,用于确保高风险AI系统符合本标题第2章中规定的要求的方法;
(f) 数据管理的系统和程序,包括数据收集、数据分析、数据标记、数据存储、数据过滤、数据挖掘、数据聚合、数据保留以及与放置之前和出于放置目的执行的任何其他有关数据的操作高风险AI系统的市场投放或投入使用;
(g) 第9条所指的风险管理系统;
(h) 根据第61条建立,实施和维护售后监测系统;
(i) 依照第62条报告严重事件和故障的程序;
(j) 处理与国家主管当局,主管部门(包括部门主管部门)的通信,以提供或支持对数据,指定机构,其他运营商,客户或其他有关方面的访问;
(k) 记录所有相关文件和信息的系统和程序;
(l) 资源管理,包括与供应有关的措施的安全性;
(m) 一个问责制框架,其中规定了管理层和其他员工在本段中列出的各个方面的责任。
2. 第1款提及的方面的实施应与供应商组织的规模成正比。
3. 对于是受指令2013/36/EU监管的信贷机构的供应商,应通过遵守根据该指令第74条制定的内部治理安排,流程和机制的规则,视为已履行建立质量管理体系的义务。在这种情况下,应考虑本规章第40条提及的任何统一标准。

第18
起草技术文件的义务

1. 高风险AI系统的供应商应按照附件IV的规定起草第11条中提到的技术文档。
2. 作为受指令2013/36/EU监管的信贷机构的供应商,应根据该指令第74条的规定,维护技术文件,作为有关内部治理,安排,流程和机制的文件的一部分。

第19
合格评定

1. 高风险AI系统的供应商应确保其系统在投放市场或投入使用之前,已按照第43条进行了相关的合格评定程序。如果在进行合格性评估后证明AI系统符合本标题第2章中规定的要求,则供应商应根据第48条起草欧盟合格声明,并在合格性标志上粘贴CE合格标志。与第49条相同。
2. 对于投放市场或由指令2013/36/EU监管的信贷机构的供应商投入服务的附件III第5(b)点所指的高风险AI系统,应按照以下规定进行合格性评估:该指令第97至101条中提及的程序的一部分。

20
自动生成的日志

1. 高风险AI系统的供应商应保留其高风险AI系统自动生成的日志,只要这些日志受与用户之间的合同安排或法律的约束而受其控制。根据高风险AI系统的预期目的以及欧盟或国家法律规定的适用法律义务,应将日志保存适当的时间。
2. 作为受指令2013/36/EU监管的信贷机构的供应商,应保留其高风险AI系统自动生成的日志,作为该指令第74条下文件的一部分。

第21
纠正措施

高风险AI系统的供应商认为或有理由认为已投放市场或投入使用的高风险AI系统不符合本法规的规定,应确保采取必要的纠正措施使该系统符合要求,在必要的时候撤回或召回该系统。在系统存在风险的情况下,分销商应将此情况告知供应商或进口商(如适用)。

第22
信息义务

如果高风险AI系统存在第65条第(1)款所指的风险,并且该风险已被系统供应商知晓,则该供应商应立即通知建立该系统的成员国的国家主管部门,以及在适用的情况下,通知为高风险AI系统颁发证书的指定机构,尤其是有关违规行为和采取的任何纠正措施的证书。

第23
与主管部门的合作

高风险AI系统的供应商应应国家主管部门的要求,向该机构提供证明高风险AI系统符合本标题第2章所规定要求的所有必要信息和文件,并且使用有关成员国确定的官方正式语言。根据国家主管部门的合理要求,供应商还应允许该部门访问由高风险AI系统自动生成的日志,但前提是此类日志受与用户或其他方面的合同安排或根据法律在他们的控制范围内。

第24
产品制造商的义务

凡与附件二a节所列法律行为适用的产品相关的高风险AI系统,以产品制造商的名义与根据该法律行为生产的产品一起投放市场或投入使用时,产品制造商应对AI系统符合本条例的规定承担责任,并就AI系统而言,负与本条例下供应商所负义务相同的义务。

第25
授权代表

1. 无法识别进口商的情况下,在将其系统投放到欧盟市场之前,欧盟以外的供应商应通过书面授权,任命在欧盟内设立的授权代表。
2. 授权代表应执行从供应商那里收到的授权命令中规定的任务。授权命令应授权受权代表执行以下任务:
(a) 保留一份欧盟合格声明和技术文件的副本,供国家主管当局和第63(7)条所指的国家主管当局使用;
(b) 应合理要求,向国家主管当局提供所有必要的信息和文件,以证明高风险AI系统符合本标题第2章的要求,包括查阅由高风险AI系统自动生成的日志,只要这些日志由供应商根据与用户的合同安排或其他法律所控制;
(c) 在合理要求下,与国家主管当局合作,针对后者对高风险AI系统采取的任何行动。

第26
进口商的义务

1. 在将高风险的AI系统投放市场之前,该系统的进口商应确保:
(a) 该AI系统的提供者已经执行了适当的合格评定程序
(b) 供应商已根据附件四起草了技术文件;
(c) 该系统带有要求的合格标记,并随附要求的文件和使用说明。
2. 进口商认为或有理由认为高风险AI系统不符合本条例的情况,进口商不得不得将其投放市场直到AI系统符合规定。如果高风险AI系统存在第65条第(1)款所指的风险,进口商应将此情况通知AI系统的提供者和市场监督机构。
3. 进口商应在高风险AI系统上注明其名称、注册商品名称或注册商标,以及可以联系到他们的地址,如不可能,则在其包装或随附文件上注明。
4. 进口商应确保,当高风险AI系统由其负责,在适用的情况下,储存或运输条件不会危及其符合本标题第二章规定的要求。
5. 应合理要求,进口商应向国家主管当局提供所有必要的信息和文件,以证明高风险AI系统符合本标题第2章规定的要求,所用语言应为国家主管当局易于理解,包括查阅由高风险AI系统自动生成的日志,只要这些日志在提供商根据与用户的合同安排或其他法律的控制下。进口商还应就国家主管当局就该系统采取的任何行动与当局合作。

第27
经销商的义务

1. 在高风险AI系统上市之前,经销商应验证高风险AI系统具有要求的CE符合性标志,并附有所需的文件和使用说明,以及系统的供应商和进口商(如适用),是否遵守本规例所订明的义务。
2. 经销商认为或有理由认为一个高风险AI系统不符合本标题下第二章的要求,其不得让高风险的AI系统在市场上可用,直到系统已经符合这些要求。此外,如果系统在第65(1)条的含义范围内存在风险,则经销商应将该系统的相关信息告知供应商或进口商。
3. 经销商应确保,若其负责高风险AI系统,在适用情况下,存储或运输条件不会危及该系统与本标题第2章规定的要求的符合性
4. 经销商认为或有理由认为一个已在市场适用的高风险AI系统,不符合本标题第二章项下的要求,应当采取必要的纠正措施使系统符合这些要求,撤回或召回,或应确保供应商、进口商或任何相关经营者酌情采取纠正措施。当高风险的AI系统展现出了一种规定在第65条(1)中的风险,经销商应立即通知使产品生效成员国的国家主管当局,提供细节,特别是不合规处及任何纠正措施。
5. 根据国家主管部门的合理要求,高风险AI系统的发行人应向该机构提供证明高风险系统符合本标题第2章所要求的所有必要信息和文件。经销商还应还应就国家主管当局就该系统采取的任何行动与当局合作。

第28
经销商、进口商、用户或任何其他第三方的义务

1. 就本条例而言,任何经销商,进口商,用户或其他第三方均应被视为提供者,并应在下列任何一种情况下,遵守第16条规定的提供者的义务:
(a) 他们以其名称或商标将高风险AI系统投放市场或投入使用;
(b) 他们修改了已经投放市场或投入使用的高风险AI系统的预期目的;
(c) 他们对高风险的AI系统进行了实质性的修改。
2. 如果发生第1款第(b)或(c)项所述情况,最初将高风险AI系统投放市场或投入使用的提供者,出于本条例的目的不再被视为提供者。

第29
高风险AI系统用户的义务

1. 高风险AI系统的用户应根据系统附带的使用说明(根据第2和第5款)使用此类系统。
2. 第1款中的义务不影响欧盟或国家法律规定的其他用户义务,也不影响用户自行组织其资源和活动以实施提供者指示的人为监督措施的自由裁量权。
3. 不影响第1款的前提下,在用户对输入数据进行控制的范围内,该用户应确保输入数据是与高风险AI系统的预期目的相关的。
4. 用户应根据使用说明监视高风险AI系统的运行。当他们有理由认为按照使用说明进行使用可能导致AI系统存在第65条第(1)款所指的风险时,他们应通知提供商或经销商并中止使用该系统。当用户发现任何严重事件或第六十二条所指的任何故障并中断AI系统的使用时,他们也应通知提供商或经销商。如果用户无法联系提供者,则应比照适用第62条。
对于受指令2013/36/EU规范的信贷机构的用户,根据该指令第74条的规定,通过遵守内部治理安排、流程和机制的规则,第一款规定的监督义务应被视为已履行。
5. 高风险AI系统的用户应保留该高风险AI系统自动生成的日志,只要这些日志受其控制。根据高风险AI系统的预期目的以及欧盟或国家法律规定的适用法律义务,应将日志保存适当的时间。
作为受指令2013/36 / EU监管的信贷机构的用户,应根据该指令第74条的规定保存日志,作为有关内部治理安排,流程和机制的文件的一部分。
6. 高风险AI系统的用户,在适用的情况下,应使用第13条提供的信息来履行其根据条例(EU)2016/679第35条或指令(EU)2016/680第27条进行数据保护影响评估的义务。
 
第4章
通知当局和受通知机构
 
第30
通知当局

1. 每个成员国均应指定或建立通知当局,负责建立和执行必要的程序,以进行合格性评估机构的评估,指定和通知以及对其进行监督。
2. 成员国可以指定(EC)765/2008号条例所指的国家认可机构为通知当局。
3. 通知当局的建立,组织和运行应与合格评定机构不发生利益冲突,并应确保其活动的客观性和公正性。
4. 通知当局的组织方式应使与合格评定机构通知有关的决定由不同于对这些机构进行评定的主管人员作出。
5. 通报机构不得提供合格评定机构从事的任何活动或任何商业或竞争性的咨询服务。
6. 通知机构应保护所获得信息的机密性。
7. 通知当局应配备足够的工作人员,以适当地执行其任务。
8. 通报当局应确保以相称的方式进行合格评定,避免给供应商造成不必要的负担,并确保受通知机构在开展活动时适当考虑企业规模、业务所在的行业、其结构和AI系统的复杂程度。

第31
合格评定机构通知申请

1. 合格评定机构应向其成立的成员国的通知机构提交通知申请。
2. 通知申请应附有合格评定机构声称具有能力的合格评定活动、合格评定模块和AI技术的说明,以及由国家认可机构发出的、证明合格评定机构符合第33条规定的要求的合格评定证书(如有)。应增加与任何其他欧盟统一法规所规定的申请人指定机构的现有指定有关的有效文件。
3. 如果合规评定机构不能提供认可证书,则应向通知当局提供必要的书面证据,
以验证,确认和定期监测其是否符合第33条的要求。对于任何根据其他协调法规欧盟指定的指定机构,与该指定相关的所有文件证书均可酌情用于支持其在本法规下的指定程序。

第32条
通知程序

1. 通知当局只能通知已满足第33条规定的合规评定机构。
2. 通知当局应使用委员会开发、管理的电子通讯工具通知委员会和其他成员国。
3. 该通知应包括合规评定活动,合规评定模块与有关人工智能技术的完整详细信息。
4. 只有在委员会或其他成员国通知后的一个月内未提出异议的情况下,有关合规评定机构才能执行指定机构的活动。
5. 通知当局应将通知的任何后续相关变更通知给委员会和其他成员国。

第33条
指定机构

1. 指定机构应按照第43条规定的合规评定程序对高风险AI系统的合规性进行验证。
2. 指定机构应满足完成其任务所必需的组织,质量管理,资源和程序要求。
3. 指定机构的组织结构,职责分配,报告机构和运作应确保对其实施的合规评定活动的绩效和结果充满信心。
4. 指定机构应独立于进行合规评估活动的高风险AI系统的提供者、与该系统具有经济利益的任何其他运营商,以及提供者的任何竞争对手。
5. 指定机构的组织和运作应保证其活动的独立性,客观性和公正性。指定机构应形成文件并执行结构和程序,以保证公正性,并在其整个组织,人员和评估活动中促进和应用公正性原则。
6. 指定机构应有成文的程序,以确保其人员,委员会,子公司,分包商和任何相关机构或外部机构的人员对进行合规评定活动时知悉的信息保密,但法律要求披露的除外。指定机构的工作人员必须对依据本规章执行任务时所获得的所有信息专业保密,但与成员国的通知当局进行其活动有关的除外。
7. 指定机构应制定执行活动的程序,并适当考虑到企业的规模,其经营的部门,
结构,所涉AI系统的复杂程度。
8. 指定机构应为其合规评定活动购买适当的责任保险,但是依据国内法应由有关成员国承担责任或者成员国直接对合规评定负责的除外。
9. 指定机构应能够以最高的职业操守和特定领域的必要能力来执行本法规规定的应由其实施的所有任务,无论这些任务是由指定机构本身执行,还是由其代表或在其责任下执行。
10. 指定机构应具有足够的能力,以便能够有效地评估外部机构代表其执行的任务。为此,对于任何合规评定程序以及与之相关的每种类型的高风险AI系统,指定机构应始终有足够的行政、技术和科学人员,他们应该具有相关AI技术、数据和数据计算、本法规第二章规定的条件相关的经验和知识。
11. 指定机构应参加第38条所述的协调活动。它们还应直接或被代表参加欧洲标准化组织,或确保它们了解相关标准的最新动态。
12. 指定机构应提供所有相关文件,并应要求将所有相关文件(包括提供者的文件)提交给第30条规定的通知机构,以使其能够进行评估,指定,通知,监督活动,并促进本章概述的评估。

第34条
指定机构的附属机构和分包机构

1. 指定机构分包与合规评定有关的特定任务或求助于附属机构时,应确保附属机构或分包机构符合第33条规定的要求,并相应地告知通知机构。
2. 无论建立在何处,指定机构均应对附属机构或分包机构执行的任务承担全部责任。
3. 仅在提供者同意的情况下,任务可以分包或由附属机构进行。
4. 指定机构应将有关附属机构或分包机构的资格评估及其根据本规章开展工作的有关文件交由通知机构处理。

第35条
本法规指定的指定机构的标识号和清单

1. 委员会应为指定机构分配一个标识号。即使在根据若干欧盟法案通知了机构的情况下,也应分配一个号码。
2. 委员会应公开提供根据本规章通知的机构的清单,包括已分配给它们的标识号和已通知的活动。委员会应保持更新该清单。

第36条
通知变更

1. 通知机构怀疑或被告知指定机构不再符合第33条规定的要求,或未能履行其义务时,应立即尽最大努力调查此事。在这种情况下,它应将提出的反对意见通知有关的指定机构,并使其有机会发表意见。如果通知当局得出结论,指定机构的调查不再满足第33条的要求或未能履行其义务,则应视情况的严重性,酌情限制,中止或撤回通知。它还应立即通知委员会和其他成员国。
2. 在限制,中止或撤回通知时,或在指定机构停止其活动的情况下,通知当局应采取适当措施,以确保该指定机构的档案被另一指定机构接管或应负责的通知当局请求供他们使用。

第37条
对指定机构能力的挑战

1. 在必要时,委员会应对有理由怀疑指定机构是否符合第33条规定条件的案子,进行调查。
2. 应请求,通知机构应向委员会提供与有关指定机构的通知相关的所有信息。
3. 委员会应确保对根据本条进行调查期间获得的所有机密信息进行保密。
4. 如果委员会确定指定机构不符合或不再符合第33条的要求,则应通过合理的决定,要求通知成员国采取必要的纠正措施,包括在必要时撤回通知。该实施法案应根据第74条第2款所述的审查程序通过。

第38条
指定机构的协调

1. 委员会应确保就本法规所涵盖的领域,按照本法规开展AI系统合规评定程序的活跃的指定机构之间进行适当的协调与合作,并以指定机构部门小组的形式进行适当的运作。
2. 成员国应确保其指定机构直接或通过指定代表参加该小组的工作。

第39条
第三国合规评定机构

根据与欧盟达成协议的第三国法律建立的合规评定机构,可以被授权从事根据本法规进行的指定机构的活动。
4qp哈希力量 | 消除一切智能鸿沟

第5章

标准、合规评定、证书、注册
 
40
统一标准

符合已在《欧盟官方公报》上发布的统一标准或其部分的高风险AI系统,在该等标准涵盖的范围内,应被推定为符合本法规第二章规定的条件。

41
共同规范

1. 如果不存在第40条中提到的统一标准,或者委员会认为相关的统一标准不足,或者需要解决特定的安全或基本权利问题,委员会可以通过实施法案的方式,对本法规第2章中规定的要求采取共同规范。该等实施法案应符合第74条第2款规定的审查程序。
2. 委员会在编写第1款所述的共同规范时,应收集根据相关部门欧盟法律建立的有关机构或专家组的意见。
3. 符合第1款所指共同规范的高风险AI系统,应推定为在该规范涵盖的条件范围内,符合本法规第2章所规定的要求。
4. 如果提供者未遵守第1款中提到的共同规范,则应适当证明其采用了至少与之等效的技术解决方案。

第42条
推定符合某些要求

1. 考虑到高风险AI系统的预期目的,已经针对该等数据打算使用的特定地理、行为和功能设置进行了测试,它们被推定为符合第10条第4款的要求。
2. 根据欧洲议会和理事会条例(EU)2019/881已通过网络安全计划认证或已发布符合性声明的高风险AI系统,只要网络安全证书或符合性声明或其部分内容涵盖了该等要求,就可以推定在《欧盟官方公报》上发布的内容符合本法规第15条中规定的网络安全要求。

43
合规评估

1. 对于附件3第1点中列出的高风险AI系统,在证明高风险AI系统符合本法第2章中规定的要求时,提供者已符合了第40条中提到的统一标准或第41条所述的能够适用的通用规范,提供商应遵循以下程序之一:
(a) 附件6中提到的基于内部控制的合规评定程序;
(b) 附件7中提到的基于质量管理体系评估和技术文件评估并由指定机构参与的合规评估程序。
 
在证明高风险AI系统符合本法第2章规定的情况下,提供者未符合或仅符合了第40条规定的部分统一标准,或不存在统一标准以及第41条规定的共同规范不适用,提供方应遵循附件7中规定的合规评估程序。
 
为符合附录7中提及的合规评估程序的目的,提供者可以选择任何指定机构。但是,如果系统拟被执法、移民或庇护当局以及欧盟机构投入使用,则第63条第5款或第6款所指的市场监督机构应作为指定机构。
 
2. 对于附件3第2点至第8点中提到的高风险AI系统,提供者应遵循附件6中提到的基于内部控制的合规评估程序,该程序不规定指定机构的参与。对于附件3第5(b)点中提到的,由指令2013/36 / EU监管的信贷机构投放市场或投入使用的高风险AI系统,合规评估应作为该指令第97条至101条规定的程序的一部分。
 
3. 对于符合附件2中A节所列法律行为的高风险AI系统,提供者应遵循该等法律行为所要求的相关合规评估。本法第2章中列出的要求应适用于那些高风险AI系统,并作为其评估的一部分。附件7第4.3、4.4、4.5点以及第5款的4.6点也应当适用。
 
为符合该评估的目的,上述法律行为的指定机构有权控制高风险AI系统是否符合本法第2章中规定的要求,但是该等机构必须遵守第33条第4、910款规定的要求进行评估,并符合法律行为的通知程序。
 
产品制造商可以根据附件2A节的法律行为的规定退出第三方合规评估,但是制造商应已符合涵盖所有相关要求的统一标准,则制造商在符合统一标准或第41条可适用的通用标准时可以适用该规定,并涵盖本法第2章的所有要求。
 
4. 高风险的AI系统无论何时进行实质性修改,都应接受新的合规评估程序,无论修改后的系统是否打算进一步发行还是由当前用户继续使用。
 
对于投放市场或投入使用后仍能继续学习的高风险AI系统,提供商在初次合规评估时就已经预先确定的、且属于附件4第2(f)点规定的技术文档中所包含信息的一部分的高风险AI系统及其性能的变化,不应构成实质性修改。
 
5. 委员会有权根据第73条采取授权行动,以更新附件6和附件7,引入合格评估程序的要素,该等要素是随着技术进步而变得必要的。
 
6. 委员会有权通过授权的法案来修改第1款和第2款,以使附件3第2点至第8点所指的高风险AI系统服从附件7或其部分所要求的合规评估程序。委员会应采取此类授权的行为,同时考虑到附件6中规定的基于内部控制的合规评估程序的有效性,以防止或最大程度地减少健康和安全方面的风险,并保护此类系统所构成的基本权利以及可用性指定机构之间的能力和资源是否充足。

44

1. 认证机构根据附件7签发的证明,应以该认证机构所在成员国确定的官方语言或认证机构可以接受的欧盟官方语言法写。
 
2. 证书应在其载明的期限内有效,最长不得超过五年。依提供者的申请,根据适用的合规评估程序进行的重新评估,可以将证明的有效期进一步延长,每次不超过五年。
 
3. 如果指定机构发现AI系统不再满足本法第2章中规定的要求,则应当根据比例原则,中止或撤回签发的证明或对其施加任何限制,除非通过系统提供者在指定机构设定的适当期限内采取适当的纠正措施来确保符合该等要求。指定机构应说明决定的理由。

第45条
对指定机构的决定提出上诉

成员国应确保对指定机构有正当利益的当事方有权对指定机构的决定上述。

第46
指定机构的公告义务

1. 指定机构应将以下内容通知公告机构:
(a) 根据附件7的要求签发的任何欧盟技术文件评估证明、对该等证书的任何补充、质量管理体系批准书;
(b) 根据附件7的要求签发的任何拒绝、限制、中止或撤销的欧盟技术文件评估证明或质量管理体系批准书;
(c) 任何影响通知范围或通知条件的情况;
(d) 从市场监督机构收到的有关合规评估活动的任何信息要求;
(e) 规定的通知范围内的合规评估活动以及任何其他活动,包括跨境活动和分包。
 
2. 指定机构应将以下情况通知其他指定机构:
(a) 拒绝、中止或撤销的质量管理体系批准、规定发布的质量体系批准;
(b) 欧盟技术文件评估证明,或者为了影响要求,就已颁发的证明和/或补充文件,所做的拒绝、撤回、中止或以其他方式限制的任何补充文件。
 
3. 指定机构应向其他从事相同人工智能技术的合规评估活动的其他指定机构,提供否定性和规定的合格性评估结果有关的相关信息。
 
第47条
合规评估程序的减损

1. 因公共安全、保护个人的生命健康、环境保护和重点工业的基础资产保护,任何市场监督机构可以通过减损第43条的效力,在欧盟成员国的领土范围内授权高风险AI系统的投入市场或投入使用。但是授权的时间应有限制,并进行必要的合规评估程序,且程序完成时应终止。程序的完成不应当有不合理的迟延。
 
2. 仅当市场监督机构认为高风险AI系统符合本法第2章的要求时,才应签发第1款所述的授权。市场监督机构应将根据第1款发布的任何授权通知委员会和其他成员国。
 
3. 凡在收到第2款所述信息的15日内,成员国或委员会未对成员国的市场监督机构根据第1款发出的授权提出异议,该授权应视为合理。
 
4. 凡在收到第2款所指通知的15日内,成员国对另一成员国的市场监督机构签发的授权提出异议,或委员会认为该授权违反了欧盟法律或成员国关于第2款所指系统遵守情况的结论是毫无根据的,委员会应毫不迟延的与有关成员国进行磋商;应当咨询有关经营者的意见,且相关经营者有提出意见的可能性。有鉴于此,委员会应决定授权是否合理。委员会应将其决定通知有关成员国和有关的经营人。
 
5. 如果认为授权不合理,有关成员国的市场监督机构应撤回授权。
 
6. 通过第1款至第5款效力的减损,第(EU)2017/745号条例和(EU)2017/746号条例所涵盖的打算用作设备或本身就是设备的安全组件的高风险AI系统, (EU)2017/745法规第59条和(EU)2017/746法规第54条也应适用于对符合本法第2章规定的要求进行合规评估的减损。

第48条
 欧盟合规声明

1. 供应商应为每个AI系统制定一份书面的欧盟合规声明,并在AI系统投放市场或投入使用后,并交由国家主管部门保存10年。欧盟合规声明应标识制定的AI系统。欧盟合规声明的副本应按规定提供给相关的国家主管部门。
 
2. 欧盟合规声明应表明涉及的高风险AI系统符合本法第2章中规定的要求。欧盟合规声明应包含附件5中列出的信息,并应翻译成官方的欧盟语言或提供高风险AI系统的成员国所要求的一种或多种语言。
 
3. 如果高风险的AI系统要受其他欧盟协调法规的约束,这也需要欧盟合规声明,则应针对该高风险AI系统法规起草一份涉及所有法规的欧盟合规声明。该声明应包含识别该声明所涉及的欧盟协调法规所需的所有信息。
 
4. 通过起草欧盟合规声明,提供商应承担遵守本法第2章中规定的责任。提供商应适时更新欧盟的符合性声明。
 
5. 依第73条的规定,为更新附件5规定的欧盟合规声明的内容,以依据技术进步引入必要的内容,委员会有权采取授权行动。
 
第49条
CE合格标志

1. 对于高风险的AI系统,CE标记应清晰可见,清晰易辨。如果由于高风险AI系统的性质而无法做到或不能保证这样做,则应适当地将其粘贴在包装或随附的文档上。
2. 本条第一款所指的CE标志应遵守(EC)765/2008号条例第30条规定的一般原则。
3. 在适用的情况下,CE标记后应是负责第四十三条规定的合格评定程序的指定机构的标识号。在提及高风险AI系统满足CE标志要求的任何促销材料中,还应标识该标识号。

第50条
文件保管

提供者应在AI系统被投入市场或投入使用后的十年内,由国家主管部门处置:
(a) 第11条所指的技术文件;
(b) 第17条所指的有关质量管理体系的文件;
(c) 由指定机构批准的有关变更的文件(如适用);
(d) 指定机构发布的决定和其他文件(如适用);
(e) 第四十八条中提到的欧盟合规性声明。

第51条
注册

在将第六条第二款所述的高风险AI系统投入市场或投入使用之前,提供商或授权代理人(如适用)应将该系统注册到第60条所指的欧盟数据库中。

 第四编 
某些AI系统的透明性义务 

52条
某些AI系统的透明性义务

1. 提供者应确保以与自然人互动的方式设计和开发AI系统,以使自然人被告知他们正在与AI系统互动,除非从情况和使用语境中显而易见。该义务不适用于法律授权的侦查,预防,调查和起诉刑事犯罪的AI系统,除非该等系统可供公众举报刑事犯罪。
2. 情绪识别系统或生物特征分类系统的用户应告知自然人接触到的该系统的操作情况。此义务不适用于法律允许侦查、预防和调查刑事犯罪的、用于生物识别分类的AI系统
3. 生成或操作图像、音频或视频内容的AI系统的用户,该图像、音频或视频内容非常类似于现有的人、物体、地方或其他实体或事件,并且会使人错误地认为是真实的或真实的(“深度伪造”),应披露内容是人为生成或操作的。
但是,第1款不适用于法律授权使用于侦查,预防,调查和起诉刑事犯罪的情形,或者行使言论自由权和《欧盟基本权利宪章》所保障的艺术和科学自由权所必要,并为第三方的权利和自由采取适当的保障措施的情形。
4. 第1、第2和第3款不应影响本法规第三编中规定的要求和义务。

第五编 
 支持创新的措施 

53条
AI监管沙箱

1.由一个或多个成员国主管当局或欧洲数据保护专员公署建立的AI监管沙箱应提供一个受控的环境,以促进在将创新的AI系统根据具体计划投入市场或其投入使用前,在有限的时间内开发、测试和验证该系统。此项工作应在主管当局的直接监督和指导下进行,以确保遵守本法规的要求,并在必要时遵守沙箱内受监督的其他欧盟和成员国法规。
2.成员国应确保在创新的AI系统涉及个人数据处理的范围内,或在其他提供或支持访问数据的国家主管部门或主管部门的监督权限范围内,国家数据保护机构和其他国家机构与AI监管沙箱的运行相关。
3. AI监管沙箱不得影响主管当局的监督和纠正权。在此类系统的开发和测试过程中发现的任何对健康、安全和基本权利的重大风险,均应立即降低该风险,否则,将中止开发和测试过程,直到风险降低为止。
4. AI监管沙箱的参与者应根据适用的欧盟和成员国责任法律对沙箱中进行的实验对第三方造成的任何损害承担责任。
5.已建立AI监管沙箱的成员国主管当局应在欧洲人工智能委员会的框架内协调其活动并进行合作。他们应向欧盟人工智能委员会和欧盟委员会提交有关实施该计划的结果的年度报告,包括良好实践,经验教训以及有关其设置的建议,并酌情就本法规和在欧盟内部在沙箱内受监督的其他欧盟法规的适用情况提出建议。
6. AI法规沙箱的运作方式和条件,包括资格范围和申请、选择、参与和退出沙箱的程序,以及参与者的权利和义务,应在实施法案中阐明。实施法案应按照依照第74条第2款规定的审查程序采取实施措施。

54条
为了公共利益在AI监管沙箱中进一步开发个人数据以开发某些AI系统

1. 在AI监管沙箱中,应在以下条件下处理用于其他目的合法收集的个人数据,以开发和测试沙箱中的某些创新AI系统:
(a)应开发创新的AI系统,以维护以下一个或多个领域的实质性公共利益:
(i)在主管当局的控制和职责下,预防、调查、侦查或起诉刑事犯罪或执行刑事处罚,包括维护和预防对公共安全的威胁。处理应基于成员国或欧盟法律;
(ii)公共安全和公共健康,包括疾病的预防、控制和治疗;
(iii)高度保护和改善环境质量;
(b)处理的数据对于遵守第二章、第三章中提到的一项或多项要求是必不可少的,而该等要求不能通过处理匿名的、合成的或其他非个人数据来有效地满足;
(c)有有效的监视机制来确定沙箱实验期间是否可能对数据主体的基本权利造成任何高风险,以及具有响应机制以迅速降低该等风险并在必要时停止处理;
(d)在参与者的控制下,在沙箱环境中处理的任何个人数据均处于功能独立、 隔离且受保护的数据处理环境中,并且只有经授权的人员才能访问该数据;
(e) 处理的任何个人数据不会被其他方传输、转移或以其他方式访问;
(f) 在沙箱环境中对个人数据的任何处理均不会导致影响数据主体的措施或决策;
(g) 一旦终止参与沙箱或个人数据已达到其保留期限,将删除在沙箱情况下处理的任何个人数据;
(h) 在沙箱参与过程中以及沙箱终止后的一年内,保留在沙箱环境中处理个人数据的日志,其唯一目的仅是为了履行本条或其他适用的欧盟或成员国法规下的责任和文件义务;
(i) 完整、详细地描述了AI系统的培训、测试和验证背后的过程和基本原理,并将测试结果作为附件IV中的技术文档的一部分保存在一起;
(j) 在沙箱中开发的AI项目的简短摘要,其目标和预期结果已发布在主管部门的网站上。
2. 第1款不影响欧盟或成员国的法规,为该法规中明确提及的目的以外的其他目的而进行的处理除外。

第55条
面向小规模提供商和用户的措施

1. 成员国应采取以下行动:
(a) 在满足资格条件的范围内,为小型提供商和初创企业提供对AI监管沙箱的优先访问权;
(b) 针对小规模提供者和用户的需求,针对本法规的应用,组织专门的提高认识活动;
(c) 在适当的情况下,建立专门的渠道与小规模提供商、用户和其他创新者进行沟通,以提供指导并回答有关本法规实施的疑问。
2. 在根据第43条设定合格评定的费用时,应考虑到小型提供商的特殊利益和需求,该等费用应按其规模和市场规模成比例地减少。

 第六编 
4qp哈希力量 | 消除一切智能鸿沟


4qp哈希力量 | 消除一切智能鸿沟

 治理 

第一章
欧洲人工智能委员会

第56条
欧洲人工智能委员会的成立

1. 成立了“欧洲人工智能委员会”(“委员会”)。
2. 委员会应向欧盟委员会提供建议和协助,以:
(a)促进国家监管当局和欧盟委员会在本条例所涉事项上的有效合作;
(b)协调并协助欧盟委员会和国家监管当局及其他主管机构就本法规所涵盖的事项对内部市场上出现的新问题进行指导和分析;
(c)协助国家监管部门和欧盟委员会确保本法规的一致适用。

第57
委员会结构

1. 委员会应由国家监管机构(由该机构的负责人或同等高级官员代表)和欧洲数据保护专员公署组成。可以邀请其他国家主管部门参加与之有关的会议。
2. 经欧盟委员会同意,委员会应由其成员简单多数通过其议事规则。议事规则还应包含第58条所列与执行委员会任务有关的运营方面内容。委员会可以根据需要设立子小组,以研究特定问题。
3. 委员会由欧盟委员会主持。委员会应根据本规章的理事会任务及其议事规则召集会议并准备议程。欧盟委员会应根据本规章为委员会的活动提供行政和分析支持。
4. 委员会可以邀请外部专家和观察员参加会议,并可以与感兴趣的第三方进行交流,以在适当范围内告知其活动。为此,欧盟委员会可促进委员会与欧盟其他机构、办公室、机构和咨询小组之间的交流。

第58条 委员会的任务

在根据第56条第2款向委员会提供建议和协助时,委员会应特别:
(a) 在成员国之间收集和分享专业知识和最佳实践;
(b) 为成员国的统一行政管理做出贡献,包括为第53条所述的监管沙箱的运作做出贡献;
(c) 就与实施本规章有关的事项发表意见、建议或书面意见,特别是
(i) 有关技术规范或现有标准的有关第二章第三章规定的要求,
(ii) 有关用第40条和第41条中提到的统一标准或通用规范的信息,
(iii) 有关写指导文件的信息,包括第71条所指的有关设置行政罚款的指导原则。

第2章 国家主管部门

第59条 指定国家主管部门

1. 每个成员国应设立或指定国家主管部门,以确保本法规的适用和实施。应当组织国家主管部门,以维护其活动和任务的客观性和公正性。
2. 每个成员国应在国家主管部门中指定一个国家监管构。除非成员国有组织和行政理由指定一个以上的机构,否则国家监管机构应作为通知机构和市场监督机构。
3. 成员国应将其指定的一个或多个机构通知欧盟委员会,并告知指定多个机构的理由(如适用)。
4. 成员国应确保向国家主管部门提供足够的财政和人力资源,以履行本条例所规定的任务。特别是,国家主管部门应有足够的长期工作人员,其能力和专门知识应包括对AI技术,数据和数据计算,基本权利,健康和安全风险以及对现有标准和法律规范的深入了解。
5. 成员国应每年向委员会报告国家主管部门的财政和人力资源状况,并评估其适当性。委员会应将该信息传送给董事会,以进行讨论和提出可能的建议。
6. 委员会应促进国家主管部门之间的经验交流。
7. 国家主管部门可以向本计划的实施者提供指导和意见,包括向小规模的提供者提供指导和意见。每当国家主管当局打算在其他欧盟法规所涵盖的领域中就AI系统提供指导和建议时,应酌情咨询该欧盟法规下的国家主管部门。成员国还可以建立一个中央联络点,与运营人进行沟通。
8. 当欧盟的机构,机构和组织属于本法规的监管范围时,欧洲数据保护监督员应作为其监督的主管机构。
 
第七编 欧盟用于独立高风险AI系统的数据库 

第60条 欧盟针对独立高风险AI系统的数据库

1. 委员会应与成员国合作,建立并维护一个欧盟数据库,其中包含第2款中提及的有关第6条第2款中提到的高风险AI系统的信息,并根据第51条进行注册。
2. 提供商应将附件八中列出的数据输入到欧盟数据库中。委员会应向他们提供技术和行政支持。
3. 欧盟数据库中包含的信息应向公众开放。
4. 欧盟数据库仅应在根据本法规收集和处理信息所必需的范围内包含有个人数据。该信息应包括负责注册系统并具有代表提供者的合法权限的自然人的姓名和联系方式。
5. 委员会应是欧盟数据库的控制人。它还应确保为提供者提供足够的技术和行政支持。

 第八编 入市后监测、信息共享、市场监视 

第1章 市场监测

第61条 提供者的售后监控和高风险AI系统的售后监控计划

1. 供应商应以与AI技术的性质和高风险AI系统的风险相称的方式建立并记录售后监控系统。
2. 售后监控系统应积极,系统地收集,记录和分析用户提供的或通过其他来源收集的有关高风险AI系统在其整个生命周期内的性能的相关数据,并允许提供商评估AI系统的持续合规性符合第三编第二章的要求。
3. 入市后测系统应基于入市后监测计划。入市后监督计划应作为附件四中提到的技术文件的一部分。委员会应通过一项实施法案,详细规定条款,为入市后监督计划建立模板,并制定计划中要包括的要素清单。
4. 对于附件二提及的法律行为所涵盖的高风险AI系统,如果已经根据该立法建立了售后监测系统和计划,则第1、2和3段中所述的要素应整合到该系统中,并适当地计划。
第一项也应适用于投放市场或由指令2013/36 / EU监管的信贷机构投入服务的附件III第5(b)点所指的高风险AI系统。

第2章 共享事件和故障信息

第62条 报告严重事件和故障

1. 处在欧盟市场上的高风险AI系统的提供者应将严重违反该欧盟法律规定的义务或严重故障的系统报告给成员国市场监督机构,以保护其基本权利。
提供商应在AI系统与事件或故障之间建立因果关系或此类链接的合理可能性后立即发出通知,并且无论如何不得迟于提供商意识到严重事故或故障的15天之内。
2. 市场监督机构收到有关欧盟法旨在保护基本权利的违反义务的通知后,应通知第64条第3款所述的国家公共当局或机构。委员会应制定专门的指南,以促进遵守第1款中规定的义务。该指南应最迟于本法规生效后12个月发布。
3. 对于附件III第5(b)点中提到的,由指令2013/36 / EU监管的信贷机构的提供者投放市场或投入使用的高风险AI系统,以及设备规章(EU)2017/745和法规(EU)2017/746所涵盖的设备安全组件,或本身就是设备,发生严重事件或功能故障的通知应仅限于构成违反欧盟法律义务旨在保护基本权利的行为。

第3章 执法

第63条 欧盟市场中AI系统的市场监视和控制

1. (EU)2019/1020法规应适用于本法规涵盖的AI系统。但是,为了有效执行本法规:
(a) (EU)2019/1020法规中对经济经营者的任何提及应理解为包括本法规第2编第3章中确定的所有经营者;
(b) (EU)2019/1020法规中对产品的任何提及均应理解为包括本法规范围内的所有AI系统。
2. 国家监管机构应定期向委员会报告有关市场监督活动的结果。国家监管机构应立即向委员会和国家竞争管理当局报告在市场监督活动过程中发现的,可能适用于欧盟竞争规则的任何信息。
3. 对于与附件二A节所列法律行为适用的产品有关的高风险AI系统,就本法规而言,市场监督机构应是负责根据该等法律行为指定的市场监督活动的机构。
4. 对于投放市场,投入使用或由欧盟金融服务法规监管的金融机构使用的AI系统,就本法规而言,市场监督机构应是负责根据该法规对该等机构进行财务监督的相关机构。
5. 就第1(a)点中列出的用于执法目的AI系统(附件III第6点和第7点)而言,对于本法规,成员国根据(EU)2016/680号指令或第2016/679号条例应指定市场监督机构为有效的数据保护机构以及监管机构,或负责监管移民或庇护机构活动的国家主管部门中投入使用或使用该等系统的执法,。
6. 如果欧盟的机构,机构和组织属于本法规的监管范围,则欧洲数据保护监督员应充当其市场监督机构。
7. 成员国应促进根据本法规指定的市场监督机构与其他相关国家机构或机构之间的协调,该等机构或部门监督附件二中所列的欧盟协调法规或在附件三中可能与所提及的高风险AI系统相关的其他欧盟法规的应用。

第64条 访问数据和文档

1. 市场监督机构应在其活动范围内访问数据和文档,包括通过应用程序编程接口(API)或其他适当的技术手段,以及启用远程访问的工具,全面访问提供商所使用的培训,验证和测试数据集。
2. 如果需要评估高风险AI系统是否符合第二编第三章中的要求,在合理的要求下,应授予市场监督机构访问AI系统源代码的权限。
3.对根据欧盟保护与使用附件III中提到的高风险AI系统有关的基本权利的法律产生的义务进行监督或强制执行的国家公共机构或机构,因在其管辖范围内实现其职责范围内的权能所必需,有权要求提供和访问根据本条例创建或维护的任何文档规定,有关公共当局或机构应将任何此类请求通知有关成员国的市场监督当局。
4. 本条例生效后三个月,每个成员国应确定第3款所指的公共当局或机构,并在国家监管机构的网站上公开提供该清单。成员国应将名单通知委员会和所有其他成员国,并保持名单更新。
5. 如果第3款中提到的文件不足以确定是否发生了违反欧盟法规定的旨在保护基本权利的义务,则第3款中提到的公共机构或部门可以向市场监督机构提出合理的要求,以组织通过技术手段对高风险的AI系统进行分析的测试。市场监督机构应在提出请求后的合理时间内,在提出请求的公共机构或机构的密切参与下组织测试。
6. 第3款所指国家公共机构或部门根据本条规定获得的任何信息和文件,应按照第70条规定的保密义务处理。

第65条 成员国层面处理AI系统风险的程序

1. 就涉及健康或安全风险或保护人的基本权利的风险而言,存在风险的AI系统应理解为具有法规(EU)2019/1020第3条第19点定义的风险的产品。
2. 如果成员国的市场监督机构有充分的理由认为AI系统存在第1款所述的风险,则应就有关AI系统是否符合所有要求和义务进行评估。本法规中规定的内容,当存在保护基本权利的风险时,市场监督机构还应通知第64条第3款所述的有关国家公共机构或相关机构。有关经营者应在必要时与市场合作监督机构和第64条第3款提及的其他国家公共机构或机构进行合作。如果市场监督机构在评估过程中发现AI系统不符合本法规规定的要求和义务,则应立即要求相关经营者采取所有适当的纠正措施以使AI使其符合法规,如从市场上撤回AI系统或在合理的期限内根据风险的性质对其进行召回。市场监督机构应当据此通知有关指定机构。(EU2019/1020法规第18条应适用于第二小节中提及的措施。
3. 市场监督机构认为不遵守不仅限于其本国领土,应将评估的结果以及其要求经营者采取的行动通知委员会和其他成员国。
4. 运营人应确保对已在整个欧盟市场上出售的所有相关AI系统采取所有适当的纠正措施。
5. 如果AI系统的运营商在第2款所述的期限内未采取适当的纠正措施,则市场监督机构应采取所有适当的临时措施,以禁止或限制AI系统在其国内市场上销售,来回该系统。该市场的产品还是要召回它。该主管部门应立即将该等措施通知委员会和其他成员国。
6. 5款所指的信息应包括所有可用的详细信息,尤其是识别不符合要求的AI系统所需的数据,AI系统的产地,所称不合规的性质以及所涉及的风险,国家措施的性质和持续时间以及有关经营者提出的论点。市场监督机构应特别指出不合规是否是由下一种或多种原因造成的:
(a) AI系统无法满足第三编第2章中规定的要求;
(b) 40条和第41条中提到的统一标准或共同规范中的缺陷赋予了符合性推定。
7. 除启动程序的成员国的市场监督机构外,成员国成员国的市场监督管理局启动过程应当及时通知委员会和其他成员国的任何措施和任何额外的信息处理有关违规行为的AI有关系统以及在不同意所通知的国家措施的情况下对其提出异议。
8. 如果在收到第5款所述信息的三个月内,成员国或委员会未就成员国采取的临时措施提出异议,则应认为该措施是正当的。根据(EU2019/1020法规第18条,这不影响相关运营商的程序权利。
9. 所有成员国的市场监督机构应确保对有关产品采取适当的限制措施,例如立即将产品从其市场撤回。
 
第66
欧盟保障程序

1. 如果在收到第65条第(5)款所述通知的三个月内,一个成员国对另一成员国采取的措施提出异议,或者委员会认为该措施违反了欧盟法律,则委员会应立即与有关成员国和运营人进行磋商,并应评估国家措施。根据评估结果,委员会应在第65条第(5)款所述通知后的9个月内决定该国家措施是否合理,并将此决定通知有关成员国。
2. 如果认为该国家措施是合理的,则所有成员国均应采取必要措施,以确保将不合格的AI系统从其市场中撤出,并应相应地告知委员会。如果认为国家措施不合理,则有关成员国应撤回该措施。
3. 如果认为国家措施是合理的,而AI制度的不合理因于本法规第40条和第41条中提到的统一标准或通用规范的缺陷,则委员会应采用第11条规定的程(EU1025/2012号法规。
 
第67
合规的AI系统存在风险

1. 在根据第65条进行评估的情况下,一个成员国的市场监督机构认为,尽管AI系统符合本法规,但它会对人员的健康或安全构成风险,难以遵守欧盟规定的义务或旨在保护基本权利或公共利益保护其他方面的国家法律,它应要求相关运营商采取一切适当措施,以确保相关的AI系统在投放市场或投入使用时不再提供以下内容:风险、从市场上撤回AI系统或在合理的时间内召回AI系统、该系统应与风险的性质相称。
2. 提供者或其他有关经营者应确保在第1款所指成员国的市场监督机构规定的时限内对在整个欧盟市场上可用的所有相关AI系统采取纠正措施。
3. 成员国应立即通知委员会和其他成员国。该信息应包括所有可用的详细信息,尤其是识别相关AI系统所需的数据,AI系统的来源和供应链,所涉及风险的性质以及所采取的国家措施的性质和持续时间。
4. 委员会应立即与成员国和有关经营者进行磋商,并应评估所采取的国家措施。基本上来说根据评估结果,委员会应决定该措施是否合理,并在必要时提出适当的措施。
5. 委员会应将其决定告知成员国。
 
第68
形式上的违规

1. 成员国的市场监督机构做出下列发现之一时,应要求有关提供者制止有关的违规行为:
(a) 贴有符合性标志,违反了第四十九条;
(b) 合格标志尚未粘贴;
(c) 尚未制定欧盟符合性声明;
(d) 欧盟合格声明未正确拟定;
(e) 合格评定程序中所涉及的指定机构的标识号(如适用)尚未粘贴;
2. 如果第1款中提到的不遵守行为持续存在,有关成员国应采取一切适当施,以限制或禁止在市场上提供高风险的AI系统,或确保将其从市场上撤回。
 
 第九编 
行为准则 

第69
行为守则

1. 委员会和成员国应鼓励并促进根据技术规范起草旨在促进自愿向除高风险AI系统以外的AI系统自愿应用行为准则的行为准则,该等准则应根据技术规范在第三编第2章中进行阐述,在技术规范和解决方案的基础上,根据系统的预期用途,确保符合该等要求的适当手段。
2. 委员会和理事会应鼓励并协助制定行为守则,以促进自愿向AI系统应用诸如环境可持续性,残疾人无障碍设施,利益相关者参与设计和开发等相关要求的要求。人工智能系统和开发团队的多样性以明确的目标和关键绩效指标为基础,以衡量该等目标的实现情况。
3. 行为准则可由AI系统的单个提供者或代表它们的组织或由二者共同制定,包括在用户和任何感兴趣的利益相关者及其代表组织的参与下制定。考虑到相关系统预期目的相似性,行为准则可能涵盖一个或多个AI系统。
4. 委员会和理事会在鼓励和促进行为守则的制定时,应考虑到小型提供商和初创企业的特定利益和需求。
 
第十编 
 机密性和惩罚 

第70
保密

1. 参与实施本规章的国家主管部门和指定机构应尊重在执行其任务和活动时所获得的信息和数据的机密性,以特别保护:
(a) 自然人或法人的知识产权,机密商业信息或商业秘密(包括源代码),但除关于保护未公开的专有技术和商业信息的第2016/943号指令第5条(商业秘密)规定的情况之外禁止其非法获取,使用和披露。
(b) 有效执行本法规,特别是为了检查,调查或审计的目的;公共和国家安全利益;
(c) 刑事或行政诉讼程序的完整性。
2. 在不损害第1款的前提下,当提到高风险AI系统时,未经原始国家主管部门和用户事先协商,不得披露国家主管部门之间以及国家主管部门和委员会之间以保密方式交换的信息。当执法、移民或庇护当局使用附件三第167款中的信息时,这种信息披露会危害公共和国家安全利益。如果执法、移民或庇护当局是附件三第167款所指的高风险AI系统的提供者,则附件IV所指的技术文件应保留在该等当局的房舍内。该等当局应确保第63条第(5)款和第(6)款所指的市场监督机构(如适用)可以应要求立即获取文件或获取文件的副本。仅允许拥有适当级别的安全许可的市场监督机构的人员访问该文件或其任何副本。
3. 1和第2款不应影响委员会,成员国和指定机构在信息交流和传播警告方面的权利和义务,也不影响当事各方根据成员国刑法提供信息的义务。
4. 委员会和成员国可在必要时与之缔结双边或多边保密安排以保证适当保密水平的第三国监管机构交换机密信息。
 
第71
处罚

1. 成员国应按照本条例所规定的条款和条件,制定适用于违反本条例的处罚规定,包括行政罚款,并应采取一切必要措施,确保适当,有效地执行该等规定。规定的处罚应是有效的、相称的和劝阻性的。它们应特别考虑到小规模提供者和初创企业的利益及其经济可行性。
2. 成员国应将该等规则和措施通知委员会,并应将对其产生影响的任何后续修改立即通知委员会。
3. 以下违法行为最高可处以30,000,000欧元的行政罚款;如果犯罪者是公司,则处以最高前一财政年度全球年营业额的6%的罚款,以较高者为准:
(a) 不遵守第5条中提到的禁止人工智能实践的规定;
(b) 人工智能系统不符合第10条规定的要求。
4. 除第5条和第10条所规定的要求或义务外,不遵守AI系统的任何要求或义务,应处以最高20,000,000欧元的行政罚款;如果违法者是公司,如果违规者是一家公司,最高可达其上一财政年度全球营业额的4%,以较高者为准。
5. 向指定机构和国家主管部门提供不正确,不完整或具误导性的信息,以响应请求,应处以最高10,000,000欧元的行政罚款,或者,如果犯罪人是公司,则处以最高罚款总额的2%。前一个财政年度的全球年营业额,以较高者为准。
6. 在决定每种情况下的行政罚款额时,应考虑到具体情况的所有相关情况,并应适当考虑以下内容:
(a) 侵权行为的性质,严重性和持续时间及其后果;
(b) 其他市场监督机构是否已针对同一侵权行为对同一经营者处以行政罚款。
(c) 构成侵权的经营者的规模和市场份额;
7. 每个成员国应制定规则,确定是否可以对在该成员国中设立的公共当局和机构施加行政罚款,以及在多大程度上对其施加行政罚款。
8. 根据成员国的法律制度,行政罚款规则的适用方式可以由适用于该等成员国的其他机构的主管国家法院来判处罚款。在该等成员国中适用此类规则应具有同等效力。
 
第72
对欧盟机构、机构和团体的行政罚款

1. 欧洲数据保护专员公署可以对属于本法规范围内的欧盟机构,机构和团体处以行政罚款。在决定是否处以行政罚款并决定每个案件的行政罚款额时,应考虑到具体情况的所有相关情况,并应适当考虑以下内容:
(a) 侵权行为的性质,严重性和持续时间及其后果;
(b) 欧洲数据保护专员公署的合作以纠正侵权并减轻侵权的可能的不利影响,包括遵守欧洲数据保护专员公署先前针对欧盟机构或有关机构或组织下令采取的任何措施同一主题;
(c) 欧盟机构、机构或组织先前做出的任何类似侵权行为;
2. 以下违法行为将受到最高500,000欧元的行政罚款:
(a) 不遵守第5条中提到的禁止人工智能实践的规定;
(b) 人工智能系统不符合第10条规定的要求。
3. 除第5条和第10条所规定的要求或义务外,不遵守AI系统的任何要求或义务,应处以最高250,000欧元的行政罚款。
4. 在根据本条作出决定之前,欧洲数据保护专员公署应让欧盟机构,机构或组织成为欧洲数据保护监督员进行诉讼的主体,有机会就可能的侵权事宜进行听证。欧洲数据保护专员公署应仅根据有关当事方能够发表评论的要素和情况做出其决定。投诉人(如有)应与诉讼程序紧密联系。
5. 诉讼中应充分尊重有关当事方的辩护权。他们有权访问欧洲数据保护主管的文件,但要出于保护个人数据或商业秘密的个人或企业的合法利益。
6. 通过本条规定的罚款收取的资金应为国际电联总预算的收入。
 
 第十一编 
 权力和委员会程序的授权 

第73
代表团的行使

1. 在根据本条规定的条件的前提下,委员会有权采用委派的行为。
2. 4条、第7条第1款、第11条第3款、第43条第5款和第48条第5款所指的权力授予委员会,自[本条例生效]起,授予期限不定。
3. 第4条、第7条第1款、第11条第3款、第43条第5款及第6款及第48条第5款所指的授权,可随时由欧洲议会或理事会撤销。撤销的决定应终止该决定所规定的权力下放。该公报应于其在《欧洲欧盟公报》上公布的次日或其中规定的较后日期生效。它不应影响任何有效的授权行为的有效性。
4. 委员会通过授权法案后,应立即将其通知欧洲议会和理事会。
5. 根据第4条,第7条第1款,第11条第3款,第43条第5款和第6条以及第48条第5款通过的任何授权法案,只有在任何一方未表示反对的情况下才生效。在向欧洲议会和理事会通报该行为的三个月内,或者在该期限届满之前,欧洲议会和理事会都已通知委员会它们不会反对的情况下,才能生效。在欧洲议会或理事会的倡议下,该期限应延长三个月。

74条委员会程序

1. 委员会应由一个委员会协助。该委员会应为第182/2011号(EU)法规所指的委员会。
2. 凡提及本款,应适用第182/2011号欧盟法规第5条。

 第十二编 
最终规定 

第75
300/2008号法规(EC)的修正案
在(EC)第300/2008号条例第4(3)条中,添加了以下小节:
“按照欧洲议会和理事会*(EU)YYY / XX号条例[关于AI]的规定,采取与批准和使用有关AI系统的安全设备的技术规范和程序相关的详细措施时,要求应考虑到该规章第三编第二章中的规定。”
* [EU] YYY / XX号法规[关于AI](OJ…)。”

76条 
167/2013号法规(EU)的修正案

在(EU)167/2013号条例的第17(5)条中,添加了以下小节:
在第167/2013号条例(EU)第17条第5款中,增加了以下分段:”在根据关于人工授权的第一分段通过授权行为时,如情报系统属欧洲议会及理事会 * 《AI规例》(EU) YYY/XX 所指的安全部分,则须考虑该规例第3编第2章所载的规定。
* [EU] YYY / XX号法规[关于AI](OJ…)。”

77条 
168/2013号法规(EU)的修正案

在(EU)第168/2013号条例的第22(5)条中,添加了以下小节:
”在根据关于AI系统的第一项通过授权法案时,应考虑到该条例第三编第2章所列的要求,该等系统是欧洲议会和理事会 * 关于[AI]的条例(EU) yy/XX 所指的安全组成部分。
* [EU] YYY / XX号法规[关于AI](OJ…)。”

第78
指令(EU2014/90的修订

2014/90 / EU指令的第8条中,添加了以下条款:
 4.对于按照欧洲议会和理事会*(EU)YYY / XX号条例[关于AI]定义为安全组件的AI系统,在按照第1款进行活动时以及在通过技术规范和测试时根据第2款和第3款的标准,委员会应考虑该法规第三编第2章规定的要求。
*(EU)YYY / XX号法规[关于AI](OJ…)。”。

79条
 指令(EU)2016/797的修订

在指令(EU)2016/797的第5条中,添加了以下段落:
 12.在采用根据第1款委派的法案并根据第11款实施关于AI系统的法案时,该等行为是欧洲议会和理事会*的(EU)YYY / XX号法规[关于AI]的安全组成部分,应考虑该法规第三编第2章中规定的要求。
*(EU)YYY / XX号法规[关于AI](OJ…)。”。

80条 
法规(EU)2018/858的修订

在(EU)2018/858条例第5条中,增加了以下段落:
 4.当采用第3款关于AI系统的授权法案时,该法案是欧洲议会和理事会*的EU)YYY / XX法规[关于AI]的安全组成部分,应考虑该法规第三编第2章中规定的要求。
* (EU)YYY / XX号法规[关于AI](OJ…)。”。

81条 
法规(EU)2018/1139的修订

法规(EU)2018/1139修改如下:
(1) 在第17条中,增加了以下段落:
 3.在不影响第2款的情况下,当采用第1款有关AI系统的实施法案时,该等要求是欧洲议会和理事会*的(EU)YYY / XX号法规[关于AI]的安全组成部分,应考虑该法规第三编第2章的规定的要求。
* 法规(EU)YYY / XX [关于AI](OJ…)。”
(2) 在第19条中,增加了以下段落:
 4.当采用关于AI系统的第1款和第2款的委托行为时,该行为是法规(EU)YYY / XX [关于AI]的含义中的安全组件,应考虑该法规第三编第2章的规定的要求。
(3) 在第43条中,增加了以下段落:
 4.当采用关于AI系统的第1款的实施法案时,该法规是(EU)YYY / XX号法[关于AI]的安全组件,则应考虑该法规第三编第2章中的规定要求。
(4) 在第47条中,增加了以下条款:
 3.当采用关于AI系统的第1款和第2款的委托行为时,该行为是法规(EU)YYY / XX [关于AI]的含义中的安全组件,应考虑该法规第三编第2章的规定的要求。
(5) 在第57条中,增加了以下条款:
“采用与实施(EU)YYY / XX号法规(关于AI)有关的安全组件有关的有关AI系统的实施法案时,应考虑该法规第三编第2章的规定的要求。”
(6) 在第58条中,增加了以下条款:
 3.当采用关于AI系统的第1和第2款委派的行为时,该行为是法规(EU)YYY / XX [关于AI]的含义中的安全组件,应考虑该法规第三编第2章的规定的要求。

82条 
法规(EU)2019/2144的修正案

在(EU)2019/2144条例第11条中,增加了以下条款:
 3.在采用第2款中的实施法案时,涉及欧洲议会和理事会*(EU)YYY / XX [关于AI的]法规中属于安全组件的AI系统,应考虑该法规第三编第2章的规定的要求。”
* (EU)YYY / XX号法规[关于AI](OJ…)。”。

83条 
已经投放市场或投入使用的AI系统

1. 本法规不适用于由附件9所列法律所建立的大规模IT系统的组成部分的AI系统,该系统已在[本申请日期的12个月后投放市场]或投入使用。第85条第2款所指的法规],除非该等法律行为的替换或修正导致有关AI系统或相关AI系统的设计或预期目的发生重大变化。
在评估附件9中所列法律所建立的每个大型IT系统时,应酌情考虑本法规中规定的要求,并按相应法案的规定进行评估。
2. 本条例适用于[第85条第(2)款所述的本条例的适用日期]之前已投放市场或投入运行的高风险AI系统,但第1款所述的除外,仅从该日期开始,该等系
统的设计或预期目的就会发生重大变化。

84条
评估和审查

1. 本法规生效后,委员会应每年评估一次对附件3中清单进行修改的必要性。
2. [在本条例适用第85条第(2)款之日起三年后)及其后每四年,委员会应向欧洲议会和理事会提交一份有关本条例评估和审查的报告,报告应公开。
3. 第2款所指的报告应特别注意以下方面:
(a) 国家主管当局的财政和人力资源状况,以有效执行本条例赋予他们任务;
(b) 成员国对违反本条例规定的处罚情况,尤其是第71条第(1)款所指的行
政罚款。
4. 在[第85条第2款所指的本法规实施之日后三年内)之后,委员会应每四年评估行为守则的影响和有效性,以促进对标题中规定的要求的应用。以及可能对高风险AI系统以外的AI系统提出的其他额外要求。
5. 出于第1款至第4款的目的,理事会、成员国和国家主管当局应向委员会提供其要求的信息。
6. 委员会在进行第1款至第4款所指的评估和审查时,应考虑到理事会,欧洲议会和理事会以及其他有关机构或消息来源的立场和调查结果。
7. 如有必要,委员会应提出适当建议,修订本规例,特别是考虑到技术发展和信息社会的进展情况。

85条
生效和应用

1. 该法规应在其在《欧盟官方公报》上发布后的第二十天生效。
2. 本条例自[本条例生效后24个月]起适用。
3. 下述情况不受第2款限制:
(a) 第三章、第四章和第六章应自[本条例生效后三个月]开始适用;
(b) 第71条应自[本条例生效后十二个月]起适用。
本法规应具有全部约束力,并直接适用于所有成员国。
4qp哈希力量 | 消除一切智能鸿沟


4qp哈希力量 | 消除一切智能鸿沟



收录源追溯链接或暂略


本文收录后固定可引用URL链接
    http://www.haxililiang.com/zhuanlan/jijieshuzi/2021-05-12/33597.html


☉ 文库同一主题内容智能推荐 ☉
哈希力量 ☉ 人机智能科普文库