云深不知处，AI企业合规应何去何从

小贝案语

商汤科技在8月底正式向港交所递交招股书，至此有着“AI四小龙”之称的商汤科技、旷视科技、依图科技、云从科技四家公司均已经历上市程序。AI企业纷纷启动上市程序成为AI产业快速发展的一个缩影，而各国政府在出台相关政策大力支持本国AI产业发展的同时，也在加紧出台新的监管要求，AI监管即将进入深水区。面对这一形势，AI企业该何去何从？本期小贝说安全邀请到中伦律师事务所胡俊律师团队从境内外最新监管趋势和AI四小龙的相关合规实践出发，为处在十字路口的AI企业提供一些有益的建议和参考。

一、发展AI成为各国/地区的重要战略

AI产业依托于新时代数字经济和算法科技的发展，是以此为基础对人类智能的模拟乃至超越。目前，AI技术也已经成为新一轮科技革命和产业变革的核心驱动力，正在对全球经济发展、社会进步和人民生活产生极其深刻的影响。中国、欧盟和美国均高度重视AI产业的发展，将促进AI发展作为一项重要国家/地区战略。

中国国务院2017年7月发布了《新一代人工智能发展规划》，明确提出了“三步走”的战略目标。其中，第三阶段目标是，到2030年人工智能理论、技术与应用总体达到世界领先水平，成为世界主要人工智能创新中心，为我国跻身创新型国家前列和经济强国奠定重要基础。

欧盟委员会于2020年2月发布了White Paper on Artificial Intelligence - a European Approach toExcellence and Trust（人工智能白皮书——通往卓越和信任的欧洲路径），提出了一系列有关AI研发和监管的政策措施，认为AI可以加强欧洲工业竞争力、提升公民幸福感，明确了欧盟的AI战略旨在提高在欧盟在AI领域的创新能力，同时促进可信赖的AI技术在欧盟领域内的应用。

美国时任总统特朗普于2019年2月签署了关于Maintaining American Leadership in Artificial Intelligence（维持美国在人工智能领域的领先地位）的行政命令，要求相关部门将AI研发作为部门优先事项并为此编制适当的财政预算，推动产业与学术界的AI技术突破，以强化并维持美国在AI领域的领先地位。2020年5月，Generating Artificial Intelligence Networking Security Act（创建人工智能网络安全法案）被提交众议院，该法案要求调研美国联邦AI相关活动以及其他国家采用的AI战略，确定美国在AI使用方面的国际排名。

二、数据安全、个人信息保护和AI伦理成为AI企业合规管理的核心

在国家战略的支持下，以AI科技为核心技术和主营业务的企业不断涌现，研发出的新产品和新技术给人类社会带来了诸多便利。但与此同时，AI产业的快速发展也给相关监管和企业合规带来了新的挑战，主要体现在以下三个方面：

数据安全领域：AI技术的产生依托于数字经济和算法技术的发展，不可避免地会涉及到大量数据的收集、处理和使用，由此可能导致或放大一系列数据安全风险，包括数据的过度采集、数据的集中存储和处理、数据智能窃取、数据资源滥用等。

个人信息保护领域：AI可以借助便捷的信息采集技术，对人们的日常行为进行持续跟踪和分析，将人们的行为方式、性格倾向、兴趣爱好等进行信息化和数据化处理，增加侵犯个人信息权利和个人隐私的风险。

社会伦理领域：随着AI产业高速发展，也伴生出诸多社会矛盾和伦理风险，例如智能化设备不断取代人力劳动导致的潜在就业矛盾、人工智能在“紧急避险”等情况下价值判断以及相关责任承担问题。如何建立和发展可靠和负责任的人工智能成为了各国政府和企业共同面临的重要课题。

从“AI四小龙”的IPO资料及相关公开信息中，我们看到相关监管机构对于上述风险的监管程度正在不断提升，AI企业对上述合规问题也愈发关注。

具体而言：

商汤科技在向港交所递交的招股书中披露，其秉持数据安全、数据隐私和AI伦理方面的可持续发展高标准，并采取了一系列措施来应对上述领域的风险和问题，包括对数据采取保密分类、访问控制、数据加密及脱敏等各项保护措施，以防止未经授权访问、泄露、不当使用或修改等。商汤科技设立有人工智能伦理委员会，并定期为员工组织人工智能伦理培训。

旷视科技在向上交所递交的招股书中披露，其在研项目包括“人工智能安全与伦理研究中心”，该项目旨在研发数据安全和隐私保护基础平台，通过建立一套AI数据安全与隐私保护机制，有效解决数据安全和个人隐私问题。此外，旷视科技在《关于旷视科技有限公司首次公开发行存托凭证并在科创板上市申请文件的审核问询函之回复》中，按照上交所的要求，详细说明了其技术、业务及产品（或服务）中涉及到的数据采集、清洗、管理、运用的具体环节，相关数据来源和合规性，以及保证数据采集、清洗、管理、运用等各方面合规的措施等。

云从科技在向上交所递交的招股书中披露，云从科技高度认同人工智能伦理规范对于人工智能技术发展的重要性，坚持“和谐友好、公平公正、包容共享、尊重隐私、安全可控、共担责任、开放协作、敏捷治理”的价值导向。云从科技建立了伦理审查机制，积极加强员工在人工智能伦理方面的培训和管理，并在开放协作、绿色环保等方面积极落实人工智能伦理准则的要求。云从科技在客户隐私数据方面，也从制度层面、技术层面和执行管理层面进行保障，强化对客户隐私数据的保护。

依图科技官方网站信息显示，依图科技已于2020年7月获得由英国标准协会（BSI）颁发的ISO/IEC 27701:2019隐私信息管理体系国际认证。

三、AI企业面临逐步完善的数据安全和个人信息保护监管要求

近年来科技行业的持续快速发展，使得数据安全和个人信息保护方面的风险得以充分暴露。面对已成为全球趋势的大数据处理和使用、信息跨境流动以及不时发生的个人信息泄露等事件，各国立法和执法部门对于数据安全和个人信息保护方面的立法和执法工作正在快速推进，科技企业（包括AI企业）在全球范围内正在面临数据安全和个人信息保护方面愈加高标准、严要求的监管环境。

我国继2016年颁布《网络安全法》后，于今年先后出台了《数据安全法》以及《个人信息保护法》，初步完成了数据安全和个人信息保护领域的基本立法工作。这三部法律及相关配套规范性文件形成了对数据安全和个人信息保护既有区别又相互紧密联系的监管规则体系：

《网络安全法》规定了国家积极开展网络空间治理，防范网络违法犯罪活动，维护网络数据的完整性、保密性和可用性，基于《网络安全法》的《网络信息内容生态治理规定》等监管规则进一步要求，网络信息内容服务使用者和生产者、平台不得利用深度学习、虚拟现实等新技术新应用（如深度伪造技术）从事违法活，涉及深度伪造技术的互联网新技术新应用应按要求履行安全评估程序。

《数据安全法》要求开展数据处理活动以及研究开发数据新技术应当有利于促进经济社会发展，增进人民福祉，符合社会公德和伦理。此外，《网络安全审查办法（修订草案征求意见稿）》拟要求掌握超过100万用户个人信息的运营者赴国外上市，必须向网络安全审查办公室申报网络安全审查。

《个人信息保护法》在《网络安全法》和《数据安全法》的基础上，规定了处理个人信息应当遵循合法、正当、必要和诚信原则，细化了敏感个人信息处理和个人信息跨境提供的规则，并进一步规定国家网信部门统筹协调有关部门针对人工智能等新技术、新应用，制定专门个人信息保护规则、标准。

欧盟在AI相关数据安全和个人信息保护领域也走在了世界的前列。为大家所熟知的欧盟“GDPR”（General Data Protection Regulation，即通用数据保护条例）于2018年5月起正式实施，其在个人信息处理原则、个人信息主体的主要权利以及个人信息跨境传输等多方面均建立了相应的监管规则，其第22条即包含了对自动化决策（含用户画像）的相关要求。该条款明确规定个人原则上应有权拒绝仅基于自动化处理的对其产生法律效力或者其他类似重大影响的自动化决策，但是经法律授权、经个人明确同意或者为履行与个人之合约所必须的情况除外。但即使符合上述豁免条件，数据控制者（data controller）也应采取适当的措施保护个人合法权益，至少应保障个人获得数据控制者人工干预、表达个人观点以及对自动化决策结果进行同意的权利。同时，GDPR第15条要求使用自动化决策的数据控制者，应进一步向个人披露自动化决策的存在、其涉及的逻辑以及个人信息处理所带来的相关影响和后果。

四、AI发展方兴未艾，社会伦理等新维度监管初露锋芒

如前文所述，各国目前就数据安全、个人信息保护已形成相对完整的监管体系，而对于近年来才走入公众视野的AI伦理等新问题，中国、欧盟和美国也开始尝试在新的维度上逐步出台相关配套法律法规和政策措施，以保障AI产业的平稳健康发展，相关具体情况如下：

五、未来已来：从当前全球立法看我国AI领域监管趋势

注重AI技术发展速度与风险的平衡，敏捷治理或将成为监管的新常态。目前各国对AI监管总体的政策导向虽已就位，但仍缺少具体的落地方案和实施细则，立法和制度建设尚不完善，监管发展滞后于技术的发展和应用。在各国政府支持和鼓励AI发展、抢占AI发展先机的大背景下，未来一段时间的立法和监管政策可能会更加注重平衡AI产业的发展速度和AI技术所带来的风险，我们可能会看到一些监管政策由粗到细、由缓到急逐步落地。

考虑到AI技术的快速发展导致了立法者和执法者很难采用“静观其变”的策略，必须积极作为以应对AI技术和产业发展带来的各类风险和漏洞，相关监管部门可能会基于相应技术的发展速度和届时的风险程度，通过“小步快跑”的方式制定并不时修订相应监管细则，使敏捷治理成为AI时代的监管新常态。

1、AI发展带来的伦理风险将成为重点规范领域之一。如本文上篇所述，AI相关技术可能会导致新的社会矛盾和伦理风险，世界各国也均已将AI伦理作为了重点关注领域之一。我国也在国家层面成立了国家科技伦理委员会，并且近期刚刚公布的《关于加强互联网信息服务算法综合治理的指导意见》中进一步表明国家将建立算法备案制度，有序开展备案工作；该指导意见同时要求企业应建立算法安全责任制度和科技伦理审查制度，对算法应用产生的结果负主体责任。

由此可见，我国对于AI社会伦理的监管已经逐步形成了从国家制度层面到企业执行层面的指导原则，结合我国到2023年初步建立人工智能标准体系的目标，相关监管细则要求可能会在未来2-3年内逐步完善和落地。

2、开放与合作将成为行业基调，行业反垄断或将贯穿监管始终。在AI时代，大数据的经济价值被深度挖掘，海量数据的聚集和整合一方面确可促进AI产业的不断进步，但另一方面也会为行业垄断提供温床，助长头部企业对数据和信息红利的把控，导致其滥用数据市场支配地位的风险。随着我国近期在平台经济反垄断方面持续加大执法力度以及开放协作的人工智能治理原则的施行，相关监管部门很可能会重点关注AI行业的发展及垄断风险，以期打破数据壁垒、提升数据流通和利用效率，进一步促进经济和科技的发展和进步。

3、AI产品或将面临分级监管。从目前各国的立法现状来看，欧盟已发布《关于制定人工智能统一规则的提案》，对不同风险等级的AI系统和产品采取不同程度的监管措施，建立了以风险等级为基础的监管体系。我国也分别通过《网络安全法》、《数据安全法》和《个人信息保护法》建立起了网络安全、数据安全和个人信息保护领域的分级监管规则。与之类似，《关于加强互联网信息服务算法综合治理的指导意见》也将推进算法分级分类安全管理作为了互联网信息服务算法安全治理基本原则之一。

据此理解，我国未来对于AI领域的监管，也可能会基于AI技术的重要程度以及其一旦遭受破坏或恶意利用可能给国家、社会、企业和个人权益造成的损害程度，在监管层面将AI技术和系统进行分级，以对应不同的监管规则和措施，由此建立对于AI的分级分类监管体系。

六、何去何从：对我国AI企业的一些建议

1、扎实做好数据安全和个人信息保护领域的基础合规工作。数据安全和个人信息保护一直以来都是AI领域的监管重点，国家对此已出台了一系列法律法规加以规范。数据安全作为AI业务发展的基础保障，其遭到破坏会造成企业的直接经济损失，同时可能威胁企业的用户隐私与个人信息安全。AI企业应加强相关措施的完善和制度建设，采取有效的保密分类、访问控制、数据加密及脱敏等各项保护措施，以保障数据安全和用户个人信息安全，适应国家在此层面的相关要求。

2、重视AI伦理方面的潜在风险。面对AI发展带来的伦理挑战，企业应高度重视并积极应对。必须看到，AI伦理风险可能会导致“技术中立说”在AI领域受到挑战。AI是对人脑的模拟和延伸，其有很高的类人性和拟人性因素，而其“品行”和“能力”很大程度上取决于开发者预设的使用场景、机器学习时使用的算法逻辑和数据源等，因此部分AI系统的开发可能先天就带有违反人类伦理和社会公序良俗的“基因”，使技术不再中立。正因如此，欧盟立法提案已经把AI系统归分为不同的风险等级加以立法限制，并设专门章节对会产生“不可接受”（unacceptable）风险的AI系统的上市和/或使用予以禁止（Prohibited Artificial Intelligence Practices）。

我国目前已通过《关于加强互联网信息服务算法综合治理的指导意见》明确了建立算法备案制度和企业主体责任制的原则，AI企业试图通过“技术中立”寻求免责的可能性和可行性已经越来越小。因此，AI研发企业要在技术开发过程中从源头上把控和评估相关技术所存在的伦理风险和问题，要做好自身代码审计和管理工作，厘清算法逻辑，为后续算法备案及算法透明化要求的落地做好准备。

3、关注并积极应对AI技术发展可能导致的行业垄断问题。数据市场作为AI技术发展和进步的基础支撑体系之一，具有广泛的多样性和灵活性，AI企业拥有的数据越多、产品做得越好，便能吸引更多用户、产生更高的经济效益，最终能够获取更多数据。这种循环可能会加重AI行业的垄断现象，AI系统复杂的算法技术也使得垄断行为变得更加隐蔽和难以探测，使现有的反垄断监管手段面临严峻考验。

在反垄断执法日益趋严的情况下，AI企业更需关注AI技术所带来的潜在的行业垄断风险，同时关注对消费者利益的保护和对市场公平竞争的维护。未来随着AI产业的发展，国家势必会不断加强在AI领域的反垄断和反不正当竞争立法，企业可以提前应对并积极适应相关政策措施，这对企业未来的长远发展具有重要意义。

4、拥抱变化，敏捷治理。面对AI行业的快速发展，国家层面的敏捷治理或将成为企业合规工作需要面临的新常态，而AI行业相关领域的立法和监管细节尚不成熟，也将导致企业在未来一段时间内会面临监管规则并不完全清晰的困境，这也对企业自主适应能力提出了挑战。

此等情形下，企业管理层需要认识到不断变化和深化的监管规则会是未来一段时间内需要持续面对的问题之一。同时，企业要积极搭建企业内部的合规敏捷治理结构，建立不同组织层面的合作机制和沟通桥梁，快速应对不断深化的监管规则，同时对未来更高级AI的潜在风险持续开展研究和预判。

知己知彼，方可百战不殆。

小贝结语

AI的高速发展和进步为人类社会带来了重大机遇，同时也对当今立法和执法环境提出了较为严峻的挑战。就AI领域的立法和监管现状来看，针对数据安全和个人信息保护方面的立法目前在逐步趋于完善，但就AI伦理等无法在传统立法框架下妥善解决的问题，或将成为今后立法的关注重点和监管难点。相关企业一方面要抓紧机会，借此AI产业迅猛发展和国家大力支持的东风，不断充实自身技术和实力；另一方面，也要格外关注相关监管要求和趋势，完善企业内部合规敏捷治理结构，为业务长久稳定发展保驾护航。

总 编辑 | 中伦律师事务所 胡骏律师