深度伪造技术的发展及影响

2020年8月，美国会研究服务处发布《深度伪造与国家安全》和《人工智能与国家安全》两大报告，明确指出深度伪造已成为对手信息战的一部分，对手可利用深度造假技术对抗美国及其盟国，生成虚假新闻报告，影响公开披露的信息，瓦解公众信任等。尤其是2020年美国大选将至，美各界对深度伪造信息也是严阵以待，采取各种措施围追堵截。深度伪造技术在近几年迅速兴起，为国家间的政治抹黑、网络攻击、军事欺骗、经济犯罪甚至恐怖主义行动等提供了新工具，为国家安全带来很大冲击，这一领域的发展和动向值得高度关注。

一、 什么是深度伪造技术

深度伪造（Deepfakes)是深度学习（Deep Learning）与伪造（Fake）二者的组合词，顾名思义，出现于人工智能和机器学习技术时代。这一概念最早出现在2017年底，一开始专指用基于人工智能尤其是深度学习的人像合成技术。随着技术的进步，深度伪造技术已经发展为包括视频伪造、声音伪造、文本伪造和微表情合成等多模态视频欺骗技术。

深度伪造技术的兴起是人工智能发展到一定阶段的产物，主要依赖人工神经网络，特别是生成对抗网络（GAN）。GAN由两个竞争性人工神经网络组成，一个网络（或称为生成器）试图造假，负责生成对抗样本，例如复制照片、音频录音、视频的原始数据集。另一个网络，亦称为判决器，负责鉴别伪造数据。基于每次判决迭代的结果，生成对抗网络，不断调整参数以创建越来越逼真的数据，直到不断优化的生成器使判决器无法再区分真实数据和伪造数据。

深度伪造不同于以往相对简单的PS图像篡改或是其他的视频、音频篡改技术，而是基于训练样本进行人工智能的深度学习。样本数据越多，计算机对目标对象的模拟越真实，最后达到以假乱真的地步。深度伪造还结合目标对象的脸型、语音、微表情、笔迹等生物特征进行综合学习，这是以往任何伪造技术所不能比拟的。

二、深度伪造常用应用工具

在2020年5月澳大利亚战略政策研究所发布的《深度伪造技术武器化》报告中详细介绍了七个常见的深度造假工具：

（1）换脸。用户将目标脸部嵌入另一个身体。该方法可以应用于静止图像和视频，通过专用应用程序在线获取此技术的简单版本。

（2）重新投射。来自目标源的面部被映射到用户上，从而允许造假者操纵目标的面部运动和表情。

（3）口型同步。用户在目标视频上复制口部动作，结合音频生成，可使目标述说虚假内容，导致视频描绘另一个事实。

（4）动作传递。源视频中人的身体运动可以传递给真实视频中的目标人。

（5）图像生成。用户可以创建全新的图像，例如面孔、物体、风景或房间。

（6）音频生成。用户从真实语音的少量音频样本中创建合成语音。该技术可以与口型同步工具结合使用，从而使用户将音频“叠加”到预先存在的剪辑中。

（7）文字生成。用户可以生成人工文本，包括社交媒体或网络论坛上的简短“评论”或长篇新闻或意见文章。人工生成的评论特别有效，因为此类在线内容有较大的可接受误差范围。

三、国外对深度伪造技术的重视和警惕

深度伪造技术初露雏形时，国外国家安全部门、著名智库、研究机构就敏锐察觉到该技术存在着威胁国家安全的巨大隐患，因而自该概念出现以来就开始在政策层面、法律层面和技术层面加大了研究和限制力度，以防止该技术被恶意利用。

2018年9月，欧盟委员会官方发布《解决网络虚假信息：欧洲的方式》通报，阐述了解决网络虚假信息的关键总体原则和目标。9月，欧盟发布其历史上首份《反虚假信息行为准则》，旨在从源头打击网络虚假内容。

2018年12月，美参议院推出《2018年恶意伪造禁令法案》，对制作深度伪造内容引发犯罪和侵权行为的个人，以及明知内容为深度伪造还继续分发的社交媒体平台，进行罚款和长达两年的监禁。如果伪造内容煽动暴力、扰乱政府或选举，并造成严重后果，监禁将长达10年。

2019年6月，美众议院提出《深度伪造责任法案》，要求任何创建深度伪造视频媒体文件的人，必须用“不可删除的数字水印以及文本描述”来说明该媒体文件是篡改或生成的，否则将属于犯罪行为。6月，美众参两院同时提出《2019年深度伪造报告法案》，明确了“数字内容”的定义，规定国土安全部定期发布深度伪造技术相关报告。

2019年10月，美国际战略研究中心发布《深度伪造技术政策简报》报告，分析了深度伪造对个人生活和民主国家造成的影响，并正通过互联网迅速传播，破坏美国及其盟国的民主进程，建议政府应制定相关规则与法律，并提高辨别真伪的技术能力。

2019年12月，美布鲁金斯学会发布《检测失败时打击深度伪造》报告，报告指出深度伪造将来可能变得越来越严重，目前很多研究和应对措施集中于针对深度伪造的自动检测。但是，由于产生伪造数字内容的技术有了很大的改进，在不久的将来，自动检测深度伪造可能变得不可能。

2020年2月，美政府问责局（GAO）发布《深度造假的科技评估与分析报告》，简述了深度造假的定义及其严重影响，总结了制作与检测深度造假的相关技术，并分析了应对深度造假面临的各方面挑战。

2020年3月，美智库兰德公司发布《利用社交媒体发现恶意、颠覆性的信息活动：可扩展的预警分析》报告，提出了将网络分析和文本分析结合起来检测信息活动的新方法。

2020年5月，澳大利亚战略政策研究所发布《深度伪造技术武器化》报告，介绍了深度伪造的定义、优势、常见的伪造工具，以及武器化深度伪造在四个关键领域的影响，并提出了应对深度伪造挑战的相应建议。

2020年8月，美国会研究服务处发布《深度伪造与国家安全》和《人工智能与国家安全》两大报告，明确指出深度伪造已成为对手信息战的一部分。

四、深度伪造技术造成的影响

（一）基于深度伪造技术的网络信息作战

深度伪造技术结合社交网络的涟漪效应，可以带来大规模的以讹传讹式扩散，达到信息作战目标。在澳大利亚战略政策研究所《深度伪造技术武器化》报告中详细阐述了舆论攻防网络信息作战方面，借助于深度伪造技术，特别是文本生成工具的改进，可让人类“放手不管”，能以更快、更经济的方式生成“足够好”内容。此外，基于文本的深度伪造技术可实现自动评论，不但显著降低操作所需的技巧、时间，还使在线宣传成本降低，从而降低开展大规模网络信息战的成本，并扩大参与者的范围。非国家组织可能在这一领域变得越来越活跃，擅长网络信息战的极端主义组织利用该技术的可能性也会增加。此外，深度造假还可使鼓吹活动更加有效，尤其是在治理薄弱、具有潜在种族紧张局势的地区利用深度伪造技术进行宣传、生成虚假信息已经被用作信息战的有效工具。

（二）基于深度伪造技术的新型AI网络攻击

深度伪造音频是最先进的新型人工智能（AI）网络攻击形式之一，黑客借助其音频生成技术冒充高级管理人员，形成了一种强大的新工具来增强其企业电子邮件泄露（BEC）攻击。例如，2019年3月，犯罪分子利用AI技术模仿高级管理者的声音，骗取英国一家能源公司首席执行官转账22万欧元。目前赛门铁克和以色列国家网络管理局（INCD）都对这种基于AI的网络攻击进行了研究和报道。其中赛门铁克详细阐述了创建令人信服的深度伪造音频所需的计算能力和语音资源，并指出该算法需要足够数量的语音样本来捕获说话者的自然语音节奏和语调。该公司目前正致力于可查看呼叫音频，并向接收者提供其真实性概率评级的分析方法。防止这些攻击的现有技术手段目前实施起来很昂贵，并且尚未定位用于解决深度伪造的音频呼叫。一种可能性是使用认证系统进行组织间呼叫，另一个是使用区块链技术和IP语音（VoIP）呼叫来验证呼叫者。在此期间，需要加强员工教育以防范这些威胁性的新型AI网络攻击与处理所有形式的BEC等。

（三）基于深度伪造技术的战场心理战应用策略

深度伪造技术兼具真实性、便捷性和快速演化性等特点，具有应用于心理战的巨大潜力。2019年6月，美国议员提请众议院授权开展深度伪造鉴别技术竞赛，要求DARPA实施有竞争力的奖励计划，刺激技术的研究、开发或商业化，实际上是激励人才将该项技术军事化，从而应用于心理战和舆论攻防。

第一种应用策略是针对指挥系统，战场环境中，可以提前筹备规划利用深度伪造技术干扰敌军指挥效果，如人工智能换脸和语音合成地方军政领导人的外貌和语音对基层部队传达假指示，伪造敌高层签名对部队下达假文件、假命令等。第二种应用策略是针对敌战地宣传系统，如“换脸”敌新闻主播插播假新闻，干涉敌宣传系统。第三种应用策略是针对敌一线部队，如模仿敌方领导人语音进行现场指挥和战场喊话。战场情况瞬息万变，信息沟通不畅会对指挥员决策造成巨大影响，利用深度伪造技术合成的假音频、假视频、假文件投送至敌军内部，在信息封锁的情况下会极大地考验指挥员的判断能力，并增加指挥员出错概率，一定程度上能够欺骗敌军或在敌军中造成混乱，有效干扰敌指挥系统以致决策错误或延误最佳时机，从而削弱敌战斗力和战斗意志，实现策反、劝降等目的。

五、深度伪造技术的检测及面临的挑战

随着深度伪造技术的飞速发展及造成的影响越来越大，对其检测变得越来越重要。为此，相关研究机构和互联网公司在自动深度伪造检测工具研发中投入大量资金，积极开发检测技术。例如谷歌公司为帮助研究人员开发深度伪造自动检测工具，于2019年9月公开发布深度伪造视频识别数据集，其中包含3000多段视频，由多位真人演员在28个不同场景下拍摄，全球研究人员都可使用该完全开源的数据集对深度伪造检测工具进行训练。

（1）军事研究方面。以美国国防高级研究计划局（DARPA）为例，重点研发媒体取证（MediFor）和语义取证（SemaFor）两大项目，检测并识别深度伪造技术制作的各型产品，以防御大规模的自动虚假信息攻击，提高美军在信息作战中的防御能力。2020年8月，美国会研究服务处发布《深度造假与国家安全》报告，其中对这两个项目的介绍如下：

1）“媒体取证”项目正在研发自动评估照片和视频完整性的算法，并向分析师提供有关伪造内容是如何产生的信息。MediFor项目汇集了世界一流的研究人员，据报道，该项目致力于探索并识别深度伪造中存在的视听不一致的技术，包括像素不一致（数字完整性）、与物理定律不一致（物理完整性），以及与其他信息源的不一致（语义完整性）等问题。“媒体取证”项目2019财年获得1750万美元的资助，2020财年获得530万美元。该项目在2021财年完成后，预计将过渡到作战指挥和情报部门。

2）“语义取证”项目试图开发自动检测、归因和表征各种类型深度伪造内容的算法。其中包括语义检测算法，该算法将确定是否已生成或操纵了多模式媒体资产。归因算法将推断多模式媒体是否来自特定组织或个人。表征算法将说明是否出于恶意目的而生成或操纵了多模式媒体。这些技术将有助于识别、阻止和了解对手的虚假信息宣传活动。“语义取证”项目2020财年获得970万美元的资助，预计2021财年获得1760万美元。

此外，报告还指出基于算法的检测工具将引发一场“猫和老鼠的游戏”，深度伪造生成器将快速迭代更新以应对工具的检测。因此，社交媒体平台应当对内容进行标识和认证。此外，还应当部署相应的检测工具，包括要求用户标识视频的时间和地点，以及哪些内容是原创的，哪些是经过编辑的内容。这可能包括要求用户确定内容来源的时间和位置，或者要求对编辑过的内容进行标记。

（2）学术及企业研究方面。华盛顿大学和艾伦人工智能研究所 2019 年推出了一个名为Grover 的可控制文本生成模型和一个伪文本的检测系统，该系统通过研究并表征其模型的风险，可揭露机器生成的“神经假新闻”。2019年6月，美国加州大学伯克利分校和南加州大学研究人员通过已有的非伪造视频，收集视频中个人的特征，构建高度个人化的“软生物识别指标”体系。还开展了一项名为“保护世界领导者免受伪造”的研究，采用新方法建立了一个探测AI 系统，该系统被输入数小时高级领导者的视频并对其进行训练，以寻找超精密的“面部动作单元”，包括何时抬起上唇以及皱眉时头部如何旋转。此外，美国一些顶尖智能研究人员设计了自动系统，可对视频进行分析，评估光线、阴影、闪烁的图案，并采用一种可能的突破性方法，评估候选人面部动作（如倾斜的角度）和微笑时头之间的彼此相关关系。2020年1月，北京大学与微软亚洲研究院联合推出深度伪造识别工具“Face X-Ray”，该工具不依赖于与特定图像修改技术相关的深度伪造知识，并且其算法可以在不生成假图像的情况下进行训练。研究结果表明，Face X-Ray能有效地识别出未被发现的假图像，并能可靠地预测图像混合区域。

美国Adobe公司也于2019年6月推出反向PS工具。依托于AI算法，可自动识别出人像图片中经过图像液化工具修改的部分，并将其还原成初始样貌，准确率高达99%。此外，微软2020年推出了两项最新深度伪造检测技术，其中一项技术是视频认证器（Video Authenticator），可以在视频播放的每个帧与原图进行实时对比，并给出数据分析，它的工作原理是检测人眼可能无法察觉到的深伪、细微褪色或灰度元素的混合边界。视频认证器已通过了DeepFake Detection Challenge数据集测试，该数据集是训练和测试深度伪造检测技术的领先模型。值得一提的是，在2020年的深度伪造挑战赛上，参赛团队基于该数据集在识别虚假的准确性方面最高达到了80%以上，黑盒测试准确率最高达到了65%。目前这项技术已与AI基金会达成合作。除了对已有信息的检测，微软推出的另一项技术支持从信息源头杜绝伪造。该技术由两部分组成：一是内置于Microsoft Azure中的一个工具，可使内容制作者能够向内容片段添加数字哈希和证书。哈希和证书将内容作为元数据存在于任何在线传播的地方；二是阅读器，可作为浏览器扩展或其他形式存在，用于检查证书并匹配哈希值，让人们高度准确地知道内容是真实的，没有被更改，并提供关于谁制作的详细信息。该技术由微软研究院、微软Azure与捍卫民主计划合作开发，并且已经与包括英国广播公司（BBC），加拿大广播电台和《纽约时报》等多家媒体公司组成合作伙伴关系。

（3）应对深度伪造面临的挑战。美政府问责局（GAO）于2020年发布的《深度伪造的科技评估与分析报告》，指出了各界应对深度伪造面临多方面挑战：

1）开发深度造假检测工具需要大量数据。深度造假检测工具必须使用大量不同的数据集进行训练，并且需要不断更新，才可能有效检测深度造假，但是目前研究人员可使用的数据集还远远不够；

2）深度造假检测还未实现自动化。目前，深度造假检测工具还不能自动、完整地进行分析，难以高效检测深度造假；

3）深度造假技术可能适应检测。用于检测深度造假的技术往往会促进深度造假技术发展。这意味着深度造假检测工具必须定期更新以应对更复杂的深度造假；

4）单纯检测难以消除深度造假的影响。由于很多受众不会甄别接收的信息是否真实，即使完美的检测工具也难以消除深度造假的影响；

5）社交媒体对深度造假的判定标准不一致。各大社交媒体公司对深度造假的监管标准各不相同，影响深度造假的统一应对；

6）法律问题。为应对深度造假拟议的法律法规可能使人们质疑言论自由和隐私权保护。另外，打击深度造假的相关立法可能面临有效执法方面的挑战。

六、深度伪造技术的发展趋势

深度学习算法是深度伪造技术的核心驱动力，具有自动生成目标图像的特性，随着技术的扩散和程序化，制作深度伪造产品的门槛也在不断降低。同时，深度伪造涵盖假视频、音频、文本、微表情等，产品逼真而多元，识别难度大。此外，很容易与社交媒体结合，借助脸谱网、推特、微信、微博等社交媒体的效力，在全世界迅速传播。

（1）检测、识别难度越来越大。从2017年深度伪造技术刚诞生时用的卷积神经网络到现在最新的对抗生成网络，具有极强的自适应性，通过在对抗生成网络中不断自我优化，不断升级换代，从而达到“真实的可怕”的水平。无论是实现智能“换脸”的计算能力还是逼真程度都有了很大提升，已经让大众越来越难辨真假，若非经过专门训练以及专业鉴别手段的支持，普通人难以发现深度伪造视频的破绽，曾有瑞士科学家尝试用最前沿的人脸识别系统去识别“换脸视频”，结果错误率高达95%。

（2）制作门槛不断降低，极易实现零成本扩散。深度伪造技术使用深度学习的一个关键优势是可以使创建过程自动化，这使得低技能用户也可以快速创建逼真的内容。而且由于计算能力的提高，训练深度造假算法所需的时间和人力的持续减少，深度造假软件会变得更便宜、更易获取。同时，深度伪造的“源数据”如目标对象视频、语音、文风等在网络中极易获得，使得训练数据非常丰富，有助于提高产品真实性。随着越来越多的免费而便捷的应用程序出现，只要少数目标对象的高清视频，就能很快制作出专业换脸视频，再结合快速发展的社交媒体网络，几乎以零成本迅速扩散。

（3）深度伪造技术与鉴别技术在不断的竞争对抗中快速发展。此前，深度伪造视频尚可通过“目标对象是否眨眼”“微表情是否自然”以及“面部边缘是否有锯齿”等作为参照辨别真假，DARPA甚至研发出了一款“反变脸”的AI刑事侦查检测程序，但随着伪造技术的不断升级换代，以上鉴别手段已部分失效，鉴别技术须不断进步才能跟上深度伪造的更新换代。未来，生成假视频和检测假视频将持续进行“道高一尺、魔高一丈”的反复博弈。

（4）降低了大规模开展信息战的成本，并扩大了参与者的范围。深度伪造技术的进步，尤其是文本生成工具的进步，可以实现自动评论，显著降低了这种操作所需的技巧、时间和成本。使深度伪造技术可比目前信息战模式更快、更节约成本地生成“足够好”的内容。该模式强调虚假信息的数量和速度，而不是真实性和一致性，以此压倒、迷惑和分裂目标。此外，由于深度伪造技术降低了在线宣传的成本，非国家组织可能在这一领域变得越来越活跃，同时擅长信息战的极端主义组织也会越来越多地利用该技术。

七、几点认识

（一）网络信息战可取得“以小博大”的舆论攻防效果，达到颠覆网络空间可信性的效果

网络信息战作为网络战的主要形态之一，是网络威慑的延伸和拓展，通过网络发动针对领导层和公众的心理战，配合国家政治、外交、军事斗争，实现战略目的，其攻击成本很低，但造成的影响及后果很严重，而且参与方十分宽泛，国家、组织乃至个人都可能成为发动者和打击对象。深度伪造信息作为网络信息战的主要应用方式，具有图文并茂、声像逼真、传输快捷、范围广大、悄无声息等特点，是传统心理战手段无法比拟的。例如，美情报界发布的《2019年全球威胁评估》研究报告认为，“深度伪造”技术已经对美国国家安全构成威胁，敌对势力和战略竞争对手很有可能企图利用深度伪造技术或类似的机器学习技术，创造出高度可信但却完全虚假的图片、音频和视频资料，以加强针对美国及其盟友和合作伙伴的影响渗透运动。

深度伪造技术可以通过连锁反应引发“蝴蝶效应”，一条信息可以借助覆盖全球的互联网骤然掀起轩然大波，其影响力在瞬间能被成千万倍放大，并可让虚假信息以高度可信的方式呈现给社会公众，操纵民众的情绪反应，引发社会广泛的不信任，也很可能被外国竞争对手利用，作为诋毁国内政党、煽动恐怖和暴力活动、挑拨西方内部矛盾的工具。

（二）应加强深度伪造技术的安全风险评估，制定相关规范标准予以严格限制

随着深度伪造技术的快速进化，相应的检测识别难度也将越来越大，与此同时，随着检测技术越来越先进，伪造技术也将越来越复杂，二者之间似乎将是一场永无休止的竞赛。为此，美国高度重视深度伪造技术的应用问题，2019年6月，美国众议院首次举办专门讨论深度伪造及其他类型的AI合成技术的听证会，公开谈论深度伪造技术对国家、社会和个人的风险及防范和应对措施。6月，两党议员分别在众、参两院同时提出《2019年深度伪造报告法案》，要求评估深度伪造技术的安全风险。与此同时，美陆续出台《2018年恶意伪造禁令法案》和《深度伪造责任法案》，主张对深度伪造技术进行严格限制。对我国而言，一方面应将深度伪造技术纳入新技术新应用的安全风险评估中，充分评估该技术目前的发展状况、适用领域和范围，未来发展方向和应用趋势，以及对国家安全和政治安全的影响、对公民个人权益的损害等。另一方面，相关部门应尽快制修订相关技术标准，明确深度伪造技术的适用范围，涉及国家安全、公共利益和公民合法权益的，要对其适用性进行明确限制，尤其是对深度伪造视频的传播应严格限制。

（三）应采取有效措施解决迫在眉睫的深度伪造治理问题

深度伪造已经挑战并危及国家安全、信息安全、政治安全、新闻专业性和社会道德文化等各个方面，深度伪造的治理已经迫在眉睫。美国、德国等国均出台相关法律法规，对深度伪造技术进行管控，相关的法律法规条款均对深度伪造内容的性质、责任主体、处罚标准等方面进行规范，意在对个人权利和国家安全的保护。此外，为规避深度伪造视频可能带来的不良影响，社交媒体平台也纷纷出台管控措施，例如Facebook公司将在2020年美国大选前删除模仿、讽刺内容以外的深度伪造视频，以限制错误信息的传播。但是，由于视频发布平台可能存在的审核疏漏以及舆论的阻力会给深度伪造视频的监管带来不利影响，且由于互联网使用成本低、网络作案具备一定的隐蔽性，深度伪造技术治理将会是一个长期的斗争过程。如何规范深度伪造技术的使用，除了法律规范的严格限定，也需要大力促进第三方检测机构开展深度伪造监测鉴别业务，鼓励企业加大对鉴别技术研发的投入，并利用区块链、电子认证签名等技术，开发相关鉴别工具，并结合有针对性的人工审查，形成完善可靠的治理体系。