与变异风险词赛跑 阿里探索AI治理网络风险

VSole2021-12-27 16:05:50

   最近,阿里安全一线风控小二可粒发现,在禁售的风险防控库里,有人试图“上新”新品种,不法份子借助在社交媒体上走红的“魔法改运”等说辞,引人入玄学骗局。

  尽量提前发现风险问题,提早布防是阿里安全风控部门的日常工作。“但是,风险对抗是不断升级的,各类风险词不断变异试图躲避各家平台管控,如果单靠人力防控,只会是杯水车薪。”可粒说。

  针对类似具有行业共性的风险治理难题,业界和学界推动以技术创新探索网络风险治理。今年中国中文信息学会语言与知识计算专业委员会主办了“CCKS 2021通用百科知识图谱实体类型推断”比赛,邀请国内283支队伍参赛。

  12月25日,比赛结果出炉,阿里安全升级包含封建迷信、软色情、野生动植物保护、血腥暴力等重难点风险治理域在内的AI技术获得第一名。

图说:“CCKS 2021通用百科知识图谱实体类型推断”竞赛公布获奖情况

  阿里安全高级风控专家杜衡介绍,阿里安全在平台部署了上述新升级的新一代安全架构核心AI能力,让AI对风险商品进行“联想”,以此对抗突发新增、变异的风险商品。此前阿里风控平台对多类风险商品出台了明确的管理规则,进行了禁售规范,今年绿网计划则针对相关风险词,上线了科普宣导。

  虽然该AI技术在竞赛的公开数据集上获得了突出的成果,但据阿里安全反馈,技术应用在真实环境中遇到了更多难题。

  阿里安全算法工程师科蓝解释,第一个难点是商家发现相关风险词被平台管控后,立马试图用新词代替,为了让AI的能力跟上变异的节奏,甚至提前布防,AI会基于风险防控经验以及公共新闻事件等,自动挖掘一些新词,并对这些词进行扩充解释,让AI系统理解这些词的真正含义和匹配的风险场景,最后候选风险词还要经过运营的人工校验。

  “相当于你在跟一个不断易容、换衣服的人赛跑,他跑着跑着就换一层皮,你得找准对手,不停地往前跑。”科蓝说,目前依靠AI自动搜寻生产的非正常风险词汇,最终被人工运营审核后的采纳率为60%,逐步降低了人工寻找新风险词的成本,同时尽量提升覆盖更多风险区域的效率。

  第二个难点是,除了风险词变异速度快,平台发现有些商家会以正常商品介绍的“外套”引导消费者到其他社交工具上进行沟通和成交。

  “这种情况比较难以通过某种技术防控,一方面我们通过各种渠道向商家进行合规知识的宣导,一方面也希望互联网平台联合起来,针对此类风险共同探索合作治理机制。”杜衡说。

  该AI目前升级覆盖到17个风险场景。阿里安全资深算法专家薛晖介绍,阿里安全在加大技术治理风险场景的投入,比如建立人工智能治理与可持续发展的新型实验室,与顶尖高校联合发起“安全AI挑战者计划”等项目,培养实战型AI人才。

  “要强调的是,AI技术不是万能的,平台遇到各种风险变异与挑战也正说明,治理多类风险场景将是持续的博弈,但使用技术进行风险治理是其中一个发展方向,我们还在继续提升AI联想的准确率,希望依靠科技创新构建更清朗的平台环境,探索如何更好地解决大众遇到的网络安全风险问题。”薛晖说。

阿里
本作品采用《CC 协议》,转载必须注明作者和本文链接
“中国网络空间安全协会”官方公众号10月14日下午宣布,10 月 12 日上午,中国网络空间安全协会人工智能安全治理专业委员会正式成立。
据众多网友反馈,阿里云盘7月22日午后出现了无法访问的情况,网友表示 App、网页端、PC 客户端、TV 客户端全都无法加载内容。IT之家此前报道,今年 2 月,阿里云盘就出现过宕机事件,官方表示由于系统故障,阿里云盘 2 月 3 日晚间出现了短暂的无法正常使用的情况,23:50 分已修复,不影响盘友的数据和后续使用。
根据新的内容审核规则,19个主要的在线平台和搜索引擎将受到额外审查,且需在4个月内向委员会提供风险评估报告。DSA认定为“超大型在线平台”的标准是每月活跃用户数4500万以上,委员会根据各企业在2月17日前提交的用户数,确定17家平台符合该标准。其提交的风险缓解计划,将受到欧盟委员会的独立审计和监督。DSA要求欧盟各会员国在2024年2月17日前设立监督机制,使委员会能与各国政府合作落实该法。
安全内参4月21日消息,阿里云数据库ApsaraDB RDS for PostgreSQL 和 AnalyticDB for PostgreSQL曝出一组两个严重漏洞,可用于突破租户隔离保护机制,访问其他客户的敏感数据。这组漏洞被命名为BrokenSesame,在2022年12月被上报给阿里巴巴,阿里云于2023年4月12日部署了缓解措施。尚无证据表明这些漏洞曾遭到野外利用。
阿里云 ApsaraDB RDS for PostgreSQL 和 AnalyticDB for PostgreQL 数据库爆出两个关键漏洞。潜在攻击者能够利用这两个漏洞破坏租户隔离保护,访问其它客户的敏感数据。
可用于突破租户隔离保护机制,访问其他客户的敏感数据
阿里云香港服务器“史诗级”宕机;微软发现苹果macOS漏洞 可植入恶意软件
本文主要介绍在使用阿里云 Redis 的开发规范,从下面几个方面进行说明。键值设计命令使用客户端使用相关工具通过本文的介绍可以减少使用 Redis 过程带来的问题。不要包含特殊字符反例:包含空格、换行、单双引号以及其他转义字符2、value 设计拒绝 bigkey防止网卡流量、慢查询,string 类型控制在 10KB 以内,hash、list、set、zset 元素个数不要超过 5000。
根据《全国信息安全标准化技术委员会标准制修订工作程序》要求,面向社会公开征求意见。经过多轮选拔和评审,为辰信安荣获本届大赛的全国总冠军,并与奇安投资现场签订2000万元投资意向书。其中,广州警方公布了广东省公安机关首例适用《中华人民共和国数据安全法》的案件:广州一公司未履行数据安全保护义务被警方处罚5万元。
VSole
网络安全专家