​openGauss 助力邮储银行分布式新核心迈向智能运维时代

VSole2021-12-23 08:45:58

近日,邮储银行新一代分布式核心运维平台成功投产上线,这是继邮储银行新一代分布式核心系统技术平台上线之后,取得的又一项重要阶段性成果。作为邮储银行全行一体化运维体系的重要组成部分,运维平台将为新一代分布式核心系统提供全方位监测与管控手段,也必将为新一代分布式核心系统全面投产保驾护航。

邮储银行新核心系统大管家上岗

新一代分布式核心系统肩负着邮储银行向全数字化银行,智慧化银行转型的重任,是未来业务敏捷创新和持续健康发展的基石。但就如一枚硬币的两面,新系统的复杂架构,海量种类的设备,灵活多变的业务为系统监控与运维带来前所未有的挑战:一个业务需要成百个设备协同配合才能完成,其中每个设备节点都要监控,所产生的数据量暴增,如何归集、分析有效的监控数据。多中心、多节点、多层级、微服务和容器云带来的复杂架构,如何维护保证整个系统健康运转?整个系统500多个数据库,5000多个实例分布在几千台服务器,如何确保这些数据管理的高效有序,不出错?这一切为业务部署,运维监控和系统配置都带来几十倍的复杂度,如果依赖传统的运维方式,必将难以为继。

邮储银行新一代分布式核心系统运维平台,正是应对以上的挑战而生。通过全景可视、灵活管控、量化洞察、智能驱动的创新思维,采用敏捷的互联网架构和金融级核心技术规范,分別在运行监控的微服务内核中实现应用监控、中间件监控、数据库监控、日志平台和链路追踪;在运维管控微服务内核实现分级灰度发布、批处理管控、服务治理,容灾切换和数据库切换。最终达到可见、可管、可计的高效智能化运维。

图1 邮储银行新一代分布式核心系统运维平台全景图

openGauss智能运维落地,

初露锋芒

openGauss在其中除了在核心系统中承担基础金融交易数据管理之外,在新运维平台中的数据库的智能管控系统扮演着重要角色。在本次上线运维平台,基于原生机器学习、深度学习结合自研算法对智能索引推荐和基于时序趋势预测是两个重要能力,对于提升邮储银行分布式核心系统的数据库平稳运行和高性能数据处理起着关键作用。

智能索引推荐,

让数据库始终高性能运行

数据库索引是提升数据增、删、改、查性能的重要手段。但在实际操作过程中,如何才能识别出哪些表需要建立索引?怎样的索引才能性能最好?需要数据库运维经验丰富的DBA,但这方面人才却常年不足。因此大多数数据库多数时间运行在低性能区间,整体性能没有完全发挥出来。

索引推荐有4大亮点。多集群,细粒度管理:既可以管理多个集群的索引,又可以单个集群内,数据库,表级的索引管理。

完善的索引总览:DBA可以清晰地了解到当前系统已建索引覆盖多少SQL,占比多少?有多少有效索引,多少无效索引,多少冗余索引,让索引情况一目了然。

索引创建建议:系统通过內置的AI能力,分析哪些SQL需要建立索引,以提升性能。并给出最为合适的索引建议,DBA同时可以看到一条索引会涉及哪些SQL语句,哪些语句会有正向的收益,对哪些语句可能有负向影响。让DBA知其然,而且知其所以然。

无效/冗余索引:DBA可以在索引推荐系统中查到无效的,重复的冗余索引,可以删除以避免在插入与更新时对系统性能带来的影响。

智能索引推荐大幅提升了索引发现和创建的效率,原来只有少数高级DBA在几个月才能完成的工作,现在可能只需要几天即可完成,而且系统是动态变化的,openGauss智能索引系统能不间断进行系统索引监测,对索引进行持续优化,让数据库始终运行在高性能区间里。使用时间越长,索引时间越短,优化速度越快。

图2 邮储银行新一代分布式核心系统运维平台 

数据库索引推荐


图3 openGauss智能索引全景图

时序趋势预测,

让数据库稳如泰山

数据库是新一代分布式核心系统的心脏,openGauss稳定与否关系着这颗“心脏”健康与否,而提前感知风险,化解风险是关键。openGauss的时序趋势预测能力,能帮助DBA提早发现风险,并提醒及时关注,提早处理,把风险消除在萌芽阶段,保持数据库稳定运行。

openGauss时序趋势预测可以对CPU、內存、QPS、动态內存、事务连接数、事务缓存等多项指标进行监控预测,预测周期短到分钟、小时,长至月度、年度。

用CPU占用量预测来说明,图5是在邮储银行环境中实测的数据。其中绿色是通过时序预测出来的趋势,黄色是系统实际运行到当前曲线图。从图中可以看到预测曲线和实际运行曲线拟合度非常好,说明openGauss的时序预测质量很高。

图4 openGauss智能运维-时序趋势预测全景图

图5中设定,对未来2小时进行预测。并基于设定规则进行判断,对于超过合理范围内的可能,进行告警,提醒DBA对于资源提早做好规划和准备,避免系统在高负载下,产生的业务不稳定,甚至宕机等严重问题。

图5 openGauss时序趋势预测对CPU的预测及实际情况

时序趋势预测,改变过去DBA被动响应的运维局面,提前感知风险,早做准备,从容应对。既保证资源的合理投入,又确保了系统的稳定安全。是邮储银行新核心运维平台走向以智能驱动运维的基础。

未来,

更多AI能力赋能邮储银行精细化运维

当前openGauss在邮储银行新运维平台上的智能运维能力应用,只是一个开始,除了以上介绍的几个已落地的能力,目前已有更多智能运维能力已在上线的路上。

慢SQL智能分析:慢SQL是日常数据库运维过程中十分常见且棘手的问题。openGauss通过内置的AI算法来精准地分析高耗时产生的原因并给优化建议,便于用户或DBA进行人工分析、处理。

系统故障根因分析:通过异常检测算法发掘历史产生故障,然后调用AI算法进行系统的故障分析,综合系统发生故障时刻的关键信息,并根据概率进行排序,精准定位系统故障和给出最佳解决建议。可以发现并诊断已经发生的疑难问题,极大提高数据库的运维效率。

调优参数智能推荐:参数对于数据库的性能影响很大,openGauss的智能参数推荐功能,能够基于当前数据库运行时的负载,根据预设经验以及启发式模型,推荐出较优的参数配置。便于用户根据参数推荐的结果对系统进行针对性优化,最大化挖掘出系统性能潜力。

这些AI能力,不光是openGauss背后数百名工程师长时间技术研究的结晶,也是GuassDBKernel在工业界十几年应用的工程能力的积累,两者相辅相成,将在以邮储为代表的核心复杂场景中发挥独特的价值。

图6 未来 openGauss更多AI运维能力落地邮储银行

进步,

与邮储银行同步

从新核心技术平台上线开始,到新核心运维平台的上线,不到半年时间,两大重量级系统分别出炉,邮储银行对数字化银行的建设进入快车道,取得了骄人的成绩。未来伴随着国际汇款业务的上线,明年上半年新核心的整体上线,作为邮储银行金融数据资产的核心管控数据库,还有很多发挥空间。openGauss会持续进步,与邮储银行发展同步,全力支持加速建设智慧化金融。

银行dba
本作品采用《CC 协议》,转载必须注明作者和本文链接
近日,邮储银行新一代分布式核心运维平台成功投产上线,这是继邮储银行新一代分布式核心系统技术平台上线之后,取得的又一项重要阶段性成果。作为邮储银行全行一体化运维体系的重要组成部分,运维平台将为新一代分布式核心系统提供全方位监测与管控手段,也必将为新一代分布式核心系统全面投产保驾护航。
2022.3.12-3.18 全球情报资讯 1恶意软件 Escobar:Aberebot银行木马的新变体 CaddyWiper:针对乌克兰的新型数据擦除恶意软件 Gh0stCringe RAT 被分发到易受攻击的数据库服务器 Trickbot在C2基础设施中使用物联网设备 Cyclops Blink 僵尸网络针对华硕路由器发起攻击 DirtyMoe 僵尸网络利用蠕虫模块迅速传播 2热点
恶意软件威胁情报 1、“NOPEN”远控木马分析报告 近日,国家计算机病毒应急处理中心对名为“NOPEN”的木马工具进行了攻击场景复现和技术分析。该木马工具针对Unix/Linux平台,可实现对目标的远程控制。根据“影子经纪人”泄露的NSA内部文件,该木马工具为美国国家安全局开发的网络武器。“NOPEN”木马工具是一款功能强大的综合型木马工具,也是美国国家安全局接入技术行动处(TAO)对外攻击窃
安全威胁情报周报
2022-01-08 07:00:40
恶意Telegram安装程序分发Purple Fox恶意软件 近日,一个桌面版的恶意 Telegram 安装程序正在分发 Purple Fox 恶意软件,以在受感染设备上安装更多恶意负载。尚不清楚恶意软件的分发方式,但冒充合法软件的类似恶意软件活动已通过 YouTube 视频、论坛垃圾邮件和可疑软件站点分发。
1、Borat RAT:新型远程访问恶意软件 2、攻击者利用3LOSH加密器规避检测 3、FFDroider Stealer:针对社交媒体平台用户的新型窃取恶意软件 4、Denonia:首个公开披露的针对 AWS Lambda 的恶意软件 5、攻击者使用SocGholish和BLISTER释放LockBit有效载荷 6、Colibri Loader使用新技术以保持持久性 7、Shark
数审系统发挥的作用就是回答以上这些追问。靠人工24小时监控数据库的一切访问行为几乎难以实现,因此,借助工具的力量,引入数审产品才是成熟的做法。建立数审体系,无论是外部还是内部,只要出现了针对数据库的恶意操作,数据库审计就能够第一时间识别并发出告警,让管理者第一时间进行处理,能够有效降低甚至避免损失。所以,数据库审计对于数据安全防护来说是必要一环。
当前,以数字经济为代表的新经济成为经济增长新引擎,数据作为核心生产要素成为了基础战略资源,数据安全的基础保障作用也日益凸显。伴随而来的数据安全风险与日俱增,数据泄露、数据滥用等安全事件频发,为个人隐私、企业商业秘密、国家重要数据等带来了严重的安全隐患。近年来,国家对数据安全与个人信息保护进行了前瞻性战略部署,开展了系统性的顶层设计。《中华人民共和国数据安全法》于2021年9月1日正式施行,《中华人
随着全球数字化步伐的加速,网络安全问题日益突出。其中,勒索软件以其高度的破坏性和逐利性,成为全球网络安全领域的一大顽疾。2023年,勒索软件继续呈现出活跃的态势,给全球范围内的组织和个人造成了巨大损失。
170条专业术语~收藏
VSole
网络安全专家