告警处理方法和装置制造方法及图纸

技术编号:28558886 阅读:29 留言:0更新日期:2021-05-25 17:53
本申请提供一种数据聚合方法和装置,前述方法包括:获取数据聚合请求;根据所述数据聚合请求中的上游数据库标识和下游数据库标识,获取同步插件信息;根据待转换上游数据标识、所述上游数据库标识和所述下游数据库标识,确定待转换上游数据与下游数据库表列的映射关系;将所述待转换上游数据标识和所述映射关系发送给所述同步插件信息表征的同步插件。采用本申请提供的数据聚合方法,执行具体业务操作的用户无需考虑数据聚合中所需要的底层同步插件,以及底层同步插件数据如何部署,使得用户期望的业务操作和底层实际操作隔离,因此用户能够专注于业务需求,而不再关注数据聚合所需的底层原理内容,实现了数据聚合业务的快速部署和实现。

【技术实现步骤摘要】
告警处理方法和装置
本申请涉及计算机软件处理
,具体设计一种告警处理方法和装置。
技术介绍
为了适用各种子业务类型对数据处理的需求,企业需要部署各种类型的数据库。例如,在在一个企业中,其部署有MySQL、MongoDB、Redis、ES(ElasticSearch)、Tidb集群或者HDFS集群等数据库产品;这些数据库产品采用了不同的数据结构、数据存储方式和/或数据处理引擎。在采用多种数据库的情况下,企业的数字资产天然地被各种数据库产品隔开。实际生产中,企业具有融合多种数据库中的数字资产,基于多种数据库的数字资产做业务分析或者数据挖掘的需求;例如,在一互联网车企中,其用户信息被存储在MySQL1数据库中,车辆信号信息被存储在MongoDB数据库中,车辆信息被存储在MySQL2数据库中,当需要统计用户维度、地域维度、车辆维度的远程车控指令的成功率、车辆信号上报的数量等数据时,需要将MySQL1、MySQL2、MongoDB的数据聚合到Tidb集群或者HDFS集群中。但是现有市场产品中,仅具有实现各种独立数据库之间数据转换、聚本文档来自技高网...

【技术保护点】
1.一种数据聚合方法,其特征在于,包括:/n获取数据聚合请求;/n根据所述数据聚合请求中的上游数据库标识和下游数据库标识,获取同步插件信息;/n根据待转换上游数据标识、所述上游数据库标识和所述下游数据库标识,确定待转换上游数据与下游数据库表列的映射关系;/n将所述待转换上游数据标识和所述映射关系发送给所述同步插件信息表征的同步插件。/n

【技术特征摘要】
1.一种数据聚合方法,其特征在于,包括:
获取数据聚合请求;
根据所述数据聚合请求中的上游数据库标识和下游数据库标识,获取同步插件信息;
根据待转换上游数据标识、所述上游数据库标识和所述下游数据库标识,确定待转换上游数据与下游数据库表列的映射关系;
将所述待转换上游数据标识和所述映射关系发送给所述同步插件信息表征的同步插件。


2.根据权利要求1所述数据聚合方法,其特征在于,
在将所述待转换上游数据标识和所述映射关系发送给所述同步插件信息表征的同步插件前,还包括:
根据所述同步插件信息,查询所述同步插件的配置信息;
根据所述配置信息部署所述同步插件信息对应的所述同步插件。


3.根据权利要求1所述数据聚合方法,其特征在于,
在将所述待转换上游数据标识和所述映射关系发送给所述同步插件信息表征的同步插件前,还包括:获取策略配置信息;
将所述待转换上游数据标识和所述映射关系发送给所述同步插件信息表征的同步插件,包括:将所述待转换上游数据标识、所述映射关系和所述策略配置信息发送给所述同步插件。


4.根据权利要求3所述数据聚合方法,其特征在于,
所述策略配置信息包括上游数据库地址、下游数据库地址、上游数据读取模式、过滤指定操作类型中的至少一个。


5.根据权利要求1-4任一项所述数据聚合方法,其特征在于,还包括:
监控所述同步插件的工作状态;
在所述工作状态为异常状态时,生成报警提示信息。


6.根据权利要求5所述数据聚合方法,其特征在于,监控所述同步插件的工作状态,包括:
监控所述同步插件从上游数据库读取数据时的第一状态特征,以及所述同步插件向下游数据库写入数据的第二状态特征;
在所述工作状态为异常状态时,生成报警提示信息,包括:在所述第一状态特征和所述第二状态特征不匹配的情况下,判定所述工作状态为异常状态而生成所述报警提示信息。


7.根据权利要求1-4任一项所述数据聚合方法,其特征在于,还包括:
获取所述数据聚合请求中的用户标识;
根据所述数据聚合请求中的用户标识进行权限验证;
在权限验证通过的情况下,根据所述数据聚合请求中的上游数据库标识和下游数据库标识,获取同步插件信...

【专利技术属性】
技术研发人员:赵海军
申请(专利权)人:北京车和家信息技术有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1