【技术实现步骤摘要】
本申请涉及大数据领域，尤其涉及数据处理方法和系统。
技术介绍
1、在金融及电商业务场景中，数据的处理和管理对于业务的正常运行至关重要。特别是在银行保险行业，总分系统架构的普遍应用要求多个子库能够实时地将业务数据同步至总库(又称为聚合数据库)进行汇总查询。此外，银行核心交易系统也需要将交易数据实时同步至分析子系统，以执行报表生成、报表批量处理等业务操作。随着业务的发展和数据量的增加，如何高效、准确地实现数据的同步、订阅、分发和汇总成为了业务中亟待解决的问题。
技术实现思路
1、本申请提出一种数据处理方法和系统。
2、本申请第一方面实施例提出了一种数据处理方法，所述方法包括：
3、针对分布式集群中的业务节点，通过数据采集组件根据预设拦截规则拦截针对所述业务节点的业务数据库进行目标业务操作的目标业务操作语句；其中，所述预设拦截规则用于规定拦截的操作类型，所述目标业务操作与所述操作类型匹配，所述数据采集组件是将数据采集功能集成到所述业务节点的应用程序中的软件开发工具包sdk；
4、通过数据采集组件对所述目标业务操作语句进行解析，以获取待同步数据；
5、通过所述数据采集组件将所述待同步数据发送至消息中间件；
6、通过数据同步服务接收所述消息中间件中的待同步数据，并将所述待同步数据写入聚合数据库。
7、本申请另一方面实施例提出了一种数据处理系统，所述系统包括数据采集组件、消息中间件、数据同步服务，其中：
8、所
9、所述数据同步服务，用于接收所述消息中间件中的待同步数据，并将所述待同步数据写入聚合数据库；
10、所述数据补偿服务，用于响应于用户的操作，对所述聚合数据库中的异常数据进行修正；
11、所述数据转存服务，用于通过同步工具，将所述聚合数据库中的数据转存至备份库。
12、本申请另一方面实施例提出了一种数据处理装置，所述数据处理装置包括：
13、拦截模块，用于针对分布式集群中的业务节点，通过数据采集组件根据预设拦截规则拦截针对所述业务节点的业务数据库进行目标业务操作的目标业务操作语句；其中，所述预设拦截规则用于规定拦截的操作类型，所述目标业务操作与所述操作类型匹配，所述数据采集组件是将数据采集功能集成到所述业务节点的应用程序中的软件开发工具包sdk；
14、解析模块，用于通过数据采集组件对所述目标业务操作语句进行解析，以获取待同步数据；
15、发送模块，用于通过所述数据采集组件将所述待同步数据发送至消息中间件；
16、处理模块，用于通过数据同步服务接收所述消息中间件中的待同步数据，并将所述待同步数据写入聚合数据库。
17、本申请另一方面实施例提出了一种电子设备，包括：存储器，处理器；所述存储器中存储有计算机指令，当所述计算机指令被所述处理器执行时，实现本申请实施例中的数据处理方法。
18、本申请另一方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现本申请实施例申请的数据处理方法。
19、根据本申请实施例提供的数据处理方法，方法包括：针对分布式集群中的业务节点，通过数据采集组件根据预设拦截规则拦截针对业务节点的业务数据库进行目标业务操作的目标业务操作语句；其中，预设拦截规则用于规定拦截的操作类型，目标业务操作与操作类型匹配，数据采集组件是将数据采集功能集成到业务节点的应用程序中的软件开发工具包sdk；通过数据采集组件对目标业务操作语句进行解析，以获取待同步数据；通过数据采集组件将待同步数据发送至消息中间件；通过数据同步服务接收消息中间件中的待同步数据，并将待同步数据写入聚合数据库。
20、其有益效果包括：
21、1.不同于相关技术中通过数据层解决数据汇总的技术方案，本申请通过应用层集成的方式完成数据采集、通过数据同步服务完成数据落库，满足了用户对分布式系统中业务节点中的业务节点数据的数据汇总需求，解决了跨单元业务节点数据的实时同步的技术难题；且无需考虑数据表的数量和数据结构的变化，便可自动实现数据同步。
22、2.接入灵活。开发者可以通过注解(或设置预设拦截规则)的方式灵活设置需要拦截的对象。
23、3.数据采集具有实时性。可以达到实时采集业务数据(又称为待落库数据)的效果，且业务数据落库后几乎可以同步发送至消息中间件。
24、4.业务无侵入。以无侵入的方式实现数据采集，即使数据采集组件在执行数据采集期间程序出现执行错误，也不会影响主流业务流程的正常执行。
25、5.高性能。数据采集组件仅采集了dao层数据，对数据库的原有执行程序不会造成影响。
26、6.保证数据一致性。数据采集组件仅在业务数据库事务提交后才发送消息至消息中间件，能够保证业务数据库与聚合数据库的数据一致性。
27、上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
本文档来自技高网...【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征根在于，所述通过所述数据采集组件将所述待同步数据发送至消息中间件，包括：
3.根据权利要求2所述的方法，其特征在于，所述待同步数据为多个；
4.根据权利要求1所述的方法，其特征在于，在所述通过数据采集组件对所述目标业务操作语句进行解析，以获取待同步数据之前，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述通过所述数据采集组件将所述待同步数据发送至消息中间件，包括：
6.根据权利要求1所述的方法，其特征在于，所述预设拦截规则还用于规定拦截的目标主键键值对；
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
8.根据权利要求6所述的方法，其特征在于，所述方法还包括：
9.根据权利要求8所述的方法，其特征在于，所述方法还包括：
10.根据权利要求6所述的方法，其特征在于，所述聚合数据库包括多个数据源；
11.一种数据处理系统，其特征在于，所述系统包括数据采集
...【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征根在于，所述通过所述数据采集组件将所述待同步数据发送至消息中间件，包括：
3.根据权利要求2所述的方法，其特征在于，所述待同步数据为多个；
4.根据权利要求1所述的方法，其特征在于，在所述通过数据采集组件对所述目标业务操作语句进行解析，以获取待同步数据之前，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述通过所述数据采集组件将所述待同步数据发送至消息中间件，包括：
...
【专利技术属性】
技术研发人员：杨登魁，胡汝道，张栓柱，杨得朝，吴佳斌，
申请(专利权)人：中电金信软件上海有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。