一种支持多数据源的数据同步方法、装置及计算机设备制造方法及图纸

本发明专利技术适用于数据处理技术领域，特别涉及一种支持多数据源的数据同步方法，包括如下步骤：获取程序节点的负载值、作业的压力指数和数据库增量日志；根据所述负载值和所述压力指数，将作业分配至对应的程序节点；根据所述数据库增量日志，将分配好的所述作业放入对应的内存消息队列进行并行解析；将并行解析出的增量数据写入存储消息队列。本发明专利技术还提供一种支持多数据源的数据同步装置、计算机设备及计算机可读存储介质。本发明专利技术实施例提供的支持多数据源的数据同步方法，可针对不同的业务，支持不同场景的安全配置和性能配置；同时，任务分配均匀，尽可能使每个节点的计算机资源既不浪费也不空闲。费也不空闲。费也不空闲。

【技术实现步骤摘要】
一种支持多数据源的数据同步方法、装置及计算机设备


[0001]本专利技术属于数据处理领域，尤其涉及一种支持多数据源的数据同步方法、装置、计算机设备及计算机可读存储介质。

技术介绍

[0002]数据处理是对数据的采集、传输、存储和加工等。针对某些业务场景，有很多的mysql(一种关系型数据库系统)数据需要同步到kafka(一种高吞吐量的分布式发布订阅消息系统)，然后做实时的大数据分析、归类和查询。
[0003]现有的解决方案是采用轮询方式去查询数据库，查看数据是否有改变；或者采用Canal(同步mysql增量数据)方案通过模拟mysql从库，订阅数据库的binlog(mysql的二进制日志)方式，实时地从数据库中抓取最新的实时数据。
[0004]在多数据源、多进程节点的情况下，现有技术的方法存在任务分配不均匀，不支持局部有序，无法拦截异常流量的问题。

技术实现思路

[0005]本专利技术实施例提供一种支持多数据源的数据同步方法，以解决现有技术中的方法在多数据源、多进程节点的情况下，存在任务分配不均匀，不支持局部有序本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种支持多数据源的数据同步方法，其特征在于，包括如下步骤：获取程序节点的负载值、作业的压力指数和数据库增量日志；根据所述负载值和所述压力指数，将作业分配至对应的程序节点；根据所述数据库增量日志，将分配好的所述作业放入对应的内存消息队列进行并行解析；将并行解析出的增量数据写入存储消息队列。2.根据权利要求1所述的支持多数据源的数据同步方法，其特征在于，所述根据所述负载值和所述压力指数，将作业分配至对应的程序节点的步骤具体包括：根据所述负载值确定出空闲程序节点；根据所述压力指数将所述作业分配至对应的所述空闲程序节点。3.根据权利要求1所述的支持多数据源的数据同步方法，其特征在于，所述根据所述数据库增量日志，将分配好的所述作业放入对应的内存消息队列进行并行解析的步骤具体包括：加载配置数据；根据所述数据库增量日志和配置数据，解析出哈希值；根据所述哈希值，将分配好的所述作业放入对应的内存消息队列进行并行解析。4.根据权利要求1所述的支持多数据源的数据同步方法，其特征在于，所述方法还包括：根据并行解析结果判断是否有异常流量；若有，则拦截所述异常流量；将所述异常流量慢速写入存储消息队列。5.一种支持多数据源的数据同步装置，其特征在于，包括：数据获取单元，用于获取程序节点的负载值、作业的压力指数和数据库增量日志；作业分配单元，用于根据所述负载值和所述压力指数，将作业分配至对应的程序节点；并行解析单元，用于根据所述数据库增量日志，将分配好的所...

【专利技术属性】
技术研发人员：张星亮，石昌义，
申请(专利权)人：深圳市六度人和科技有限公司，
类型：发明
国别省市：