一种高速数据传输同步的方法及系统技术方案

本发明专利技术提供一种高速数据传输同步的方法及系统，方法包括：基于标准协议实现，适用于数据库间数据传输，建立通信连接，建立心跳检测机制；完成数据库相关表元数据信息的收集；收集系统IO、网络基准信息；获取源端和目标端网络通信状况；压缩数据处理；创建控制任务并动态调整；快速同步数据；定期分析同步状况，动态新增或减少任务并发数，完成大批量数据的同步。本发明专利技术基于开源算法和协议，提高了数据库迁移及同步速度；兼具通用性与实用性，具有广泛推广价值；基于应用层的传输方案，避免对上层应用影响，提高了应用稳定性；支持T级大规模数据的极速同步，将集中式数据库同步效率提升到1TB/h以上，市场认可度高，具备广阔市场应用前景。

【技术实现步骤摘要】

本专利技术涉及高速的数据库数据同步，具体而言，涉及一种高速数据传输同步的方法及系统。

技术介绍

1、随着数据库国产化的加速，很多企业在业务上逐步使用多种国产数据库。然而，国产数据库与当前国外的主流数据库之间在数据同步和迁移方面的问题突出，而且国产数据库之间也各自成为孤岛，企业的数据无法得到快速的迁移及有效的利用。

2、同时，随着金融业务数字化转型，数据安全和可靠性变得至关重要。金融企业需要对大量历史系统迁移到安全可控的国产数据库，然而，企业业务在国外数据库长时间积累了大量的数据，这些生产要素需要在有限的时间内迁移到国产数据库，面临极大的技术挑战。

3、现阶段在实际生产中，由于资源的限制，时间的限制，对于大规模的数据迁移往往存在以下缺点和不足：

4、1.迁移速度慢。无法在规定的时间窗口中完成数据的迁移及业务交割。迁移资源无法充分利用。当前的数据迁移技术无法充分地利用已有的迁移资源，导致迁移速度慢，效率低。

5、2.缺乏合理充分调度机制，从而导致源端和目标端资源利用不匹配，不平衡，导致任务累计和性能极速下降。...

【技术保护点】

1.一种高速数据传输同步的方法，其特征在于，基于标准协议实现，适用于数据库间数据传输，包括以下步骤：

2.根据权利要求1所述的高速数据传输同步的方法，其特征在于，所述S2步骤的所述建立心跳检测机制的方法包括：

3.根据权利要求1所述的高速数据传输同步的方法，其特征在于，所述S5步骤的对数据流进行压缩处理的方法包括：采用Deflate数据压缩算法，在TCP协议的头部中加入两个关键信息：压缩算法标识、压缩数据长度；

4.根据权利要求3所述的高速数据传输同步的方法，其特征在于，所述对数据流进行压缩处理的处理过程包括：

5.根据权利要求2所述的高速...

【技术特征摘要】

1.一种高速数据传输同步的方法，其特征在于，基于标准协议实现，适用于数据库间数据传输，包括以下步骤：

2.根据权利要求1所述的高速数据传输同步的方法，其特征在于，所述s2步骤的所述建立心跳检测机制的方法包括：

3.根据权利要求1所述的高速数据传输同步的方法，其特征在于，所述s5步骤的对数据流进行压缩处理的方法包括：采用deflate数据压缩算法，在tcp协议的头部中加入两个关键信息：压缩算法标识、压缩数据长度；

4.根据权利要求3所述的高速数据传输同步的方法，其特征在于，所述对数据流进行压缩处理的处理过程包括：

5.根据权利要求2所述的高速数据传输同步的方法，其特征在于，所述s24步骤的所述异常处理机制包括：重试发送心跳、记录日志、发送警告或尝试重新建立连接。

6...

【专利技术属性】
技术研发人员：吴贤川，涂朝南，邹昌根，
申请(专利权)人：上海掌数科技有限公司，
类型：发明
国别省市：