System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据库间数据的传输方法、装置、设备以及存储介质制造方法及图纸_技高网

数据库间数据的传输方法、装置、设备以及存储介质制造方法及图纸

技术编号:41329634 阅读:2 留言:0更新日期:2024-05-13 15:08
本公开提出一种数据库间数据的传输方法、装置、设备以及存储介质,涉及数据传输技术领域,该方法包括:确定待数据同步的各个数据库,以及每个数据库中数据表的类型;基于数据表对应的类型,对各个数据库对应的传输方案进行参数配置;响应于确定任务流被触发,依据各个传输方案对各个数据库进行数据传输,并对数据传输的过程进行监控;若数据传输中断,则确定中断点后进行断点续传处理;若数据同步完成,则通知数据库运维人员。由此,实现了异构数据库间高效且便捷地进行海量数据的传输与转储,提升了系统间数据的交互速率,并通过监控数据同步状态,实时更新已同步成功的数据位置,极大地减轻了系统在数据传输与转储上的资源压力。

【技术实现步骤摘要】

本公开涉及数据传输,尤其涉及一种数据库间数据的传输方法、装置、设备以及存储介质


技术介绍

1、在当今互联网行业,数据变得越来越重要,它不仅仅是一种资源,而且也是一种工具,数据可以帮助我们更好地了解现状,也为我们提供更加准确、更有效的信息。在实际项目中,数据的导出与导入、数据的共享与转储是一项非常重要的工作,它常常用于数据库的备份及恢复,或是用于数据的接收和下发。

2、目前主流的数据库有oracel、informix、mysql、db2、postgresql、tidb、oceanbase、opengauss等,上下游系统间因业务需要往往会进行数据共享或数据传输,由此带来以哪种方式才能高效地实现海量数据传输的问题。

3、当前主流方案主要是根据业务的需求进行程序开发,通过前端应用程序向对端应用发出请求,对端应用通过程序编译从自己的数据库获取数据后生成各种文件类型的数据包(xml/xls/csv/txt等),再通过接口以文件传输的形式传递给请求方来实现数据的共享和传输。又或是通过数据库本身自带数据导入、导出功能生成特定类型的备份文件或者sql类型文件,然后以文件拷贝还原导入的方式实现数据传输,从而达到数据转储或数据共享的目的。

4、实践证明,现有的数据传输手段,与核心财务系统大批量数据传输的适配性不高,且效率低下,严重时甚至会拖慢整个业务系统的响应速度。同时,数据传输转储非业务用户常用功能,属于后台运维工作,单独开发相关功能比较浪费人力资源且灵活性较差。更重要的一点是,数据传输和转储可能是在异构数据库间进行,数据库兼容性存在差异,开发的难度也大大增加。


技术实现思路

1、本申请提出了一种数据库间数据的传输方法、装置以及存储介质,旨在至少在一定程度上解决相关技术中的技术问题之一。

2、本申请第一方面实施例提出了一种数据库间数据的传输方法,包括:

3、确定待数据同步的各个数据库,以及每个所述数据库中数据表的类型;

4、基于所述数据表对应的类型,对所述各个数据库对应的传输方案进行参数配置;

5、响应于确定任务流被触发,依据各个所述传输方案对所述各个数据库进行数据传输,并对数据传输的过程进行监控;

6、若数据传输中断,则确定中断点后进行断点续传处理;

7、若数据同步完成,则通知数据库运维人员。

8、本申请第二方面实施例提出了一种数据库间数据的传输装置,包括:

9、确定模块,用于确定待数据同步的各个数据库,以及每个所述数据库中数据表的类型;

10、配置模块,用于基于所述数据表对应的类型,对所述各个数据库对应的传输方案进行参数配置;

11、监控模块,用于响应于确定任务流被触发,依据各个所述传输方案对所述各个数据库进行数据传输,并对数据传输的过程进行监控;

12、处理模块,用于若数据传输中断,则确定中断点后进行断点续传处理;

13、通知模块,用于若数据同步完成,则通知数据库运维人员。

14、本申请第三方面实施例提出了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本申请实施例的数据库间数据的传输方法。

15、本申请第四方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行本申请实施例公开的数据库间数据的传输方法。

16、本公开实施例中,首先确定待数据同步的各个数据库,以及每个数据库中数据表的类型,之后基于数据表对应的类型,对各个数据库对应的传输方案进行参数配置,然后响应于确定任务流被触发,依据各个传输方案对各个数据库进行数据传输,并对数据传输的过程进行监控,之后若数据传输中断,则确定中断点后进行断点续传处理,最后若数据同步完成,则通知数据库运维人员。由此,实现了异构数据库间高效且便捷地进行海量数据的传输与转储,提升了系统间数据的交互速率,并通过监控数据同步状态,实时更新已同步成功的数据位置,极大地减轻了系统在数据传输与转储上的资源压力,大大节省了开发成本,降低了运维压力。

17、本公开附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本公开的实践了解到。

本文档来自技高网...

【技术保护点】

1.一种数据库间数据的传输方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,在所述基于所述数据表对应的类型,对所述各个数据库对应的传输方案进行参数配置之前,还包括:

3.根据权利要求2所述的方法,其特征在于,所述基于所述数据表对应的类型,对所述各个数据库对应的传输方案进行参数配置,包括:

4.根据权利要求3所述的方法,其特征在于,所述在任一数据表的类型属于大数据量类型的情况下,制定与所述任一数据表关联的传输方案,包括:

5.根据权利要求1所述的方法,其特征在于,其中,所述数据库为异构数据库,所述对所述各个数据库进行数据传输,包括:

6.根据权利要求1所述的方法,其特征在于,所述若数据传输中断,则确定中断点后进行断点续传处理,包括:

7.根据权利要求1所述的方法,其特征在于,所述对数据传输的过程进行监控,包括:

8.一种数据库间数据的传输装置,其特征在于,包括:

9.一种电子设备,包括:

10.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的方法。

...

【技术特征摘要】

1.一种数据库间数据的传输方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,在所述基于所述数据表对应的类型,对所述各个数据库对应的传输方案进行参数配置之前,还包括:

3.根据权利要求2所述的方法,其特征在于,所述基于所述数据表对应的类型,对所述各个数据库对应的传输方案进行参数配置,包括:

4.根据权利要求3所述的方法,其特征在于,所述在任一数据表的类型属于大数据量类型的情况下,制定与所述任一数据表关联的传输方案,包括:

5.根据权利要求1所述的方法,其特征在...

【专利技术属性】
技术研发人员:何宁周应文陈丽萍何新宇
申请(专利权)人:中国人民财产保险股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1