System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 离线数据的更新方法、系统、存储介质及电子设备技术方案_技高网

离线数据的更新方法、系统、存储介质及电子设备技术方案

技术编号:41060730 阅读:6 留言:0更新日期:2024-04-24 11:12
本公开提供一种离线数据的更新方法、系统、存储介质及电子设备。所述方法包括:建立数据导出服务单元,数据导出服务单元用于创建描述文件,还用于导出目标数据库中的数据定义语言、数据操纵语言和文件夹,并上传至云储存中;建立文件传输单元;在云储存中获取更新数据,将更新数据放入到文件传输单元中;建立数据导入服务单元,数据导入服务单元用于监控文件传输单元上是否有数据更新,导入并读取更新数据的更新描述文件;对比源数据库的数据定义语言和目标数据库的数据定义语言和数据操纵语言,并更新数据定义语言和数据操纵语言;对于更新的数据定义语言和更新的数据操纵语言进行日志回滚操作。解决了如何提高离线时更新效率的问题。

【技术实现步骤摘要】

本公开涉及计算机,尤其涉及一种离线数据的更新方法、系统、存储介质及电子设备


技术介绍

1、在一些saas部署的环境中,在用户对原始数据已经修改时,需要处理应用来保证用户数据最终一致性。而一些客户的网络环境与互联网是隔离的,在升级应用的数据时,具有一定的困难。此时需要专员将全量数据带到现场进行复杂的操作,同时升级时全面升级多中类型的数据库结构、数据、应用、才能保证数据最终一致性、系统可用性。

2、如何减少人员的使用,并提高离线用户的升级效率是现在需要解决的问题。


技术实现思路

1、有鉴于此,本公开的目的在于提出一种离线数据的更新方法、系统、电子设备及存储介质,解决了离线的用户在数据更新时,如何提高更新效率的问题。

2、为了实现上述公开目的之一,本公开提供了一种离线数据的更新方法,所述方法包括:建立数据导出服务单元,所述数据导出服务单元用于创建描述文件,还用于导出目标数据库中的数据定义语言、数据操纵语言和文件夹,上传至云储存中;建立文件传输单元;在所述云储存中获取更新数据,将更新数据放入到所述文件传输单元中;建立数据导入服务单元,所述数据导入服务单元用于监控所述文件传输单元上是否有数据更新,响应于有数据更新,则导入并读取更新数据的更新描述文件;对比执行源数据库的数据定义语言和所述目标数据库的数据定义语言,并更新数据定义语言的内容;对比执行源数据库的数据操纵语言和所述目标数据库的数据操纵语言,并更新数据操纵语言的内容;对于更新的数据定义语言和更新的数据操纵语言进行日志回滚操作。

3、作为本公开一实施方式的进一步改进,所述建立数据导出服务单元,还包括:选取多个数据库;设置插件接口,所述插件接口采用标准的插口协议;根据所述数据库和所述插件接口,建立所述数据导出服务单元。

4、作为本公开一实施方式的进一步改进,所述响应于有数据更新,则导入并读取更新数据的更新描述文件之后,包括:根据所述更新描述文件中注册的数据库应用对应的非源数据插件,对所述非源数据插件进行调用,更新多个所述数据库应用中的数据。

5、作为本公开一实施方式的进一步改进,所述数据导出服务单元还用于导出目标数据库中的数据定义语言、数据操纵语言和文件夹,还包括:所述数据导出服务单元还用于根据标准的sql schema,导出所述数据定义语言中的数据表结构;所述数据导出服务单元还用于根据postgresql的wal日志,监控并解析mysql binlog日志,导出所述数据操纵语言;所述数据导出服务单元还用于根据minio系统自带的审计日志,对各个存储桶中的所述文件夹进行监控,监控文件夹是否更新,响应于文件夹更新,则导出所述文件夹。

6、作为本公开一实施方式的进一步改进,所述在所述云储存中获取更新数据,将更新数据放入到所述文件传输单元中,包括:在所述云储存中下载所述更新数据,并将所述更新数据刻盘;获取刻盘数据至文件传输单元的指定目录中。

7、作为本公开一实施方式的进一步改进,所述数据导出服务单元还用于用于:根据所述描述文件生成导出任务;根据用户需求管理所述导出任务。

8、作为本公开一实施方式的进一步改进,所述对比执行源数据库的数据定义语言和所述目标数据库的数据定义语言,包括:对比所述数据定义语言的字段、索引、备注和序列的至少其中之一;对比执行源数据库的数据操纵语言和所述目标数据库的数据操纵语言,包括:对比所述数据操纵语言的用户增加字段、用户删除数据和变更源数据中的至少其中之一。

9、基于相同的专利技术构思,本公开还提供了一种活动轨迹预测的系统,包括:第一建立模块,用于建立数据导出服务单元,所述数据导出服务单元用于创建描述文件,还用于导出目标数据库中的数据定义语言、数据操纵语言和文件夹,并上传至云储存中;第二建立模块,用于建立文件传输单元;获取模块,用于在所述云储存中获取更新数据,将更新数据放入到所述文件传输单元中;第三建立模块,用于建立数据导入服务单元,所述数据导入服务单元用于监控所述文件传输单元上是否有数据更新,响应于有数据更新,则导入并读取更新数据的更新描述文件;第一对比模块,用于对比执行源数据库的数据定义语言和所述目标数据库的数据定义语言,并更新数据定义语言的内容;第二对比模块,用于对比执行源数据库的数据操纵语言和所述目标数据库的数据操纵语言,并更新数据操纵语言的内容;回滚模块,用于对于更新的数据定义语言和更新的数据操纵语言进行日志回滚操作。

10、基于同样的专利技术构思,本公开还提供了一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使计算机执行上述任一所述的离线数据的更新方法。

11、基于同样的专利技术构思,本公开还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任意一项所述的离线数据的更新方法。

12、相对于现有技术,本专利技术的技术效果在于:通过建立数据导出服务单元、文化传输单元和数据导入服务单元,实现了平滑的跨网络环境的数据结构,数据的升级,实现了数据的最终一致性,实现了用户的自助化,系统自动化数据离线同步,最终减少了人员使用。

本文档来自技高网...

【技术保护点】

1.一种离线数据的更新方法,其特征在于,所述方法包括:

2.根据权利要求1所述的离线数据的更新方法,其特征在于,所述建立数据导出服务单元,包括:

3.根据权利要求1所述的离线数据的更新方法,其特征在于,所述响应于有数据更新,导入并读取更新数据的更新描述文件之后,包括:

4.根据权利要求1所述的离线数据的更新方法,其特征在于,所述数据导出服务单元还用于导出目标数据库中的数据定义语言、数据操纵语言和文件夹,包括:

5.根据权利要求1所述的离线数据的更新方法,其特征在于,所述在所述云储存中获取更新数据,将更新数据放入到所述文件传输单元中,包括:

6.根据权利要求1所述的离线数据的更新方法,其特征在于,所述数据导出服务单元还用于:

7.根据权利要求1所述的离线数据的更新方法,其特征在于,所述对比执行源数据库的数据定义语言和所述目标数据库的数据定义语言,包括:

8.一种离线数据的更新系统,其特征在于,所述系统包括:

9.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使计算机执行权利要求1至7任一所述的离线数据的更新方法。

10.一种电子设备,其特征在于,包括:处理器和存储器;

...

【技术特征摘要】

1.一种离线数据的更新方法,其特征在于,所述方法包括:

2.根据权利要求1所述的离线数据的更新方法,其特征在于,所述建立数据导出服务单元,包括:

3.根据权利要求1所述的离线数据的更新方法,其特征在于,所述响应于有数据更新,导入并读取更新数据的更新描述文件之后,包括:

4.根据权利要求1所述的离线数据的更新方法,其特征在于,所述数据导出服务单元还用于导出目标数据库中的数据定义语言、数据操纵语言和文件夹,包括:

5.根据权利要求1所述的离线数据的更新方法,其特征在于,所述在所述云储存中获取更新数据,将更新数据放入到所述文件...

【专利技术属性】
技术研发人员:林正位旷余建
申请(专利权)人:中科世通亨奇北京科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1