System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据同步方法、系统、设备以及存储介质技术方案_技高网

数据同步方法、系统、设备以及存储介质技术方案

技术编号:40662071 阅读:4 留言:0更新日期:2024-03-18 18:55
本申请实施例提出了一种数据同步方法、系统、设备以及存储介质,涉及内存管理技术领域;能够保证同步数据的一致性和实时性,进而减少数据库压力和增加服务器吞吐量。所述方法包括:所述定时任务服务器每隔第一预设时间发起缓存服务器对数据库数据的数据同步操作;缓存服务器每次执行数据同步从数据库同步至少一种业务数据;所述缓存服务器每同步一次业务数据,设置当前同步数据的时间信息与所述当前同步数据对应标识的映射关系;客户端根据所述标识,在所述缓存服务器中依次检测每个业务数据对应映射关系,当检测到目标业务数据对应映射关系发生变化,所述客户端将变换后的所述映射关系中业务数据同步到本地。

【技术实现步骤摘要】

【】本申请实施例涉及内存管理,尤其涉及一种数据同步方法、系统、设备以及存储介质


技术介绍

0、
技术介绍

1、数据库查询优化相关技术中,通常采用直接基于数据库查询并获取目标数据的方式,但数据库受到性能瓶颈的限制连接数有限,特别是在高并发查询的情况下,查询性能可能会下降。为了解决这个问题,相关
提出将数据同步到内存中进行查询优化。但是,现有的内存同步技术存在一些问题,例如数据的一致性和实时性无法得到保证,同时对内存管理也缺乏有效的策略。


技术实现思路

0、
技术实现思路

1、本申请实施例提供了一种数据同步方法、系统、设备以及存储介质,能够保证同步数据的一致性和实时性,进而提高数据库查询性能和增加服务器吞吐量。

2、第一方面,本申请实施例提供一种数据同步方法,应用于数据同步系统,所述数据同步系统包括客户端、缓存服务器以及定时任务服务器;所述方法包括:所述定时任务服务器每隔第一预设时间发起缓存服务器对数据库数据的数据同步操作;缓存服务器每次执行数据同步从数据库同步至少一种业务数据;所述缓存服务器每同步一次业务数据,设置当前同步数据的时间信息与所述当前同步数据对应标识的映射关系;客户端根据所述标识,在所述缓存服务器中依次检测每个业务数据对应映射关系,当检测到目标业务数据对应映射关系发生变化,所述客户端将变换后的所述映射关系中业务数据同步到本地。

3、本申请实施例提出的数据同步方法,通过将数据从数据库同步到缓存服务器的方式,基于缓存服务器的高并发性能实现多个客户端同时从缓存服务器同步数据的目标,同时数据库、缓存服务器和客户端各个模块相对独立,易于实现和扩展。通过上述方式将数据同步到内存中,可以减少对数据库的访问次数,特别是在高并发查询的情况下,可以显著提高服务器的响应速度和吞吐量。

4、其中一种可能的实现方式中,当检测到所述目标业务数据对应映射关系中的时间信息发生变化,所述客户端将变换后的所述映射关系中业务数据同步到本地,包括:

5、客户端每隔第二预设时间从所述缓存服务器的所述映射关系读取所述目标标识对应的最新时间信息;所述目标标识是所述客户端当前检测的业务数据的标识;

6、当读取到所述最新时间信息发生变化,客户端根据所述最新时间信息从所述缓存服务器同步业务数据至本地的随机存取存储器。

7、其中一种可能的实现方式中,客户端根据所述最新时间信息从所述缓存服务器同步业务数据至本地的随机存取存储器,包括:

8、所述客户端以所述最新更新时间作为更新节点,将所述缓存服务器中更新时间之前存储的目标业务数据同步至本地。

9、其中一种可能的实现方式中,所述客户端本地设置有同步所述目标数据的更新时间点与标识的对应关系,所述客户端以所述最新更新时间作为更新节点,将所述缓存服务器中更新时间之前存储的目标业务数据同步至本地,包括:

10、根据所述标识,在所述对应关系中查找所述目标业务数据的历史更新时间点;

11、计算最新时间信息和本地历史更新时间点中的上一次更新时间点的时间差;

12、客户端将所述时间差中包含的时间信息对应的目标业务数据同步到本地。

13、其中一种可能的实现方式中,客户端将所述时间差中包含的时间信息对应的目标业务数据同步到本地之后,所述方法还包括:

14、客户端在所述对应关系中,对所述时间差中包含的时间信息和对应业务数据的标识建立连接。

15、其中一种可能的实现方式中,所述缓存服务器每同步一次业务数据,设置当前同步数据的时间信息与所述当前同步数据对应标识的映射关系,包括:

16、获得所述当前同步数据对应的同步类型;

17、构建时间信息、当前同步数据对应标识与所述当前同步数据对应同步类型的映射关系;

18、当检测到目标业务数据对应映射关系发生变化,所述客户端将变换后的所述映射关系中业务数据同步到本地,包括:

19、按照变换后的所述映射关系中目标同步类型,对所述映射关系中业务数据进行同步。

20、其中一种可能的实现方式中,所述同步类型包括:新增、删除以及更新,按照变换后的所述映射关系中目标同步类型,对所述映射关系中业务数据进行同步,包括:

21、当所述同步类型为新增,所述客户端将所述映射关系中所述标识对应业务数据新增到本地,并建立新增业务数据对应标识、新增业务数据、新增时间点的对应关系;

22、当所述同步类型为删除,所述客户端在本地删除所述标识对应业务数据,并记录删除所述业务数据的时间点与删除业务数据对应标识的对应关系;

23、当所述同步类型为更新,所述客户端在本地查找所述标识对应业务数据,对所述标识对应业务数据和所述标识对应时间点进行更新。

24、第二方面,本申请实施例提供一种数据同步系统,包括:缓存服务器、定时任务服务器和客户端;其中,

25、所述定时任务服务器用于每隔第一预设时间发起缓存服务器对数据库数据的数据同步操作;

26、缓存服务器用于每次执行数据同步从数据库同步至少一种业务数据;

27、所述缓存服务器用于每同步一次业务数据,设置当前同步数据的时间信息与所述当前同步数据对应标识的映射关系;

28、客户端用于根据所述标识,在所述缓存服务器中依次检测每个业务数据对应映射关系,当检测到目标业务数据对应映射关系发生变化,所述客户端将变换后的所述映射关系中业务数据同步到本地。

29、其中一种可能的实现方式中,客户端具体用于每隔第二预设时间从所述缓存服务器的所述映射关系读取所述目标标识对应的最新时间信息;所述目标标识是所述客户端当前检测的业务数据的标识;

30、当读取到所述最新时间信息发生变化,客户端根据所述最新时间信息从所述缓存服务器同步业务数据至本地的随机存取存储器。

31、其中一种可能的实现方式中,客户端具体用于以所述最新更新时间作为更新节点,将所述缓存服务器中更新时间之前存储的目标业务数据同步至本地。

32、其中一种可能的实现方式中,所述客户端本地设置有同步所述目标数据的更新时间点与标识的对应关系,客户端具体用于根据所述标识,在所述对应关系中查找所述目标业务数据的历史更新时间点;计算最新时间信息和本地历史更新时间点中的上一次更新时间点的时间差;客户端将所述时间差中包含的时间信息对应的目标业务数据同步到本地。

33、其中一种可能的实现方式中,所述客户端还用于将所述时间差中包含的时间信息对应的目标业务数据同步到本地之后,在所述对应关系中,对所述时间差中包含的时间信息和对应业务数据的标识建立连接。

34、其中一种可能的实现方式中,所述缓存服务器具体用于获得所述当前同步数据对应的同步类型;

35、构建时间信息、当前同步数据对应标识与所述当前同步数据对应同步类型的映射关系;

36、当检测到本文档来自技高网...

【技术保护点】

1.一种数据同步方法,其特征在于,应用于数据同步系统,所述数据同步系统包括客户端、缓存服务器以及定时任务服务器;所述方法包括:

2.根据权利要求1所述的方法,其特征在于,当检测到所述目标业务数据对应映射关系中的时间信息发生变化,所述客户端将变换后的所述映射关系中业务数据同步到本地,包括:

3.根据权利要求2所述的方法,其特征在于,客户端根据所述最新时间信息从所述缓存服务器同步业务数据至本地的随机存取存储器,包括:

4.根据权利要求3所述的方法,其特征在于,所述客户端本地设置有同步所述目标数据的更新时间点与标识的对应关系,所述客户端以所述最新更新时间作为更新节点,将所述缓存服务器中更新时间之前存储的目标业务数据同步至本地,包括:

5.根据权利要求4所述的方法,其特征在于,客户端将所述时间差中包含的时间信息对应的目标业务数据同步到本地之后,所述方法还包括:

6.根据权利要求1所述的方法,其特征在于,所述缓存服务器每同步一次业务数据,设置当前同步数据的时间信息与所述当前同步数据对应标识的映射关系,包括:

7.根据权利要求6所述的方法,其特征在于,所述同步类型包括:新增、删除以及更新,按照变换后的所述映射关系中目标同步类型,对所述映射关系中业务数据进行同步,包括:

8.一种数据同步系统,其特征在于,包括:缓存服务器、定时任务服务器以及客户端;其中,

9.一种设备,包括:

10.一种计算机可读存储介质,所述计算机可读存储介质存储计算机指令,其特征在于,所述计算机指令使所述计算机执行如权利要求1至7任一所述的方法。

...

【技术特征摘要】

1.一种数据同步方法,其特征在于,应用于数据同步系统,所述数据同步系统包括客户端、缓存服务器以及定时任务服务器;所述方法包括:

2.根据权利要求1所述的方法,其特征在于,当检测到所述目标业务数据对应映射关系中的时间信息发生变化,所述客户端将变换后的所述映射关系中业务数据同步到本地,包括:

3.根据权利要求2所述的方法,其特征在于,客户端根据所述最新时间信息从所述缓存服务器同步业务数据至本地的随机存取存储器,包括:

4.根据权利要求3所述的方法,其特征在于,所述客户端本地设置有同步所述目标数据的更新时间点与标识的对应关系,所述客户端以所述最新更新时间作为更新节点,将所述缓存服务器中更新时间之前存储的目标业务数据同步至本地,包括:

5.根据权利要求4所述的方法,其...

【专利技术属性】
技术研发人员:葛茂新单杏花阎志远朱志娟朱建军赵楠黄伟伟李志彬张名妹张华弟王斌马劭涵詹彤汪健雄
申请(专利权)人:铁旅科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1