System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种推送数据的方法和装置制造方法及图纸_技高网

一种推送数据的方法和装置制造方法及图纸

技术编号:40602023 阅读:6 留言:0更新日期:2024-03-12 22:06
本发明专利技术公开了一种推送数据的方法和装置,涉及计算机技术领域。该方法的一具体实施方式包括:根据数据推送任务获取断点记录,断点记录标示了上次数据推送的最后一条数据的数据标识;根据断点记录设置数据推送任务的起始数据标识;根据起始数据标识和预设的批量推送限值,从数据列表中获取待推送数据;将待推送数据推送给数据接收方,并更新断点记录。该实施方式实现了每次仅推送小批量数据,很快执行完毕,从而可降低断点风险和双方的系统负荷,保护其主要业务;通过保存断点记录,一旦出现数据推送的中断,下次会根据断点记录开始进行数据推送,不会全部重新推送,从而提高了数据推送效率。

【技术实现步骤摘要】

本专利技术涉及计算机,尤其涉及一种推送数据的方法和装置


技术介绍

1、随着服务端技术的发展,web应用微服务化已逐渐成为主流。但随着业务线的迅猛发展,各业务产生的数据量也迅速增长。与此同时,各业务之间的联系日益加强,需要交换、异构的场景也越来约多。目前,服务端间的数据推送方案主要是直接网络推送:通过程序将数据提供方的数据源源不断地读出来,再通过调用数据接收方的数据写入接口写入数据。

2、在实现本专利技术过程中,专利技术人发现现有技术中至少存在如下问题:

3、当推送数据量很大时,持续进行数据推送,推送时间会随之延长,容易出现断点风险,且会导致数据提供方和数据接收方的系统负荷增大,极大地影响了主业务的运行。


技术实现思路

1、有鉴于此,本专利技术实施例提供一种推送数据的方法和装置,能够每次仅推送小批量数据,很快执行完毕,从而可降低断点风险和双方的系统负荷,保护其主要业务;通过保存断点记录,一旦出现数据推送的中断,下次会根据断点记录开始进行数据推送,不会全部重新推送,从而提高了数据推送效率。

2、为实现上述目的,根据本专利技术实施例的一个方面,提供了一种推送数据的方法,包括:

3、根据数据推送任务获取断点记录,所述断点记录标示了上次数据推送的最后一条数据的数据标识;

4、根据所述断点记录设置所述数据推送任务的起始数据标识;

5、根据所述起始数据标识和预设的批量推送限值,从数据列表中获取待推送数据;

6、将所述待推送数据推送给数据接收方,并更新所述断点记录。

7、可选地,还包括:若根据数据推送任务未能获取到断点记录,则所述数据推送任务的起始数据标识为默认的起始数据标识。

8、可选地,根据所述起始数据标识和预设的批量推送限值,从数据列表中获取待推送数据,包括:根据所述起始数据标识和预设的批量推送限值,从数据列表中获取第一待推送数据;将所述第一待推送数据中的指定数据删除以得到第二待推送数据,并将所述第二待推送数据保存到预先设置的待推送数据列表中;将所述待推送数据列表中的数据作为待推送数据。

9、可选地,在将所述待推送数据列表中的数据作为待推送数据之前,还包括:将所述起始数据标识更新为所述第一待推送数据中最后一条数据的数据标识;在所述待推送数据列表中的数据量未达到所述批量推送限值的情况下,从数据列表中获取第一待推送数据,将所述第一待推送数据中的指定数据删除以得到第二待推送数据,并将所述第二待推送数据保存到预先设置的待推送数据列表中;重复执行上述步骤,直至所述待推送数据列表中的数据量达到所述批量推送限值。

10、可选地,所述待推送数据列表的大小基于所述批量推送限值进行设置;其中,在将所述第二待推送数据保存到预先设置的待推送数据列表中时,若所述第二待推送数据未能全部保存到所述待推送数据列表中,则根据保存到所述待推送数据列表中的最后一条第二待推送数据的数据标识,更新所述起始数据标识;并且,更新所述断点记录,包括:根据更新后的起始数据标识更新所述断点记录。

11、可选地,根据数据推送任务获取断点记录,包括:根据数据推送任务从缓存中间件中获取所述断点记录;若未能获取所述断点记录,则从预设的全局变量中获取所述断点记录。

12、可选地,还包括:若根据所述起始数据标识和预设的批量推送限值,未能从数据列表中获取到第一待推送数据,则判断所述待推送数据列表是否为空;若所述待推送数据列表为空,则删除所述断点记录;否则,直接将所述待推送数据列表中的所有数据作为待推送数据。

13、可选地,在根据数据推送任务获取断点记录之前,还包括:根据重复推送时限判断所述数据推送任务是否需要执行;以及,所述方法还包括:若所述待推送数据列表为空,则更新所述重复推送时限。

14、可选地,将所述待推送数据推送给数据接收方,包括:将所述待推送数据封装为消息,并通过消息中间件将所述消息推送给所述数据接收方。

15、根据本专利技术实施例的另一方面,提供了一种推送数据的装置,包括:

16、断点获取模块,用于根据数据推送任务获取断点记录,所述断点记录标示了上次数据推送的最后一条数据的数据标识;

17、起始设置模块,用于根据所述断点记录设置所述数据推送任务的起始数据标识;

18、数据获取模块,用于根据所述起始数据标识和预设的批量推送限值,从数据列表中获取待推送数据;

19、数据推送模块,用于将所述待推送数据推送给数据接收方,并更新所述断点记录。

20、根据本专利技术实施例的又一方面,提供了一种推送数据的电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本专利技术实施例所提供的推送数据的方法。

21、根据本专利技术实施例的再一方面,提供了一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现本专利技术实施例所提供的推送数据的方法。

22、上述专利技术中的一个实施例具有如下优点或有益效果:通过根据数据推送任务获取断点记录,断点记录标示了上次数据推送的最后一条数据的数据标识;根据断点记录设置数据推送任务的起始数据标识;根据起始数据标识和预设的批量推送限值,从数据列表中获取待推送数据;将待推送数据推送给数据接收方,并更新断点记录的技术方案,实现了每次仅推送小批量数据,很快执行完毕,从而可降低断点风险和双方的系统负荷,保护其主要业务;通过保存断点记录,一旦出现数据推送的中断,下次会根据断点记录开始进行数据推送,不会全部重新推送,从而提高了数据推送效率。

23、上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

本文档来自技高网...

【技术保护点】

1.一种推送数据的方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,还包括:

3.根据权利要求1所述的方法,其特征在于,根据所述起始数据标识和预设的批量推送限值,从数据列表中获取待推送数据,包括:

4.根据权利要求3所述的方法,其特征在于,在将所述待推送数据列表中的数据作为待推送数据之前,还包括:

5.根据权利要求4所述的方法,其特征在于,所述待推送数据列表的大小基于所述批量推送限值进行设置;

6.根据权利要求1-5中任一项所述的方法,其特征在于,根据数据推送任务获取断点记录,包括:

7.根据权利要求3或4所述的方法,其特征在于,还包括:

8.根据权利要求3-7中任一项所述的方法,其特征在于,在根据数据推送任务获取断点记录之前,还包括:

9.根据权利要求1所述的方法,其特征在于,将所述待推送数据推送给数据接收方,包括:

10.一种推送数据的装置,其特征在于,包括:

11.一种推送数据的电子设备,其特征在于,包括:

12.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-9中任一所述的方法。

...

【技术特征摘要】

1.一种推送数据的方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,还包括:

3.根据权利要求1所述的方法,其特征在于,根据所述起始数据标识和预设的批量推送限值,从数据列表中获取待推送数据,包括:

4.根据权利要求3所述的方法,其特征在于,在将所述待推送数据列表中的数据作为待推送数据之前,还包括:

5.根据权利要求4所述的方法,其特征在于,所述待推送数据列表的大小基于所述批量推送限值进行设置;

6.根据权利要求1-5中任一项所述的方法,其特征在于,根据数据推送任务获...

【专利技术属性】
技术研发人员:袁建棚
申请(专利权)人:北京沃东天骏信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1