数据并发的处理方法、装置、存储介质及设备制造方法及图纸

本发明专利技术实施例提供一种数据并发的处理方法、装置、存储介质和设备，属于计算机技术领域，数据并发的处理方法包括：获取引擎系统发出的应用请求，并将所获取的应用请求按顺序存储至预先配置的消息缓存器中；在消息缓存器端，按照应用请求的初始设定并发值，向目标系统发送应用请求；以及根据目标系统对所发送的应用请求的响应情况，调整下一次发送应用请求的并发值。通过将从引擎系统获取的应用请求按顺序存储至预先配置的消息缓存器，在消息缓存器端向目标系统发送应用请求，并根据目标系统响应情况调整应用请求的并发数，在保证应用请求发送效率的基础上，减少了目标系统的服务负载，提高了引擎系统和目标系统通讯的稳定性。

【技术实现步骤摘要】
数据并发的处理方法、装置、存储介质及设备
本专利技术涉及计算机
，具体地涉及一种数据并发的处理方法、装置、存储介质及设备。
技术介绍
随着互联网技术的发展，利用网络的大数据进行营销的模式已经被广泛应用，为了获取数据、处理数据和传输数据等过程，多系统之间需要进行通信，以实现大数据的利用。目前，数据获取、处理和传输过程，当引擎系统处于某个节点向目标系统发送并发任务时，没有对数据并发进行合理控制，容易出现并发数非常高的情况，并由此对目标系统造成服务阻塞的问题。例如，在自动化营销过程中，自动化营销系统作为引擎系统向目标系统发送数据获取请求或数据分析请求的指令，若得不到及时响应，会造成自动化营销系统无法正常获取其所需要的数据，自动化营销系统的执行效率与准确性也会大大降低，并由此带来多个系统间通信超时的问题。本申请专利技术人在实现本专利技术的过程中发现，现有技术的上述方案存在没有对系统间的通信进行合理并发控制，由此带来系统指令得不到及时响应、系统执行效率和准确率较低的缺陷。
技术实现思路
本专利技术实施例的目的是提供一种数据并发的处理方法、装置、存储介质及设备，以解决或至少部分解决上述技术问题。为了实现上述目的，本专利技术实施例提供一种数据并发的处理方法，所述数据并发是指引擎系统向目标系统发送应用请求的数据并发，并且所述数据并发的处理方法包括：获取所述引擎系统发出的应用请求，并将所获取的应用请求按顺序存储至预先配置的消息缓存器中；在消息缓存器端，按照所述应用请求的初始设定并发值，向所述目标系统发送应用请求；以及若所述目标系统成功响应所发送的应用请求，则在下一次发送所述应用请求时，增加所述应用请求的并发值；否则，在下一次发送所述应用请求时，减少所述应用请求的并发值。可选的，所述数据并发的处理方法还包括：通过有序集合RedisZset预先配置所述消息缓存器。可选的，所述将所获取的应用请求进行排序后存储至消息缓存器包括：按照所述应用请求的发出时间顺序，对需要发送至同一个所述目标系统的所述应用请求进行排序；以及将排序后的所述应用请求存储至与该应用请求需要发送至的目标系统相对应的所述消息缓存器。可选的，所述增加所述应用请求的并发值包括：将所述应用请求的并发值增加至任意大于当前所述应用请求的并发值的值；和/或所述减少所述应用请求的并发值包括：将所述应用请求的并发值减少至任意小于当前所述应用请求的并发值的值。可选的，所述数据并发的处理方法还包括：在减少所述应用请求的并发值之后的下一次发送所述应用请求时，降低所述应用请求的并发值增加的幅度。根据本专利技术实施例的第二方面，还提供一种数据并发的处理装置，所述数据并发是指引擎系统向目标系统发送应用请求的数据并发，并且所述数据并发的处理装置包括：获取模块，用于获取所述引擎系统发出的应用请求，并将所获取的应用请求按顺序存储至预先配置的消息缓存器中；发送模块，用于在消息缓存器端，按照所述应用请求的初始设定并发值，向所述目标系统发送应用请求；以及调整模块，用于在所述目标系统成功响应所发送的应用请求时，则在下一次发送所述应用请求时，增加所述应用请求的并发值；否则，在下一次发送所述应用请求时，减少所述应用请求的并发值。可选的，所述数据并发的处理装置还包括：配置模块，用于通过有序集合RedisZset预先配置所述消息缓存器。可选的，所述获取模块包括：排序子模块，用于按照所述应用请求的发出时间顺序，对需要发送至同一个所述目标系统的所述应用请求进行排序；以及缓存子模块，用于将排序后的所述应用请求存储至与该应用请求需要发送至的目标系统相对应的所述消息缓存器。可选的，所述调整模块包括：增加子模块，用于将所述应用请求的并发值增加至任意大于当前所述应用请求的并发值的值；和/或减少子模块，用于将所述应用请求的并发值减少至任意小于当前所述应用请求的并发值的值。可选的，所述调整模块还包括：微调子模块，用于在减少所述应用请求的并发值之后的下一次发送所述应用请求时，降低所述应用请求的并发值增加的幅度。相应的，本专利技术实施例还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述数据并发的处理方法。相应的，本专利技术实施例还提供一种设备，所述设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行上述数据并发的处理方法。通过上述技术方案，通过将从引擎系统发出的应用请求按顺序存储至预先配置的消息缓存器，在消息缓存器端向目标系统发送应用请求，并根据目标系统响应情况调整应用请求的并发数。在保证应用请求发送效率的基础上，减少了目标系统的服务负载，从而提高了引擎系统的稳定性，同时提升包括引擎系统和目标系统的服务集群的稳定性与可用性。本专利技术实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。附图说明附图是用来提供对本专利技术实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本专利技术实施例，但并不构成对本专利技术实施例的限制。在附图中：图1是本专利技术实施例提供的数据并发的处理方法的流程图；图2是本专利技术实施例提供的数据并发的处理方法并发值调整的一个示例；图3是本专利技术实施例提供的数据并发的处理装置的框图；图4是本专利技术实施例提供的数据并发的处理装置的获取模块的框图；图5是本专利技术实施例提供的数据并发的处理装置的调整模块的框图；以及图6是本专利技术实施例提供的设备的结构示意图。附图标记说明1、获取模块11、排序子模块12、缓存子模块2、发送模块3、调整模块31、增加子模块32、减少子模块4、配置模块50、设备501、处理器502、存储器503、总线具体实施方式以下结合附图对本专利技术实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本专利技术实施例，并不用于限制本专利技术实施例。在本专利技术的实施例中，数据并发是指引擎系统向目标系统发送应用请求的数据并发。图1是本专利技术是示例提供的数据并发的处理方法的流程图，如图1所示的数据并发的处理方法可以包括如下步骤：S100、获取引擎系统发出的应用请求，并将所获取的应用请求按顺序存储至预先配置的消息缓存器中。在本专利技术的优选实施例中，该步骤S100可以具体包括：获取引擎系统发出的应用请求，并按照应用请求的发出时间顺序，对需要发送至同一个目标系统的应用请求进行排序；以及将排序后的应用请求存储至与该应用请求需要发送至的目标系统相对应的消息缓存器。具体来讲，就是通过一个消息缓存器，将引擎系统所发出的应用请求完整的接收并存储，为了保证所有应用请求再从消息缓存器中的发出时的顺序性，在本专利技术的优选实施例中，采用时间顺序，对需要发送至同一个目标系统的应用请求进行排序，并将排本文档来自技高网...

【技术保护点】
1.一种数据并发的处理方法，其特征在于，所述数据并发是指引擎系统向目标系统发送应用请求的数据并发，并且所述数据并发的处理方法包括：/n获取所述引擎系统发出的应用请求，并将所获取的应用请求按顺序存储至预先配置的消息缓存器中；/n在消息缓存器端，按照所述应用请求的初始设定并发值，向所述目标系统发送应用请求；以及/n若所述目标系统成功响应所发送的应用请求，则在下一次发送所述应用请求时，增加所述应用请求的并发值；否则，在下一次发送所述应用请求时，减少所述应用请求的并发值。/n

【技术特征摘要】
1.一种数据并发的处理方法，其特征在于，所述数据并发是指引擎系统向目标系统发送应用请求的数据并发，并且所述数据并发的处理方法包括：
获取所述引擎系统发出的应用请求，并将所获取的应用请求按顺序存储至预先配置的消息缓存器中；
在消息缓存器端，按照所述应用请求的初始设定并发值，向所述目标系统发送应用请求；以及
若所述目标系统成功响应所发送的应用请求，则在下一次发送所述应用请求时，增加所述应用请求的并发值；否则，在下一次发送所述应用请求时，减少所述应用请求的并发值。


2.根据权利要求1所述的数据并发的处理方法，其特征在于，所述数据并发的处理方法还包括：通过有序集合RedisZset预先配置所述消息缓存器。


3.根据权利要求1所述的数据并发的处理方法，其特征在于，所述将所获取的应用请求进行排序后存储至消息缓存器包括：
按照所述应用请求的发出时间顺序，对需要发送至同一个所述目标系统的所述应用请求进行排序；以及
将排序后的所述应用请求存储至与该应用请求需要发送至的目标系统相对应的所述消息缓存器。


4.根据权利要求1所述的数据并发的处理方法，其特征在于，
所述增加所述应用请求的并发值包括：将所述应用请求的并发值增加至任意大于当前所述应用请求的并发值的值；和/或
所述减少所述应用请求的并发值包括：将所述应用请求的并发值减少至任意小于当前所述应用请求的并发值的值。


5.根据权利要求1所述的数据并发的处理方法，其特征在于，所述数据并发的处理方法还包括：在减少所述应用请求的并发值之后的下一次发送所述应用请求时，降低所述应用请求的并发值增加的幅度。...

【专利技术属性】
技术研发人员：过靖康，
申请(专利权)人：北京国双科技有限公司，
类型：发明
国别省市：北京;11