一种数据采集背压控制方法及装置制造方法及图纸

本发明专利技术提供一种数据采集背压控制方法及装置，所述数据采集背压控制方法包括：S1、利用所述发送端的基础参数构建的时序数据特征和所述服务端返回的响应信息，构建背压预测模型；S2、所述发送端学习所述背压预测模型，预测下一个时间周期内所述服务端接受的最大请求数和请求量，生成预测服务api；S3、所述发送端根据所述预测服务api主动控制下一个时间周期内的所述服务端的请求发送数，完成数据采集的背压控制。本发明专利技术的方法用以解决发送与接收方数据缓存满之后，丢失数据的问题，通过本发明专利技术的数据采集背压控制方法能够提高数据传输时的效率，降低处理错误引起的资源消耗。降低处理错误引起的资源消耗。降低处理错误引起的资源消耗。

【技术实现步骤摘要】
一种数据采集背压控制方法及装置


[0001]本专利技术属于软件
，具体而言属于一种数据采集背压控制方法及装置。

技术介绍

[0002]对于监控系统而言，端一侧的数据采集由一个agent负责，agent采集到数据后，往云的一侧发送数据，但是，agent在采集数据的时候，有两个要求是冲突的：第一、数据采集要及时，第二、agent资源占用要低，但是，对于大部分业务系统来说，都要求监控系统不能对业务系统的性能造成负面影响，因此资源占用率低是首选项。
[0003]为了保证资源占用率低和数据采集的及时性，通常的策略是采样，为了保证数据的完整性而又要求agent资源占用率低，通常的策略是背压控制，对于pull模式的采集，背压控制单纯由agent控制，agent资源占用到临界值时停止采集，在资源利用率降低下来后恢复采集，此方法是一种比较粗暴的背压控制策略，给用户一种时断时续的感觉。
[0004]对于push模式的采集，接收方和服务方在无背压通信协议时，发送方与服务方数据缓存满之后，就会丢失数据。
[0005]有鉴于此，特提出本专利技术。

技术实现思路

[0006]有鉴于此，本专利技术公开了一种数据采集背压控制方法及装置，用以解决发送与接收方数据缓存满之后，丢失数据的问题，通过本专利技术的数据采集背压控制方法能够提高数据传输时的效率，降低处理错误引起的资源消耗。
[0007]具体的，本专利技术是通过以下技术方案实现的：
[0008]第一方面，本专利技术公开了一种数据采集背压控制方法，包括如下步骤：
[0009]S1、利用所述发送端的基础参数构建的时序数据特征和所述服务端返回的响应信息，构建背压预测模型；
[0010]S2、所述发送端学习所述背压预测模型，预测下一个时间周期内所述服务端接受的最大请求数和请求量，生成预测服务api；
[0011]S3、所述发送端根据所述预测服务api主动控制下一个时间周期内的所述服务端的请求发送数，完成数据采集的背压控制。
[0012]进一步地，所述S1步骤中，所述背压预测模型的构建方法包括：
[0013]所述发送端描述本次传输的数据量生成传输数据事件并增加所述服务端的响应头返回的响应信息增加响应特征，形成所述时序数据特征；
[0014]根据所述响应头返回失败的请求作为负样本，结合所述时序数据特征构建背压预测模型。
[0015]进一步地，所述响应特征为所述传输数据事件是否采集成功的特征和请求持续时间的特征。
[0016]进一步地，所述S1步骤中，所述基础参数包括请求ID、目标接收方、请求发起时间、
请求数据量、请求返回时间、请求是否成功和请求持续时间。
[0017]进一步地，所述S3步骤中，所述主动控制的方式包括比较当前所述发送端的堆积发送的数据量和预测到可以发送的数据量，按照预测结果确定最终发送数据量。
[0018]进一步地，所述发送端学习所述背压预测模型之前要对所述背压预测模型进行训练。
[0019]进一步地，所述S1步骤中，所述时序特征包括过去5分钟请求次数，过去5分钟失败次数，过去5分钟总传输量，过去15分钟请求次数，过去15分钟失败次数，过去15分钟总传输量。
[0020]第二方面，本专利技术公开了一种数据采集背压控制装置，包括：
[0021]背压预测模型构建模块：利用所述发送端的基础参数构建的时序数据特征和所述服务端返回的响应信息，构建背压预测模型；
[0022]预测服务api生成模块：所述发送端学习所述背压预测模型，预测下一个时间周期内所述服务端接受的最大请求数和请求量，生成预测服务api；
[0023]数据采集模块：所述发送端根据所述预测服务api主动控制下一个时间周期内的所述服务端的请求发送数，完成数据采集的背压控制。
[0024]第三方面，本专利技术公开了一种计算机可读存储介质，其上存储有计算机程序所述程序被处理器执行时实现如第一方面所述数据采集背压控制方法的步骤。
[0025]第四方面，本专利技术公开了一种计算机设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述数据采集背压控制方法的步骤。
[0026]与现有技术相比，本专利技术的有益效果在于：
[0027]本专利技术提出的数据采集背压控制方法及装置，能够提高数据传输时的效率，降低处理错误引起的资源消耗，在数据传输时，发送端和服务端利用http协议做在无状态传输协议时，在不重构传输协议的情况下，构建一个背压控制预测模型，预测下一个时间周期内服务端能够接受的最大请求数和请求量，主动控制下一个时间周期内的请求发送数，从而降低发送请求产生的错误数，提高发送效率，降低发送端资源消耗。
附图说明
[0028]通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
[0029]图1为本专利技术实施例提供的数据采集背压控制方法流程图；
[0030]图2为本专利技术实施例提供的预测代码示意图；
[0031]图3为本专利技术实施例提供的传统数据采集架构示意图；
[0032]图4为本专利技术实施例提供的数据采集背压控制架构示意图；
[0033]图5为本专利技术实施例提供的数据采集背压控制装置示意图；
[0034]图6为本专利技术实施例提供的一种计算机设备的结构示意图。
具体实施方式
[0035]下面将结合附图和具体实施方式对本专利技术的技术方案进行清楚、完整地描述，但是本领域技术人员将会理解，下列所描述的实施例是本专利技术一部分实施例，而不是全部的实施例，仅用于说明本专利技术，而不应视为限制本专利技术的范围。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0036]为了更加清晰的对本专利技术中的技术方案进行阐述，下面以具体实施例的形式进行说明。
[0037]实施例
[0038]参照图1所示，本专利技术公开了一种数据采集背压控制方法，包括如下步骤：
[0039]S1、利用所述发送端的基础参数构建的时序数据特征和所述服务端返回的响应信息，构建背压预测模型；
[0040]S2、所述发送端学习所述背压预测模型，预测下一个时间周期内所述服务端接受的最大请求数和请求量，生成预测服务api；
[0041]S3、所述发送端根据所述预测服务api主动控制下一个时间周期内的所述服务端的请求发送数，完成数据采集的背压控制。
[0042]本专利技术实际操作按照如下流程，具体表现为：
[0043]发送端利用每次发送的数据包大小，每秒发送的次数和每秒平均返回时间作为基础参数，构造一些时序特征，并利用服务端返回的响应信息构建背压预测模型，具体地，在不侵入传输协本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据采集背压控制方法，其特征在于，包括以下步骤：S1、利用所述发送端的基础参数构建的时序数据特征和所述服务端返回的响应信息，构建背压预测模型；S2、所述发送端学习所述背压预测模型，预测下一个时间周期内所述服务端接受的最大请求数和请求量，生成预测服务api；S3、所述发送端根据所述预测服务api主动控制下一个时间周期内的所述服务端的请求发送数，完成数据采集的背压控制。2.根据权利要求1所述的数据采集背压控制方法，其特征在于，所述S1步骤中，所述背压预测模型的构建方法包括：所述发送端描述本次传输的数据量生成传输数据事件并增加所述服务端的响应头返回的响应特征，形成所述时序数据特征；根据所述响应头返回失败的请求作为负样本，结合所述时序数据特征构建背压预测模型。3.根据权利要求2所述的数据采集背压控制方法，其特征在于，所述响应特征为所述传输数据事件是否采集成功的特征和请求持续时间的特征。4.根据权利要求1所述的数据采集背压控制方法，其特征在于，所述S1步骤中，所述基础参数包括请求ID、目标接收方、请求发起时间、请求数据量、请求返回时间、请求是否成功和请求持续时间。5.根据权利要求1所述的数据采集背压控制方法，其特征在于，所述S3步骤中，所述主动控制的方式包括比较当前所述发送端的堆积发送的数据量和预测到可以发送的数据量，按照预测结果确定最终发送数据量。6.根据权利要求...

【专利技术属性】
技术研发人员：徐季秋，蒋烁淼，
申请(专利权)人：上海驻云信息科技有限公司，
类型：发明
国别省市：