数据采集方法和装置制造方法及图纸

本发明专利技术实施例提供一种数据采集方法和装置，该方法包括：获取当前周期内业务处理节点对应的处理资源使用率，其中，业务处理节点与数据采集节点共用所述处理资源；根据业务处理节点对应的处理资源使用率确定数据采集速率阈值，根据所述数据采集速率阈值采集数据。实现了周期性地根据业务处理节点对处理资源的使用率来动态调整数据采集节点的数据采集速率阈值，从而在数据采集的同时兼顾更为重要的业务处理节点的处理负载，有助于提高全局的负载处理效率以及处理资源的利用效率。

【技术实现步骤摘要】
数据采集方法和装置
本专利技术涉及数据处理
，尤其涉及一种数据采集方法和装置。
技术介绍
假设如下的应用场景：由于存储空间有限等原因，系统A中存储的数据需要被传输到系统B中进行集中存储，此时，数据采集装置需要从系统A中采集或者说读取数据，并发送至系统B中存储，该数据采集装置比如可以实现为系统A中的数据采集进程。实际应用中，任一服务都有自己的能力上限，为了保证在遇到流量高峰期或者流量突增时，服务也能保证一定的弹性和稳定性，最有效的方案就是进行服务降级，而限流就是降级系统最常采用的方案之一。限流的目的是在遇到流量突增时，把流量速率限制在一个能接受的合理范围之内。因此，在上述数据采集应用中，为了保证数据采集服务的稳定性，数据采集过程中可以采用一定限流手段进行限流处理。
技术实现思路
目前，一种数据采集过程中采用的限流方式是：预先设定固定的数据采集速率阈值，即预先设定单位时间内可采集的数据量上限。若实际采集过程中单位时间内各次采集获得的数据量大小超过了该数据量上限，则丢弃导致超过数据量上限的采集到的数据。举例来说，假设上述数据采集速率阈值为10Mb/s，即单位时间1s内能够采集的数据量上限为10Mb。并且假设单位时间1s内可以以200ms为采集间隔来周期性采集数据，假设1ms时采集到了5Mb的数据，由于小于10Mb，则直接被发送至系统B中存储，假设201ms采集到了7Mb数据，此时该单位时间内已经采集了12Mb数据，超出了10Mb的限制，此时将丢弃当前采集到的该7Mb的数据。在上述采用固定数据采集速率阈值的限流策略中，一方面，该数据采集速率阈值的设定往往是基于人为经验设定的，另一方面，不管当前系统A中被写入的数据量如何，不管系统A中其他服务的处理负载如何，都是以固定数据采集速率阈值进行数据采集处理，这样可能降低了系统A全局的负载处理效率。有鉴于此，本专利技术实施例提供一种数据采集方法和装置，在包含数据采集节点和业务处理节点的系统中，通过动态调整数据采集节点的数据采集速率阈值，以提高系统全局的负载处理效率。第一方面，本专利技术实施例提供一种数据采集方法，包括：获取当前周期内业务处理节点对应的处理资源使用率，所述业务处理节点与数据采集节点共用所述处理资源；根据所述处理资源使用率，确定数据采集速率阈值；根据所述数据采集速率阈值采集数据。可选地，所述获取当前周期内业务处理节点对应的处理资源使用率，包括：获取当前周期内所述业务处理节点在连续多个时间片段内的平均处理资源使用率。可选地，所述根据所述处理资源使用率，确定数据采集速率阈值之前，还包括：获取数据采集速率阈值加权因子；所述根据所述处理资源使用率，确定数据采集速率阈值，包括：根据所述处理资源使用率和所述数据采集速率阈值加权因子，确定所述数据采集速率阈值。可选地，所述获取数据采集速率阈值加权因子，包括：获取预设历史时间段内所述业务处理节点对应的处理资源使用率分布曲线，以及所述数据采集节点对应的数据采集速率阈值分布曲线；确定所述处理资源使用率分布曲线的N分位值对应的处理资源使用率，以及所述数据采集速率阈值分布曲线的M分位值对应的数据采集速率阈值，其中，M％＝1-N％，50≤N<100；根据所述N分位值对应的处理资源使用率和所述M分位值对应的数据采集速率阈值，计算所述数据采集速率阈值加权因子。可选地，所述根据所述数据采集速率阈值采集数据，包括：根据所述数据采集速率阈值确定所述当前周期内每个采集窗口对应的可采集数据量上限，所述每个采集窗口的时间长度为所述数据采集速率阈值对应的单位时间，所述每个采集窗口中包括彼此相隔预设采集间隔的多个采集时刻；对于当前采集窗口内的当前采集时刻，若在所述当前采集时刻采集的累计数据量大于所述可采集数据量上限，则延迟下一次采集对应的采集时刻。可选地，所述根据所述数据采集速率阈值确定所述当前周期内每个采集窗口对应的可采集数据量上限，包括：若执行所述数据采集速率阈值的时刻对齐所述当前采集窗口的起始时刻，则确定所述可采集数据量上限为所述数据采集速率阈值表征的单位时间内采集的数据量大小；若执行所述数据采集速率阈值的时刻未对齐所述当前采集窗口的起始时刻，则根据原数据采集速率阈值和所述数据采集速率阈值确定所述可采集数据量上限，所述原数据采集速率阈值为执行所述数据采集速率阈值之前采用的数据采集速率阈值。可选地，所述延迟下一次采集对应的采集时刻，包括：根据所述累计数据量与所述可采集数据量上限之间的差额数据量，以及每个预设采集间隔能够传输的平均数据量，确定完成所述差额数据量的传输所需的采集间隔个数；在与所述当前采集时刻相距所述采集间隔个数后的采集时刻执行下一次采集。第二方面，本专利技术实施例提供一种数据采集装置，包括：第一获取模块,用于获取当前周期内业务处理节点对应的处理资源使用率，所述业务处理节点与数据采集节点共用所述处理资源；确定模块，用于根据所述处理资源使用率，确定数据采集速率阈值；采集模块，用于根据所述数据采集速率阈值采集数据。在一个可能的设计中，上述数据采集装置的结构中包括处理器和存储器，所述存储器用于存储支持数据采集装置执行上述第一方面中数据采集方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。所述数据采集装置还可以包括通信接口，用于数据采集装置与其他设备或通信网络通信。第三方面，本专利技术实施例提供了一种计算机存储介质，用于储存数据采集装置所用的计算机软件指令，其包含用于执行上述第一方面中数据采集方法所涉及的程序。本专利技术实施例提供的数据采集方法和装置，在业务处理节点与数据采集节点共用处理资源分别进行业务处理和数据采集的应用场景中，结合当前周期内业务处理节点对共用的处理资源的处理资源使用率来确定数据采集节点的数据采集速率阈值，以在该数据采集速率阈值的限制下进行数据采集，从而实现了周期性地根据业务处理节点对处理资源的使用率来动态调整数据采集节点的数据采集速率阈值，以在数据采集的同时兼顾更为重要的业务处理节点的处理负载，有助于提高全局的负载处理效率以及处理资源的利用效率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术一实施例提供的数据采集系统的结构示意图；图2为本专利技术另一实施例提供的数据采集方法的流程图；图3为本专利技术又一实施例提供的数据采集方法的流程图；图4为图3所示实施例中一种可选的处理资源使用率分布曲线示意图；图5为图3所示实施例中一种可选的数据采集速率阈值分布曲线示意图；图6为本专利技术又一实施例提供的数据采集方法的流程图；图7为图6所示实施例中步骤2031对应的一种情景的示意图；图8为图6所示实施例中步骤2031对应的另一种情景的示意图；图9为图6所示实施例中步骤2032对应的一种情景的示意图；图10为图6所示实施例中步骤2032对应的另一种情景的示意图；图11为本专利技术又一实施例提供的数据采集装置的结构示意图；图12为本专利技术又一实施例提供的数据采集装置的结构示意图；图13为本专利技术又一实施例提供的数据采集装置的结构示意本文档来自技高网...

【技术保护点】
一种数据采集方法，其特征在于，包括：获取当前周期内业务处理节点对应的处理资源使用率，所述业务处理节点与数据采集节点共用所述处理资源；根据所述处理资源使用率，确定数据采集速率阈值；根据所述数据采集速率阈值采集数据。

【技术特征摘要】
1.一种数据采集方法，其特征在于，包括：获取当前周期内业务处理节点对应的处理资源使用率，所述业务处理节点与数据采集节点共用所述处理资源；根据所述处理资源使用率，确定数据采集速率阈值；根据所述数据采集速率阈值采集数据。2.根据权利要求1所述的方法，其特征在于，所述获取当前周期内业务处理节点对应的处理资源使用率，包括：获取当前周期内所述业务处理节点在连续多个时间片段内的平均处理资源使用率。3.根据权利要求1所述的方法，其特征在于，所述根据所述处理资源使用率，确定数据采集速率阈值之前，还包括：获取数据采集速率阈值加权因子；所述根据所述处理资源使用率，确定数据采集速率阈值，包括：根据所述处理资源使用率和所述数据采集速率阈值加权因子，确定所述数据采集速率阈值。4.根据权利要求3所述的方法，其特征在于，所述获取数据采集速率阈值加权因子，包括：获取预设历史时间段内所述业务处理节点对应的处理资源使用率分布曲线，以及所述数据采集节点对应的数据采集速率阈值分布曲线；确定所述处理资源使用率分布曲线的N分位值对应的处理资源使用率，以及所述数据采集速率阈值分布曲线的M分位值对应的数据采集速率阈值，其中，M％＝1-N％，50≤N<100；根据所述N分位值对应的处理资源使用率和所述M分位值对应的数据采集速率阈值，计算所述数据采集速率阈值加权因子。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述根据所述数据采集速率阈值采集数据，包括：根据所述数据采集速率阈值确定所述当前周期内每个采集窗口对应的可采集数据量上限，所述每个采集窗口的时间长度为所述数据采集速率阈值对应的单位时间，所述每个采集窗口中包括彼此相隔预设采集间隔的多个采集时刻；对于当前采集窗口内的当前采集时刻，若在所...

【专利技术属性】
技术研发人员：梁福坤，
申请(专利权)人：北京小度信息科技有限公司，
类型：发明
国别省市：北京,11