【技术实现步骤摘要】
本申请涉及数据处理，尤其涉及一种适配应用场景的数据处理方法、装置、设备及存储介质。
技术介绍
1、当今时代是属于物联网的时代，也是属于数据属于信息的时代，各种iot设备层出不穷，各种iot(internet of things，物联网)应用平台屡见不鲜。iot设备生成的数据种类繁多：系统流水日志、系统故障数据、系统关键事件、用户行为分析数据等。由于对不同数据的用途和实时性要求不同，采集和上传时机的选择也就不同，进而诞生了不同的数据自动采集策略。一般而言，业界常规的技术有两种：对于实时性要求较高的，如系统故障上报、系统告警事件上报等，应当在数据生成后第一时间上传到iot平台，采用实时采集的方法；而对于实时性要求低的数据，如系统流水日志、用户行为分析数据等，可能1-10个小时内传三五次也就够了，一般是采用定时采集上传的方式。因此，如何在不同场景中，提供适配性更高的数据处理方法成为了亟待解决的技术问题。
技术实现思路
1、本申请提供了一种适配应用场景的数据处理方法、装置、设备及存储介质，以在不同场景中，提供适配性更高的数据处理方法。
2、第一方面，本申请提供了一种适配应用场景的数据处理方法，所述方法包括：
3、根据目标数据的数据类型，确定预设数据采集策略，将所述目标数据存入数据缓冲区并生成数据上传请求；
4、响应于所述数据上传请求，通过预训练的流量预测模型对所述目标数据所在的系统进行日志流量预测，生成第一预测值、第二预测值和第三预测值；
5
6、进一步地，响应于所述数据上传请求，通过预训练的流量预测模型对所述目标数据所在的系统进行日志流量预测，生成第一预测值、第二预测值和第三预测值之前，包括：
7、获取第一预设时间段的日志流量数据作为训练数据；
8、筛选出所述训练数据中的异常值和空缺值，基于预设填充方法填充所述异常值和所述空缺值；
9、将预处理后的所述训练数据确定为有效数据，并根据预设自回归移动平均模型对所述有效数据进行分组，将所述有效数据分为工作日数据和节假日数据；
10、基于所述工作日数据和所述节假日数据及对应的时间戳，训练所述流量预测模型。
11、进一步地，响应于所述数据上传请求，通过预训练的流量预测模型对所述目标数据所在的系统进行日志流量预测，生成第一预测值、第二预测值和第三预测值，包括：
12、通过所述流量预测模型预测第一历史时间段和第二历史时间段的日志流量，分别生成所述第一预测值和所述第二预测值；
13、通过所述流量预测模型预测预设未来时间段的日志流量，生成所述第三预测值。
14、进一步地，在所述第一预测值和所述第二预测值均正确且所述第三预测值对应的时间段为空闲状态的情况下，在所述第三预测值对应的时间段，将所述目标数据从所述数据缓冲区上传至云平台，还包括：
15、获取所述系统的中央处理器cpu占用率和内存占用率；
16、在所述cpu占用率和所述内存占用率均低于预设占用率阈值的情况下，确定所述预设未来时间段为所述空闲状态，并触发数据上传指令，上传所述目标数据。
17、进一步地，在所述cpu占用率和所述内存占用率均低于预设占用率阈值的情况下，确定所述预设未来时间段为所述空闲状态，并触发数据上传指令，上传所述目标数据之后，包括：
18、在所述预测未来时间段内未将所述目标数据完全上传，则等待第二预设时间段，并返回步骤：在所述cpu占用率和所述内存占用率均低于预设占用率阈值的情况下，确定所述预设未来时间段为所述空闲状态，并触发数据上传指令，上传所述目标数据。
19、进一步地，获取所述系统的中央处理器cpu占用率和内存占用率之后，还包括：
20、在所述cpu占用率和所述内存占用率均高于所述预设占用率阈值的情况下，等待第二预设时间段并验证所述预设未来时间段是否处于所述空闲状态；
21、在所述预设未来时间段处于所述空闲状态的情况下，触发所述数据上传指令；
22、若等待所述第二预设时间段后，当前时间不属于所述第三预测值对应的时间段，则中止数据上传。
23、进一步地，根据目标数据的数据类型，确定预设数据采集策略，将所述目标数据存入数据缓冲区并生成数据上传请求，包括：
24、若所述目标数据为系统事件故障数据，则确定所述预设数据采集策略为系统事件驱动采集策略；
25、若所述目标数据为系统负载数据，则确定所述预设数据采集策略为定时采集策略；
26、若所述目标数据为记录类报文数据，则确定所述预设数据采集策略为定量采集策略。
27、第二方面，本申请还提供了一种适配应用场景的数据处理装置，所述装置包括：
28、数据采集模块，用于根据目标数据的数据类型，确定预设数据采集策略，将所述目标数据存入数据缓冲区并生成数据上传请求；
29、日志流量预测模块，用于响应于所述数据上传请求，通过预训练的流量预测模型对所述目标数据所在的系统进行日志流量预测，生成第一预测值、第二预测值和第三预测值；
30、数据上传模块，用于在所述第一预测值和所述第二预测值均正确且所述第三预测值对应的时间段为空闲状态的情况下，在所述第三预测值对应的时间段，将所述目标数据从所述数据缓冲区上传至云平台。
31、第三方面，本申请还提供了一种计算机设备，所述计算机设备包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如上述的适配应用场景的数据处理方法。
32、第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上述的适配应用场景的数据处理方法。
33、本申请公开了一种适配应用场景的数据处理方法、装置、设备及存储介质，所述适配应用场景的数据处理方法包括根据目标数据的数据类型，确定预设数据采集策略，将所述目标数据存入数据缓冲区并生成数据上传请求；响应于所述数据上传请求，通过预训练的流量预测模型对所述目标数据所在的系统进行日志流量预测，生成第一预测值、第二预测值和第三预测值；在所述第一预测值和所述第二预测值均正确且所述第三预测值对应的时间段为空闲状态的情况下，在所述第三预测值对应的时间段，将所述目标数据从所述数据缓冲区上传至云平台。通过上述方式，本申请根据待处理的目标数据的数据类型，通过对应的数据采集策略，将目标数据存入数据缓冲区，并通过对于系统进行日志流量预测，在系统的日志流量空闲状态的时间段将目标数据上传至云平台，提供了适配性更高的数据处理方法。
本文档来自技高网...【技术保护点】
1.一种适配应用场景的数据处理方法，其特征在于，包括：
2.根据权利要求1所述的适配应用场景的数据处理方法，其特征在于，所述响应于所述数据上传请求，通过预训练的流量预测模型对所述目标数据所在的系统进行日志流量预测，生成第一预测值、第二预测值和第三预测值之前，包括：
3.根据权利要求1所述的适配应用场景的数据处理方法，其特征在于，所述响应于所述数据上传请求，通过预训练的流量预测模型对所述目标数据所在的系统进行日志流量预测，生成第一预测值、第二预测值和第三预测值，包括：
4.根据权利要求3所述的适配应用场景的数据处理方法，其特征在于，所述在所述第一预测值和所述第二预测值均正确且所述第三预测值对应的时间段为空闲状态的情况下，在所述第三预测值对应的时间段，将所述目标数据从所述数据缓冲区上传至云平台，还包括：
5.根据权利要求4所述的适配应用场景的数据处理方法，其特征在于，所述在所述CPU占用率和所述内存占用率均低于预设占用率阈值的情况下，确定所述预设未来时间段为所述空闲状态，并触发数据上传指令，上传所述目标数据之后，包括：
6.
7.根据权利要求1至6中任一项所述的适配应用场景的数据处理方法，其特征在于，所述根据目标数据的数据类型，确定预设数据采集策略，将所述目标数据存入数据缓冲区并生成数据上传请求，包括：
8.一种适配应用场景的数据处理装置，其特征在于，包括：
9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器；
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1至7中任一项所述的适配应用场景的数据处理方法。
...【技术特征摘要】
1.一种适配应用场景的数据处理方法，其特征在于，包括：
2.根据权利要求1所述的适配应用场景的数据处理方法，其特征在于，所述响应于所述数据上传请求，通过预训练的流量预测模型对所述目标数据所在的系统进行日志流量预测，生成第一预测值、第二预测值和第三预测值之前，包括：
3.根据权利要求1所述的适配应用场景的数据处理方法，其特征在于，所述响应于所述数据上传请求，通过预训练的流量预测模型对所述目标数据所在的系统进行日志流量预测，生成第一预测值、第二预测值和第三预测值，包括：
4.根据权利要求3所述的适配应用场景的数据处理方法，其特征在于，所述在所述第一预测值和所述第二预测值均正确且所述第三预测值对应的时间段为空闲状态的情况下，在所述第三预测值对应的时间段，将所述目标数据从所述数据缓冲区上传至云平台，还包括：
5.根据权利要求4所述的适配应用场景的数据处理方法，其特征在于，所述在所...
【专利技术属性】
技术研发人员：张东广，
申请(专利权)人：深圳开鸿数字产业发展有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。