数据预测方法、装置、设备及计算机存储介质制造方法及图纸

本申请公开了一种数据预测方法、装置、设备及计算机存储介质。根据本申请实施例，获取第一数据序列，将该第一数据序列输入至数据预测模型中，利用所述数据预测模型提取出的该第一数据序列的关键特征以及关键信息，预测该分布式存储系统在目标时间段内多个目标时刻的运行情况，得到第二数据序列，所述第二数据序列中的数据元素包含至少一个预测数据，当确定任一目标时刻的预测数据超过预设的预警阈值时，根据所述第二数据序列以及所述目标时刻，输出峰值预警。可见，通过上述方式，得到了表征分布式存储系统在目标时间段运行情况的预测结果。以便于通过该预测结果，在流量峰值、存储峰值前进行预警，提高分布式存储系统处理业务的效率。的效率。的效率。

【技术实现步骤摘要】
数据预测方法、装置、设备及计算机存储介质


[0001]本申请属于数据处理
，尤其涉及一种数据预测方法、装置、设备及计算机存储介质。

技术介绍

[0002]通常情况下，分布式存储系统可为用户提供数据上传、下载等业务，相比于传统的网络存储系统，分布式存储系统在可靠性、可用性和存储效率等方面提升显著。
[0003]由于在举办活动、发售商品这类高并发场景下，分布式存储系统往往会接收到较多的业务请求，导致分布式存储系统内交换机之间的数据交互非常频繁，对交换机端口传输流量的需求高，往往会超出交换机端口传输流量的上限，降低分布式存储系统处理业务的效率。
[0004]而由于分布式存储系统具有可拓展性，如果能够在流量数据、存储数据这些数据超过分布式存储系统的处理上限前，输出预警信息以提示工作人员，便可由工作人员实现对分布式存储系统的拓展，进一步提高分布式存储系统的可用性，提高处理业务的效率。

技术实现思路

[0005]本申请实施例提供一种数据预测方法、装置、设备及计算机存储介质，能够JQK。
[0006]一方面，本申请实施例提供一种数据预测方法，方法包括：
[0007]获取第一数据序列，所述第一数据序列由N个数据元素组成，所述N个数据元素是在不同时刻对分布式存储系统进行数据采集得到的，所述N为正整数；
[0008]将所述第一数据序列输入至数据预测模型中，利用所述数据预测模型提取所述第一数据序列的关键特征以及关键信息，并通过所述数据预测模型根据所述关键特征以及所述关键信息，预测所述分布式存储系统在目标时间段内多个目标时刻的运行情况，得到第二数据序列，所述第二数据序列中的数据元素包含至少一个预测数据；
[0009]当确定任一目标时刻的预测数据超过预设的预警阈值时，根据所述第二数据序列以及所述目标时刻，输出峰值预警。
[0010]可选的，所述获取第一数据序列之前，所述方法还包括：
[0011]基于简单网络管理协议SNMP，从分布式存储系统的交换机遵循所述SNMP发送的信息中，获取交换机数据，所述交换机数据至少包括流量数据；
[0012]采集所述分布式存储系统的存储硬件以及存储软件的存储数据，所述存储数据至少包括存储容量；
[0013]将所述存储数据以及所述交换机数据，确定为数据元素。
[0014]可选的，所述方法还包括：
[0015]采集所述分布式存储系统的其他数据，所述其他数据至少包括服务器数据、连接拓扑图以及操作系统数据中的一种；
[0016]根据所述数据元素以及所述其他数据，确定表征所述分布式存储系统运行情况的
健康巡检报告。
[0017]可选的，所述采集所述分布式存储系统的其他数据，包括：
[0018]基于所述SNMP，从所述分布式存储系统的操作系统遵循所述SNMP发送的信息中，获取操作系统数据；
[0019]基于配置于所述分布式存储系统的服务器的带外管理口，采集所述服务器的服务器数据；
[0020]基于所述服务器数据以及所述交换机数据，确定连接拓扑图；
[0021]将所述操作系统数据、所述服务器数据以及所述连接拓扑图中的至少一种，确定为其他数据。
[0022]可选的，所述服务器信息至少包括主机MAC地址，所述交换机信息至少还包括交换机的桥MAC地址、所述交换机的端口的动态MAC地址以及所述交换机的端口的邻居设备桥MAC地址；
[0023]所述基于所述服务器数据以及所述交换机数据，确定连接拓扑图，包括：
[0024]根据所述交换机的端口的邻居设备的桥MAC地址，确定与所述交换机连接的邻居交换机；
[0025]根据每个交换机的邻居交换机，确定交换机之间的连接关系；
[0026]根据所述交换机的端口的动态MAC地址、所述主机MAC地址以及所述交换机的端口的邻居设备桥MAC地址，确定与所述服务器存在连接关系的交换机；
[0027]根据所述交换机之间的连接关系以及所述与服务器连接的交换机，确定连接拓扑图。
[0028]可选的，所述将所述第一数据序列输入至数据预测模型中之前，所述方法还包括：
[0029]获取多个第三数据序列，所述第三数据序列由M个历史数据元素组成，所述M个历史数据元素是在不同历史时刻对分布式存储系统进行数据采集得到的；
[0030]将所述第三数据序列输入至数据预测模型中，以前p个历史数据元素为训练所述数据预测模型的过程中的自变量，以后M
‑
p个历史数据元素为训练所述数据预测模型的过程中的因变量，训练所述数据预测模型，所述M以及所述p均为正整数，且p<M。
[0031]可选的，所述训练所述数据预测模型之后，所述方法还包括：
[0032]获取第四数据序列与第五数据序列，所述第四数据序列以及所述第五数据序列分别由X个以及Y个历史数据元素组成，所述X个历史数据元素与所述Y个历史元素是在不同时刻对分布式存储系统进行数据采集得到的，且由采集所述Y个历史元素的时刻组成的时间段为采集时间段；
[0033]将所述第四数据序列输入所述数据预测模型，预测所述分布式系统在目标时间段内多个目标时刻的运行情况，得到第六数据序列，所述目标时间段与所述采集时间段相同；
[0034]根据所述第六数据序列与所述第五数据序列之间的误差，计算得到平均绝对误差值；
[0035]根据所述平均绝对误差值，对所述数据预测模型进行反向的梯度更新，更新所述数据预测模型的参数，所述X与所述Y均为正整数。
[0036]可选的，所述预测数据包括流量预测数据；
[0037]所述当确定任一目标时刻的预测数据超过预设的预警阈值时，根据所述第二数据
序列以及所述目标时刻，输出峰值预警，包括：
[0038]当确定任一目标时刻的流量预测数据超过预设的流量预警阈值时，根据所述第二数据序列以及所述目标时刻，输出流量峰值预警。
[0039]另一方面，本申请实施例提供了一种数据预测装置，装置包括：
[0040]获取单元，用于获取第一数据序列，所述第一数据序列由N个数据元素组成，所述N个数据元素是在不同时刻对分布式存储系统进行数据采集得到的，所述N为正整数；
[0041]预测单元，用于将所述第一数据序列输入至数据预测模型中，利用所述数据预测模型提取所述第一数据序列的关键特征以及关键信息，并通过所述数据预测模型根据所述关键特征以及所述关键信息，预测所述分布式存储系统在目标时间段内多个目标时刻的运行情况，得到第二数据序列，所述第二数据序列中的数据元素包含至少一个预测数据；
[0042]预警单元，用于当确定任一目标时刻的预测数据超过预设的预警阈值时，根据所述第二数据序列以及所述目标时刻，输出峰值预警。
[0043]再一方面，本申请实施例提供了一种电子设备，设备包括：
[0044]处理器以及存储有计算机程序指令的存储器；
[0045]所述处理器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据预测方法，其特征在于，包括：获取第一数据序列，所述第一数据序列由N个数据元素组成，所述N个数据元素是在不同时刻对分布式存储系统进行数据采集得到的，所述N为正整数；将所述第一数据序列输入至数据预测模型中，利用所述数据预测模型提取所述第一数据序列的关键特征以及关键信息，并通过所述数据预测模型根据所述关键特征以及所述关键信息，预测所述分布式存储系统在目标时间段内多个目标时刻的运行情况，得到第二数据序列，所述第二数据序列中的数据元素包含至少一个预测数据；当确定任一目标时刻的预测数据超过预设的预警阈值时，根据所述第二数据序列以及所述目标时刻，输出峰值预警。2.根据权利要求1所述的方法，其特征在于，所述获取第一数据序列之前，所述方法还包括：基于简单网络管理协议SNMP，从分布式存储系统的交换机遵循所述SNMP发送的信息中，获取交换机数据，所述交换机数据至少包括流量数据；采集所述分布式存储系统的存储硬件以及存储软件的存储数据，所述存储数据至少包括存储容量；将所述存储数据以及所述交换机数据，确定为数据元素。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：采集所述分布式存储系统的其他数据，所述其他数据至少包括服务器数据、连接拓扑图以及操作系统数据中的一种；根据所述数据元素以及所述其他数据，确定表征所述分布式存储系统运行情况的健康巡检报告。4.根据权利要求3所述的方法，其特征在于，所述采集所述分布式存储系统的其他数据，包括：基于所述SNMP，从所述分布式存储系统的操作系统遵循所述SNMP发送的信息中，获取操作系统数据；基于配置于所述分布式存储系统的服务器的带外管理口，采集所述服务器的服务器数据；基于所述服务器数据以及所述交换机数据，确定连接拓扑图；将所述操作系统数据、所述服务器数据以及所述连接拓扑图中的至少一种，确定为其他数据。5.根据权利要求4所述的方法，其特征在于，所述服务器信息至少包括主机MAC地址，所述交换机信息至少还包括交换机的桥MAC地址、所述交换机的端口的动态MAC地址以及所述交换机的端口的邻居设备桥MAC地址；所述基于所述服务器数据以及所述交换机数据，确定连接拓扑图，包括：根据所述交换机的端口的邻居设备的桥MAC地址，确定与所述交换机连接的邻居交换机；根据每个交换机的邻居交换机，确定交换机之间的连接关系；根据所述交换机的端口的动态MAC地址、所述主机MAC地址以及所述交换机的端口的邻居设备桥MAC地址，确定与所述服务器存在连接关系的交换机；
根据所述交换机之间的连接关系以及所述与服务器连接的交换机，确定连接拓扑图。6.根据权利要求1所述的方法，其特征在于，所述将所述第一数据序列输入至数据预测模型中之前，所述方法还包括：获取多个第三数据序列，所述第三数据序列由M个历史数据元素组...

【专利技术属性】
技术研发人员：温宇轩，于明华，郭志斌，阮前，程宇，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：