数据传输方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种数据传输方法、装置、设备及存储介质。该方法应用于监控中心服务器，包括：接收目标监控节点上报的目标监控指标采集数据；在接收到目标监控节点上报的目标监控指标采集数据时，根据目标监控指标采集数据更新对应的目标监控指标时序数据库，目标监控指标采集数据为目标监控节点在根据与目标监控指标匹配的目标异常检测模型确定目标监控指标采集数据为异常数据时上报给监控中心服务器的；在设定时间段内未接收到目标监控节点上报的目标监控指标采集数据时，确定目标监控指标预测数据并根据其更新对应的目标监控指标时序数据库。上述技术方案极大地压缩了需要传输的监控数据量，降低了对数据传输带宽、信道的需求。

【技术实现步骤摘要】
数据传输方法、装置、设备及存储介质
本专利技术实施例涉及数据处理
，尤其涉及一种数据传输方法、装置、设备及存储介质。
技术介绍
近年来，随着各行业信息化建设地不断完善，业务的操作越来越集中于信息系统或信息平台。为保证系统正常运行，提高系统的可靠性和安全性，监控中心的建设也越来越普遍。在大规模IT(InternetTechnology，互联网技术)环境中，存在着数以万计，甚至数以百万计的主机节点、虚拟机节点或容器节点，每个节点又存在着数以百计的监控指标。这意味着，每分钟IT环境中都有千万级甚至上亿级数量的监控指标采集数据在采集并传输给监控中心。同时，由于监控指标一次采样只有一个点的数据，无法像流式的日志一样进行文本压缩，因此超大数据量的实时传输对数据传输带宽、信道都有较高的要求，无疑提高了数据传输成本。
技术实现思路
本专利技术实施例提供一种数据传输方法、装置、设备及存储介质，以实现对要传输的监控数据量的压缩，降低对数据传输带宽、信道的需求。第一方面，本专利技术实施例还提供了一种数据传输方法，应用于监控中心服务器，包括：接收目标监控节点上报的目标监控指标采集数据；在接收到所述目标监控节点上报的目标监控指标采集数据时，根据所述目标监控指标采集数据更新与目标监控节点对应的目标监控指标时序数据库；其中，所述目标监控指标采集数据为所述目标监控节点在根据与所述目标监控指标匹配的目标异常检测模型确定所述目标监控指标采集数据为异常数据时上报给所述监控中心服务器的；在设定时间段内未接收到所述目标监控节点上报的目标监控指标采集数据时，确定目标监控指标预测数据，并根据所述目标监控指标预测数据更新与目标监控节点对应的目标监控指标时序数据库。第二方面，本专利技术实施例提供了一种数据传输方法，应用于目标监控节点，包括：获取目标监控指标采集数据；根据与所述目标监控指标匹配的目标异常检测模型对所述目标监控指标采集数据进行异常检测；在确定所述目标监控指标采集数据为异常数据时，将所述目标监控指标采集数据上报给监控中心服务器。第三方面，本专利技术实施例还提供了一种数据传输装置，应用于监控中心服务器，包括：数据接收模块，设置为接收目标监控节点上报的目标监控指标采集数据；第一数据更新模块，设置为在接收到所述目标监控节点上报的目标监控指标采集数据时，根据所述目标监控指标采集数据更新与目标监控节点对应的目标监控指标时序数据库；其中，所述目标监控指标采集数据为所述目标监控节点在根据与所述目标监控指标匹配的目标异常检测模型确定所述目标监控指标采集数据为异常数据时上报给所述监控中心服务器的；第二数据更新模块，设置为在设定时间段内未接收到所述目标监控节点上报的目标监控指标采集数据时，确定目标监控指标预测数据，并根据所述目标监控指标预测数据更新与目标监控节点对应的目标监控指标时序数据库。第四方面，本专利技术实施例还提供了一种数据传输装置，应用于目标监控节点，包括：数据获取模块，设置为获取目标监控指标采集数据；数据异常检测模块，设置为根据与所述目标监控指标匹配的目标异常检测模型对所述目标监控指标采集数据进行异常检测；数据上报模块，设置为在确定所述目标监控指标采集数据为异常数据时，将所述目标监控指标采集数据上报给监控中心服务器。第五方面，本专利技术实施例还提供了一种监控中心服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本专利技术任意实施例所述的应用于监控中心服务器中的数据传输方法。第六方面，本专利技术实施例还提供了一种监控节点，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本专利技术任意实施例所述的应用于目标监控节点中的数据传输方法。第七方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术任意实施例所述的应用于目标监控节点中的数据传输方法，或者执行时实现如本专利技术任意实施例所述的应用于监控中心服务器中的数据传输方法。本专利技术实施例提供的技术方案，目标监控节点在获取到目标监控指标采集数据之后，根据与目标监控指标匹配的目标异常检测模型对该目标监控指标采集数据进行异常检测，当确定该目标监控指标采集数据为异常数据时，才将该目标监控指标采集数据上报给监控中心服务器，监控中心服务器在能够接收到目标监控节点上报的目标监控指标采集数据的情况下，则根据该目标监控指标采集数据对与该目标监控节点对应的目标监控指标时序数据库进行更新，在设定时间段内均未接收到该目标监控节点上报的目标监控指标采集数据的情况下，则确定一个目标监控指标预测数据，并根据该目标监控指标预测数据对与该目标监控节点对应的目标监控指标时序数据库进行更新，以此极大地压缩了需要传输的监控数据量，降低了对数据传输带宽、信道的需求，也降低了数据传输成本。附图说明图1是本专利技术实施例一中的一种数据传输方法的流程图；图2是本专利技术实施例二中的一种数据传输方法的流程图；图3是本专利技术实施例三中的一种数据传输方法的流程图；图4是本专利技术实施例四中的一种数据传输装置的结构示意图；图5是本专利技术实施例五中的一种数据传输装置的结构示意图；图6是本专利技术实施例六中的一种监控中心服务器的结构示意图；图7是本专利技术实施例七中的一种监控节点的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。实施例一图1是本专利技术实施例一提供的一种数据传输方法的流程图，可适用于大规模IT环境监控指标数据传输量巨大(如千万数量级甚至上亿数量级)的情况，该方法可以由本专利技术实施例提供的应用于监控中心服务器中的数据传输装置来执行，该装置可采用软件和/或硬件的方式实现，并一般可集成在计算机设备中，如监控中心服务器。如图1所示，本实施例提供的数据传输方法，应用于监控中心服务器，具体包括：S110、接收目标监控节点上报的目标监控指标采集数据。监控节点，指的是用于向监控中心服务器上报监控数据的节点，其可以是直接进行监控数据采集的采集节点，也可以是数据采集节点与监控中心服务器之间的中间代理节点。具体的，监控节点可以是主机节点、虚拟机节点、容器节点等。目标监控节本文档来自技高网...

【技术保护点】
1.一种数据传输方法，其特征在于，应用于监控中心服务器，包括：/n接收目标监控节点上报的目标监控指标采集数据；/n在接收到所述目标监控节点上报的目标监控指标采集数据时，根据所述目标监控指标采集数据更新与目标监控节点对应的目标监控指标时序数据库；其中，所述目标监控指标采集数据为所述目标监控节点在根据与所述目标监控指标匹配的目标异常检测模型确定所述目标监控指标采集数据为异常数据时上报给所述监控中心服务器的；/n在设定时间段内未接收到所述目标监控节点上报的目标监控指标采集数据时，确定目标监控指标预测数据，并根据所述目标监控指标预测数据更新与目标监控节点对应的目标监控指标时序数据库。/n

【技术特征摘要】
1.一种数据传输方法，其特征在于，应用于监控中心服务器，包括：
接收目标监控节点上报的目标监控指标采集数据；
在接收到所述目标监控节点上报的目标监控指标采集数据时，根据所述目标监控指标采集数据更新与目标监控节点对应的目标监控指标时序数据库；其中，所述目标监控指标采集数据为所述目标监控节点在根据与所述目标监控指标匹配的目标异常检测模型确定所述目标监控指标采集数据为异常数据时上报给所述监控中心服务器的；
在设定时间段内未接收到所述目标监控节点上报的目标监控指标采集数据时，确定目标监控指标预测数据，并根据所述目标监控指标预测数据更新与目标监控节点对应的目标监控指标时序数据库。


2.根据权利要求1所述的方法，其特征在于，所述确定目标监控指标预测数据，包括：
根据与所述目标监控指标匹配的目标异常检测模型确定目标监控指标预测数据。


3.根据权利要求1所述的方法，其特征在于，在所述接收目标监控节点上报的目标监控指标采集数据之前，还包括：
根据目标监控指标采集数据样本对机器学习模型进行训练，得到与所述目标监控指标匹配的目标异常检测模型；
将与所述目标监控指标匹配的目标异常检测模型下发至所述目标监控节点。


4.根据权利要求3所示的方法，其特征在于，根据目标监控指标采集数据样本对机器学习模型进行训练，得到与所述目标监控指标匹配的目标异常检测模型，包括：
获取目标监控指标采集数据样本集合；
基于预设时段划分信息，对所述目标监控指标采集数据样本集合进行聚类，得到分别与每个预设时段对应的目标监控指标采集数据聚类样本子集；
分别根据每个所述目标监控指标采集数据聚类样本子集对机器学习模型进行训练，得到分别与每个预设时段对应的针对所述目标监控指标的目标异常检测子模型；
将各个所述目标异常检测子模型进行聚合，得到与所述目标监控指标匹配的目标异常检测模型。


5.根据权利要求3所示的方法，其特征在于，根据目标监控指标采集数据样本对机器学习模型进行训练，得到与所述目标监控指标匹配的目标异常检测模型，包括：
对与各个监控指标进行聚类，得到至少一个监控指标聚类集合；
分别根据与每个所述监控指标聚类集合匹配的目标监控指标采集数据样本对机器学习模型进行训练，得到分别与各个所述监控指标聚类集合对应的异常检测模型；
确定所述目标监控指标所归属的目标监控指标聚类集合，将与所述目标监控指标聚类集合对应的目标异常检测模型作为与所述目标监控指标匹配的目标异常检测模型。


6.根据权利要求3所示的方法，其特征在于，在将与所述目标监控指标匹配的目标异常检测模型下发至所述目标监控节点之后，还包括：
在连续接收到所述目标监控节点上报的目标监控指标采集数据的数量达到设定数量阈值时，对所述目标异常检测模型重新进行训练，得到与所述目标监控指标匹配的更新后的目标异常检测模型；
将所述更新后的目标异常检测模型下发至所述目标监控节点，以使所述目标监控节点根据所述更新后的目标异常检测模型对目标监控指标采集数据进行异常检测；
和/或，
在达到与所述目标监控指标对应的预设模型更新周期时，对所述目标异常检测模型重新进行训练，得到与所述目标监控指标匹配的更新后的目标异常检测模型；

【专利技术属性】
技术研发人员：饶琛琳，梁玫娟，
申请(专利权)人：北京优特捷信息技术有限公司，
类型：发明
国别省市：北京;11