云平台的巡检方法、电子设备及非易失性存储介质技术

本申请公开了一种云平台的巡检方法、电子设备及非易失性存储介质。其中，该方法包括：获取对云平台执行巡检任务时所需的配置信息；基于该配置信息获取云平台中与不同作业类型对应的多种检测数据；采用获取的多种检测数据对无监督学习模型进行训练，得到目标模型；获取来自目标数据源的数据流；将数据流输入至目标模型中进行分析，得到数据流的巡检结果。本申请解决了无法对云平台的使用情况和稳定性进行有效检测的技术问题。

【技术实现步骤摘要】
云平台的巡检方法、电子设备及非易失性存储介质
本申请涉及机器学习领域，具体而言，涉及一种云平台的巡检方法、电子设备及非易失性存储介质。
技术介绍
现在云计算已经像水和电等基础设施一样成为日常生活中的一部分。随着越来越多的公司(无论互联网公司、传统制造业公司、零售行业等)逐步将服务部署到云上，云计算服务的服务质量也必须达到较高的水准，来满足客户的需求。云计算的底层是大量的分布式系统和微服务系统。随着云计算的不断发展，相关的服务和组件越来越多，导致依靠传统的运维方法无法快速准确的发现问题。往往都是已经严重影响到用才会有工单反馈，再有对应的工程师去排查，使得处理效率很低，降低了服务的可用性。另外，如果底层研发人员设置很多告警，当某个底层模块发生了异常时，沿着异常在系统中的传播路径会在瞬间产生海量的告警信息，运维和研发人员在处理这些告警信息时需要耗费大量的经历将对应的内容从排序和筛选，才能定位出对应的问题，也会大大降低问题的修复时间。具体而言，企业在使用云计算服务的过程中会遇到以下问题：在IT基础设施的使用规模逐步扩大的过程中对无法实现对基础IaaS层资源的使用情况和稳定性的有效检测。针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
本申请实施例提供了一种云平台的巡检方法、电子设备及非易失性存储介质，以至少解决无法对云平台的使用情况和稳定性进行有效检测的技术问题。根据本申请实施例的一个方面，提供了一种云平台的巡检方法，包括：获取对云平台执行巡检任务时所需的配置信息，其中，配置信息中至少包括不同任务类型的检测数据；基于该配置信息获取云平台中与不同作业类型对应的多种检测数据；采用获取的多种检测数据对无监督学习模型进行训练，得到目标模型；获取来自目标数据源的数据流；将数据流输入至目标模型中进行分析，得到数据流的巡检结果，其中，该巡检结果用于指示数据流所对应事件的事件类型。根据本申请实施例的另一方面，还提供了一种模型训练方法，包括：获取对云平台执行巡检任务时所需的配置信息，其中，配置信息中至少包括不同任务类型的检测数据；基于该配置信息获取云平台中与不同作业类型对应的多种检测数据；采用获取的多种检测数据对无监督学习模型进行训练，得到目标模型。根据本申请实施例的另一方面，还提供了一种云平台的巡检装置，包括：第一获取模块，获取对云平台执行巡检任务时所需的配置信息，其中，配置信息中至少包括不同任务类型的检测数据；第二获取模块，基于该配置信息获取云平台中与不同作业类型对应的多种检测数据；训练模块，采用获取的多种检测数据对无监督学习模型进行训练，得到目标模型；数据接收模块，获取来自目标数据源的数据流；分析模块，将数据流输入至目标模型中进行分析，得到数据流的巡检结果，其中，该巡检结果用于指示数据流所对应事件的事件类型。根据本申请实施例的另一方面，还提供了一种非易失性存储介质，包括存储的程序，其中，程序运行时控制非易失性存储介质所在设备执行云平台的巡检方法。根据本申请实施例的另一方面，还提供了一种电子设备，包括：处理器；以及存储器，与处理器连接，用于为处理器提供处理以下处理步骤的指令：获取对云平台执行巡检任务时所需的配置信息，其中，配置信息中至少包括不同任务类型的检测数据；基于该配置信息获取云平台中与不同作业类型对应的多种检测数据；采用获取的多种检测数据对无监督学习模型进行训练，得到目标模型；获取来自目标数据源的数据流；将数据流输入至目标模型中进行分析，得到数据流的巡检结果，其中，该巡检结果用于指示数据流所对应事件的事件类型。根据本申请实施例的另一方面，还提供了一种云平台的巡检系统，包括：第一数据系统，用于获取模块用于获取对云平台执行巡检任务时所需的配置信息，其中，配置信息中至少包括不同任务类型的检测数据；以及基于该配置信息获取云平台中与不同任务类型对应的多种检测数据；训练系统，用于采用获取的多种检测数据对无监督学习模型进行训练，得到目标模型；第二数据系统，用于获取来自目标数据源的数据流；应用系统，用于将数据流输入至目标模型中进行分析，得到数据流的巡检结果，其中，该巡检结果用于指示数据流所对应的事件类型。在本申请实施例中，采用获取对云平台执行巡检任务时所需的配置信息；基于该配置信息获取云平台中与不同作业类型对应的多种检测数据；采用获取的多种检测数据对无监督学习模型进行训练，得到目标模型；获取来自目标数据源的数据流；将数据流输入至目标模型中进行分析，得到数据流的巡检结果的方式，通过训练好的无监督学习模型，达到了对数据流巡检的目的，从而实现了对云平台高效可靠巡检的技术效果，进而解决了无法对云平台的使用情况和稳定性进行有效检测的技术问题。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1是根据本申请实施例的一种计算机终端的结构示意图；图2是根据本申请实施例的一种云平台巡检方法的流程示意图；图3是根据本申请实施例的一种模型训练方法的流程示意图；图4是根据本申请实施例的一种用户告警反馈学习的流程示意图；图5是根据本申请实施例的一种数据流转的流程示意图；图6是根据本申请实施例的一种算法节点处理流程图；图7a是根据本申请实施例的一种云平台巡检系统的结构示意图；图7b是根据本申请实施例的一种系统架构图；图8是根据本申请实施例的一种任务调度流转的流程示意图；图9是根据本申请实施例的一种云平台巡检装置的结构示意图。具体实施方式为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。首先，在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释：智能运维(AlgorithmicITOperations，简称为AIOps)：让运维具备机器学习和算法的能力。主动学习：也叫查询学习，它要求算法在每轮学习迭代中能够基于某种策略，从当前样本集中选择出“最不确定的一个或一组样本”。例如isola本文档来自技高网...

【技术保护点】
1.一种云平台的巡检方法，包括：/n获取对云平台执行巡检任务时所需的配置信息，其中，所述配置信息中至少包括不同任务类型的检测数据；/n基于该配置信息获取云平台中与所述不同任务类型对应的多种检测数据；/n采用获取的所述多种检测数据对无监督学习模型进行训练，得到目标模型；/n获取来自目标数据源的数据流；/n将所述数据流输入至所述目标模型中进行分析，得到所述数据流的巡检结果，其中，该巡检结果用于指示所述数据流所对应的事件类型。/n

【技术特征摘要】
1.一种云平台的巡检方法，包括：
获取对云平台执行巡检任务时所需的配置信息，其中，所述配置信息中至少包括不同任务类型的检测数据；
基于该配置信息获取云平台中与所述不同任务类型对应的多种检测数据；
采用获取的所述多种检测数据对无监督学习模型进行训练，得到目标模型；
获取来自目标数据源的数据流；
将所述数据流输入至所述目标模型中进行分析，得到所述数据流的巡检结果，其中，该巡检结果用于指示所述数据流所对应的事件类型。


2.根据权利要求1所述的方法，其中，采用获取的所述多种检测数据对无监督学习模型进行训练，得到目标模型，包括：
采用所述无监督学习模型对获取的所述多种检测数据进行分类，得到分类结果；
接收来自目标对象的标注信息，该标注信息用于对所述分类结果进行打标；
基于所述分类结果对所述无监督学习模型进行评估，得到评估指标；
基于所述标注信息对所述分类结果进行调整，并基于调整后的分类结果和所述评估指标中的至少之一对所述无监督学习模型的模型参数进行调整，得到所述目标模型。


3.根据权利要求1所述的方法，其中，将所述数据流输入至所述目标模型中进行分析，得到所述数据流的巡检结果之后，所述方法还包括：
在所述巡检结果指示所述数据流所对应的事件类型为异常事件时，确定所述数据流所对应的事件信息；
确定所述云平台中与所述事件信息对应的任务节点；
依据所述任务节点确定预设拓扑图中与所述任务节点关联的目标节点，其中，所述预设拓扑图用于指示所述云平台中各个节点之间的关联关系；
向所述任务节点和所述目标节点中的至少之一发送用于提示所述数据流所对应事件类型为异常事件的告警信息。


4.根据权利要求3所述的方法，其中，所述关联关系包括：各个节点之间的数据调用关系。


5.根据权利要求1至4中任意一项所述的方法，其中，所述配置信息中还包括：数据源地址信息；采用获取的所述多种检测数据对无监督学习模型进行训练之前，所述方法还包括：
从所述数据源地址信息所对应的数据源中获取日志信息；
对所述日志信息对应的事件进行分类。


6.根据权利要求5所述的方法，其中，所述日志信息包括：系统日志和/或程序日志；对所述日志信息对应的事件进行分类，包括：
对所述系统日志中的操作系统日志和系统组件日志按照预设规则进行分类；和/或
对于所述程序日志，获取用于提取日志信息的日志模板；基于所述日志模板从所述程序日志中提取信息，并将提取的日志信息添加至所述日志模板中，得到目标日志模板；基于所述日志信息模板中在预设时间间隔内模...

【专利技术属性】
技术研发人员：刘贵阳，胡文杰，
申请(专利权)人：阿里巴巴新加坡控股有限公司，
类型：发明
国别省市：新加坡;SG