数据评估模型生成方法及装置、异常数据监控方法及装置制造方法及图纸

技术编号:34444987 阅读:20 留言:0更新日期:2022-08-06 16:39
本公开实施例公开了一种数据评估模型生成方法及装置、异常数据监控方法及装置、计算机可读存储介质及电子设备,其中,该异常数据监控方法包括:从数据存储区获取待处理数据集,其中,数据存储区用于存储目标软件在运行时产生的数据;对待处理数据集进行序列化预处理,得到序列化数据集;基于预先训练的数据评估模型对序列化数据集进行处理,得到用于表征待处理数据集中的异常数据段的描述信息。本公开实施例通过使用数据评估模型快速、准确地对软件运行时产生的数据进行异常状态监控,有利于实现高效地进行软件健康度评估。于实现高效地进行软件健康度评估。于实现高效地进行软件健康度评估。

【技术实现步骤摘要】
数据评估模型生成方法及装置、异常数据监控方法及装置


[0001]本公开涉及计算机
,尤其是一种数据评估模型生成方法及装置、异常数据监控方法及装置、计算机可读存储介质及电子设备。

技术介绍

[0002]软件项目健康度的评估方法是软件工程中非常重要的研究领域。一套良好的软件项目健康度评估方法能够有效地对软件项目进行系统全面地质量评价,为项目监控人员和软件验收人员提供必要的质量参考依据,也为软件开发人员及时发现问题和持续改进软件开发实践提供途径,最终保证项目成功。而对软件运行时生成的数据进行评估是确定软件健康度的常用手段。目前的很多软件的架构和运行过程复杂,驱动模块众多,对软件健康程度和可靠性的管理要求较高。因此需要一种可靠便利的方法来监控软件运行时产生的数据的异常情况。

技术实现思路

[0003]本公开的实施例提供了一种数据评估模型生成方法、装置、计算机可读存储介质及电子设备。
[0004]本公开的实施例提供了一种数据评估模型生成方法,该方法包括:获取训练样本,其中,训练样本包括样本数据集和用于表征样本数据集中是否包括异常数据段的异常数据标注信息;通过预设的待训练模型,对样本数据集进行异常数据判定,得到异常数据预测信息;基于异常数据预测信息和异常数据标注信息,利用预设的损失函数,确定表示异常数据预测信息和异常数据标注信息之间的误差的损失值;基于损失值,调整待训练模型的参数;响应于调整参数后的待训练模型符合预设的训练结束条件,将调整参数后的待训练模型确定为数据评估模型。
[0005]根据本公开实施例的另一个方面,提供了一种异常数据监控方法,该方法包括:从数据存储区获取待处理数据集,其中,数据存储区用于存储目标软件在运行时产生的数据;对待处理数据集进行序列化预处理,得到序列化数据集;基于预先训练的数据评估模型对序列化数据集进行处理,得到用于表征待处理数据集中的异常数据段的描述信息。
[0006]根据本公开实施例的另一个方面,提供了一种数据评估模型生成装置,该装置包括:第一获取模块,用于获取训练样本,其中,训练样本包括样本数据集和用于表征样本数据集中是否包括异常数据段的异常数据标注信息;判定模块,用于通过预设的待训练模型,对样本数据集进行异常数据判定,得到异常数据预测信息;第一确定模块,用于基于异常数据预测信息和异常数据标注信息,利用预设的损失函数,确定表示异常数据预测信息和异常数据标注信息之间的误差的损失值;调整模块,用于基于损失值,调整待训练模型的参数;第二确定模块,用于响应于调整参数后的待训练模型符合预设的训练结束条件,将调整参数后的待训练模型确定为数据评估模型。
[0007]根据本公开实施例的另一个方面,提供了一种异常数据监控装置,该装置包括:第
二获取模块,用于从数据存储区获取待处理数据集,其中,数据存储区用于存储目标软件在运行时产生的数据;第一处理模块,用于对待处理数据集进行序列化预处理,得到序列化数据集;第二处理模块,用于基于预先训练的数据评估模型对序列化数据集进行处理,得到用于表征待处理数据集中的异常数据段的描述信息。
[0008]根据本公开实施例的另一个方面,提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序用于执行上述数据评估模型生成方法或异常数据监控方法。
[0009]根据本公开实施例的另一个方面,提供了一种电子设备,电子设备包括:处理器;用于存储处理器可执行指令的存储器;处理器,用于从存储器中读取可执行指令,并执行指令以实现上述数据评估模型生成方法或异常数据监控方法。
[0010]基于本公开上述实施例提供的数据评估模型生成方法及装置、异常数据监控方法及装置、计算机可读存储介质及电子设备,通过利用样本数据集和对应的异常数据标注信息,对预设的待训练模型进行训练,得到数据评估模型。在对软件进行异常数据监控时,获取软件在运行时产生的待处理数据,并对待处理数据进行序列化处理,再利用训练好的数据评估模型对序列化数据集进行处理,最终得到用于表征待处理数据集中的异常数据段的描述信息。实现了快速、准确地对软件运行时产生的数据进行异常状态监控,有利于实现高效地进行软件健康度评估。
[0011]下面通过附图和实施例,对本公开的技术方案做进一步的详细描述。
附图说明
[0012]通过结合附图对本公开实施例进行更详细的描述,本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解,并且构成说明书的一部分,与本公开实施例一起用于解释本公开,并不构成对本公开的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
[0013]图1是本公开所适用的系统图。
[0014]图2是本公开一示例性实施例提供的数据评估模型生成方法的流程示意图。
[0015]图3是本公开一示例性实施例提供的数据评估模型生成方法的流程示意图。
[0016]图4是本公开一示例性实施例提供的数据评估模型生成方法的流程示意图。
[0017]图5是本公开一示例性实施例提供的数据评估模型生成方法的流程示意图。
[0018]图6A和图6B是本公开一示例性实施例提供的可视化图像的示例性示意图。
[0019]图7是本公开一示例性实施例提供的异常数据监控方法的流程示意图。
[0020]图8是本公开一示例性实施例提供的数据评估模型生成装置的结构示意图。
[0021]图9是本公开另一示例性实施例提供的数据评估模型生成装置的结构示意图。
[0022]图10是本公开另一示例性实施例提供的异常数据监控装置的结构示意图。
[0023]图11是本公开一示例性实施例提供的电子设备的结构图。
具体实施方式
[0024]下面,将参考附图详细地描述根据本公开的示例实施例。显然,所描述的实施例仅仅是本公开的一部分实施例,而不是本公开的全部实施例,应理解,本公开不受这里描述的
示例实施例的限制。
[0025]应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
[0026]本领域技术人员可以理解,本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等,既不代表任何特定技术含义,也不表示它们之间的必然逻辑顺序。
[0027]还应理解,在本公开实施例中,“多个”可以指两个或两个以上,“至少一个”可以指一个、两个或两个以上。
[0028]还应理解,对于本公开实施例中提及的任一部件、数据或结构,在没有明确限定或者在前后文给出相反启示的情况下,一般可以理解为一个或多个。
[0029]另外,本公开中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本公开中字符“/”,一般表示前后关联对象是一种“或”的关系。
[0030]还应理解,本公开对各个实施例本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据评估模型生成方法,包括:获取训练样本,其中,所述训练样本包括样本数据集和用于表征所述样本数据集中是否包括异常数据段的异常数据标注信息;通过预设的待训练模型,对所述样本数据集进行异常数据判定,得到异常数据预测信息;基于所述异常数据预测信息和所述异常数据标注信息,利用预设的损失函数,确定表示所述异常数据预测信息和所述异常数据标注信息之间的误差的损失值;基于所述损失值,调整所述待训练模型的参数;响应于调整参数后的待训练模型符合预设的训练结束条件,将所述调整参数后的待训练模型确定为数据评估模型。2.根据权利要求1所述的方法,其中,所述获取训练样本包括:获取正训练样本,其中,所述正训练样本包括正样本数据集和用于表征所述正样本数据集中不包括异常数据段的第一异常数据标注信息;获取负训练样本,其中,所述负训练样本包括负样本数据集和用于表征所述负样本数据集中包括异常数据段的第二异常数据标注信息。3.根据权利要求2所述的方法,其中,所述获取正训练样本,包括:获取第一目标软件在正常状态下运行时产生的数据集作为正常初始数据集;对所述正常初始数据集进行序列化预处理,并将得到的序列化数据集确定为正样本数据集;将所述正样本数据集转换为可视化图像;基于所述可视化图像,对所述正样本数据集进行标注,生成所述正样本数据集对应的第一异常数据标注信息;基于所述正样本数据集和所述第一异常数据标注信息,得到所述正训练样本。4.根据权利要求2所述的方法,其中,所述获取负训练样本,包括:获取第二目标软件在异常状态下运行时产生的数据集作为异常初始数据集;将所述异常初始数据集进行序列化预处理,将得到的序列化数据集确定为负样本数据集;将所述负样本数据集转换为可视化图像;基于对所述可视化图像中的表示异常数据段的区域进行标注,生成所述负样本数据集对应的第二异常数据标注信息;基于所述负样本数据集和所述第二异常数据标注信息,得到所述负训练样本。5.一种异常数据监控方法,包括:从数据存储区获取待处理数据集,其中,所述数据存储区用于存储目标软件在运行时产生的数据;对所述待处理数据集进行序列化预处理,得到序列化数据集;基于预先训练的数据评估模型对所述序列化数据集进行处理,得...

【专利技术属性】
技术研发人员:陈增万毛磊
申请(专利权)人:地平线征程杭州人工智能科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1