System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及机器学习,特别是涉及一种异常数据检测模型的更新方法、装置及电子设备。
技术介绍
1、异常数据检测模型是在日常生活中发挥重要作用的一类模型,在金融、工业、科研等领域都有很多应用。又例如,可通过异常数据检测进行工业产品的瑕疵检测,以代替人眼进行测量和判断。
2、相关技术中,可以首先确定异常数据的定义规则,从而,利用与上述定义规则相匹配的样本数据训练得到异常数据检测模型,但是,所得到的异常数据检测模型只能对与满足上述定义规则的异常数据进行检测;而当异常数据的定义规则发生变化时,上述所得到的异常数据检测模型将无法适用于新的定义规则。
3、基于此,如何提高异常数据检测模型对多变的异常数据的定义规则的适用性,进而,提高异常数据检测模型的可用性和鲁棒性,成为当前亟需解决的问题。
技术实现思路
1、本专利技术实施例的目的在于提供一种异常数据检测模型更新方法、装置及电子设备,以实现提高异常数据检测模型对多变的异常数据的定义规则的适用性,进而,提高异常数据检测模型的可用性和鲁棒性。具体技术方案如下:
2、第一方面,本专利技术实施例提供了一种异常数据检测模型更新方法,所述方法包括:
3、获取异常数据检测模型输出的异常数据;其中,所述异常数据检测模型是基于样本数据和利用至少一种数据增强分别对所述样本数据进行处理所生成的辅助数据训练得到的;所述样本数据包括携带有正常标签的数据;所述辅助数据携带有异常标签或所述正常标签;
4、获取所述异
5、获取利用所述至少一种数据增强分别对同一组正常数据进行处理所生成的各组基准数据,并利用所述映射函数,对各组基准数据进行数据处理,得到各组目标数据;其中,所述正常数据为不满足预设异常数据定义规则的数据;
6、利用所述基础数据与各个目标数据,计算所述基础数据与每种数据增强的相关系数;
7、针对每种数据增强,基于所述基础数据与该种数据增强的相关系数和预设系数阈值的数值关系,以及所述反馈结果所表征的所述异常数据检测模型对所述异常数据的检测是否正确的检测情况,确定是否存在需要更改标签的辅助数据;
8、如果是,利用所述样本数据和标签更改后的各组辅助数据更新所述异常数据检测模型。
9、可选的,一种具体实现方式中,所述获取利用所述至少一种数据增强分别对同一组正常数据进行处理所生成的各组基准数据,包括:
10、获取多个正常数据,并针对所述至少一种数据增强中的每种数据增强,利用该种数据增强分别对所述多个正常数据进行处理,得到各组基准数据;
11、或者,
12、从所述样本数据中获取多个正常数据,并从每组辅助数据中,获取所述多个正常数据经数据增强所生成的数据,得到各组基准数据。
13、可选的,一种具体实现方式中,所述利用所述基础数据与各个目标数据,计算所述基础数据与每种数据增强的相关系数,包括:
14、计算所述基础数据与每组目标数据中的各个数据的第一距离,并基于各个第一距离,计算该基础数据与该组目标数据对应的数据增强的第二距离;其中,每组目标数据对应的数据增强为:生成映射得到该组目标数据的基准数据的数据增强;
15、基于各个第二距离,计算每个基础数据与每种数据增强的相关系数。
16、可选的,一种具体实现方式中,所述基于各个第一距离,计算该基础数据与该组目标数据对应的数据增强的第二距离,包括:
17、计算各个第一距离的和值,作为该基础数据与该组目标数据对应的数据增强的第二距离;或者,
18、计算各个第一距离的平均值,作为该基础数据与该组目标数据对应的数据增强的第二距离。
19、可选的,一种具体实现方式中,所述基于各个第二距离,计算每个基础数据与每种数据增强的相关系数,包括:
20、确定指定距离,并基于各个第二距离与所述指定距离的大小关系,计算每个基础数据与每种数据增强的相关系数。
21、可选的,一种具体实现方式中,所述确定指定距离包括:
22、确定各个第二距离中的最大值,作为指定距离。
23、可选的,一种具体实现方式中,所述基于各个第二距离与所述指定距离的大小关系,计算每个基础数据与每种数据增强的相关系数,包括:
24、针对每个第二距离,确定该第二距离与所述指定距离中的最小值;计算所述指定距离与所述最小值的差值,并计算所述差值与所述指定距离的比值,作为该基础数据与该第二距离对应的数据增强的相关系数。
25、可选的,一种具体实现方式中,所述针对每种数据增强,基于所述基础数据与该种数据增强的相关系数和预设系数阈值的数值关系,以及所述反馈结果所表征的所述异常数据检测模型对所述异常数据的检测是否正确的检测情况,确定是否存在需要更改标签的辅助数据,包括:
26、针对每种数据增强,基于所述基础数据与该种数据增强的相关系数和预设系数阈值的数值关系,以及所述反馈结果所表征的所述异常数据检测模型对所述异常数据的检测是否正确的检测情况,判断所述基础数据中的指定数据是否满足预设条件;其中,所述指定数据为:与该种数据增强的相关系数大于所述预设系数阈值,且所对应的异常数据的反馈结果表征所述异常数据检测模型对该异常数据的检测正确的基础数据;所述基础数据对应的异常数据为:生成该基础数据的异常数据;
27、若满足,则确定进行该种数据增强生成的辅助数据需要更改标签;
28、若不满足,则确定进行该种数据增强生成的辅助数据不需要更改标签。
29、可选的,一种具体实现方式中,所述异常数据的数量为多个,且所述基础数据的数量为多个;
30、所述针对每种数据增强,基于所述基础数据与该种数据增强的相关系数和预设系数阈值的数值关系,以及所述反馈结果所表征的所述异常数据检测模型对所述异常数据的检测是否正确的检测情况,判断各个基础数据中的指定数据是否满足预设条件,包括:
31、针对每种数据增强,遍历各个基础数据,在遍历到每个基础数据时,判断该数据增强与该基础数据的相关系数是否大于预设系数阈值;
32、如果不大于,则遍历下一个基础数据;
33、如果大于,判断生成该基础数据的异常数据的反馈结果是否表征所述异常数据检测模型对该异常数据的检测正确;
34、若是,则将该数据增强的预设计数值与第一数值的差值,作为新的预设计数值;
35、若否,则将该数据增强的预设计数值与第二数值的和值,作为新的预设计数值;
36、在遍历完全部基础数据后,判断所得到的新的预设计数值是否大于预设计数阈值;
37、当大于时,则确定进行该种数据增强生成的辅助数据需要更改标本文档来自技高网...
【技术保护点】
1.一种异常数据检测模型的更新方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述获取利用所述至少一种数据增强分别对同一组正常数据进行处理所生成的各组基准数据,包括:
3.根据权利要求1所述的方法,其特征在于,所述利用所述基础数据与各个目标数据,计算所述基础数据与每种数据增强的相关系数,包括:
4.根据权利要求3所述的方法,其特征在于,所述基于各个第一距离,计算该基础数据与该组目标数据对应的数据增强的第二距离,包括:
5.根据权利要求3或4所述的方法,其特征在于,所述基于各个第二距离,计算每个基础数据与每种数据增强的相关系数,包括:
6.根据权利要求5所述的方法,其特征在于,所述确定指定距离包括:
7.根据权利要求5所述的方法,其特征在于,所述基于各个第二距离与所述指定距离的大小关系,计算每个基础数据与每种数据增强的相关系数,包括:
8.根据权利要求1所述的方法,其特征在于,所述针对每种数据增强,基于所述基础数据与该种数据增强的相关系数和预设系数阈值的数值关系,以及所述
9.根据权利要求1所述的方法,其特征在于,所述异常数据的数量为多个,且所述基础数据的数量为多个;
10.根据权利要求1所述的方法,其特征在于,每组辅助数据所携带的标签为:生成该组辅助数据的数据增强的预设标签,所述方法还包括:
11.根据权利要求1所述的方法,其特征在于,在所述利用与所述异常数据检测模型相关的特征空间的映射函数,对所述异常数据进行数据处理,得到各个基础数据之前,所述方法还包括:
12.一种异常数据检测模型的更新装置,其特征在于,所述装置包括:
13.根据权利要求12所述的装置,其特征在于,所述目标数据获取模块具体用于:
14.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-11任一所述的方法步骤。
...【技术特征摘要】
1.一种异常数据检测模型的更新方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述获取利用所述至少一种数据增强分别对同一组正常数据进行处理所生成的各组基准数据,包括:
3.根据权利要求1所述的方法,其特征在于,所述利用所述基础数据与各个目标数据,计算所述基础数据与每种数据增强的相关系数,包括:
4.根据权利要求3所述的方法,其特征在于,所述基于各个第一距离,计算该基础数据与该组目标数据对应的数据增强的第二距离,包括:
5.根据权利要求3或4所述的方法,其特征在于,所述基于各个第二距离,计算每个基础数据与每种数据增强的相关系数,包括:
6.根据权利要求5所述的方法,其特征在于,所述确定指定距离包括:
7.根据权利要求5所述的方法,其特征在于,所述基于各个第二距离与所述指定距离的大小关系,计算每个基础数据与每种数据增强的相关系数,包括:
8.根据权利要求1所述的方法,其特征在于,所述针对每种数据增强,基于所述基础数据与该种数据增强的相关系数和预设系数阈值的数值关系,以及所述反馈结果所表征的所...
【专利技术属性】
技术研发人员:孙海鸣,浦世亮,姜伟浩,
申请(专利权)人:杭州海康威视数字技术股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。