数据处理方法、装置、电子设备及存储介质制造方法及图纸

技术编号:38384595 阅读:6 留言:0更新日期:2023-08-05 17:40
本公开提供了一种数据处理方法、装置、设备及存储介质,可以应用于计算机技术领域、信息安全技术领域、人工智能技术领域和金融技术领域。该方法包括:对初始图像样本数据进行噪声处理,得到中间图像样本数据,其中,中间图像样本数据包括中间图像样本;利用初始图像处理模型对中间图像样本数据进行处理,确定与中间图像样本对应的样本损失值;根据样本损失值,确定中间图像样本的目标分组;以及根据目标分组,利用中间图像样本数据对初始图像处理模型进行训练,得到训练后的目标图像处理模型。得到训练后的目标图像处理模型。得到训练后的目标图像处理模型。

【技术实现步骤摘要】
数据处理方法、装置、电子设备及存储介质


[0001]本公开涉及计算机
、信息安全
、人工智能
和金融
,尤其涉及一种数据处理方法、装置、电子设备、存储介质和程序产品。

技术介绍

[0002]相关技术中,在对图像处理模型进行模型训练时,会使用一些大型的数据集中的数据样本,这些数据样本的安全性通常无法核实,因此,会造成训练后的图像处理模型不能正常使用。
[0003]在实现本公开构思的过程中,专利技术人发现相关技术中至少存在如下问题:相关技术中的利用未知的数据样本进行模型训练时,不能对数据样本的安全性进行确认,使得图像处理模型不能正常使用。

技术实现思路

[0004]鉴于上述问题,本公开提供了数据处理方法、装置、电子设备、存储介质和程序产品。
[0005]本公开的第一方面提供了一种数据处理方法,包括:
[0006]对初始图像样本数据进行噪声处理,得到中间图像样本数据,其中,中间图像样本数据包括中间图像样本;
[0007]利用初始图像处理模型对中间图像样本数据进行处理,确定与中间图像样本对应的样本损失值;
[0008]根据样本损失值,确定中间图像样本的目标分组;以及
[0009]根据目标分组,利用中间图像样本数据对初始图像处理模型进行训练,得到训练后的目标图像处理模型。
[0010]根据本公开的实施例,利用初始图像处理模型对中间图像样本数据进行处理,确定与中间图像样本对应的样本损失值,包括:
[0011]利用初始图像处理模型对中间图像样本数据进行处理,确定初始图像处理模型的损失变化曲线;
[0012]根据损失变化曲线,确定初始图像处理模型的的预设训练周期;以及
[0013]根据预设训练周期,确定与中间图像样本对应的样本损失值。
[0014]根据本公开的实施例,根据样本损失值,确定中间图像样本的目标分组,包括:
[0015]根据样本损失值,对中间图像样本进行排序,得到中间图像样本排序结果;以及
[0016]根据中间图像样本排序结果,按照预设规则确定中间图像样本的目标分组。
[0017]根据本公开的实施例,根据中间图像样本排序结果,按照预设规则确定中间图像样本的目标分组,包括:
[0018]根据中间图像样本排序结果,确定中间图像样本的排序位置;
[0019]在确定排序位置小于或等于第一预设阈值的情况下,确定中间图像样本是第一子
目标分组,其中,第一子目标分组表征中间图像样本为第一异常样本;
[0020]在确定排序位置大于第一预设阈值且小于第二预设阈值的情况下,确定中间图像样本是第二子目标分组,其中,第二子目标分组表征中间图像样本为第二异常样本,第二异常样本的样本损失值小于第一异常样本的样本损失值;以及
[0021]在确定排序位置大于或等于第二预设阈值的情况下,确定中间图像样本是第三子目标分组,其中,第三子目标分组表征中间图像样本为正常样本。
[0022]根据本公开的实施例,对初始图像样本数据进行噪声处理,得到中间图像样本数据,包括:
[0023]将初始图像样本数据输入至编码器中,输出均值向量和标准差向量;
[0024]根据均值向量和标准差向量,确定中间编码变量;以及
[0025]将中间编码变量输入至解码器中,输出中间图像样本数据。
[0026]根据本公开的实施例,根据目标分组,利用中间图像样本数据对初始图像处理模型进行训练,得到训练后的目标图像处理模型,包括:
[0027]确定与目标分组对应的目标权重;以及
[0028]根据目标权重,利用中间图像样本数据对初始图像处理模型进行训练,得到训练后的目标图像处理模型。
[0029]根据本公开的实施例,确定与目标分组对应的目标权重,包括:
[0030]确定与第一子目标分组对应的第一子目标权重;
[0031]确定与第二子目标分组对应的第二子目标权重;
[0032]确定与第三子目标分组对应的第三子目标权重;
[0033]其中,根据目标权重,利用中间图像样本数据对初始图像处理模型进行训练,得到训练后的目标图像处理模型,包括:
[0034]根据第一子目标权重,确定与第一异常样本对应的第一子损失值;
[0035]根据第二子目标权重,确定与第二异常样本对应的第二子损失值;
[0036]根据第三子目标权重,确定与正常样本对应的第三子损失值;
[0037]根据第一子损失值、第二子损失值和第三子损失值对初始图像处理模型的参数进行更新,得到训练后的目标图像处理模型。
[0038]根据本公开的实施例,根据第一子目标权重,确定与第一异常样本对应的第一子损失值,包括:
[0039]将第一异常样本输入至初始图像处理模型中,得到第一子输出结果;
[0040]根据第一子目标权重和第一子输出结果,确定第一子损失值;
[0041]其中,根据第二子目标权重,确定与第二异常样本对应的第二子损失值,包括:
[0042]将第二异常样本输入至初始图像处理模型中,得到第二子输出结果;
[0043]根据第二子目标权重和第二子输出结果,确定第二子损失值;
[0044]其中,根据第三子目标权重,确定与正常样本对应的第三子损失值,包括:
[0045]将正常样本输入至初始图像处理模型中,得到第三子输出结果;
[0046]根据第三子目标权重和第三子输出结果,确定第三子损失值。
[0047]本公开的第二方面提供了一种数据处理装置,包括:
[0048]第一得到模块,用于对初始图像样本数据进行噪声处理,得到中间图像样本数据,
其中,中间图像样本数据包括中间图像样本;
[0049]第一确定模块,用于利用初始图像处理模型对中间图像样本数据进行处理,确定与中间图像样本对应的样本损失值;
[0050]第二确定模块,用于根据样本损失值,确定中间图像样本的目标分组;以及
[0051]第二得到模块,用于根据目标分组,利用中间图像样本数据对初始图像处理模型进行训练,得到训练后的目标图像处理模型。
[0052]本公开的第三方面提供了一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得一个或多个处理器执行上述方法。
[0053]本公开的第四方面还提供了一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行上述方法。
[0054]本公开的第五方面还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述方法。
[0055]根据本公开提供的数据处理方法、装置、设备、介质和程序产品,通过对初始图像样本数据进行噪声处理,得到中间图像样本数据,其中,中间图像样本数据包括中间图像样本;利用初始图像处理模型对中间图像样本数据进行处理,确定本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法,包括:对初始图像样本数据进行噪声处理,得到中间图像样本数据,其中,所述中间图像样本数据包括中间图像样本;利用初始图像处理模型对所述中间图像样本数据进行处理,确定与所述中间图像样本对应的样本损失值;根据所述样本损失值,确定所述中间图像样本的目标分组;以及根据所述目标分组,利用所述中间图像样本数据对所述初始图像处理模型进行训练,得到训练后的目标图像处理模型。2.根据权利要求1所述的方法,其中,所述利用初始图像处理模型对所述中间图像样本数据进行处理,确定与所述中间图像样本对应的样本损失值,包括:利用初始图像处理模型对所述中间图像样本数据进行处理,确定所述初始图像处理模型的损失变化曲线;根据所述损失变化曲线,确定所述初始图像处理模型的的预设训练周期;以及根据所述预设训练周期,确定与所述中间图像样本对应的所述样本损失值。3.根据权利要求1所述的方法,其中,所述根据所述样本损失值,确定所述中间图像样本的目标分组,包括:根据所述样本损失值,对所述中间图像样本进行排序,得到中间图像样本排序结果;以及根据所述中间图像样本排序结果,按照预设规则确定所述中间图像样本的目标分组。4.根据权利要求3所述的方法,其中,所述根据所述中间图像样本排序结果,按照预设规则确定所述中间图像样本的目标分组,包括:根据所述中间图像样本排序结果,确定所述中间图像样本的排序位置;在确定所述排序位置小于或等于第一预设阈值的情况下,确定所述中间图像样本是第一子目标分组,其中,所述第一子目标分组表征所述中间图像样本为第一异常样本;在确定所述排序位置大于所述第一预设阈值且小于第二预设阈值的情况下,确定所述中间图像样本是第二子目标分组,其中,所述第二子目标分组表征所述中间图像样本为第二异常样本,所述第二异常样本的样本损失值小于所述第一异常样本的样本损失值;以及在确定所述排序位置大于或等于所述第二预设阈值的情况下,确定所述中间图像样本是第三子目标分组,其中,所述第三子目标分组表征所述中间图像样本为正常样本。5.根据权利要求1~4中任一项所述的方法,其中,所述对初始图像样本数据进行噪声处理,得到中间图像样本数据,包括:将所述初始图像样本数据输入至编码器中,输出均值向量和标准差向量;根据所述均值向量和所述标准差向量,确定中间编码变量;以及将所述中间编码变量输入至解码器中,输出中间图像样本数据。6.根据权利要求1~4中任一项所述的方法,其中,根据所述目标分组,利用所述中间图像样本数据对所述初始图像处理模型进行训练,得到训练后的目标图像处理模型,包括:确定与所述目标分组对应的目标权重;以及根据所述目标权重,利用所述中间图像样本数据对所述初始图像处理模型进行训练,得到训练后...

【专利技术属性】
技术研发人员:许啸李沅坷程元鸿金驰
申请(专利权)人:中国工商银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1