System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据处理方法、装置、计算机设备及计算机可读存储介质制造方法及图纸_技高网

数据处理方法、装置、计算机设备及计算机可读存储介质制造方法及图纸

技术编号:40064440 阅读:5 留言:0更新日期:2024-01-16 23:12
本申请实施例公开了一种数据处理方法、装置、计算机设备及计算机可读存储介质,数据处理方法包括通过特征提取模型对样本图像进行图像特征提取,得到样本图像的图像特征信息;基于图像特征信息对样本图像进行聚类,得到样本图像对应的聚类中心;根据样本图像的历史聚类中心对样本图像进行聚类标签反映射处理,得到聚类标签,聚类标签与历史聚类标签对齐的;基于携带聚类标签的样本图像对特征提取模型进行训练,以得到训练后特征提取模型。本申请实施例有助于增加模型训练的稳定性,提高训练效率。

【技术实现步骤摘要】

本申请涉及神经网络,具体涉及一种数据处理方法、装置、计算机设备及计算机可读存储介质


技术介绍

1、在对神经网络模型进行自监督训练过程,通常可以利用对样本进行聚类,根据样本所属类簇生成样本的伪标签,通过分类任务基于伪标签对神经网络模型的参数进行微调。

2、由于聚类时聚类中心对应的索引是随机排列的,所以,即使在某个迭代过程中某些簇相对于上一次迭代过程没有变化,但其聚类中心的索引发生了变化,聚类后的样本伪标签和之前的样本伪标签相比会发生变化。因为,同一样本在不同迭代的伪标签不同,因此,不同迭代的目的不一致,分类任务无法保存历史模型参数信息,分类任务必须在每次迭代过程之前重新初始化模型参数,导致模型训练的不稳定性。


技术实现思路

1、本申请实施例提供一种数据处理方法、装置、计算机设备及计算机可读存储介质,可以增加特征提取模型训练的稳定性,提高训练效率。

2、本申请实施例提供的一种数据处理方法,包括:

3、通过特征提取模型对样本图像进行图像特征提取,得到样本图像的图像特征信息;

4、基于图像特征信息对样本图像进行聚类,得到所述样本图像对应的聚类中心;

5、根据所述样本图像的历史聚类中心,对所述样本图像进行聚类标签反映射处理,得到所述聚类中心的聚类标签,所述聚类中心的聚类标签与所述历史聚类中心的聚类标签对齐;

6、基于携带聚类标签的样本图像对特征提取模型进行训练,以得到训练后特征提取模型。

7、相应的,本申请实施例还提供的一种数据处理装置,包括:

8、提取单元,用于通过特征提取模型对样本图像进行图像特征提取,得到样本图像的图像特征信息;

9、聚类单元,用于基于图像特征信息对样本图像进行聚类,得到所述样本图像对应的聚类中心;

10、反映射单元,用于根据所述样本图像的历史聚类中心,对所述样本图像进行聚类标签反映射处理,得到所述聚类中心的聚类标签,所述聚类中心的聚类标签与所述历史聚类中心的聚类标签对齐;

11、训练单元,用于基于携带聚类标签的样本图像对特征提取模型进行训练,以得到训练后特征提取模型。

12、相应的,本申请实施例还提供的一种计算机设备,计算机设备包括存储器、处理器以及存储于存储器中并可在处理器上运行的存储有计算机程序,处理器执行计算机程序时实现本申请实施例提供的任一种数据处理方法中的步骤。

13、相应的,本申请实施例还提供一种计算机可读存储介质,计算机可读存储介质用于存储计算机程序,计算机程序被处理器执行时实现本申请实施例提供的任一种数据处理方法中的步骤。

14、由上可知,本申请实施例通过特征提取模型对样本图像进行图像特征提取,得到样本图像的图像特征信息;基于图像特征信息对样本图像进行聚类,得到样本图像对应的聚类中心;根据样本图像的历史聚类中心对样本图像进行聚类标签反映射处理,得到聚类标签,聚类标签与历史聚类标签对齐的;基于携带聚类标签的样本图像对特征提取模型进行训练,以得到训练后特征提取模型。

15、本方案通过历史聚类中心对样本图像进行聚类标签反映射处理,得到与历史聚类标签对齐的聚类标签,使得样本图像当前的聚类标签与历史聚类标签一致,基于携带聚类标签的样本图像对特征提取模型进行训练时,迭代目的是一致的,不需要在每次迭代过程中对模型参数进行调整,同时可以保存模型历史训练数据,增加特征提取模型训练的稳定性,提高训练效率。

本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述样本图像的历史聚类中心,对所述样本图像进行聚类标签反映射处理,得到所述聚类中心的聚类标签,包括:

3.根据权利要求1所述的方法,其特征在于,所述基于所述图像特征信息对所述样本图像进行聚类,得到所述样本图像对应的聚类中心,包括:

4.根据权利要求3所述的方法,其特征在于,所述获取聚类簇数之前,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,所述分别对所述多个候选聚类结果进行结果分析,确定每个候选聚类结果对应的聚类效果指标,包括:

6.根据权利要求1所述的方法,其特征在于,所述通过特征提取模型对样本图像进行图像特征提取,得到所述样本图像的图像特征信息,包括:

7.根据权利要求1所述的方法,其特征在于,所述基于携带所述聚类标签的样本图像对所述特征提取模型进行训练,包括:

8.根据权利要求1-6任一项所述的方法,其特征在于,所述样本图像包括多个,所述基于携带所述聚类标签的样本图像对所述特征提取模型进行训练,包括:

9.一种数据处理装置,其特征在于,包括:

10.一种计算机设备,其特征在于,所述计算机设备包括存储器、处理器以及存储于所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现权利要求1至8任一项所述的数据处理方法中的步骤。

11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1至8任一项所述的数据处理方法中的步骤。

...

【技术特征摘要】

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述样本图像的历史聚类中心,对所述样本图像进行聚类标签反映射处理,得到所述聚类中心的聚类标签,包括:

3.根据权利要求1所述的方法,其特征在于,所述基于所述图像特征信息对所述样本图像进行聚类,得到所述样本图像对应的聚类中心,包括:

4.根据权利要求3所述的方法,其特征在于,所述获取聚类簇数之前,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,所述分别对所述多个候选聚类结果进行结果分析,确定每个候选聚类结果对应的聚类效果指标,包括:

6.根据权利要求1所述的方法,其特征在于,所述通过特征提取模型对样本图像进行图像特征提取,得到所述样本图像的图像特征信息,包括:<...

【专利技术属性】
技术研发人员:司红涛范财理
申请(专利权)人:TCL科技集团股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1