一种数据分类方法、装置、设备及存储介质制造方法及图纸

技术编号:28476937 阅读:26 留言:0更新日期:2021-05-15 21:45
本发明专利技术实施例涉及人工智能领域,公开了一种数据分类方法、装置、设备及存储介质,该方法包括:提取第一训练样本数据集中每个模态的第一任务数据的第一任务特征;提取第二训练样本数据集中每个第二任务数据的第二任务特征,确定每个第二任务数据的模态;根据与每个第二任务数据的模态对应的第一修改分支的第一权重调整分类特征提取器的第二权重,并确定目标分类特征提取器;将待查询任务数据输入目标分类特征提取器确定待查询任务数据的模态类别,实现了使用一个神经网络模型对多个模态的任务数据进行分类,提高了对各个模态的任务数据进行分类的性能和准确性。本发明专利技术涉及区块链技术,如可将任务数据写入区块链中,以用于数据取证等场景。取证等场景。取证等场景。

【技术实现步骤摘要】
一种数据分类方法、装置、设备及存储介质


[0001]本专利技术涉及数据处理领域,尤其涉及一种数据分类方法、装置、设备及存储介质。

技术介绍

[0002]在解决少样本分类任务时,神经网络学习是目前比较流行的方法,基于神经网络学习的方法,使模型可以从少量训练样本里面学会分类。目前的分类研究中,假设模型遇到的新任务都是单模态的,比如训练任务的类别都是来自于鸟这个大类,需要分的是鸟的子类,比如区分哪些是麻雀、哪些是燕子、哪些是鹦鹉等,举个例子,在模型训练阶段,有大量的训练任务,教会模型如何根据少量的样本就可以区分麻雀和鹦鹉、鸽子和老鹰,在遇到新的任务的时候,模型只要少量的样本就可以学会分别新任务的鸟类,这里的所有类别都是属于鸟类的,所以新任务是单模态的。
[0003]然而现实中,任务可能不是要区分单一模态的类别,可能是要区分多个模态的类别,例如,可能是要根据少量样本区分麻雀和鹦鹉,也有可能要区分金毛和拉布拉多,也有可能要区分牡丹花和玫瑰花等等。如果直接将区分狗类的分类任务和区分鸟类的分类任务不加区分地共同训练一个神经网络模型,神经网络模型的分类本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据分类方法,其特征在于,所述方法包括:获取第一训练样本数据集,所述第一训练样本数据集中包括多个模态的第一任务数据;利用预训练得到的任务特征提取器从所述多个模态的第一任务数据中提取与每个模态的第一任务数据对应的第一任务特征,并基于预设的聚类算法对提取的第一任务特征进行聚类,以及根据聚类结果确定所述每个模态的聚类中心;获取第二训练样本数据集,所述第二训练样本数据集中包括多个第二任务数据,并利用所述任务特征提取器提取每个第二任务数据对应的第二任务特征,以及根据所述每个第二任务特征和所述每个模态的聚类中心确定所述每个第二任务数据的模态;根据预设的模态与分支的对应关系,确定与所述每个第二任务数据的模态对应的第一修改分支,并根据每个第一修改分支的第一权重调整预设的分类特征提取器的第二权重,以及基于调整后的第二权重对所述预设的分类特征提取器进行训练,得到目标分类特征提取器;将所述第二训练样本数据集中每个模态中的各个第二任务数据分别输入所述目标分类特征提取器,得到所述每个模态对应的类别特征;获取待查询数据集,所述待查询数据集中包括一个或多个待查询任务数据,并将每个待查询任务数据输入所述目标分类特征提取器,得到所述每个待查询任务数据的类别特征,以及根据所述每个待查询任务数据的类别特征与所述每个模态对应的类别特征确定所述每个待查询任务数据的模态类别。2.根据权利要求1所述的方法,其特征在于,所述利用预训练得到的任务特征提取器从所述多个模态的第一任务数据中提取与每个模态的第一任务数据对应的第一任务特征之前,还包括:采集第三训练样本数据集,所述第三训练样本数据集包括多个第三任务数据,并对每个第三任务数据添加任务特征标签;将添加任务特征标签的每个第三任务数据输入指定的分类网络模型进行训练,得到预测类别结果;根据预测类别结果与所述每个第三任务数据的任务特征标签计算第一损失函数,并根据所述第一损失函数调整所述指定的分类网络模型的第三权重,以及基于调整后的第三权重重新训练所述指定的分类网络模型;当调整所述第三权重后重新训练得到的第一损失函数满足第一预设条件时,确定所述指定的分类网络模型为所述任务特征提取器。3.根据权利要求1所述的方法,其特征在于,所述根据聚类结果确定所述每个模态的聚类中心,包括:获取所述聚类结果中聚类得到的每个模态中包括的第一任务特征;计算所述每个模态中各个第一任务特征的平均值,并确定所述每个模态的各个任务特征的平均值为所述每个模态的聚类中心。4.根据权利要求3所述的方法,其特征在于,所述根据所述每个第二任务特征和所述每个模态的聚类中心确定所述每个第二任务数据的模态,包括:根据所述每个第二任务特征和所述每个模态的聚类中心计算所述每个第二任务特征
与所述每个模态的聚类中心的距离;确定距离最短的模态所述每个第二任务数据的模态。5.根据权利要求1所述的方法,其特征在于,所述基于调整后的第二权重对所述预设的分类特征提取器进行训练,得到目标分类特征提取器,包括:将所述每个第二任务数据输入调整所述第二权重后的分类特征提取器进行训练,得到预测分类特征;根据所述预测分类特征和所述第二任务数据中携带的分类特征标签确定第二损失函数;当所述第二损失函数不满足第二预设条件时,...

【专利技术属性】
技术研发人员:吕根鹏庄伯金刘玉宇
申请(专利权)人:平安科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1