System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及数据处理,尤其涉及一种特征提取模型训练方法、卷积神经网络训练方法、模型训练方法、特征提取方法、装置、设备及介质。
技术介绍
1、隐私计算中的多方安全计算(secure multi-party computation,mpc)是在无可信第三方情况下,多个参与方协同完成计算目标,并保证每个参与方除计算结果外均不能得到其他参与方的任何输入信息,可以很好的保护用户的隐私信息。
2、其中,如果输入信息是包含用户的隐私信息的图像时,为了保护用户的隐私信息,可以对该图像进行特征提取,基于提取到的特征向量进行多方安全计算。然而,如何快捷准确地提取到高精度的图像特征向量,是目前亟需解决的一个技术问题。
技术实现思路
1、本申请提供了一种特征提取模型训练方法、卷积神经网络训练方法、模型训练方法、特征提取方法、装置、设备及介质,用以快捷准确地提取到高精度的图像特征向量。
2、第一方面,本申请提供了一种特征提取模型训练方法,所述方法包括:
3、针对获取到的任一第一样本图像,基于训练完成的卷积神经网络,获得所述第一样本图像的第一特征向量;并基于预设的图像处理方式,将所述第一样本图像处理为一维序列,将所述一维序列输入到待训练的特征提取模型中,基于所述特征提取模型,获得所述第一样本图像的第二特征向量;基于所述第二特征向量,对所述第一特征向量进行校准,获得校准后的第一基准特征向量,其中,所述特征提取模型是基于mpcformer模型的框架结构与语义视觉transform
4、基于所述第一基准特征向量、所述第一样本图像携带的标签特征向量以及配置的第一损失函数,对所述特征提取模型进行训练。
5、在一种可能的实施方式中,所述获得所述第一样本图像的第二特征向量之后,所述基于所述第二特征向量,对所述第一特征向量进行校准之前,所述方法还包括:
6、对所述第二特征向量进行全局平均池化,获得所述第二特征向量中每一维特征对应的全局特征向量信息,并基于概率分布函数,获得所述全局特征向量信息中每一维特征对应的重要性权重系数;基于所述每一维特征对应的重要性权重系数,对所述第二特征向量进行校准,获得校准后的第二特征向量;基于校准后的第二特征向量,进行后续基于所述第二特征向量,对所述第一特征向量进行校准的步骤。
7、在一种可能的实施方式中,所述第一损失函数中包含所述每一维特征对应的重要性权重系数。
8、在一种可能的实施方式中,所述基于所述第二特征向量,对所述第一特征向量进行校准,获得校准后的第一基准特征向量,包括:
9、对所述第二特征向量中包含的每一维特征与所述第一特征向量中包含的每一维特征进行同或运算,获得校准后的第一基准特征向量。
10、在一种可能的实施方式中,所述将所述第二特征向量中包含的每一维特征与所述第一特征向量中包含的每一维特征进行同或运算之后,所述获得校准后的第一基准特征向量之前,所述方法还包括:
11、对所述同或运算后得到的向量进行归一化处理,基于归一化处理后的向量,确定校准后的第一基准特征向量。
12、在一种可能的实施方式中,所述特征提取模型使用的激励函数包含:2quad激励函数。
13、在一种可能的实施方式中,所述特征提取模型为基于知识蒸馏得到的模型。
14、第二方面,本申请提供了一种卷积神经网络训练方法,所述方法包括:
15、针对获取到的任一第二样本图像,将所述第二样本图像输入到待训练的卷积神经网络中,基于所述卷积神经网络,获得所述第二样本图像的第三特征向量;并基于预设的图像处理方式,将所述第二样本图像处理为一维序列,将所述一维序列输入到训练完成的特征提取模型中,基于所述特征提取模型,获得所述第二样本图像的第四特征向量;基于所述第四特征向量,对所述第三特征向量进行校准,获得校准后的第二基准特征向量,其中,所述特征提取模型是基于mpcformer模型的框架结构与语义视觉transformer模型setr的训练逻辑训练所得的模型;
16、基于所述第二基准特征向量、所述第二样本图像携带的标签特征向量以及配置的第二损失函数,对所述卷积神经网络进行训练。
17、在一种可能的实施方式中,所述基于所述第四特征向量,对所述第三特征向量进行校准,获得校准后的第二基准特征向量,包括:
18、对所述第四特征向量中包含的每一维特征与所述第三特征向量中包含的每一维特征进行同或运算,获得校准后的第二基准特征向量。
19、在一种可能的实施方式中,所述将所述第四特征向量中包含的每一维特征与所述第一特征向量中包含的每一维特征进行同或运算之后,所述获得校准后的第二基准特征向量之前,所述方法还包括:
20、对所述同或运算后得到的向量进行归一化处理,基于归一化处理后的向量,确定校准后的第二基准特征向量。
21、第三方面,本申请提供了一种模型训练方法,所述方法包括:
22、针对获取到的任一第三样本图像,基于待训练的卷积神经网络,获得所述第三样本图像的第五特征向量;并基于预设的图像处理方式,将所述第三样本图像处理为一维序列,将所述一维序列输入到待训练的特征提取模型中,基于所述特征提取模型,获得所述第三样本图像的第六特征向量;基于所述第六特征向量,对所述第五特征向量进行校准,获得校准后的第三基准特征向量,其中,所述特征提取模型是基于mpcformer模型的框架结构与语义视觉transformer模型setr的训练逻辑训练所得的模型;
23、基于所述第三基准特征向量、所述第三样本图像携带的标签特征向量以及配置的第一损失函数,对所述特征提取模型进行训练;并基于所述第三基准特征向量、所述第三样本图像携带的标签特征向量以及配置的第二损失函数,对所述卷积神经网络进行训练。
24、第四方面,本申请提供了一种特征提取方法,所述方法包括:
25、接收待处理图像;
26、基于第一方面和第三方面任一项所述方法训练得到的特征提取模型、或者基于第二方面和第三方面任一项所述的方法训练得到的卷积神经网络,获得所述待处理图像的特征向量。
27、在一种可能的实施方式中,所述方法还包括:
28、基于所述特征向量,进行多方安全计算。
29、第五方面,本申请提供了一种特征提取模型训练装置,所述装置包括:
30、第一校准模块,用于针对获取到的任一第一样本图像,基于训练完成的卷积神经网络,获得所述第一样本图像的第一特征向量;并基于预设的图像处理方式,将所述第一样本图像处理为一维序列,将所述一维序列输入到待训练的特征提取模型中,基于所述特征提取模型,获得所述第一样本图像的第二特征向量;基于所述第二特征向量,对所述第一特征向量进行校准,获得校准后的第一基准特征向量,其中,所述特征提取模型是基于mpcformer模型的框架结构与语义视觉本文档来自技高网...
【技术保护点】
1.一种特征提取模型训练方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述获得所述第一样本图像的第二特征向量之后,所述基于所述第二特征向量,对所述第一特征向量进行校准之前,所述方法还包括:
3.根据权利要求2所述的方法,其特征在于,所述第一损失函数中包含所述每一维特征对应的重要性权重系数。
4.根据权利要求1所述的方法,其特征在于,所述基于所述第二特征向量,对所述第一特征向量进行校准,获得校准后的第一基准特征向量,包括:
5.根据权利要求4所述的方法,其特征在于,所述将所述第二特征向量中包含的每一维特征与所述第一特征向量中包含的每一维特征进行同或运算之后,所述获得校准后的第一基准特征向量之前,所述方法还包括:
6.根据权利要求1所述的方法,其特征在于,所述特征提取模型使用的激励函数包含:2quad激励函数。
7.根据权利要求1所述的方法,其特征在于,所述特征提取模型为基于知识蒸馏得到的模型。
8.一种卷积神经网络训练方法,其特征在于,所述方法包括:
9.根
10.根据权利要求9所述的方法,其特征在于,所述将所述第四特征向量中包含的每一维特征与所述第一特征向量中包含的每一维特征进行同或运算之后,所述获得校准后的第二基准特征向量之前,所述方法还包括:
11.一种模型训练方法,其特征在于,所述方法包括:
12.一种特征提取方法,其特征在于,所述方法包括:
13.根据权利要求12所述的方法,其特征在于,所述方法还包括:
14.一种特征提取模型训练装置,其特征在于,所述装置包括:
15.一种卷积神经网络训练装置,其特征在于,所述装置包括:
16.一种模型训练装置,其特征在于,所述装置包括:
17.一种特征提取装置,其特征在于,所述装置包括:
18.一种电子设备,其特征在于,所述电子设备至少包括处理器和存储器,所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1-13任一所述方法的步骤。
19.一种计算机可读存储介质,其特征在于,其存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-13任一所述方法的步骤。
...【技术特征摘要】
1.一种特征提取模型训练方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述获得所述第一样本图像的第二特征向量之后,所述基于所述第二特征向量,对所述第一特征向量进行校准之前,所述方法还包括:
3.根据权利要求2所述的方法,其特征在于,所述第一损失函数中包含所述每一维特征对应的重要性权重系数。
4.根据权利要求1所述的方法,其特征在于,所述基于所述第二特征向量,对所述第一特征向量进行校准,获得校准后的第一基准特征向量,包括:
5.根据权利要求4所述的方法,其特征在于,所述将所述第二特征向量中包含的每一维特征与所述第一特征向量中包含的每一维特征进行同或运算之后,所述获得校准后的第一基准特征向量之前,所述方法还包括:
6.根据权利要求1所述的方法,其特征在于,所述特征提取模型使用的激励函数包含:2quad激励函数。
7.根据权利要求1所述的方法,其特征在于,所述特征提取模型为基于知识蒸馏得到的模型。
8.一种卷积神经网络训练方法,其特征在于,所述方法包括:
9.根据权利要求8所述的方法,其特征在于,所述基于所述第四特征向量,对...
【专利技术属性】
技术研发人员:胡君一,王琪,高鹏飞,周雍恺,
申请(专利权)人:中国银联股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。