特征提取网络训练方法、图像处理方法及装置制造方法及图纸

本公开关于一种特征提取网络训练方法、图像处理方法及装置，涉及图像处理领域。本公开实施例，新增一种用于提取第二特征的第二特征提取网络，第二特征用于表征目标类别图像的内容特征分布状况，也即是该样本图像的邻域结构，结合用于提取样本图像本身特征的第一特征提取网络，从两个角度来对样本图像的图像特征进行处理，考虑到了不同样本图像的邻域结构可能不均匀的情况，在训练过程中不仅学习样本图像本身的特征，还能够自适应地学习到样本图像的邻域结构，以此训练得到的特征提取网络在特征提取方面的准确性更好，这样提取到的特征能够更加准确地体现出图像所属的类别，基于训练后的特征提取网络进行图像检索也能够得到更加准确的检索结果。加准确的检索结果。加准确的检索结果。

【技术实现步骤摘要】
特征提取网络训练方法、图像处理方法及装置


[0001]本公开涉及图像处理领域，尤其涉及特征提取网络训练方法、图像处理方法及装置。

技术介绍

[0002]在图像处理领域，能够通过网络对两个图像进行处理，以确定出两个图像的之间的相似度，以此来确定两个图像是否相关，以此来作为图像检索的依据。
[0003]目前，特征提取网络训练方法的关注点通常在于图像的嵌入表示的学习，训练时特征提取网络能够对样本图像的图像特征进行处理得到嵌入表示，然后基于嵌入表示对特征提取网络进行训练，以使得特征提取网络训练后能够准确提取图像的嵌入表示。
[0004]上述基于嵌入表示训练网络的方式有个基本前提：假设样本图像周围的邻域结构非常均匀。但是其实样本图像的邻域结构一般不像假设的那么均匀，因而上述方式确定的嵌入表示并没有那么准确，自然地，该特征提取网络确定出图像之间的相似度也就不够准确，该特征提取网络用于图像检索时得到的检索结果不够准确。

技术实现思路

[0005]本公开提供一种特征提取网络训练方法、图像处理方法及装置，能够提高特征提取网络的准确性。本公开的技术方案如下：
[0006]根据本公开实施例的第一方面，提供一种特征提取网络训练方法，包括：
[0007]基于第一特征提取网络对样本图像进行处理，得到所述样本图像的第一特征，所述第一特征用于表征所述样本图像的内容特征；
[0008]基于第二特征提取网络对所述样本图像进行处理，得到所述样本图像的第二特征，第二特征用于表征目标类别图像的内容特征分布状况，所述目标类别为所述样本图像所属的类别；
[0009]基于所述样本图像的第一特征、第二特征以及所述样本图像所属类别，确定第一样本图像集合中样本图像之间的预测相似度关系，所述第一样本图像集合包括属于同一类别的样本图像和属于不同类别的样本图像，所述预测相似度关系用于表征两个样本图像之间是否属于同一类别；
[0010]基于所述预测相似度关系与目标相似度关系之间的差异，对所述第一特征提取网络和所述第二特征提取网络进行训练。
[0011]在一些实施例中，所述基于所述样本图像的第一特征、第二特征以及所述样本图像所属类别，确定第一样本图像集合中样本图像之间的预测相似度关系，包括：
[0012]基于所述样本图像以及所述第一样本图像集合中第一样本图像的第一特征，确定所述样本图像与所述第一样本图像之间的第一相似度，所述第一样本图像为所述样本图像集合中与所述样本图像属于相同类别的图像；
[0013]基于所述样本图像以及与所述第一样本图像集合中第二样本图像的第一特征，确
定所述样本图像与所述第二样本图像之间的第二相似度，第二样本图像为所述第一样本图像集合中与所述样本图像属于不同类别的图像；
[0014]基于所述样本图像的第二特征、所述样本图像与所述第二样本图像集合中样本图像的第一特征，确定所述样本图像和所述第二样本图像集合中样本图像之间的第三相似度，所述第二样本图像集合包括所述第一样本图像和所述第二样本图像；
[0015]基于所述第一相似度、第二相似度和第三相似度，确定第一样本图像集合中样本图像之间的第一预测相似度关系；
[0016]基于所述第三相似度，确定第一样本图像集合中样本图像之间的第二预测相似度关系；
[0017]所述基于所述预测相似度关系与目标相似度关系之间的差异，对所述第一特征提取网络和所述第二特征提取网络进行训练，包括：
[0018]基于所述第一预测相似度关系与目标相似度关系之间的差异，对所述第一特征提取网络进行训练；
[0019]基于所述第二预测相似度关系与目标相似度关系之间的差异，对所述第二特征提取网络进行训练。
[0020]在一些实施例中，所述基于所述样本图像的第二特征、所述样本图像与所述第二样本图像集合中样本图像的第一特征，确定所述样本图像和所述第二样本图像集合中样本图像之间的第三相似度，包括：
[0021]根据所述第一相似度和所述第二相似度，从所述第二样本图像集合中，确定所述样本图像对应的第三样本图像集合，所述第三样本图像集合包括所述第一相似度或所述第二相似度满足条件的图像；
[0022]以所述样本图像的第二特征作为系数，获取所述样本图像的第一特征和所述第三样本图像集合中样本图像的第一特征之间的距离；
[0023]对所述距离进行归一化，得到所述样本图像和所述第三样本图像集合中样本图像之间的第三相似度。
[0024]在一些实施例中，所述基于所述第一相似度、第二相似度和第三相似度，确定第一样本图像集合中样本图像之间的第一预测相似度关系，包括：
[0025]基于所述第一相似度和所述第二相似度，确定第一损失值，所述第一损失值与所述第一相似度正相关，所述第一损失值与所述第二相似度负相关；
[0026]基于所述样本图像与所述第三样本图像集合中样本图像之间的第三相似度，对所述第三样本图像集合中样本图像进行排序，得到预测排序结果；
[0027]所述基于所述第一预测相似度关系与目标相似度关系之间的差异，对所述第一特征提取网络进行训练，包括：
[0028]基于所述样本图像与所述第三样本图像集合中样本图像之间的第一相似度，对所述第三样本图像集合中样本图像进行排序，得到目标排序结果；
[0029]基于所述预测排序结果与目标排序结果，确定第二损失值，所述第二损失值用于指示所述排序结果和所述目标排序结果之间的差异；
[0030]基于所述第一损失值和所述第二损失值，对所述第一特征提取网络进行训练。
[0031]在一些实施例中，所述基于所述样本图像的第二特征、所述样本图像与所述第二
样本图像集合中样本图像的第一特征，确定所述样本图像和所述第二样本图像集合中样本图像之间的第三相似度，包括：
[0032]以所述样本图像的第二特征作为系数，获取所述样本图像的第一特征与所述第二样本图像集合中样本图像的第一特征之间的距离，所述距离为所述样本图像与所述第二样本图像集合中样本图像之间的第三相似度。
[0033]在一些实施例中，所述基于所述第一相似度、第二相似度和第三相似度，确定第一样本图像集合中样本图像之间的第一预测相似度关系；基于所述第一预测相似度关系与目标相似度关系之间的差异，对所述第一特征提取网络进行训练，包括：
[0034]基于所述第一相似度和所述第二相似度，确定第一损失值，所述第一损失值与所述第一相似度正相关，所述第一损失值与所述第二相似度负相关；
[0035]根据所述样本图像与所述第二样本图像集合中样本图像之间的第三相似度，确定所述第二样本图像集合中样本图像中所述第一样本图像的第一中心，以及所述第二样本图像的第二中心；
[0036]根据所述样本图像和所述第二样本图像集合中样本图像分别与所述第一中心以及所述第二中心之间的距离，获取第二损失值；
[0037]基于所述第一损失值和所述第二损失值，对所述第一特征提取网络进行训练。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种特征提取网络训练方法，其特征在于，包括：基于第一特征提取网络对样本图像进行处理，得到所述样本图像的第一特征，所述第一特征用于表征所述样本图像的内容特征；基于第二特征提取网络对所述样本图像进行处理，得到所述样本图像的第二特征，所述第二特征用于表征目标类别图像的内容特征分布状况，所述目标类别为所述样本图像所属的类别；基于所述样本图像的第一特征、第二特征以及所述样本图像所属类别，确定第一样本图像集合中样本图像之间的预测相似度关系，所述第一样本图像集合包括属于同一类别的样本图像和属于不同类别的样本图像，所述预测相似度关系用于表征两个样本图像之间是否属于同一类别；基于所述预测相似度关系与目标相似度关系之间的差异，对所述第一特征提取网络和所述第二特征提取网络进行训练。2.根据权利要求1所述的特征提取网络训练方法，其特征在于，所述基于所述样本图像的第一特征、第二特征以及所述样本图像所属类别，确定第一样本图像集合中样本图像之间的预测相似度关系，包括：基于所述样本图像以及所述第一样本图像集合中第一样本图像的第一特征，确定所述样本图像与所述第一样本图像之间的第一相似度，所述第一样本图像为所述样本图像集合中与所述样本图像属于相同类别的图像；基于所述样本图像以及与所述第一样本图像集合中第二样本图像的第一特征，确定所述样本图像与所述第二样本图像之间的第二相似度，第二样本图像为所述第一样本图像集合中与所述样本图像属于不同类别的图像；基于所述样本图像的第二特征、所述样本图像与所述第二样本图像集合中样本图像的第一特征，确定所述样本图像和所述第二样本图像集合中样本图像之间的第三相似度，所述第二样本图像集合包括所述第一样本图像和所述第二样本图像；基于所述第一相似度、第二相似度和第三相似度，确定第一样本图像集合中样本图像之间的第一预测相似度关系；基于所述第三相似度，确定第一样本图像集合中样本图像之间的第二预测相似度关系；所述基于所述预测相似度关系与目标相似度关系之间的差异，对所述第一特征提取网络和所述第二特征提取网络进行训练，包括：基于所述第一预测相似度关系与目标相似度关系之间的差异，对所述第一特征提取网络进行训练；基于所述第二预测相似度关系与目标相似度关系之间的差异，对所述第二特征提取网络进行训练。3.根据权利要求2所述的特征提取网络训练方法，其特征在于，所述基于所述样本图像的第二特征、所述样本图像与所述第二样本图像集合中样本图像的第一特征，确定所述样本图像和所述第二样本图像集合中样本图像之间的第三相似度，包括：根据所述第一相似度和所述第二相似度，从所述第二样本图像集合中，确定所述样本图像对应的第三样本图像集合，所述第三样本图像集合包括所述第一相似度或所述第二相
似度满足条件的图像；以所述样本图像的第二特征作为系数，获取所述样本图像的第一特征和所述第三样本图像集合中样本图像的第一特征之间的距离；对所述距离进行归一化，得到所述样本图像和所述第三样本图像集合中样本图像之间的第三相似度。4.根据权利要求3所述的特征提取网络训练方法，其特征在于，所述基于所述第一相似度、第二相似度和第三相似度，确定第一样本图像集合中样本图像之间的第一预测相似度关系，包括：基于所述第一相似度和所述第二相似度，确定第一损失值，所述第一损失值与所述第一相似度正相关，所述第一损失值与所述...

【专利技术属性】
技术研发人员：张磊，李攀登，李岩，袁勇，谢洪涛，张勇东，
申请(专利权)人：北京中科研究院，
类型：发明
国别省市：