用于扩充图像特征样本以及构建神经网络的方法技术

本公开提供用于扩充图像特征样本的方法以及用于图像处理的神经网络的构建方法。扩充图像特征样本的方法包括：对于多个目标图像确定对应的多个辅助图像，并从中提取多个目标特征样本和对应的多个辅助特征样本；对于给定辅助特征样本：选择与给定辅助特征样本对应的目标特征样本构成正样本对；基于各候选目标特征样本的对应辅助特征样本与给定辅助特征样本之间的相似度，来选择目标特征样本构成多个负样本对，这些样本对被用于训练用于提取图像特征的神经网络。根据该扩充图像特征样本的方法，通过引入辅助图像数据对原本单一的目标图像特征样本进行了扩充，并且基于样本特征相似度规则对负样本对的构造进行指导，克服了场景相似度问题。相似度问题。相似度问题。

【技术实现步骤摘要】
用于扩充图像特征样本以及构建神经网络的方法


[0001]本公开涉及图像处理，更具体地，涉及用于扩充图像特征样本和构建用于图像处理的神经网络的方法、设备以及计算机可读存储介质。

技术介绍

[0002]近年来，诸如计算机感知、语音识别和自然语言处理等领域中的大部分最新进展都是围绕有监督的深度学习展开的，其需要提供大量的带有人工标签的训练数据，以使机器学习模型基于预测结果和人工标签进行学习。例如，在图像处理领域，可以利用具有约一百万个标记图像的ImageNet数据集，对机器学习模型的参数进行学习，以便解决语义分割、目标检测等问题。然而，在某些垂直领域，有人工标签的训练数据的数量可能很少，或者基于给定数量的有标签数据而训练得到的机器学习模型无法有效地解决上述问题。有鉴于此，无监督学习被广泛应用于标签数据很少的领域。
[0003]另一方面，虽然目前对无监督学习有一定的研究，但大部分的方法都是依靠一种类型的数据来进行模型参数的学习，而在该类型的数据样本彼此之间的差异并不显著的情况下，会使学习一个好的机器学习模型变得困难。
>[0004]因此，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于扩充图像特征样本的方法，包括：对于多个目标图像确定对应的多个辅助图像，并从所述多个目标图像和对应的多个辅助图像中提取多个目标特征样本和对应的多个辅助特征样本；对于所述多个辅助特征样本中的给定辅助特征样本，从所述多个目标特征样本中选择特征样本构成一个正样本对和多个负样本对，其中：从所述多个目标特征样本中选择与所述给定辅助特征样本对应的目标特征样本构成所述正样本对，以及从所述多个目标特征样本中不与所述给定辅助特征样本对应的多个候选目标特征样本中，基于各候选目标特征样本的对应辅助特征样本与所述给定辅助特征样本之间的相似度，来选择多个目标特征样本构成所述多个负样本对，其中，所述正样本对和所述多个负样本对被用于训练用于提取图像特征的神经网络。2.根据权利要求1所述的方法，还包括：对于所述多个目标特征样本中的给定目标特征样本：从所述多个辅助特征样本中选择与所述给定目标特征样本对应的辅助特征样本构成一个附加正样本对，以及从所述多个辅助特征样本中不与所述给定目标特征样本对应的多个候选辅助特征样本中，基于各候选辅助特征样本与所述给定目标特征样本的对应辅助特征样本之间的相似度，来选择多个辅助特征样本构成多个附加负样本对，其中，所述附加正样本对和所述多个附加负样本对也被用于训练所述用于提取图像特征的神经网络。3.根据权利要求1所述的方法，其中：从所述多个目标图像中提取多个目标特征样本包括：利用第一目标编码器提取多个第一目标特征样本，并且利用第二目标编码器提取多个第二目标特征样本，其中所述第二目标编码器是所述第一目标编码器的模型权重平均版本，从所述多个辅助图像中提取多个辅助特征样本包括：利用第一辅助编码器提取多个第一辅助特征样本，并且利用第二辅助编码器提取多个第二辅助特征样本，其中所述第二辅助编码器是所述第一辅助编码器的模型权重平均版本。4.根据权利要求3所述的方法，其中：对于所述多个辅助特征样本中的给定辅助特征样本，从所述多个目标特征样本中选择特征样本构成一个正样本对和多个负样本对包括：对于所述多个第一辅助特征样本中的给定第一辅助特征样本：从所述多个第二目标特征样本中选择与所述给定第一辅助特征样本对应的第二目标特征样本构成所述正样本对，以及从所述多个第二目标特征样本中不与所述给定第一辅助特征样本对应的多个候选第二目标特征样本中，基于各候选第二目标特征样本的对应第二辅助特征样本与所述给定第一辅助特征样本之间的相似度，来选择多个第二目标特征样本构成所述多个负样本对。5.根据权利要求4所述的方法，还包括：
对于所述多个第一目标特征样本中的给定第一目标特征样本：从所述多个第二辅助特征样本中选择与所述给定第一目标特征样本对应的第二辅助特征样本构成一个附加正样本对，以及从所述多个第二辅助特征样本中不与所述给定第一目标特征样本对应的多个候选第二辅助特征样本中，基于各候选第二辅助特征样本与所述给定第一目标特征样本的对应第一辅助特征样本之间的相似度，来选择多个第二辅助特征样本构成多个附加负样本对，其中，所述附加正样本对和所述多个附加负样本对也被用于训练所述用于提取图像特征的神经网络。6.根据权利要求1
‑
5中任一项所述的方法，其中，所述目标图像包括红外图像，并且所述辅助图像包括可见光图像。7.一种用于图像处理的神经网络的构建方法，包括：构建包括目标编码器和辅助编码器的神经网络；将所述目标编码器和辅助编码器分别配置为从多个目标图像和对应的多个辅助图像中提取多个目标特征样本和对应的多个辅助特征样本；对于所述多个辅助特征样本中的给定辅助特征样本，从所述多个目标特征样本中选择特征样本构成一个正样本对和多个负样本对，其中：从所述多个目标特征样本中选择与所述给定辅助特征样本对应的目标特征样本构成所述正样本对，以及从所述多个目标特征样本中不与所述给定辅助特征样本对应的多个候选目标特征样本中，基于各候选目标特征样本与所述给定辅助特征样本之间的相似度，来选择多个目标特征样本构成所述多个负样本对；对于所述多个目标特征样本中的给定目标特征样本，从所述多个辅助特征样本中选择特征样本构成一个附加正样本...

【专利技术属性】
技术研发人员：张观良，刘殿超，王志成，王刚，曹婷，
申请(专利权)人：株式会社理光，
类型：发明
国别省市：