图像处理、分类方法及装置、电子设备及存储介质制造方法及图纸

本公开提供了一种图像处理、分类方法及装置、电子设备及存储介质，其中，该方法包括：获取从图像集中选出的第一图像，以及存储缓冲器中存储的特征集合；对第一图像分别进行第一增强处理和第二增强处理得到对应的第一增强图像和第二增强图像；将第一增强图像和第二增强图像分别输入到经过训练的神经网络中进行特征提取，得到第一特征和第二特征；将第一特征和第二特征分别与特征集合中的特征进行关联处理，并基于处理得到的第一关联特征和第二关联特征之间的相似度或差异度对神经网络进行调整。本公开中的损失函数值综合考虑了不同增强强度的增强图像的关联特征，通过这一限定可以提升神经网络的训练性能，从而提升后续在分类应用中的准确度。类应用中的准确度。类应用中的准确度。

【技术实现步骤摘要】
图像处理、分类方法及装置、电子设备及存储介质


[0001]本公开涉及人工智能
，具体而言，涉及一种图像处理、分类方法及装置、电子设备及存储介质。

技术介绍

[0002]随着人工智能技术的飞速发展，基于端到端的深度学习技术也日趋成熟，被广泛应用于图像处理的各个细分领域，例如图像分类、目标跟踪、场景分析等。其中，监督学习已经在图像处理的各个细分领域取得了非常大的成功。
[0003]然而，监督学习常常需要大量的人工标签图像样本，一些图像的人工标签是非常难获得的，并且标签的质量也难以保证。半监督学习旨在根据少量的带标签样本来指导大量的无标签样本进行学习，在图像处理中具有更加广泛的实际意义。

技术实现思路

[0004]本公开实施例至少提供一种图像处理、分类方法及装置、电子设备及存储介质，以提升网络训练性能，从而进一步提高分类结果的准确性。
[0005]第一方面，本公开实施例提供了一种图像处理方法，包括：
[0006]获取从图像集中选出的第一图像，以及存储缓冲器中存储的特征集合，所述特征集合包括所述图像集中选出的第二图像的特征；所述第二图像包含类别标签；
[0007]对所述第一图像进行第一增强处理得到对应的第一增强图像，对所述第一图像进行第二增强处理得到对应的第二增强图像，其中，所述第一增强处理的增强程度弱于所述第二增强处理的增强程度；
[0008]将所述第一图像对应的第一增强图像和第二增强图像分别输入到经过训练的神经网络中进行特征提取，得到所述第一增强图像的第一特征和所述第二增强图像的第二特征，其中，所述神经网络包括基于从所述图像集中选出的第二图像训练的图像分类网络；
[0009]将所述第一特征和所述第二特征分别与所述特征集合中的特征进行关联处理，得到第一特征对应的第一关联特征和第二特征对应的第二关联特征；
[0010]基于所述第一关联特征和所述第二关联特征之间的相似度或差异度对所述神经网络进行调整。
[0011]采用上述图像处理方法，在获取到有关半监督学习中的无标签样本(对应第一图像)以及有标签样本(对应第二图像)的情况下，可以基于经过训练的神经网络对第一图像增强得到的第一增强图像和第二增强图像进行特征提取，通过提取出的两个特征(即第一特征和第二特征)分别与特征集合中的特征进行关联处理所得到的第一关联特征和所述第二关联特征之间的相似度或差异度实现网络调整，得到训练好的神经网络。
[0012]本公开在对神经网络进行调整的过程中，综合考虑了不同增强强度的增强图像的关联特征，这里的关联特征是从图像集中的带标签样本出发对增强图像的整体评估，也即，哪个第二图像与对应增强图像的关联度高，一定程度上可以将对应第二图像的标签赋予这
一增强图像的合理性也就越好，又考虑到属于同一第一图像的两个关联特征具有更高的相似度，基于这一限定可以更好的指导神经网络的训练，使得所训练的神经网络的训练性能以及训练准确度均较高，从而可以进一步提升后续在分类应用中的准确度。
[0013]在一种可能的实施方式中，所述将所述第一特征和所述第二特征分别与所述特征集合中的特征进行关联处理，包括：
[0014]对所述第一特征与所述特征集合中的各个特征进行点乘运算，得到所述第一关联特征；所述第一关联特征用于表征所述第一特征对应的第一增强图像与所述特征集合中的特征对应的第二图像的类别标签的关联程度；
[0015]对所述第二特征与所述特征集合中的各个特征进行点乘运算，得到所述第二关联特征；所述第二关联特征用于表征所述第二特征对应的第二增强图像与所述特征集合中的特征对应的第二图像的类别标签之间的关联程度。
[0016]在一种可能的实施方式中，所述基于所述第一关联特征和所述第二关联特征之间的相似度或差异度对所述神经网络进行调整，包括：
[0017]基于所述第一关联特征和所述第二关联特征之间的相似度或差异度，确定针对所述神经网络的损失函数值；
[0018]基于所述损失函数值对所述神经网络进行至少一轮调整，得到训练好的神经网络。
[0019]在一种可能的实施方式中，在得到所述第一增强图像的第一特征之后，所述方法还包括：
[0020]利用所述神经网络包括的图像分类网络对所述第一增强图像的第一特征进行图像分类，得到所述图像分类网络输出的概率分布；所述概率分布用于指示所述第一增强图像属于多种预设类别中每种预设类别的预测概率；
[0021]所述基于所述第一关联特征和所述第二关联特征之间的相似度或差异度，确定针对所述神经网络的损失函数值，包括：
[0022]基于所述图像分类网络输出的概率分布、以及所述第一关联特征和所述第二关联特征之间的相似度或差异度，确定针对所述神经网络的损失函数值。
[0023]在一种可能的实施方式中，所述基于所述图像分类网络输出的概率分布、以及所述第一关联特征和所述第二关联特征之间的相似度或差异度，确定针对所述神经网络的损失函数值，包括：
[0024]将对应的所述概率分布中指示预测概率值大于预设阈值的第一增强图像确定为第一目标增强图像，并基于所述第一目标增强图像对应的概率分布确定与第一目标增强图像配对的第二增强图像的类别标签；
[0025]在将对应所述第一目标增强图像的第二增强图像输入到神经网络的情况下，基于所述图像分类网络输出的概率分布以及确定的所述类别标签之间的匹配度，确定针对所述神经网络的第一子损失函数值；
[0026]基于所述第一子损失函数值、以及基于所述第一关联特征和所述第二关联特征之间的相似度或差异度确定的第二子损失函数值，确定针对所述神经网络的损失函数值。
[0027]在一种可能的实施方式中，所述基于所述图像分类网络输出的概率分布、以及所述第一关联特征和所述第二关联特征之间的相似度或差异度，确定针对所述神经网络的损
失函数值，包括：
[0028]基于所述第一增强图像对应输出的概率分布对所述第一关联特征进行更新，得到更新后的第一关联特征；
[0029]基于更新后的第一关联特征，对所述第一关联特征和所述第二关联特征之间的相似度或差异度进行更新，得到更新后的相似度或差异度；
[0030]基于所述更新后的相似度或差异度，确定针对所述神经网络的损失函数值。
[0031]在一种可能的实施方式中，所述基于所述第一增强图像对应输出的概率分布对所述第一关联特征进行更新，得到更新后的第一关联特征，包括：
[0032]针对所述特征集合指示的每个第二图像，从所述第一增强图像对应输出的概率分布中选取与所述第二图像的类别标签对应的预测概率值；将所述预测概率值与所述第二图像的特征进行乘法运算，得到针对所述第二图像更新的关联程度；
[0033]将针对各个所述第二图像更新的关联程度进行组合，得到更新后的第一关联特征。
[0034]在一种可能的实施方式中，所述基于所述图像分类网络输出的概率分布、以及所述第一关联特征和所述第二关联特征之间的相似度或差本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取从图像集中选出的第一图像，以及存储缓冲器中存储的特征集合，所述特征集合包括所述图像集中选出的第二图像的特征；所述第二图像包含类别标签；对所述第一图像进行第一增强处理得到对应的第一增强图像，对所述第一图像进行第二增强处理得到对应的第二增强图像，其中，所述第一增强处理的增强程度弱于所述第二增强处理的增强程度；将所述第一图像对应的第一增强图像和第二增强图像分别输入到经过训练的神经网络中进行特征提取，得到所述第一增强图像的第一特征和所述第二增强图像的第二特征，其中，所述神经网络包括基于从所述图像集中选出的第二图像训练的图像分类网络；将所述第一特征和所述第二特征分别与所述特征集合中的特征进行关联处理，得到第一特征对应的第一关联特征和第二特征对应的第二关联特征；基于所述第一关联特征和所述第二关联特征之间的相似度或差异度对所述神经网络进行调整。2.根据权利要求1所述的方法，其特征在于，所述将所述第一特征和所述第二特征分别与所述特征集合中的特征进行关联处理，包括：对所述第一特征与所述特征集合中的各个特征进行点乘运算，得到所述第一关联特征；所述第一关联特征用于表征所述第一特征对应的第一增强图像与所述特征集合中的特征对应的第二图像的类别标签的关联程度；对所述第二特征与所述特征集合中的各个特征进行点乘运算，得到所述第二关联特征；所述第二关联特征用于表征所述第二特征对应的第二增强图像与所述特征集合中的特征对应的第二图像的类别标签之间的关联程度。3.根据权利要求2所述的方法，其特征在于，所述基于所述第一关联特征和所述第二关联特征之间的相似度或差异度对所述神经网络进行调整，包括：基于所述第一关联特征和所述第二关联特征之间的相似度或差异度，确定针对所述神经网络的损失函数值；基于所述损失函数值对所述神经网络进行至少一轮调整，得到训练好的神经网络。4.根据权利要求3所述的方法，其特征在于，在得到所述第一增强图像的第一特征之后，所述方法还包括：利用所述神经网络包括的图像分类网络对所述第一增强图像的第一特征进行图像分类，得到所述图像分类网络输出的概率分布；所述概率分布用于指示所述第一增强图像属于多种预设类别中每种预设类别的预测概率；所述基于所述第一关联特征和所述第二关联特征之间的相似度或差异度，确定针对所述神经网络的损失函数值，包括：基于所述图像分类网络输出的概率分布、以及所述第一关联特征和所述第二关联特征之间的相似度或差异度，确定针对所述神经网络的损失函数值。5.根据权利要求4所述的方法，其特征在于，所述基于所述图像分类网络输出的概率分布、以及所述第一关联特征和所述第二关联特征之间的相似度或差异度，确定针对所述神经网络的损失函数值，包括：将对应的所述概率分布中指示预测概率值大于预设阈值的第一增强图像确定为第一
目标增强图像，并基于所述第一目标增强图像对应的概率分布确定与第一目标增强图像配对的第二增强图像的类别标签；在将对应所述第一目标增强图像的第二增强图像输入到神经网络的情况下，基于所述图像分类网络输出的概率分布以及确定的所述类别标签之间的匹配度，确定针对所述神经网络的第一子损失函数值；基于所述第一子损失函数值、以及基于所述第一关联特征和所述第二关联特征之间的相似度或差异度确定的第二子损失函数值，确定针对所述神经网络的损失函数值。6.根据权利要求4或5所述的方法，其特征在于，所述基于所述图像分类网络输出的概率分布、以及所述第一关联特征和所述第二关联特征之间的相似度或差异度，确定针对所述神经网络的损失函数值，包括：基于所述第一增强图像对应输出的概率分布对所述第一关联特征进行更新，得到更新后的第一关联特征；基于更新后的第一关联特征，对所述第一关联特征和所述第二关联特征之间的相似度或差异度进行更新，得到更新后的相似度或差异度；基于所述更新后的相似度或差异度，确定针对所述神经网络的损失函数值。7.根据权利要求6所述的方法，其特征在于，所述基于所述第一增强图像对应输出的概率分布对所述第一关联特征进行更新，得到更新后的第一关联特征，包括：针对所述特征集合指示的每个第二图像，从所述第一增强图像对应输出的概率分布中选取与所述第二图像的类别标签对应的预测概率值；将所述预测概率值与所述第二图像的...

【专利技术属性】
技术研发人员：郑明凯，游山，王飞，钱晨，
申请(专利权)人：上海商汤临港智能科技有限公司，
类型：发明
国别省市：