图像分类模型训练方法、图像分类方法、电子设备和存储介质技术

本发明专利技术的实施例提供了一种图像分类模型训练方法、图像分类方法、电子设备及存储介质，涉及计算机视觉领域。获取已标注类型标签的多张图像样本。针对每一张图像样本，将图像样本输入至图像分类模型，在图像分类模型中的任意一层卷积层中，从图像样本中提取出多张具有不同通道的特征图像。其中，不同通道表征图像样本不同的图像特征。利用预测得到的图像样本的类型标签和特征图像的类型标签，以及该图像样本已标注的类型标签，计算得到图像分类模型的损失值，基于该损失值调整图像分类模型的参数。重复执行上述步骤，以使可以达到预期训练目标。如此，由于没有增加输入图像分类模型的图像样本的数量，使得每次模型训练耗费的时间更少。更少。更少。

【技术实现步骤摘要】
图像分类模型训练方法、图像分类方法、电子设备和存储介质


[0001]本专利技术涉及计算机视觉领域，具体而言，涉及一种图像分类模型训练方法、图像分类方法、电子设备和存储介质。

技术介绍

[0002]自监督学习作为一种重要的学习方法，已经在神经网络上获得了广泛应用。基于大量的无标记数据，通过一个半自动的过程，自监督学习生成伪标签对网络进行训练，使无需人工标注而让网络拥有提取特征的能力变为现实。由于自监督学习方法的简单而强大，研究人员已将其应用于深度学习的其他领域。
[0003]然而目前基于自监督学习方法训练图像分类模型时，为了保证最终网络模型的训练效果，一般会采用大量的数据集，特别是当图像分类模型的网络复杂时，使得其时间消耗大。

技术实现思路

[0004]本专利技术的目的包括，例如，提供了一种图像分类模型训练方法、图像分类方法、电子设备及存储介质，其能够减少模型训练时的时间消耗。
[0005]本专利技术的实施例可以这样实现：
[0006]第一方面，本专利技术提供一种图像分类模型训练方法，应用于电子设备，所述方法包括：
[0007]获取已标注类型标签的多张图像样本；
[0008]针对每一张所述图像样本，将所述图像样本输入至图像分类模型，在所述图像分类模型中的任意一层卷积层中，从所述图像样本中提取出多张特征图像，并预测得到所述图像样本的类型以及所述多张特征图像的类型标签；其中，不同特征图像表征缺少不同通道的图像样本，不同通道表征图像样本不同的图像特征；
[0009]利用预测得到的所述图像样本的类型标签和所述特征图像的类型标签，以及该图像样本已标注的类型标签，计算得到所述图像分类模型的损失值；
[0010]判断所述损失值是否达到预期训练目标；
[0011]若否，则基于所述损失值，调整所述图像分类模型的参数，并返回执行针对每一张所述图像样本，将所述图像样本输入至图像分类模型的步骤，直至最新得到的损失值达到预期训练目标；
[0012]若是，则结束训练，得到训练后的图像分类模型。
[0013]在可选的实施方式中，所述在所述图像分类模型中的任意一层卷积层中，从所述图像样本中提取出多张特征图像的步骤，包括：
[0014]基于所述图像样本包含的多个通道，得到多个通道组；其中，每个通道组包含的通道各不相同，且每个通道组所缺少的通道，组成所述图像样本包含的多个通道；
[0015]分别丢弃所述图像样本包含的多个通道组中的一个通道组，以得到包含不同通道
组的多张特征图像。
[0016]在可选的实施方式中，所述分别丢弃所述图像样本包含的多个通道组中的一个通道组，以得到包含不同通道组的多张特征图像的步骤，包括：
[0017]从多个通道组中获取目标通道组包含的通道，并确定为目标通道；
[0018]生成二进制掩码；其中，所述二进制掩码中含有每个所述通道对应的矩阵，每个所述矩阵中元素的值待定；
[0019]在二进制掩码中，将目标通道对应的矩阵设置为零矩阵，将不具有目标通道对应的矩阵中的每个元素的值设置为1，得到目标二进制掩码；
[0020]将所述目标二进制掩码与所述图像样本相乘，以得到特征图像；
[0021]重复上述步骤，直至得到所述图像样本的所有特征图像。
[0022]在可选的实施方式中，所述从所述图像样本中提取出多张特征图像的步骤之后，所述方法还包括：
[0023]基于所述图像样本已标注的类型标签，标注从所述图像样本中提取出的每张特征图像的类型标签；
[0024]根据特征图像缺少的通道，标注所述图像样本的通道标签和每张所述特征图像和通道标签；
[0025]所述预测得到所述图像样本的类型以及所述多张特征图像的类型标签的步骤，包括：
[0026]基于联合分类器，预测得到所述图像样本的类型标签和通道标签，以及所述特征图像的类型标签和通道标签；
[0027]基于联合分类器，预测得到所述图像样本的类型标签，以及所述特征图像的类型标签；
[0028]基于单一分类器，预测得到所述图像样本的类型标签；
[0029]所述利用预测得到的所述图像样本的类型标签和所述特征图像的类型标签，以及该图像样本已标注的类型标签，计算得到所述图像分类模型的损失值的步骤，包括：
[0030]利用预测的图像样本的类型标签，所述图像样本的通道标签，特征图像的类型标签，特征图像的通道标签，图像样本已标注的类型标签，图像样本已标注的通道标签，特征图像已标注的类型标签，以及特征图像已标注的通道标签，计算得到所述图像分类模型的联合损失值；
[0031]利用联合分类器预测的图像样本的类型标签以及特征图像的类型标签，单一分类器预测的图像样本的类型标签，图像样本已标注的类型标签，以及特征图像已标注的类型标签，计算得到所述图像分类模型的综合损失值；
[0032]利用预测的图像样本的类型标签，以及所述图像样本已标注的类型标签，计算得到所述图像分类模型的单一损失值；
[0033]根据所述联合损失值、所述单一损失值和所述综合损失值，得到所述损失值。
[0034]在可选的实施方式中，所述基于联合分类器，预测得到所述图像样本的类型标签和通道标签，以及所述特征图像的类型标签和通道标签的步骤，包括：
[0035]基于所述联合分类器，确定所述图像样本分别为各种联合标签的联合概率，以及每张特征图像分别为各种联合标签的联合概率；其中，所述联合标签由类型标签和通道标
签共同组成，类型标签和通道标签中任一项不同为不同联合标签；
[0036]所述利用预测的图像样本的类型标签，所述图像样本的通道标签，特征图像的类型标签，特征图像的通道标签，图像样本已标注的类型标签，图像样本已标注的通道标签，特征图像已标注的类型标签，以及特征图像已标注的通道标签，计算得到所述图像分类模型的联合损失值的步骤，包括：
[0037]基于图像样本的多个联合概率，图像样本已标注的类型标签和通道标签，特征图像的多个联合，以及特征图像已标注的类型标签和通道标签，计算得到所述图像分类模型的联合损失值。
[0038]在可选的实施方式中，所述基于单一分类器，预测得到所述图像样本的类型标签的步骤，包括：
[0039]基于所述单一分类器，确定所述图像样本分别为各种类型标签的自蒸馏概率；
[0040]所述基于联合分类器，预测得到所述图像样本的类型标签，以及所述特征图像的类型标签的步骤，包括：
[0041]基于所述联合分类器，确定所述图像样本分别为各种类型标签的单一概率，和特征图像分别为各种类型标签的单一概率；基于所述图像样本的多个单一概率，以及所述特征图像的多个单一概率，确定所述图像样本分别为各种类型标签的聚合概率；
[0042]所述利用联合分类器预测的图像样本的类型标签以及特征图像的类型标签，单一分类器预测的图像样本的类型标签，图像样本已标注的类型标签，以及特征图像已标注的类型标签，计算本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像分类模型训练方法，其特征在于，应用于电子设备，所述方法包括：获取已标注类型标签的多张图像样本；针对每一张所述图像样本，将所述图像样本输入至图像分类模型，在所述图像分类模型中的任意一层卷积层中，从所述图像样本中提取出多张特征图像，并预测得到所述图像样本的类型以及所述多张特征图像的类型标签；其中，不同特征图像表征缺少不同通道的图像样本，不同通道表征图像样本不同的图像特征；利用预测得到的所述图像样本的类型标签和所述特征图像的类型标签，以及该图像样本已标注的类型标签，计算得到所述图像分类模型的损失值；判断所述损失值是否达到预期训练目标；若否，则基于所述损失值，调整所述图像分类模型的参数，并返回执行针对每一张所述图像样本，将所述图像样本输入至图像分类模型的步骤，直至最新得到的损失值达到预期训练目标；若是，则结束训练，得到训练后的图像分类模型。2.根据权利要求1所述的方法，其特征在于，所述在所述图像分类模型中的任意一层卷积层中，从所述图像样本中提取出多张特征图像的步骤，包括：基于所述图像样本包含的多个通道，得到多个通道组；其中，每个通道组包含的通道各不相同，且每个通道组所缺少的通道，组成所述图像样本包含的多个通道；分别丢弃所述图像样本包含的多个通道组中的一个通道组，以得到包含不同通道组的多张特征图像。3.根据权利要求2所述的方法，其特征在于，所述分别丢弃所述图像样本包含的多个通道组中的一个通道组，以得到包含不同通道组的多张特征图像的步骤，包括：从多个通道组中获取目标通道组包含的通道，并确定为目标通道；生成二进制掩码；其中，所述二进制掩码中含有每个所述通道对应的矩阵，每个所述矩阵中元素的值待定；在二进制掩码中，将目标通道对应的矩阵设置为零矩阵，将不具有目标通道对应的矩阵中的每个元素的值设置为1，得到目标二进制掩码；将所述目标二进制掩码与所述图像样本相乘，以得到特征图像；重复上述步骤，直至得到所述图像样本的所有特征图像。4.根据权利要求1所述的方法，其特征在于，所述从所述图像样本中提取出多张特征图像的步骤之后，所述方法还包括：基于所述图像样本已标注的类型标签，标注从所述图像样本中提取出的每张特征图像的类型标签；根据特征图像缺少的通道，标注所述图像样本的通道标签和每张所述特征图像和通道标签；所述预测得到所述图像样本的类型以及所述多张特征图像的类型标签的步骤，包括：基于联合分类器，预测得到所述图像样本的类型标签和通道标签，以及所述特征图像的类型标签和通道标签；基于联合分类器，预测得到所述图像样本的类型标签，以及所述特征图像的类型标签；基于单一分类器，预测得到所述图像样本的类型标签；
所述利用预测得到的所述图像样本的类型标签和所述特征图像的类型标签，以及该图像样本已标注的类型标签，计算得到所述图像分类模型的损失值的步骤，包括：利用预测的图像样本的类型标签，所述图像样本的通道标签，特征图像的类型标签，特征图像的通道标签，图像样本已标注的类型标签，图像样本已标注的通道标签，特征图像已标注的类型标签，以及特征图像已标注的通道标签，计算得到所述图像分类模型的联合损失值；利用联合分类器预测的图像样本的类型标签以及特征图像的类型标签，单一分类器预测的图像样本的类型标签，图像样本已标注的类型标签，以及特征图像已标注的类型标签，计算得到所述图像分类模型的综合损失值；利用预测的图像样本的类型标签，以...

【专利技术属性】
技术研发人员：解天舒，杨宇航，刘明，王晓敏，龚海刚，程旋，刘明辉，邓佳丽，
申请(专利权)人：电子科技大学长三角研究院衢州，
类型：发明
国别省市：