图像识别模型的训练方法、装置及电子设备制造方法及图纸

本发明专利技术提供了一种图像识别模型的训练方法、装置及电子设备，涉及深度学习技术领域，该方法包括：将预先标注有样本标签的训练样本输入图像识别模型；在图像识别模型的迭代训练过程中，基于图像识别模型的网络层确定训练样本对应的细粒度特征图，将细粒度特征图输入至预设的深度学习网络，以使深度学习网络从细粒度特征图中学习到细粒度特征信息，并将学习到的细粒度特征信息蒸馏至图像识别模型中；其中，细粒度特征图为标注有样本标签对应的判别性区域的图像；重复执行上述训练步骤，直至训练结束，得到训练后的图像识别模型。本发明专利技术能够提升训练后的图像识别模型的图像识别效率。

Training method, device and electronic equipment of image recognition model

【技术实现步骤摘要】
图像识别模型的训练方法、装置及电子设备
本专利技术涉及深度学习
，尤其是涉及一种图像识别模型的训练方法、装置及电子设备。
技术介绍
现有的人体动作识别任务中，在进行图像识别模型的训练时，为了获取到训练样本的细节特征，需要精确地定位到样本图像中的判别性区域(即动作发生区域)，传统的图像识别模型训练方式中主要依靠人工标注判别性区域，费时费力，为了节省人工标注判别性区域的时间，研究人员开始采用自监督注意力机制挖掘判别性区域的方式定位样本图像中的判别性区域，从而获取细粒度特征，然而，采用注意力机制挖掘判别性区域进行模型训练时，需要使用多个模型，且使用训练后的模型进行图像识别时也需要使用多个模型进行分阶段识别，计算量较大。因此，现有的模型训练方式得到的图像识别模型还存在因图像识别计算量较大而导致的图像识别效率较低的问题。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种图像识别模型的训练方法、装置及电子设备，能够提升训练后的图像识别模型的图像识别效率。为了实现上述目的，本专利技术实施例采用的技术方案如下：第一方面，本专利技术实施例提供了一种图像识别模型的训练方法，包括：将预先标注有样本标签的训练样本输入图像识别模型；在所述图像识别模型的迭代训练过程中，基于所述图像识别模型的网络层确定所述训练样本对应的细粒度特征图，将所述细粒度特征图输入至深度学习网络，以使所述深度学习网络从所述细粒度特征图中学习到细粒度特征信息，并将学习到的所述细粒度特征信息蒸馏至所述图像识别模型中；其中，所述细粒度特征图为标注有所述样本标签对应的判别性区域的图像；重复执行上述训练步骤，直至训练结束，得到训练后的图像识别模型。进一步，本专利技术实施例提供了第一方面的第一种可能的实施方式，其中，所述图像识别模型包括卷积神经网络；所述在所述图像识别模型的迭代训练过程中，基于所述图像识别模型的网络层确定所述训练样本对应的细粒度特征图的步骤，包括：基于所述训练样本及所述细粒度特征信息对所述图像识别模型进行迭代训练，并在迭代训练中基于所述图像识别模型的最后一层卷积层获取所述训练样本的掩码图像；基于所述掩码图像确定所述训练样本对应的细粒度特征图。进一步，本专利技术实施例提供了第一方面的第二种可能的实施方式，其中，所述基于所述训练样本及所述细粒度特征信息对所述图像识别模型进行迭代训练，并在迭代训练中基于所述图像识别模型的最后一层卷积层获取所述训练样本的掩码图像的步骤，包括：基于所述图像识别模型的各个卷积层及所述细粒度特征信息从所述训练样本中提取特征；基于提取的特征及所述样本标签对所述训练样本进行预设次数的下采样，直至所述训练样本达到预设尺寸；在所述图像识别模型的最后一层卷积层中，利用弱监督目标检测算法对下采样得到的预设尺寸的训练样本进行检测，得到所述训练样本的掩码图像；其中，所述掩码图像为各像素点上标有预测得分的图像，所述掩码图像的大小为所述预设尺寸。进一步，本专利技术实施例提供了第一方面的第三种可能的实施方式，其中，所述基于所述掩码图像确定所述训练样本对应的细粒度特征图的步骤，包括：将所述掩码图像上采样至目标尺寸，得到目标掩码图像；其中，所述目标尺寸为所述训练样本进行目标次数的下采样后得到的目标图像的尺寸；将所述目标掩码图像中所述预测得分大于预设分数的各像素点作为所述样本标签对应的判别性区域；分别将所述目标掩码图像的各像素点与所述目标图像中对应位置的像素点相乘，得到标注有所述判别性区域的细粒度特征图。进一步，本专利技术实施例提供了第一方面的第四种可能的实施方式，其中，所述深度学习网络用于对接收到的所述细粒度特征图进行特征提取并分类，将分类过程中得到的特征相似性信息作为细粒度特征信息蒸馏至所述图像识别模型，以使所述图像识别模型在迭代训练时学习所述细粒度特征信息。进一步，本专利技术实施例提供了第一方面的第五种可能的实施方式，其中，所述方法还包括：在所述图像识别模型的迭代训练过程中基于交叉熵损失函数更新所述图像识别模型的参数，基于KL散度损失函数监督所述图像识别模型学习所述细粒度特征信息的效果。进一步，本专利技术实施例提供了第一方面的第六种可能的实施方式，其中，所述深度学习网络为卷积神经网络。进一步，本专利技术实施例提供了第一方面的第七种可能的实施方式，其中，所述方法还包括：将待检测图像输入所述训练后的图像识别模型，基于所述训练后的图像识别模型对所述待检测图像进行动作识别，得到动作识别结果。第二方面，本专利技术实施例还提供了一种图像识别模型的训练装置，包括：样本输入模块，用于将预先标注有样本标签的训练样本输入图像识别模型；模型训练模块，用于在所述图像识别模型的迭代训练过程中，基于所述图像识别模型的网络层确定所述训练样本对应的细粒度特征图，将所述细粒度特征图输入至预设的深度学习网络，以使所述深度学习网络从所述细粒度特征图中学习到细粒度特征信息，并将学习到的所述细粒度特征信息蒸馏至所述图像识别模型中；其中，所述细粒度特征图为标注有所述样本标签对应的判别性区域的图像；训练结束模块，用于重复执行上述训练步骤，直至训练结束，得到训练后的图像识别模型。第三方面，本专利技术实施例提供了一种电子设备，包括：处理器和存储装置；所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如上述第一方面任一项所述的方法。第四方面，本专利技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面任一项所述的方法的步骤。本专利技术实施例提供了一种图像识别模型的训练方法、装置及电子设备，通过将预先标注有样本标签的训练样本输入图像识别模型；在图像识别模型的迭代训练过程中，基于图像识别模型的网络层确定训练样本对应的细粒度特征图(标注有样本标签对应的判别性区域的图像)，将细粒度特征图输入至预设的深度学习网络，以使深度学习网络从细粒度特征图中学习到细粒度特征信息，并将学习到的细粒度特征信息蒸馏至图像识别模型中；重复执行上述训练步骤，直至训练结束，得到训练后的图像识别模型。通过上述方式，一方面，可以通过图像识别模型确定标注有判别性区域的细粒度特征图，无需人工标注判别性区域，节省了人力成本；另一方面，通过将深度学习网络学习到的细粒度特征信息蒸馏到图像识别模型中，提升了图像识别模型的识别精度，因此仅使用训练后的图像识别模型就可以对待检测图像进行动作识别，无需使用多个模型进行分阶段识别，减小了图像识别的计算量，提升了图像识别效率。本专利技术实施例的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本专利技术实施例的上述技术即可得知。为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域本文档来自技高网...

【技术保护点】
1.一种图像识别模型的训练方法，其特征在于，包括：/n将预先标注有样本标签的训练样本输入图像识别模型；/n在所述图像识别模型的迭代训练过程中，基于所述图像识别模型的网络层确定所述训练样本对应的细粒度特征图，将所述细粒度特征图输入至深度学习网络，以使所述深度学习网络从所述细粒度特征图中学习到细粒度特征信息，并将学习到的所述细粒度特征信息蒸馏至所述图像识别模型中；其中，所述细粒度特征图为标注有所述样本标签对应的判别性区域的图像；/n重复执行上述训练步骤，直至训练结束，得到训练后的图像识别模型。/n

【技术特征摘要】
1.一种图像识别模型的训练方法，其特征在于，包括：
将预先标注有样本标签的训练样本输入图像识别模型；
在所述图像识别模型的迭代训练过程中，基于所述图像识别模型的网络层确定所述训练样本对应的细粒度特征图，将所述细粒度特征图输入至深度学习网络，以使所述深度学习网络从所述细粒度特征图中学习到细粒度特征信息，并将学习到的所述细粒度特征信息蒸馏至所述图像识别模型中；其中，所述细粒度特征图为标注有所述样本标签对应的判别性区域的图像；
重复执行上述训练步骤，直至训练结束，得到训练后的图像识别模型。


2.根据权利要求1所述的方法，其特征在于，所述图像识别模型包括卷积神经网络；
所述在所述图像识别模型的迭代训练过程中，基于所述图像识别模型的网络层确定所述训练样本对应的细粒度特征图的步骤，包括：
基于所述训练样本及所述细粒度特征信息对所述图像识别模型进行迭代训练，并在迭代训练中基于所述图像识别模型的最后一层卷积层获取所述训练样本的掩码图像；
基于所述掩码图像确定所述训练样本对应的细粒度特征图。


3.根据权利要求2所述的方法，其特征在于，所述基于所述训练样本及所述细粒度特征信息对所述图像识别模型进行迭代训练，并在迭代训练中基于所述图像识别模型的最后一层卷积层获取所述训练样本的掩码图像的步骤，包括：
基于所述图像识别模型的各个卷积层及所述细粒度特征信息从所述训练样本中提取特征；
基于提取的特征及所述样本标签对所述训练样本进行预设次数的下采样，直至所述训练样本达到预设尺寸；
在所述图像识别模型的最后一层卷积层中，利用弱监督目标检测算法对下采样得到的预设尺寸的训练样本进行检测，得到所述训练样本的掩码图像；其中，所述掩码图像为各像素点上标有预测得分的图像，所述掩码图像的大小为所述预设尺寸。


4.根据权利要求3所述的方法，其特征在于，所述基于所述掩码图像确定所述训练样本对应的细粒度特征图的步骤，包括：
将所述掩码图像上采样至目标尺寸，得到目标掩码图像；其中，所述目标尺寸为所述训练样本进行目标次数的下采样后得到的目标图像的尺寸；
将所述目标掩码图像中所述预测得分大于预设分数的各像素点作为所述样...

【专利技术属性】
技术研发人员：王彬，
申请(专利权)人：北京迈格威科技有限公司，
类型：发明
国别省市：北京;11