模型训练方法、装置及电子设备制造方法及图纸

本申请公开了模型训练方法、装置及电子设备，涉及计算机视觉、深度学习等人工智能技术领域。具体实现方案为：获取第一神经网络模型，所述第一神经网络模型基于第二神经网络模型进行剪枝得到，所述第一神经网络模型与任务模型的特征提取网络的结构匹配，所述任务模型用于进行图像识别；对所述第一神经网络模型进行训练；基于训练好的第一神经网络模型，对所述任务模型进行训练。根据本申请的技术，解决了模型训练技术中存在的模型训练效果比较差的问题，提高了模型训练的效果。提高了模型训练的效果。提高了模型训练的效果。

【技术实现步骤摘要】
模型训练方法、装置及电子设备


[0001]本申请涉及人工智能
，尤其涉及计算机视觉、深度学习
，具体涉及一种模型训练方法、装置及电子设备。

技术介绍

[0002]随着人工智能的高速发展，基于深度学习的神经网络模型得到了广泛的应用，比如，可以采用神经网络模型进行车辆检测。为了基于神经网络模型实现具体任务如车辆检测任务，需要对神经网络模型进行训练，以使神经网络模型可以学习到图像特征，并基于图像特征进行相应任务的实现。
[0003]目前，神经网络模型的训练方式通常是初始化模型参数，在训练过程中更新初始化的模型参数，直至训练完成。

技术实现思路

[0004]本公开提供了一种模型训练方法、装置及电子设备。
[0005]根据本公开的第一方面，提供了一种模型训练方法，包括：
[0006]获取第一神经网络模型，所述第一神经网络模型基于第二神经网络模型进行剪枝得到，所述第一神经网络模型与任务模型的特征提取网络的结构匹配，所述任务模型用于进行图像识别；
[0007]对所述第一神经网络模型进行训练；
[0008]基于训练好的第一神经网络模型，对所述任务模型进行训练。
[0009]根据本公开的第二方面，提供了一种模型训练装置，包括：
[0010]获取模块，用于获取第一神经网络模型，所述第一神经网络模型基于第二神经网络模型进行剪枝得到，所述第一神经网络模型与任务模型的特征提取网络的结构匹配，所述任务模型用于进行图像识别；
[0011]第一训练模块，用于对所述第一神经网络模型进行训练；
[0012]第二训练模块，用于基于训练好的第一神经网络模型，对所述任务模型进行训练。
[0013]根据本公开的第三方面，提供了一种电子设备，包括：
[0014]至少一个处理器；以及
[0015]与至少一个处理器通信连接的存储器；其中，
[0016]存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器能够执行第一方面中的任一项方法。
[0017]根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行第一方面中的任一项方法。
[0018]根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现第一方面中的任一项方法。
[0019]根据本申请的技术解决了模型训练技术中存在的模型训练效果比较差的问题，提
高了模型训练的效果。
[0020]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0021]附图用于更好地理解本方案，不构成对本申请的限定。其中：
[0022]图1是根据本申请第一实施例的模型训练方法的流程示意图；
[0023]图2是根据本申请第二实施例的模型训练装置的结构示意图；
[0024]图3示出了可以用来实施本公开的实施例的示例电子设备300的示意性框图。
具体实施方式
[0025]以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0026]第一实施例
[0027]如图1所示，本申请提供一种模型训练方法，包括如下步骤：
[0028]步骤S101：获取第一神经网络模型，所述第一神经网络模型基于第二神经网络模型进行剪枝得到，所述第一神经网络模型与任务模型的特征提取网络的结构匹配，所述任务模型用于进行图像识别。
[0029]本实施例中，模型训练方法涉及人工智能技术，具体涉及计算机视觉、深度学习
，其可以广泛应用于目标检测、语义分割等图像识别场景中。该方法可以由本申请实施例的模型训练装置执行。而模型训练装置可以配置在任意电子设备中，以执行本申请实施例的模型训练方法，该电子设备可以服务器，也可以为终端，这里不做具体限定。
[0030]所述第一神经网络模型和第二神经网络模型为用于进行特征提取的模型，第二神经网络模型可以为预先存储的神经网络模型，也可以为从搜索空间的众多神经网络模型中搜索得到的神经网络模型，还可以为其他电子设备发送的神经网络模型，这里不进行具体限定。其中，搜索空间可以指定神经网络模型的功能和大致结构等。
[0031]所述第二神经网络模型可以为与任务模型的特征提取网络的结构最为相似的神经网络模型，在一可选实施方式中，可以根据实际的任务模型如车辆检测模型中的特征提取网络的结构，从众多神经网络模型中搜索得到与任务模型的特征提取模型最为相似的神经网络模型作为第二神经网络模型。
[0032]所述第二神经网络模型可以为有监督的模型，即该模型的训练需要有图像标签数据的参与，也可以为自监督即无监督的模型，即该模型的训练可以从大规模的训练样本数据中挖掘自身的监督信息，通过监督信息对模型进行训练，这里不进行具体限定。
[0033]所述第二神经网络模型可以为残差ResNet系列的神经网络模型，如ResNet32或ResNet50_vd等，其网络骨架可以为backbone，所述第二神经网络模型也可以为其他结构的神经网络模型，这里不进行具体限定。
[0034]所述第二神经网络模型以残差ResNet系列的神经网络模型为例，所述第二神经网
络模型可以为backbone架构的自监督学习模型，如ResNet50_vd MoCov2，该第二神经网络模型可以包括两个网络分支，通过这两个网络分支进行自我监督和学习，以实现模型的训练。
[0035]所述第一神经网络模型可以基于所述第二神经网络模型进行剪枝得到，而剪枝实质是将第二神经网络模型中冗余部分进行剔除，以对齐任务模型的特征提取网络，即使剪枝得到的神经网络模型与任务模型的特征提取网络的结构匹配。这样，所述任务模型可以复用该第一神经网络模型的模型参数，即可以将第一神经网络模型的模型参数迁移至任务模型中。
[0036]所述任务模型可以指的是实现具体任务的模型，如实现车辆检测任务、图像分割任务或人脸识别任务等，其用于进行图像识别。在进行图像识别过程中，需要基于所提取的图像特征，也就是说，该任务模型可以包括多个部分，特征提取网络即为这多个部分中其中之一，该特征提取网络所提取的特征通过图像识别可以用于实现具体任务。
[0037]其中，所述第一神经网络模型与任务模型的特征提取网络的结构匹配可以指的是第一神经网络模型的整个网络与特征提取网络的结构匹配，也可以指的是第一神经网络模型中的某个网络分支与特征提取网络的结构匹配，这里不进行具体限定。
[0038]对第二神经网络模型剪枝的具本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，包括：获取第一神经网络模型，所述第一神经网络模型基于第二神经网络模型进行剪枝得到，所述第一神经网络模型与任务模型的特征提取网络的结构匹配，所述任务模型用于进行图像识别；对所述第一神经网络模型进行训练；基于训练好的第一神经网络模型，对所述任务模型进行训练。2.根据权利要求1所述的方法，其中，所述对所述第一神经网络模型进行训练，包括：获取第一训练样本图像；将所述第一训练样本图像输入至所述第一神经网络模型执行第一操作，得到所述第一训练样本图像的监督信息，所述第一操作用于基于所述第一神经网络模型对所述第一训练样本图像进行自监督学习处理；基于所述监督信息更新所述第一神经网络模型的模型参数。3.根据权利要求2所述的方法，其中，所述第一神经网络模型的网络分支包括第一网络分支和第二网络分支，所述将所述第一训练样本图像输入至所述第一神经网络模型执行第一操作，得到所述第一训练样本图像的监督信息，包括：对所述第一训练样本图像进行数据增强，得到第一图像和第二图像；基于所述第一网络分支对所述第一图像进行特征提取，得到第一特征；基于所述第二网络分支对所述第二图像进行特征提取，得到第二特征；对所述第一特征和所述第二特征进行特征比对，得到所述第一训练样本图像的监督信息。4.根据权利要求3所述的方法，其中，所述第一神经网络模型的模型参数包括所述第一网络分支的第一模型参数，所述基于训练好的第一神经网络模型，对所述任务模型进行训练，包括：获取第二训练样本图像；将所述第二训练样本图像输入至所述任务模型执行第二操作，得到所述第二训练样本图像的识别结果；基于所述识别结果，更新所述任务模型的第二模型参数；其中，所述第二操作包括：将所述第一模型参数作为所述任务模型的特征提取网络的参数，对所述第二训练样本图像进行特征提取，得到第三特征；基于所述第三特征进行图像识别，得到所述识别结果。5.根据权利要求3所述的方法，其中，所述第二神经网络模型的网络分支包括第三网络分支，所述获取第一神经网络模型，包括：将所述第三网络分支中目标网络的卷积层的通道数进行缩减，得到所述第一网络分支；其中，所述目标网络为所述第三网络分支中，网络深度大于其他网络的网络。6.一种模型训练装置，包括：获取模块，用于获取第一神经网络模型，所述第一神经网络模型基于第二神经网络模型进行剪枝得到，所述第一神经网络模型与任务模型的特征提取网络的结构匹配，所述任务模型用于进行图像识别；
第一训练模块，用于对所述第一神经网络模型进行训练；第二训练模块，用于基于训练好...

【专利技术属性】
技术研发人员：张为明，张伟，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：