模型训练方法、图像类别检测方法、装置和电子设备制造方法及图纸

本申请实施例公开了模型训练方法、图像类别检测方法、装置和电子设备。该方法的实施例包括：获取样本集；基于各类别的图像样本的数量，确定各类别的图像样本的目标采样概率，并使各类别的图像样本的数量与目标采样概率呈反比；分别以随机采样方式和基于目标采样概率的采样方式，采样样本集中的图像样本，并将以不同采样方式采样的图像样本作为包含双分支网络的初始模型中的不同分支网络的输入，基于所采样的图像样本的标注信息对初始模型进行训练，得到图像类别检测模型。该实施方式提高了模型训练过程中的数据利用率，使模型充分学习到各类别的图像样本的特征，从而提升了图像类别检测模型的检测精度。

【技术实现步骤摘要】
模型训练方法、图像类别检测方法、装置和电子设备
本申请实施例涉及计算机
，具体涉及模型训练方法、图像类别检测方法、装置和电子设备。
技术介绍
图像识别，是一种利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术。在采用图像识别技术对图像的类别进行检测时，通常可利用机器学习方法训练一个图像类别检测模型，从而使用该模型对待测图像的类别进行检测。现有技术中，在训练图像类别检测模型的过程时，通常采用随机采样方式对样本集中的图像样本进行采样，使各图像样本具有相同的采样概率，进而使用依次采样的图像样本进行图像类别检测模型的训练。然而，样本集中的图像样本通常存在长尾问题，即小部分类别的图像样本数量较多，大部分类别的图像样本数量较少，导致样本集中的不同类别的图像样本数量不均衡。这种情况下，对于图像样本数量较少的类别，无法针对这些类别采样到充分的图像样本，从而导致对这些类别的图像样本的特征学习不够充分，进而造成图像类别检测模型的检测精度较低。
技术实现思路
本申请实施例提出了模型训练方法、图像类别检测方法、装置和电子设备，以提高模型训练过程中的数据利用率，使模型充分学习到各类别的图像样本的特征，从而提升图像类别检测模型的检测精度。第一方面，本申请实施例提供了一种图像类别检测模型的训练方法，该方法包括：获取样本集，样本集包括具有类别标注的图像样本；基于各类别的图像样本的数量，确定各类别的图像样本的目标采样概率，其中，各类别的图像样本的数量与目标采样概率呈反比；分别以随机采样方式和基于目标采样概率的采样方式，采样样本集中的图像样本，并执行如下训练步骤：将以不同采样方式采样的图像样本输入至包含双分支网络的初始模型中的不同分支网络，得到初始模型输出的类别检测结果；基于类别检测结果和所采样的图像样本的类别标注，确定损失值，并基于损失值更新初始模型中的参数；当初始模型训练完成时，将训练后的初始模型确定为图像类别检测模型。第二方面，本申请实施例提供了一种图像类别检测方法，该方法包括：将待测图像分别输入至预先训练的图像类别检测模型中的第一特征提取网络和第二特征提取网络，得到待测图像的第一目标特征信息和第二目标特征信息；分别对第一目标特征信息和第二目标特征信息进行加权；将加权后的第一目标特征信息输入至图像类别检测模型中的第一分类器，得到第一类别检测结果，并将加权后的第二目标特征信息输入至图像类别检测模型中的第二分类器，得到第二类别检测结果；基于第一类别检测结果和第二类别检测结果，确定待测图像的最终类别检测结果。第三方面，本申请实施例提供了一种图像类别检测模型的训练装置，该装置包括：获取单元，被配置成获取样本集，样本集包括具有类别标注的图像样本；确定单元，被配置成基于各类别的图像样本的数量，确定各类别的图像样本的目标采样概率，其中，各类别的图像样本的数量与目标采样概率呈反比；训练单元，被配置成分别以随机采样方式和基于目标采样概率的采样方式，采样样本集中的图像样本，并执行如下训练步骤：将以不同采样方式采样的图像样本输入至包含双分支网络的初始模型中的不同分支网络，得到初始模型输出的类别检测结果；基于类别检测结果和所采样的图像样本的类别标注，确定损失值，并基于损失值更新初始模型中的参数；当初始模型训练完成时，将训练后的初始模型确定为图像类别检测模型。第四方面，本申请实施例提供了一种图像类别检测装置，该装置包括：第一输入单元，被配置成将待测图像分别输入至预先训练的图像类别检测模型中的第一特征提取网络和第二特征提取网络，得到待测图像的第一目标特征信息和第二目标特征信息；加权单元，被配置成分别对第一目标特征信息和第二目标特征信息进行加权；第二输入单元，被配置成将加权后的第一目标特征信息输入至图像类别检测模型中的第一分类器，得到第一类别检测结果，并将加权后的第二目标特征信息输入至图像类别检测模型中的第二分类器，得到第二类别检测结果；确定单元，被配置成基于第一类别检测结果和第二类别检测结果，确定待测图像的最终类别检测结果。第五方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面或第二方面中所描述的方法。第六方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面或第二方面中所描述的方法。本申请实施例提供的模型训练方法、图像类别检测方法、装置和电子设备，通过获取样本集，而后基于各类别的图像样本的数量，确定各类别的图像样本的目标采样概率，以使各类别的图像样本的数量与目标采样概率呈反比，之后分别以随机采样方式和基于目标采样概率的采样方式采样样本集中的图像样本，从而将以不同采样方式采样的图像样本作为包含双分支网络的初始模型中的不同分支网络的输入，基于所采样的图像样本的标注信息对初始模型进行训练，得到图像类别检测模型。由此，可同时利用传统的采样方式和基于目标采样概率的采样方式采样图像样本以进行模型训练。由于各类别的图像样本的数量与目标采样概率呈反比，因而同时使用两种采样方式进行图像样本的采样，可使模型充分学习到样本集中各类别图像样本的特征，由此，提高了模型训练过程中的数据利用率，进而提升了图像类别检测模型的检测精度。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：图1是根据本申请的图像类别检测模型的训练方法的一个实施例的流程图；图2是根据本申请的初始模型的结构示意图；图3是根据本申请的图像类别检测方法的一个实施例的流程图；图4是根据本申请的图像类别检测模型的训练装置的一个实施例的流程图；图5是根据本申请的图像类别检测装置的一个实施例的流程图；图6是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。具体实施方式下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关专利技术相关的部分。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。请参考图1，其示出了根据本申请的图像类别检测模型的训练方法的一个实施例的流程100。图像类别检测模型的训练方法的执行主体可以是服务器。服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个设备组成的分布式设备集群，也可以实现成单个设备。当服务器为软件时，可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。此外，在终端设备具有实现本申请的图像类别检测模型的训练方法的能力时，信息获取方法的执行主体也可以是终端设备。上述终端设备可以是如手机、智能手机、平板电脑、膝上型便携计算机等的电子设备。...

【技术保护点】
1.一种图像类别检测模型的训练方法，其特征在于，所述方法包括：/n获取样本集，所述样本集包括具有类别标注的图像样本；/n基于各类别的图像样本的数量，确定各类别的图像样本的目标采样概率，其中，各类别的图像样本的数量与目标采样概率呈反比；/n分别以随机采样方式和基于所述目标采样概率的采样方式，采样所述样本集中的图像样本，并执行如下训练步骤：将以不同采样方式采样的图像样本输入至包含双分支网络的初始模型中的不同分支网络，得到所述初始模型输出的类别检测结果；基于所述类别检测结果和所采样的图像样本的类别标注，确定损失值，并基于所述损失值更新所述初始模型中的参数；当所述初始模型训练完成时，将训练后的初始模型确定为图像类别检测模型。/n

【技术特征摘要】
1.一种图像类别检测模型的训练方法，其特征在于，所述方法包括：
获取样本集，所述样本集包括具有类别标注的图像样本；
基于各类别的图像样本的数量，确定各类别的图像样本的目标采样概率，其中，各类别的图像样本的数量与目标采样概率呈反比；
分别以随机采样方式和基于所述目标采样概率的采样方式，采样所述样本集中的图像样本，并执行如下训练步骤：将以不同采样方式采样的图像样本输入至包含双分支网络的初始模型中的不同分支网络，得到所述初始模型输出的类别检测结果；基于所述类别检测结果和所采样的图像样本的类别标注，确定损失值，并基于所述损失值更新所述初始模型中的参数；当所述初始模型训练完成时，将训练后的初始模型确定为图像类别检测模型。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当所述初始模型训练完成前，重新以所述不同采样方式采样所述样本集中的图像样本，并使用更新参数后的初始模型和所重新采样的图像样本，继续执行所述训练步骤。


3.根据权利要求1所述的方法，其特征在于，所述基于各类别的图像样本的数量，确定各类别的图像样本的目标采样概率，包括：
统计所述样本集中各类别的图像样本的数量；
确定所统计的数量中的最大值与各类别的图像样本的数量的比值；
对所确定的各比值进行求和，得到求和结果；
对于每一个类别，将该类别的图像样本的数量与所述求和结果的比值，作为该类别的图像样本的目标采样概率。


4.根据权利要求1所述的方法，其特征在于，所述双分支网络包括第一分支网络和第二分支网络，第一分支网络包括第一特征提取网络和第一分类器，所述第二分支网络包括第二特征提取网络和第二分类器；以及，
所述将以不同采样方式采样的图像样本输入至包含双分支网络的初始模型中的不同分支网络，得到所述初始模型输出的类别检测结果，包括：
将以随机采样方式采样的图像样本输入至所述第一特征提取网络，得到第一特征信息，并将基于所述采样概率采样的图像样本输入至所述第二特征提取网络，得到第二特征信息；
分别对所述第一特征信息和所述第二特征信息进行加权；
将加权后的第一特征信息输入至所述第一分类器，得到第一分类结果，并将加权后的第二特征信息输入至所述第二分类器，得到第二分类结果；
将所述第一分类结果和所述第二分类结果进行融合，输出类别检测结果。


5.根据权利要求4所述的方法，其特征在于，所述分别对所述第一特征信息和所述第二特征信息进行加权，包括：
确定当前训练的周期数和预设的周期总数；
确定所述周期数与所述周期总数的比值的平方数；
将所述平方数作为所述第二特征信息的权重，将预设数值与所述权重的差值作为所述第一特征信息的权重，分别对所述第一特征信息和所述第二特征信息进行加权。


6.根据权利要求4所述的方法，其特征在于，所述第一分类结果和所述第二分类结果均为向量；以及，
所述将所述第一分类结果和所述第二分类结果进行融合，得到所述初始模型输出的类别检测结果，包括：
将所述第一分类结果和所述第二分类结果按元素相加，得到目标向量；
将所述目标向量输入至预设的归一化指数函数，得到类别检测结果。


7.根据权利要求4所述的方法，其特征在于，所述第一特征提取网络和所述第二特征提取网络分别包括隐藏层、残差层和全局平均池化层，所述隐藏层包括至少一个卷积层，所述第一特征提取网络的隐藏层和所述第二特征提取网络的隐藏层的参数共享。


8.根据权利要求4所述的方法，其特征在于，所述基于所述类别检测结果和所采样的图像样本的类别标注，确定损失值，包括：
将所述类别检测结果和以随机采样...

【专利技术属性】
技术研发人员：周博言，魏秀参，崔权，
申请(专利权)人：北京迈格威科技有限公司，
类型：发明
国别省市：北京;11