一种模型训练的方法、目标检测的方法、装置及存储介质制造方法及图纸

本申请公开了一种模型训练的方法，该方法应用于人工智能领域，方法包括：获取待训练图像，待训练图像设置有目标框以及目标类别；通过目标检测模型，获取M个预测框以及M个类别预测概率；根据目标框、M个预测框以及M个类别预测概率确定样本集合；通过目标检测模型所包括的第一检测网络获取第一预测结果集合；通过目标检测模型所包括的第二检测网络获取第二预测结果集合；根据样本集合、第一预测结果集合以及第二预测结果集合，对目标检测模型进行训练。本申请还包括目标检测的方法以及装置。本申请本申请可以级联的检测网络能够更好地拟合目标所在的位置，提升目标检测的效果。

【技术实现步骤摘要】
一种模型训练的方法、目标检测的方法、装置及存储介质
本申请涉及人工智能领域，尤其涉及一种模型训练的方法、目标检测的方法、装置及存储介质。
技术介绍
目标检测近年来已经取得了很重要的进展，目标检测的任务是找出图像中感兴趣的目标或区域。在游戏自动化测试中，目标检测扮演者重要的角色，也是自动化检测的基础，同时由于各类目标有不同的外观、形状以及姿态，加上成像时光照或者遮挡等因素的干扰，使得目标检测一直是计算机视觉领域具有挑战性的任务。在现有的技术方案中，有基于单次多框探测器(singleshotmultiboxdetector，SSD)的目标检测方法，该方法需要预先手工定义目标检测的先验框，通过不同尺度的卷积特征谱预测目标的位置和类别。然而，采用SSD方法虽然能够检测出的目标所在位置，但是，在训练过程中对目标所在的位置仅进行了简单的拟合，因此，存在目标检测精度较低的情况，导致预测得到的目标所在位置与实际的目标所在位置之间可能存较大偏差。
技术实现思路
本申请实施例提供了一种模型训练的方法、目标检测的方法、装置及存储介质，可以在训练的过程中，基于不同的交并比阈值生成不同的样本集合，不同的样本集合用于训练不同的检测网络，以设置不同的交并比阈值来分别训练对应的检测网络，使得这些级联的检测网络能够更好地拟合目标所在的位置，提升目标检测的效果。有鉴于此，本申请第一方面提供一种模型训练的方法，包括：获取待训练图像，其中，待训练图像设置有目标框以及目标类别；通过目标检测模型，获取M个预测框以及M个类别预测概率，其中，类别预测概率与预测框具有一一对应的关系，M为大于或等于1的整数；根据目标框、M个预测框以及M个类别预测概率确定样本集合，其中，样本集合至少包括第一样本集合以及第二样本集合，第一样本集合包括交并比大于或等于第一交并比阈值的正样本，第二样本集合包括交并比大于或等于第二交并比阈值的正样本，第一交并比阈值小于第二交并比阈值；基于第一样本集合，通过目标检测模型所包括的第一检测网络获取第一预测结果集合，其中，第一预测结果集合包括第一样本集合中每个样本所对应的类别分值以及候选框预测位置；基于第二样本集合，通过目标检测模型所包括的第二检测网络获取第二预测结果集合，其中，第二预测结果集合包括第二样本集合中每个样本所对应的类别分值以及候选框预测位置；根据样本集合、第一预测结果集合以及第二预测结果集合，对目标检测模型进行训练。本申请第二方面提供一种目标检测的方法，包括：基于待检测图像，通过目标检测模型所包括的第一网络获取图像卷积特征，其中，目标检测模型为采用第一方面提供的模型训练的方法训练得到的；基于图像卷积特征，通过目标检测模型所包括的第二网络获取预测框以及类别预测概率，其中，类别预测概率与预测框具有一一对应的关系；若类别预测概率大于或等于类别概率门限，则将预测框确定为候选框；基于候选框，通过目标检测模型所包括的第一检测网络获取第一候选框预测位置以及第一类别分值；基于候选框，通过目标检测模型所包括的第二检测网络获取第二候选框预测位置以及第二类别分值；根据候选框、第一候选框预测位置、第一类别分值、第二候选框预测位置以及第二类别分值，确定待检测图像的目标框以及目标分类结果。本申请第三方面提供一种模型训练装置，包括：获取模块，用于获取待训练图像，其中，待训练图像设置有目标框以及目标类别；获取模块，还用于通过目标检测模型，获取M个预测框以及M个类别预测概率，其中，类别预测概率与预测框具有一一对应的关系，M为大于或等于1的整数；确定模块，用于根据目标框、M个预测框以及M个类别预测概率确定样本集合，其中，样本集合至少包括第一样本集合以及第二样本集合，第一样本集合包括交并比大于或等于第一交并比阈值的正样本，第二样本集合包括交并比大于或等于第二交并比阈值的正样本，第一交并比阈值小于第二交并比阈值；获取模块，还用于基于第一样本集合，通过目标检测模型所包括的第一检测网络获取第一预测结果集合，其中，第一预测结果集合包括第一样本集合中每个样本所对应的类别分值以及候选框预测位置；获取模块，还用于基于第二样本集合，通过目标检测模型所包括的第二检测网络获取第二预测结果集合，其中，第二预测结果集合包括第二样本集合中每个样本所对应的类别分值以及候选框预测位置；训练模块，用于根据样本集合、第一预测结果集合以及第二预测结果集合，对目标检测模型进行训练。在一种可能的设计中，在本申请实施例的第三方面的一种实现方式中，获取模块，具体用于基于待训练图像，通过目标检测模型所包括的第一网络获取图像卷积特征；基于图像卷积特征，通过目标检测模型所包括的第二网络获取M个预测框以及M个类别预测概率。在一种可能的设计中，在本申请实施例的第三方面的另一实现方式中，获取模块，具体用于基于待训练图像，通过第一网络中的卷积层获取第一图像特征；基于第一图像特征，通过第一网络中的第一残差模块获取第二图像特征；基于第二图像特征，通过第一网络中的第二残差模块获取第三图像特征；基于第三图像特征，通过第一网络中的至少一个第一残差网络以及至少一个第二残差网络，获取图像卷积特征。在一种可能的设计中，在本申请实施例的第三方面的另一实现方式中，获取模块，具体用于基于第一图像特征，通过第一残差模块所包括的第一卷积层获取第一卷积特征；基于第一图像特征，通过第一残差模块所包括的第二卷积层获取第二卷积特征；基于第二卷积特征，通过第一残差模块所包括的第三卷积层获取第三卷积特征；基于第三卷积特征，通过第一残差模块所包括的第四卷积层获取第四卷积特征；根据第一卷积特征以及第四卷积特征，生成第二图像特征。在一种可能的设计中，在本申请实施例的第三方面的另一实现方式中，获取模块，具体用于基于第二图像特征，通过第二残差模块所包括的第一卷积层获取第五卷积特征；基于第五图像特征，通过第二残差模块所包括的第二卷积层获取第六卷积特征；基于第六卷积特征，通过第二残差模块所包括的第三卷积层获取第七卷积特征；根据第二图像特征以及第七卷积特征，生成第三图像特征。在一种可能的设计中，在本申请实施例的第三方面的另一实现方式中，确定模块，具体用于根据M个类别预测概率，从M个预测框中确定N个预测框作为候选框，以得到N个候选框，其中，候选框所对应的类别预测概率大于或等于类别概率门限，N为大于或等于1，且小于或等于M的整数；根据N个候选框确定每个候选框与目标框之间的交并比；根据每个候选框与目标框之间的交并比，获取第一样本集合，其中，第一样本集合包括第一正样本以及负样本；根据每个候选框与目标框之间的交并比，获取第二样本集合，其中，第二样本集合包括第二正样本以及负样本。在一种可能的设计中，在本申请实施例的第三方面的另一实现本文档来自技高网...

【技术保护点】
1.一种模型训练的方法，其特征在于，包括：/n获取待训练图像，其中，所述待训练图像设置有目标框以及目标类别；/n通过所述目标检测模型，获取M个预测框以及M个类别预测概率，其中，所述类别预测概率与所述预测框具有一一对应的关系，所述M为大于或等于1的整数；/n根据所述目标框、所述M个预测框以及M个类别预测概率确定样本集合，其中，所述样本集合至少包括第一样本集合以及第二样本集合，所述第一样本集合包括交并比大于或等于第一交并比阈值的正样本，所述第二样本集合包括所述交并比大于或等于第二交并比阈值的正样本，所述第一交并比阈值小于所述第二交并比阈值；/n基于所述第一样本集合，通过所述目标检测模型所包括的第一检测网络获取第一预测结果集合，其中，所述第一预测结果集合包括所述第一样本集合中每个样本所对应的类别分值以及候选框预测位置；/n基于所述第二样本集合，通过所述目标检测模型所包括的第二检测网络获取第二预测结果集合，其中，所述第二预测结果集合包括所述第二样本集合中每个样本所对应的类别分值以及候选框预测位置；/n根据所述样本集合、所述第一预测结果集合以及所述第二预测结果集合，对所述目标检测模型进行训练。/n...

【技术特征摘要】
1.一种模型训练的方法，其特征在于，包括：
获取待训练图像，其中，所述待训练图像设置有目标框以及目标类别；
通过所述目标检测模型，获取M个预测框以及M个类别预测概率，其中，所述类别预测概率与所述预测框具有一一对应的关系，所述M为大于或等于1的整数；
根据所述目标框、所述M个预测框以及M个类别预测概率确定样本集合，其中，所述样本集合至少包括第一样本集合以及第二样本集合，所述第一样本集合包括交并比大于或等于第一交并比阈值的正样本，所述第二样本集合包括所述交并比大于或等于第二交并比阈值的正样本，所述第一交并比阈值小于所述第二交并比阈值；
基于所述第一样本集合，通过所述目标检测模型所包括的第一检测网络获取第一预测结果集合，其中，所述第一预测结果集合包括所述第一样本集合中每个样本所对应的类别分值以及候选框预测位置；
基于所述第二样本集合，通过所述目标检测模型所包括的第二检测网络获取第二预测结果集合，其中，所述第二预测结果集合包括所述第二样本集合中每个样本所对应的类别分值以及候选框预测位置；
根据所述样本集合、所述第一预测结果集合以及所述第二预测结果集合，对所述目标检测模型进行训练。


2.根据权利要求1所述的模型训练的方法，所述通过所述目标检测模型，获取M个预测框以及M个类别预测概率，包括：
基于所述待训练图像，通过所述目标检测模型所包括的第一网络获取图像卷积特征；
基于所述图像卷积特征，通过所述目标检测模型所包括的第二网络获取M个预测框以及M个类别预测概率。


3.根据权利要求2所述的模型训练的方法，其特征在于，所述基于所述待训练图像，通过所述目标检测模型所包括的第一网络获取图像卷积特征，包括：
基于所述待训练图像，通过所述第一网络中的卷积层获取第一图像特征；
基于所述第一图像特征，通过所述第一网络中的第一残差模块获取第二图像特征；
基于所述第二图像特征，通过所述第一网络中的第二残差模块获取第三图像特征；
基于所述第三图像特征，通过所述第一网络中的至少一个所述第一残差网络以及至少一个所述第二残差网络，获取所述图像卷积特征。


4.根据权利要求3所述的模型训练的方法，其特征在于，所述基于所述第一图像特征，通过所述第一网络中的第一残差模块获取第二图像特征，包括：
基于所述第一图像特征，通过所述第一残差模块所包括的第一卷积层获取第一卷积特征；
基于所述第一图像特征，通过所述第一残差模块所包括的第二卷积层获取第二卷积特征；
基于所述第二卷积特征，通过所述第一残差模块所包括的第三卷积层获取第三卷积特征；
基于所述第三卷积特征，通过所述第一残差模块所包括的第四卷积层获取第四卷积特征；
根据所述第一卷积特征以及所述第四卷积特征，生成所述第二图像特征。


5.根据权利要求3所述的模型训练的方法，其特征在于，所述基于所述第二图像特征，通过所述第一网络中的第二残差模块获取第三图像特征，包括：
基于所述第二图像特征，通过所述第二残差模块所包括的第一卷积层获取第五卷积特征；
基于所述第五图像特征，通过所述第二残差模块所包括的第二卷积层获取第六卷积特征；
基于所述第六卷积特征，通过所述第二残差模块所包括的第三卷积层获取第七卷积特征；
根据所述第二图像特征以及所述第七卷积特征，生成所述第三图像特征。


6.根据权利要求1所述的模型训练的方法，其特征在于，所述根据所述目标框、所述M个预测框以及M个类别预测概率确定样本集合，包括：
根据所述M个类别预测概率，从所述M个预测框中确定N个预测框作为候选框，以得到N个候选框，其中，所述候选框所对应的类别预测概率大于或等于类别概率门限，所述N为大于或等于1，且小于或等于所述M的整数；
根据所述N个候选框确定每个候选框与所述目标框之间的交并比；
根据所述每个候选框与所述目标框之间的交并比，获取所述第一样本集合，其中，所述第一样本集合包括第一正样本以及负样本；
根据所述每个候选框与所述目标框之间的交并比，获取所述第二样本集合，其中，所述第二样本集合包括第二正样本以及负样本。


7.根据权利要求6所述的模型训练的方法，其特征在于，所述根据所述M个类别预测概率，从所述M个预测框中确定N个候选框，包括：
若类别预测概率大于或等于所述类别概率门限，则将所述类别预测概率所对应的预测框确定为候选框，其中，所述类别预测概率属于所述M个类别预测概率，所述候选框属于所述N个候选框；
若类别预测概率小于所述类别概率门限，则从所述M个预测框中剔除所述类别预测概率所对应的预测框。


8.根据权利要求6所述的模型训练的方法，其特征在于，所述根据所述每个候选框与所述目标框之间的交并比，获取所述第一样本集合，包括：
若候选框与所述目标框之间的交并比大于或等于所述第一交并比阈值，则将所述候选框所对应的样本确定为所述第一样本集合中的第一正样本；
若候选框与所述目标框之间的交并比小于第三交并比阈值，则将所述候选框所对应的样本确定为所述第一样本集合中的负样本，其中，所述第三数据小于所述第一交并比阈值；
所述根据所述每个候选框与所述目标框之间的交并比，获取所述第二样本集合，包括：
若候选框与所述目标框之间的交并比大于或等于所述第二交并比阈值，则将所述候选框所对应的样本确定为所述第二样本集合中的第二正样本；
若候选框与所述目标框之间的交并比小于所述第三交并比阈值，则将所述候选框所对应的样本确定为所述第二样本集合中的负样本，其中，所述第三数据小于所述第二交并比阈值。
...

【专利技术属性】
技术研发人员：黄超，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44