模型训练及图像处理方法、装置、电子设备、存储介质制造方法及图纸

本申请公开了模型训练及图像处理方法、装置、电子设备、存储介质，涉及图像处理、深度学习领域。具体实现方案为：将图像输入至神经网络进行特征提取，得到针对图像的至少一个采样比例的至少一个特征图；确定所述至少一个特征图中不同采样比例的特征图所对应的锚；其中，不同采样比例的特征图对应的锚的相对位置不同，并且不同采样比例的特征图对应的锚大小不同；基于图像及其不同特征图中的锚、以及图像中标注的目标框的位置和类别，确定目标模型；其中所述目标模型为训练后的模型。

【技术实现步骤摘要】
模型训练及图像处理方法、装置、电子设备、存储介质
本申请涉及信息处理领域，尤其涉及图像处理、深度学习领域。
技术介绍
在相关技术中，提高目标检测效果和性能的方法主要有：两阶段的目标检测方法；加深backbone(骨干)网络和图片的输入大小；困难样本挖掘等相关算法和技术(OHEM、FocalLoss等)，增强损失(loss)等等。但是，上述方案，无法对模型训练的过程中提供更有针对性的更优化的参数，也无法加减少模型训练的计算量以及无法减少使用模型进行预测的计算量。
技术实现思路
本公开提供了一种模型训练方法、图像处理方法、装置、电子设备及存储介质。根据本公开的一方面，提供了一种模型训练方法，包括：将图像输入至神经网络进行特征提取，得到针对图像的至少一个采样比例的至少一个特征图；确定所述至少一个特征图中不同采样比例的特征图所对应的锚；其中，不同采样比例所的特征图对应的锚的相对位置不同，并且不同采样比例的特征图对应的锚大小不同；基于图像及其不同特征图中的锚、以及图像中标注的目标框的位置和类别，确定目标模型；其中所述目标模型为训练后的模型。根据本公开的一方面，提供了一种图像处理方法，所述方法包括：将待预测图像输入至神经网络进行特征提取，得到针对待预测图像的至少一个采样比例的至少一个特征图；确定所述至少一个特征图中不同采样比例的特征图所对应的锚；其中，不同采样比例所的特征图对应的锚的相对位置不同，并且不同采样比例的特征图对应的锚大小不同；基于待预测图像及其不同特征图中的锚、以及目标模型，得到待预测图像中包含目标对象的目标框的位置和所述目标对象的类别。根据本公开的一方面，提供了一种模型训练装置，包括：特征提取模块，用于将图像输入至神经网络进行特征提取，得到针对图像的至少一个采样比例的至少一个特征图；设置模块，用于确定所述至少一个特征图中不同采样比例的特征图所对应的锚；其中，不同采样比例所的特征图对应的锚的相对位置不同，并且不同采样比例的特征图对应的锚大小不同；模型训练模块，用于基于图像及其不同特征图中的锚、以及图像中标注的目标框的位置和类别，确定目标模型；其中所述目标模型为训练后的模型。根据本公开的一方面，提供了一种图像处理装置，包括：图像预处理模块，用于将待预测图像输入至神经网络进行特征提取，得到针对待预测图像的至少一个采样比例的至少一个特征图；确定所述至少一个特征图中不同采样比例的特征图所对应的锚；其中，不同采样比例所的特征图对应的锚的相对位置不同，并且不同采样比例的特征图对应的锚大小不同；目标预测模块，用于基于待预测图像及其不同特征图中的锚、以及目标模型，得到待预测图像中包含目标对象的目标框的位置和所述目标对象的类别。根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述方法。根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行上述方法。根据本申请的技术，可以针对目标模型进行训练的过程中，改进了模型中的锚匹配范围，能够在不同的特征图的不同位置处设置不同大小的锚，避免了特征图中全部设置了各种尺寸的锚，从而在保证目标模型的性能的前提下，能够减少锚的无效匹配次数，提升锚的匹配效率，从而能够减少模型训练的计算量。进一步地，采用上述训练得到的目标模型进行预测的处理中也能够减少预测处理的计算量。应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。附图说明附图用于更好地理解本方案，不构成对本申请的限定。其中：图1是根据本申请实施例的模型训练方法流程示意图；图2是根据本申请实施例的一种特征图提取的处理场景示意图；图3是根据本申请实施例的图像处理方法流程示意图；图4是根据本申请实施例的模型训练装置组成结构示意图；图5是根据本申请实施例的图像处理装置组成结构示意图；图6是用来实现本申请实施例的信息处理方法的电子设备的框图。具体实施方式以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。本专利技术实施例提供了一种信息处理方法，如图1所示，包括：S101：将图像输入至神经网络进行特征提取，得到针对图像的至少一个采样比例的至少一个特征图；S102：确定所述至少一个特征图中不同采样比例的特征图所对应的锚；其中，不同采样比例所的特征图对应的锚的相对位置不同，并且不同采样比例的特征图对应的锚大小不同；S103：基于图像及其不同特征图中的锚、以及图像中标注的目标框的位置和类别，确定目标模型；其中所述目标模型为训练后的模型。本实施例提供的方案可以应用于电子设备中，比如，可以为服务器或终端设备中，这里不做限定。所述图像可以为训练图像集中的全部图像或至少部分图像。也就是说，在训练目标模型的处理中，可以将训练图像集中的图像全部采用前述方法进行训练。另外，需要指出的是，所述训练图像集中用来进行上述方法的训练的图像为标注有目标框的图像，或者，可以理解为，用于执行上述方法的图像为设置有GT(groundtruth)的图像。其中，GT可以认为是预先标注的图像中包含的至少一个物体(或至少一个目标对象)的目标框。进一步地，用于执行上述方法的图像还设置有GT包含的目标对象的类型。举例来说，在训练用于检测图像中的车辆的目标模型的场景中，训练图像集中的至少部分图像中可以包含有多个GT，每一个GT可以包含一个图像中车辆以及其对应的类型(比如为轿车、卡车等等)。上述S101中，所述将图像输入至神经网络进行特征提取，得到针对图像的至少一个采样比例的至少一个特征图，包括：将图像输入至神经网络进行特征提取，得到至少一个采样比例的至少一个原始特征图；对所述至少一个采样比例的至少一个原始特征图进行融合，得到针对图像的至少一个采样比例的至少一个特征图。其中，所述神经网络可以为backbone，具体来说，将图像输入至神经网络进行特征提取，得到至少一个采样比例的至少一个原始特征图，可以为：将图像输入至Backbone进行特征提取，得到至少一个采样比例的至少一个原始特征图。Backbone特征提取，可以采用比如resnet、resnext等网络。这里，还可以根据业务应用场景本文档来自技高网...

【技术保护点】
1.一种模型训练方法，包括：/n将图像输入至神经网络进行特征提取，得到针对图像的至少一个采样比例的至少一个特征图；/n确定所述至少一个特征图中不同采样比例的特征图所对应的锚；其中，不同采样比例的特征图对应的锚的相对位置不同，并且不同采样比例的特征图对应的锚大小不同；/n基于图像及其不同特征图中的锚、以及图像中标注的目标框的位置和类别，确定目标模型；其中所述目标模型为训练后的模型。/n

【技术特征摘要】
1.一种模型训练方法，包括：
将图像输入至神经网络进行特征提取，得到针对图像的至少一个采样比例的至少一个特征图；
确定所述至少一个特征图中不同采样比例的特征图所对应的锚；其中，不同采样比例的特征图对应的锚的相对位置不同，并且不同采样比例的特征图对应的锚大小不同；
基于图像及其不同特征图中的锚、以及图像中标注的目标框的位置和类别，确定目标模型；其中所述目标模型为训练后的模型。


2.根据权利要求1所述的方法，其中，所述将图像输入至神经网络进行特征提取，得到针对图像的至少一个采样比例的至少一个特征图，包括：
将图像输入至神经网络进行特征提取，得到至少一个采样比例的至少一个原始特征图；
对所述至少一个采样比例的至少一个原始特征图进行融合，得到针对图像的至少一个采样比例的至少一个特征图。


3.根据权利要求1所述的方法，其中，所述确定所述至少一个特征图中不同采样比例的特征图所对应的锚，包括：
基于预设规则，确定所述不同采样比例的特征图所对应的锚；
其中，所述预设规则包括：
在采样比例大的特征图中锚的相对位置比锚在采样比例小的特征图中的相对位置靠近特征图的第一边；
以及，
在采样比例大的特征图中锚的尺度小于在采样比例小的特征图中锚的尺度。


4.根据权利要求1所述的方法，其中，所述确定所述至少一个特征图中不同采样比例的特征图所对应的锚之后，所述方法还包括：
基于每个特征图的锚以及标注的目标框进行匹配，确定正样本以及负样本。


5.根据权利要求4所述的方法，其中，所述基于每个特征图的锚以及标注的目标框进行匹配，确定正样本，包括：
在每一个特征图中，计算锚与标注的目标框之间的交并比，选取交并比最大的K个锚；K为大于等于1的整数；
从所述K个锚中排除标注的目标框的中心点不在锚中的L个锚；其中，L为小于等于K个整数；
将剩余的K-L个锚作为正样本。


6.根据权利要求5所述的方法，所述方法还包括：
在剩余的K-L个锚中，若存在同一个锚匹配到不同的标注的目标框，则选取与锚的交并比最大的一个标注的目标框作为锚需要预测的目标框。


7.根据权利要求6所述的方法，其中，基于图像及其不同特征图中的锚、以及图像中标注的目标框的位置和类别，确定目标模型，包括：
基于图像及其不同特征图中的正样本以及负样本，以及图像中标注的目标框的位置和类别，确定目标模型。


8.一种图像处理方法，所述方法包括：
将待预测图像输入至神经网络进行特征提取，得到针对待预测图像的至少一个采样比例的至少一个特征图；
确定所述至少一个特征图中不同采样比例的特征图所对应的锚；其中，不同采样比例所的特征图对应的锚的相对位置不同，并且不同采样比例的特征图对应的锚大小不同；
基于待预测图像及其不同特征图中的锚、以及目标模型，得到待预测图像中包含目标对象的目标框的位置和所述目标对象的类别。


9.根据权利要求8所述的方法，其中，所述将待预测图像输入至神经网络进行特征提取，得到针对待预测图像的至少一个采样比例的至少一个特征图，包括：
将待预测图像输入至神经网络进行特征提取，得到至少一个采样比例的至少一个原始特征图；
对所述至少一个采样比例的至少一个原始特征图进行融合，得到针对待预测图像的至少一个采样比例的至少一个特征图。


10.根据权利要求8所述的方法，其中，所述确定所述至少一个特征图中不同采样比例的特征图所对应的锚，包括：
基于预设规则，确定所述不同采样比例的特征图所对应的锚；
其中，所述预设规则包括：
在采样比例大的特征图中锚的相对位置比锚在采样比例小的特征图中的相对位置靠近特征图的第一边；
以及，
在采样比例大的特征图中锚的尺度小于在采样比例小的特征图中锚的尺度。


11.根据权利要求8所述的方法，其中，所述方法还包括：
若针对待预测图像中的同一个目标对象存在多个目标框，则基于类别间最大值抑制进行目标框去重处理，得到针对同一个目标对象的一个目标框。


12.一种模型训练装置，包...

【专利技术属性】
技术研发人员：杨喜鹏，蒋旻悦，谭啸，孙昊，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11