本公开涉及一种神经网络训练和图像处理方法及装置，所述方法包括：根据第一样本集合，训练目标检测网络，得到中间检测网络，其中，所述第一样本集合包括至少两个类别的第一样本图像；根据第二样本集合，训练所述中间检测网络中的第一目标预测子网络，得到训练后的目标检测网络，其中，所述第一目标预测子网络用于在预设类别下对目标进行分类，所述第二样本集合包括第二样本图像，所述第二样本图像的类别与所述预设类别匹配，所述第一样本图像的数量大于所述第二样本图像的数量。大于所述第二样本图像的数量。大于所述第二样本图像的数量。
【技术实现步骤摘要】
神经网络训练和图像处理方法及装置
[0001]本公开涉及计算机
，尤其涉及一种神经网络训练和图像处理方法及装置。
技术介绍
[0002]基于深度学习的图像处理方法在图像处理领域应用广泛，例如，可用于对图像中的目标对象进行检测。然而，由于目标对象可能存在多种类别，部分类别的训练图像可能不易获取，从而影响训练结果。
技术实现思路
[0003]本公开提出了一种神经网络训练和图像处理方法及装置。
[0004]根据本公开的一方面，提供了一种神经网络训练方法，包括：
[0005]根据第一样本集合，训练目标检测网络，得到中间检测网络，其中，所述第一样本集合包括至少两个类别的第一样本图像；根据第二样本集合，训练所述中间检测网络中的第一目标预测子网络，得到训练后的目标检测网络，其中，所述第一目标预测子网络用于在预设类别下对目标进行分类，所述第二样本集合包括第二样本图像，所述第二样本图像的类别与所述预设类别匹配，所述第一样本图像的数量大于所述第二样本图像的数量。
[0006]在一种可能的实现方式中，所述第一样本图像包括第一标注，所述第一标注包括类别标注和位置标注；所述根据第一样本集合，训练目标检测网络，得到中间检测网络，包括：将所述第一样本图像输入所述目标检测网络，得到第一检测结果，所述第一检测结果包括所述第一样本图像中目标的类别和位置；根据所述第一检测结果与所述第一标注，确定第一损失；根据所述第一损失，训练所述目标检测网络，得到所述中间检测网络。
[0007]在一种可能的实现方式中，所述第一样本集合还包括第三样本图像，所述第三样本图像包括第三标注，所述第三标注包括位置标注；所述根据第一样本集合，训练目标检测网络，得到中间检测网络，包括：将所述第三样本图像输入所述目标检测网络，得到第三检测结果和所述目标检测网络提取的中间特征，其中，所述第三检测结果包括所述第三样本图像中目标的二分类结果和位置，所述中间特征包括所述第三样本图像中目标的特征信息；根据所述第三检测结果与所述第三标注，确定第二损失；根据所述中间特征与所述第三样本图像的预测类别标注，确定第三损失，其中，所述预测类别标注通过将所述第三样本图像输入预设分类网络所得到；根据所述第二损失和/或所述第三损失，训练所述目标检测网络，得到所述中间检测网络。
[0008]在一种可能的实现方式中，所述第三样本图像包括至少两个目标，所述中间特征包括所述第三样本图像中至少两个目标的特征信息；所述根据第一样本集合，训练目标检测网络，得到中间检测网络，还包括：根据所述至少两个目标的特征信息之间的特征差，确定第四损失；根据所述第四损失，训练所述目标检测网络，得到所述中间检测网络。
[0009]在一种可能的实现方式中，所述第一样本集合还包括第三样本图像，所述第三样
本图像包括第三标注，所述第三标注包括位置标注；所述目标检测网络包括特征提取子网络、区域生成子网络以及第二目标预测子网络中的一种或多种；所述根据第一样本集合，训练目标检测网络，包括：根据所述第一样本图像，训练所述特征提取子网络、所述区域生成子网络以及所述第二目标预测子网络中的一种或多种；根据所述第三样本图像，训练所述区域生成子网络和/或所述第二目标预测子网络。
[0010]在一种可能的实现方式中，所述中间检测网络包括多个第一目标预测子网络，所述预设类别包括多个预设类别，所述多个第一目标预测子网络分别与所述多个预设类别对应，所述第二样本集合包括多个第二样本子集合，所述第二样本子集合包括相同类别的正样本图像；所述根据第二样本集合，训练所述中间检测网络中的第一目标预测子网络，包括：从所述第二样本集合中选定目标第二样本子集合，其中，所述目标第二样本子集合中正样本图像的类别与所述第一目标预测子网络对应的预设类别相匹配；根据所述目标第二样本子集合，训练所述第一目标预测子网络。
[0011]在一种可能的实现方式中，在所述根据第一样本集合，训练目标检测网络，得到中间检测网络之前，所述方法还包括：获取多个预设样本集合，所述预设样本集合中包括预设样本图像；将所述多个预设样本集合中包含相同类别标注的预设样本图像划分为相同类别，得到所述第一样本集合。
[0012]在一种可能的实现方式中，第一样本图像包括从预设样本集合中提取的图像，所述第三样本图像为包括真实场景的图像。
[0013]根据本公开的一方面，提供了一种图像处理方法，包括：
[0014]获取包含待检测对象的目标图像；将所述目标图像输入根据上述任一项所述的神经网络训练方法训练后的目标检测网络，获得所述待检测对象的检测结果。
[0015]在一种可能的实现方式中，所述训练后的目标检测网络包括多个第三目标预测子网络，所述将所述目标图像输入训练后的目标检测网络，获得所述待检测对象的检测结果，包括：将所述目标图像输入训练后的目标检测网络，得到所述多个第三目标预测子网络输出的多个中间检测结果；根据所述多个中间检测结果，确定所述待检测对象的检测结果。
[0016]根据本公开的一方面，提供了一种神经网络训练装置，包括：
[0017]第一训练模块，用于根据第一样本集合，训练目标检测网络，得到中间检测网络，其中，所述第一样本集合包括至少两个类别的第一样本图像；第二训练模块，用于根据第二样本集合，训练所述中间检测网络中的第一目标预测子网络，得到训练后的目标检测网络，其中，所述第一目标预测子网络用于在预设类别下对目标进行分类，所述第二样本集合包括第二样本图像，所述第二样本图像的类别与所述预设类别匹配，所述第一样本图像的数量大于所述第二样本图像的数量。
[0018]在一种可能的实现方式中，所述第一样本图像包括第一标注，所述第一标注包括类别标注和位置标注；所述第一训练模块用于：将所述第一样本图像输入所述目标检测网络，得到第一检测结果，所述第一检测结果包括所述第一样本图像中目标的类别和位置；根据所述第一检测结果与所述第一标注，确定第一损失；根据所述第一损失，训练所述目标检测网络，得到所述中间检测网络。
[0019]在一种可能的实现方式中，所述第一样本集合还包括第三样本图像，所述第三样本图像包括第三标注，所述第三标注包括位置标注；所述第一训练模块用于：将所述第三样
本图像输入所述目标检测网络，得到第三检测结果和所述目标检测网络提取的中间特征，其中，所述第三检测结果包括所述第三样本图像中目标的二分类结果和位置，所述中间特征包括所述第三样本图像中目标的特征信息；根据所述第三检测结果与所述第三标注，确定第二损失；根据所述中间特征与所述第三样本图像的预测类别标注，确定第三损失，其中，所述预测类别标注通过将所述第三样本图像输入预设分类网络所得到；根据所述第二损失和/或所述第三损失，训练所述目标检测网络，得到所述中间检测网络。
[0020]在一种可能的实现方式中，所述第三样本图像包括至少两个目标，所述中间特征包括所述第三样本图像中至少两个目标的特征信息；所述第一训练模块还用于：根据所述至少两个目标的特征信息之间的特征差，确本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种神经网络训练方法，其特征在于，包括：根据第一样本集合，训练目标检测网络，得到中间检测网络，其中，所述第一样本集合包括至少两个类别的第一样本图像；根据第二样本集合，训练所述中间检测网络中的第一目标预测子网络，得到训练后的目标检测网络，其中，所述第一目标预测子网络用于在预设类别下对目标进行分类，所述第二样本集合包括第二样本图像，所述第二样本图像的类别与所述预设类别匹配，所述第一样本图像的数量大于所述第二样本图像的数量。2.根据权利要求1所述的方法，其特征在于，所述第一样本图像包括第一标注，所述第一标注包括类别标注和位置标注；所述根据第一样本集合，训练目标检测网络，得到中间检测网络，包括：将所述第一样本图像输入所述目标检测网络，得到第一检测结果，所述第一检测结果包括所述第一样本图像中目标的类别和位置；根据所述第一检测结果与所述第一标注，确定第一损失；根据所述第一损失，训练所述目标检测网络，得到所述中间检测网络。3.根据权利要求1或2所述的方法，其特征在于，所述第一样本集合还包括第三样本图像，所述第三样本图像包括第三标注，所述第三标注包括位置标注；所述根据第一样本集合，训练目标检测网络，得到中间检测网络，包括：将所述第三样本图像输入所述目标检测网络，得到第三检测结果和所述目标检测网络提取的中间特征，其中，所述第三检测结果包括所述第三样本图像中目标的二分类结果和位置，所述中间特征包括所述第三样本图像中目标的特征信息；根据所述第三检测结果与所述第三标注，确定第二损失；根据所述中间特征与所述第三样本图像的预测类别标注，确定第三损失，其中，所述预测类别标注通过将所述第三样本图像输入预设分类网络所得到；根据所述第二损失和/或所述第三损失，训练所述目标检测网络，得到所述中间检测网络。4.根据权利要求3所述的方法，其特征在于，所述第三样本图像包括至少两个目标，所述中间特征包括所述第三样本图像中至少两个目标的特征信息；所述根据第一样本集合，训练目标检测网络，得到中间检测网络，还包括：根据所述至少两个目标的特征信息之间的特征差，确定第四损失；根据所述第四损失，训练所述目标检测网络，得到所述中间检测网络。5.根据权利要求1至4中任意一项所述的方法，其特征在于，所述第一样本集合还包括第三样本图像，所述第三样本图像包括第三标注，所述第三标注包括位置标注；所述目标检测网络包括特征提取子网络、区域生成子网络以及第二目标预测子网络中的一种或多种；所述根据第一样本集合，训练目标检测网络，包括：根据所述第一样本图像，训练所述特征提取子网络、所述区域生成子网络以及所述第二目标预测子网络中的一种或多种；根据所述第三样本图像，训练所述区域生成子网络和/或所述第二目标预测子网络。6.根据权利要求1至5中任意一项所述的方法，其特征在于，所述中间检测网络包括多
个第一目标预测子网络，所述预设类别包括多个预设类别，所...
【专利技术属性】
技术研发人员：甘伟豪，李搏，王意如，
申请(专利权)人：西安商汤智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。