图像检测方法和装置制造方法及图纸

本申请公开了一种图像检测方法和装置

【技术实现步骤摘要】
图像检测方法和装置、存储介质及电子设备


[0001]本申请涉及计算机领域，具体而言，涉及一种图像检测方法和装置
、
存储介质及电子设备
。

技术介绍

[0002]目前，基于计算机视觉基础技术进行图像检测主要包括目标检测
、
目标分割
、
关键点检测三大任务
。
现有的图像检测常用技术方案对于上述三个基础视觉任务基本是独立的，即通过设计三个不同的技术方案来分别实现视觉检测
、
视觉分割
、
视觉关键点检测
。
针对需要同时实现上述三大任务的业务场景中，按照现有技术方案，分别使用三个深度学习网络，会使得计算资源开销巨大，在某些端侧设备上不具有这种硬件条件
。
也即，在部分图像检测场景下，同时使用上述多种图像检测方式会造成计算资源开销较高的技术问题
。
[0003]针对上述的问题，目前尚未提出有效的解决方案
。

技术实现思路

[0004]本申请实施例提供了一种图像检测方法和装置
、
存储介质及电子设备，以至少解决在部分图像检测场景下，同时使用多种图像检测方式造成的计算资源开销较高的技术问题
。
[0005]根据本申请实施例的一个方面，提供了一种图像检测方法，包括：获取待识别的初始图像；将所述初始图像输入目标识别网络，得到目标识别结果，其中，所述目标识别结果包括所述初始图像中检测出的目标框体
、
目标关键点
、
目标像素点所属的目标类别以及所述目标类别对应的目标概率，所述目标识别网络是对初始识别网络进行训练得到的网络模型，所述初始识别网络包括初始检测子网络
、
初始关键点检测子网络以及初始分割子网络，在所述初始检测子网络
、
所述初始关键点检测子网络以及所述初始分割子网络分别独立训练完成后，对所述初始识别网络进行联合训练，得到所述目标识别网络；根据所述目标识别结果和所述初始图像生成目标图像，其中，所述目标图像标注了所述目标框体
、
所述目标关键点
、
所述目标类别以及所述目标类别对应的概率
。
[0006]根据本申请实施例的另一方面，还提供了一种图像检测装置，包括：获取模块，用于获取待识别的初始图像；训练模块，用于将所述初始图像输入目标识别网络，得到目标识别结果，其中，所述目标识别结果包括所述初始图像中检测出的目标框体
、
目标关键点
、
目标像素点所属的目标类别以及所述目标类别对应的目标概率，所述目标识别网络是对初始识别网络进行训练得到的网络模型，所述初始识别网络包括初始检测子网络
、
初始关键点检测子网络以及初始分割子网络，在所述初始检测子网络
、
所述初始关键点检测子网络以及所述初始分割子网络分别独立训练完成后，对所述初始识别网络进行联合训练，得到所述目标识别网络；执行模块，用于根据所述目标识别结果和所述初始图像生成目标图像，其中，所述目标图像标注了所述目标框体
、
所述目标关键点
、
所述目标类别以及所述目标类别对应的概率
。
[0007]可选地，所述装置用于通过如下方式将所述初始图像输入所述目标识别网络，得到所述目标识别结果：将所述初始图像输入目标采样子网络，对所述初始图像执行采样操作，得到目标特征图像，其中，所述目标特征图像表示提取了所述初始图像的语义信息的特征图像，所述目标识别网络包括所述目标采样子网络；将所述目标特征图像输入目标检测子网络，对所述目标特征图像中的对象进行识别，得到所述目标框体，其中，所述目标识别网络包括所述目标检测子网络；将所述目标特征图像输入目标关键点检测子网络，对所述目标特征图像中的关键点进行识别，得到所述目标关键点，其中，所述目标识别网络包括所述目标关键点检测子网络；将所述目标特征图像输入目标分割子网络，得到目标类别集合，所述目标类别集合包括所述目标像素点所属的类别以及对应的概率，所述目标识别网络包括所述目标分割子网络；根据所述目标框体
、
所述目标关键点
、
所述目标像素点所属的类别以及对应的概率以及所述初始图像生成所述目标图像
。
[0008]可选地，所述装置用于通过如下方式将所述初始图像输入目标采样子网络，对所述初始图像执行采样操作，得到目标特征图像：将所述初始图像输入第一采样子网络，对所述初始图像执行降采样，得到第一特征图像，其中，所述第一特征图像的尺寸小于所述初始图像；将所述第一特征图像输入第二采样子网络，对所述第一特征图像执行升采样，得到所述目标特征图像，其中，所述目标特征图像的尺寸小于所述初始图像，且大于所述第一特征图像
。
[0009]可选地，所述装置还用于在将所述初始图像输入目标识别网络，得到目标识别结果之前，获取样本图像，其中，所述样本图像包括标注了样本框体的第一样本图像
、
标注了样本关键点的第二样本图像以及标注了样本像素点所属的样本类别和所述样本类别对应的样本概率的第三样本图像；将所述样本图像输入所述初始采样子网络，得到样本特征图像，其中，所述样本特征图像表示提取了所述样本图像的语义信息的特征图像；将所述样本特征图像分别输入所述初始检测子网络
、
所述初始关键点检测子网络以及所述初始分割子网络进行单独训练，得到中间识别网络，其中，所述中间识别网络包括中间检测子网络
、
中间关键点检测子网络以及中间分割子网络，所述中间检测子网络
、
所述中间关键点检测子网络以及所述中间分割子网络分别基于各自对应的训练任务单独训练得到，所述初始识别网络包括所述初始采样子网络；对所述中间识别网络进行联合训练，得到所述目标识别网络
。
[0010]可选地，所述装置用于通过如下方式分别结合所述初始采样子网络依次对所述初始检测子网络
、
所述初始关键点检测子网络以及所述初始分割子网络进行单独训练，得到中间识别网络：分别结合所述初始采样子网络通过联合损失函数依次单独对所述初始检测子网络
、
所述初始关键点检测子网络以及所述初始分割子网络进行训练，得到所述中间识别网络，其中，所述联合损失函数由第一损失函数
、
第二损失函数以及第三损失函数加权求和得到，训练得到所述中间检测子网络的过程中，所述第二损失函数和所述第三损失函数的权重为0，训练得到所述中间关键点检测子网络的过程中，所述第一损失函数和所述第三损失函数的权重为0，训练得到所述中间分割子网络的过程中，所述第一损失函数和所述第二损失函数的权重为0；所述装置用于通过如下方式对所述中间识别网络进行联合训练，得到所述目标识别网络：通过所述联合损失函数对所述中间识别网络进行联合训练，得到所述目标识别网络，其中，所述联合训练的过程中，所述第一损失函数
、
所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种图像检测方法，其特征在于，包括：获取待识别的初始图像；将所述初始图像输入目标识别网络，得到目标识别结果，其中，所述目标识别结果包括所述初始图像中检测出的目标框体
、
目标关键点
、
目标像素点所属的目标类别以及所述目标类别对应的目标概率，所述目标识别网络是对初始识别网络进行训练得到的网络模型，所述初始识别网络包括初始检测子网络
、
初始关键点检测子网络以及初始分割子网络，在所述初始检测子网络
、
所述初始关键点检测子网络以及所述初始分割子网络分别独立训练完成后，对所述初始识别网络进行联合训练，得到所述目标识别网络；根据所述目标识别结果和所述初始图像生成目标图像，其中，所述目标图像标注了所述目标框体
、
所述目标关键点
、
所述目标类别以及所述目标类别对应的概率
。2.
根据权利要求1所述的方法，其特征在于，所述将所述初始图像输入所述目标识别网络，得到所述目标识别结果，包括：将所述初始图像输入目标采样子网络，对所述初始图像执行采样操作，得到目标特征图像，其中，所述目标特征图像表示提取了所述初始图像的语义信息的特征图像，所述目标识别网络包括所述目标采样子网络；将所述目标特征图像输入目标检测子网络，对所述目标特征图像中的对象进行识别，得到所述目标框体，其中，所述目标识别网络包括所述目标检测子网络；将所述目标特征图像输入目标关键点检测子网络，对所述目标特征图像中的关键点进行识别，得到所述目标关键点，其中，所述目标识别网络包括所述目标关键点检测子网络；将所述目标特征图像输入目标分割子网络，得到目标类别集合，所述目标类别集合包括所述目标像素点所属的类别以及对应的概率，所述目标识别网络包括所述目标分割子网络；根据所述目标框体
、
所述目标关键点
、
所述目标像素点所属的类别以及对应的概率以及所述初始图像生成所述目标图像
。3.
根据权利要求2所述的方法，其特征在于，所述将所述初始图像输入目标采样子网络，对所述初始图像执行采样操作，得到目标特征图像，包括：将所述初始图像输入第一采样子网络，对所述初始图像执行降采样，得到第一特征图像，其中，所述第一特征图像的尺寸小于所述初始图像；将所述第一特征图像输入第二采样子网络，对所述第一特征图像执行升采样，得到所述目标特征图像，其中，所述目标特征图像的尺寸小于所述初始图像，且大于所述第一特征图像
。4.
根据权利要求1所述的方法，其特征在于，在将所述初始图像输入目标识别网络，得到目标识别结果之前，所述方法还包括：获取样本图像，其中，所述样本图像包括标注了样本框体的第一样本图像
、
标注了样本关键点的第二样本图像以及标注了样本像素点所属的样本类别和所述样本类别对应的样本概率的第三样本图像；将所述样本图像输入所述初始采样子网络，得到样本特征图像，其中，所述样本特征图像表示提取了所述样本图像的语义信息的特征图像；将所述样本特征图像分别输入所述初始检测子网络
、
所述初始关键点检测子网络以及
所述初始分割子网络进行单独训练，得到中间识别网络，其中，所述中间识别网络包括中间检测子网络
、
中间关键点检测子网络以及中间分割子网络，所述中间检测子网络
、
所述中间关键点检测子网络以及所述中间分割子网络分别基于各自对应的训练任务单独训练得到，所述初始识别网络包括所述初始采样子网络；对所述中间识别网络进行联合训练，得到所述目标识别网络
。5.
根据权利要求4所述的方法，其特征在于，分别结合所述初始采样子网络依次对所述初始检测子网络
、
所述初始关键点检测子网络以及所述初始分割子网络进行单独训练，得到中间识别网络，包括：分别结合所述初始采样子网络通过联合损失函数依次单独对所述初始检测子网络
、
所述初始关键点检测子网络以及所述初始分割子网络进行训练，得到所述中间识别网络，其中，所述联合损失函数由第一损失函数
、
第二损失函数以及第三损失函数加权求和得到，训练得到所述中间检测子网络的过程中，所述第二损失函数和所述第三损失函数的权重为0，训练得到所述中间关键点检测子网络的过程中，所述第一损失函数和所述第三损失函数的权重为0，训练得到所述中间分割子网络的过程中，所述第一损失函数和所述第二损失函数的权重为0；所述对所述中间识别网络进行联合训练，得到所述目标识别网络，包括：通过所述联合损失函数对所述中间识别网络进行联合训练，得到所述目标识别网络，其中，所述联合训练的过程中，所述第一损失函数
、
所述第二损失函数以及所述第三损失函数各自对应的权重均不为
0。6.
根据权利要求5所述的方法，其特征在于，所述将所述样本特征图像分别输入所述初始检测子网络
、
所述初始关键点检测子网络以及所述初始分割子网络进行单独训练，得到所述中间识别网络，包括：在所述样本特征图像与所述第一样本图像关联的情况下，将所述样本特征图像输入所述初始检测子网络，生成预测框体；基于所述预测框体和所述样本框体确定所述第一损失函数；在所述第一损失函数未满足第一损失条件的情况下，调整所述初始采样子网络和所述初始检测子网络的参数；在所述第一损失函数满足所述第一损失条件的情况下，将所述初始检测子网络确定为所述中间检测子网络
。7.
根据权利要求6所述的方法，其特征在于，所述在所述样本特征图像与所述第一样本图像关联的情况下，将所述样本特征图像输入所述初始检测子网络，生成预测框体，包括：将所述样本特征图像输入所述初始检测子网络，确定预测中心点
、
预测中心点量化偏移
、
预测宽度和预测高度，其中，所述预测中心点和所述预测中心点量化偏移用于指示所述预测框体的位置，所述预测宽度和所述预测高度...

【专利技术属性】
技术研发人员：朱明旭，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：