图像处理方法及装置、电子设备和存储介质制造方法及图纸

本公开涉及一种图像处理方法及装置、电子设备和存储介质，所述方法包括：对待处理图像进行特征提取，得到所述待处理图像的第一特征图；对所述第一特征图进行目标区域预测，确定所述第一特征图中目标所在的第一区域；根据所述第一区域，对所述第一特征图进行关键点检测，确定所述待处理图像的目标关键点信息。本公开实施例可实现快速准确的目标关键点检测。

Image processing method and device, electronic equipment and storage medium

【技术实现步骤摘要】
图像处理方法及装置、电子设备和存储介质
本公开涉及计算机
，尤其涉及一种图像处理方法及装置、电子设备和存储介质。
技术介绍
在计算机视觉、目标识别等领域，通常需要对图像中的目标(例如人脸)进行检测。在相关技术中，基于锚点(anchor)的目标检测方式需要保持结构上的特定设计，限制了检测算法速度的提升；而采用轻量级的模型结构能够达到很快的推理速度，但对复杂场景的检测准确率较低，无法满足要求。
技术实现思路
本公开提出了一种图像处理技术方案。根据本公开的一方面，提供了一种图像处理方法，包括：对待处理图像进行特征提取，得到所述待处理图像的第一特征图；对所述第一特征图进行目标区域预测，确定所述第一特征图中目标所在的第一区域；根据所述第一区域，对所述第一特征图进行关键点检测，确定所述待处理图像的目标关键点信息。在一种可能的实现方式中，所述方法还包括：对所述待处理图像中各目标的所述目标关键点信息分别进行边框回归，确定所述各目标的第二区域；根据所述各目标的第二区域，确定所述待处理图像的目标识别结果。在一种可能的实现方式中，对所述第一特征图进行目标区域预测，确定所述第一特征图中目标所在的第一区域，包括：对所述第一特征图进行中心点特征提取，得到第二特征图；从所述第二特征图的多个特征点中确定出至少一个区域中心点，所述区域中心点包括特征值大于或等于第一阈值的特征点；根据所述至少一个区域中心点中各区域中心点对应的通道编号，确定所述各区域中心点对应的所述第一区域的尺度；根据所述各区域中心点的位置及所述各区域中心点对应的所述第一区域的尺度，分别确定各所述第一区域。在一种可能的实现方式中，根据所述第一区域，对所述第一特征图进行关键点检测，确定所述待处理图像的目标关键点信息，包括：对所述第一特征图进行关键点特征提取，得到第三特征图；从所述第三特征图中与所述第一区域对应的特征区域中确定出所述目标的多个关键点；根据所述第三特征图中所述多个关键点的位置，确定所述待处理图像的目标关键点信息。在一种可能的实现方式中，从所述第三特征图中与所述第一区域对应的特征区域中确定出所述目标的多个关键点，包括：对所述特征区域的各个通道分别进行关键点检测，得到与所述各个通道对应的关键点。在一种可能的实现方式中，根据各目标的第二区域，确定所述待处理图像的目标识别结果，包括：确定与所述第二区域对应的所述第一区域的第一置信度得分，以及所述第二区域的全部或部分目标关键点信息的第二置信度得分；根据所述第一置信度得分及所述第二置信度得分，确定所述第二区域的第三置信度得分；根据各个第二区域的第三置信度得分，确定待处理图像的目标识别结果，所述目标识别结果包括第三置信度得分大于或等于第二阈值的所述第二区域。在一种可能的实现方式中，所述方法通过神经网络实现，所述方法还包括：根据预设的训练集，训练所述神经网络，所述训练集包括多个样本图像、所述多个样本图像中的标注区域信息，及所述多个样本图像中的标注关键点信息。在一种可能的实现方式中，所述神经网络包括特征提取网络、区域预测网络及关键点检测网络，所述根据预设的训练集，训练所述神经网络，包括：通过所述特征提取网络对样本图像进行处理，确定第一样本特征图；通过所述区域预测网络对所述第一样本特征图进行处理，确定第二样本特征图及所述第二样本特征图中的至少一个样本区域；通过所述关键点检测网络对所述第一样本特征图进行处理，确定第三样本特征图，所述第三样本特征图的宽度及高度与所述第二样本特征图宽度及高度相同；根据所述至少一个样本区域，确定所述第三样本特征图的样本区域中的样本关键点信息；根据所述样本图像的标注区域信息，确定所述样本图像的第一标注特征图，所述第一标注特征图的尺度与所述第二样本特征图的尺度相同，所述第一标注特征图的通道编号表示所述标注区域信息的尺度；根据所述第一标注特征图和所述第二样本特征图之间的差异，确定所述样本图像针对所述区域预测网络的第一损失；根据所述标注关键点信息与所述样本关键点信息之间的差异，确定所述样本图像针对所述关键点检测网络的第二损失；根据所述多个样本图像的第一损失和第二损失，训练所述神经网络。在一种可能的实现方式中，所述待处理图像中的目标包括人脸、人体及人手中的任意一种。根据本公开的一方面，提供了一种图像处理装置，包括：特征提取模块，用于对待处理图像进行特征提取，得到所述待处理图像的第一特征图；区域预测模块，用于对所述第一特征图进行目标区域预测，确定所述第一特征图中目标所在的第一区域；关键点检测模块，用于根据所述第一区域，对所述第一特征图进行关键点检测，确定所述待处理图像的目标关键点信息。在一种可能的实现方式中，所述装置还包括：边框回归模块，用于对所述待处理图像中各目标的所述目标关键点信息分别进行边框回归，确定所述各目标的第二区域；结果确定模块，用于根据所述各目标的第二区域，确定所述待处理图像的目标识别结果。在一种可能的实现方式中，所述区域预测模块包括：中心点特征提取子模块，用于对所述第一特征图进行中心点特征提取，得到第二特征图；中心点确定子模块，用于从所述第二特征图的多个特征点中确定出至少一个区域中心点，所述区域中心点包括特征值大于或等于第一阈值的特征点；尺度确定子模块，用于根据所述至少一个区域中心点中各区域中心点对应的通道编号，确定所述各区域中心点对应的所述第一区域的尺度；区域确定子模块，用于根据所述各区域中心点的位置及所述各区域中心点对应的所述第一区域的尺度，分别确定各所述第一区域。在一种可能的实现方式中，所述关键点检测模块包括：关键点特征提取子模块，用于对所述第一特征图进行关键点特征提取，得到第三特征图；关键点确定子模块，用于从所述第三特征图中与所述第一区域对应的特征区域中确定出所述目标的多个关键点；关键点信息确定子模块，用于根据所述第三特征图中所述多个关键点的位置，确定所述待处理图像的目标关键点信息。在一种可能的实现方式中，所述关键点确定子模块用于：对所述特征区域的各个通道分别进行关键点检测，得到与所述各个通道对应的关键点。在一种可能的实现方式中，所述结果确定模块包括：第一得分确定子模块，用于确定与所述第二区域对应的所述第一区域的第一置信度得分，以及所述第二区域的全部或部分目标关键点信息的第二置信度得分；第二得分确定子模块，用于根据所述第一置信度得分及所述第二置信度得分，确定所述第二区域的第三置信度得分；结果确定子模块，用于根据各个第二区域的第三置信度得分，确定待处理图像的目标识别结果，所述目标识别结果包括第三置信度得分大于或等于第二阈值的所述第二区域。在一种可能的实现方式中，所述装置通过神经网络实现，所述装置还包括：训练模块，用于根据预设的训练集，训练所述神经网络，所述训练集包括多个样本图像、所述多个样本图像中的标注区域信息，及所述多个样本图像中的标注关键点信息。在一种可能的实现方式中，所述神经网络包括特征提取网络、区域预测网络及关键点检测网络，所述训练模块用于：通过所述特征本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：/n对待处理图像进行特征提取，得到所述待处理图像的第一特征图；/n对所述第一特征图进行目标区域预测，确定所述第一特征图中目标所在的第一区域；/n根据所述第一区域，对所述第一特征图进行关键点检测，确定所述待处理图像的目标关键点信息。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：
对待处理图像进行特征提取，得到所述待处理图像的第一特征图；
对所述第一特征图进行目标区域预测，确定所述第一特征图中目标所在的第一区域；
根据所述第一区域，对所述第一特征图进行关键点检测，确定所述待处理图像的目标关键点信息。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述待处理图像中各目标的所述目标关键点信息分别进行边框回归，确定所述各目标的第二区域；
根据所述各目标的第二区域，确定所述待处理图像的目标识别结果。


3.根据权利要求1或2所述的方法，其特征在于，对所述第一特征图进行目标区域预测，确定所述第一特征图中目标所在的第一区域，包括：
对所述第一特征图进行中心点特征提取，得到第二特征图；
从所述第二特征图的多个特征点中确定出至少一个区域中心点，所述区域中心点包括特征值大于或等于第一阈值的特征点；
根据所述至少一个区域中心点中各区域中心点对应的通道编号，确定所述各区域中心点对应的所述第一区域的尺度；
根据所述各区域中心点的位置及所述各区域中心点对应的所述第一区域的尺度，分别确定各所述第一区域。


4.根据权利要求1-3中任意一项所述的方法，其特征在于，根据所述第一区域，对所述第一特征图进行关键点检测，确定所述待处理图像的目标关键点信息，包括：
对所述第一特征图进行关键点特征提取，得到第三特征图；
从所述第三特征图中与所述第一区域对应的特征区域中确定出所述目标的多个关键点；
根据所述第三特征图中所述多个关键点的位置，确定所述待处理图像的目标关键点信息。


5.根据权利要求4所述的方法，其特征在于，从所述第三特征图中与所述第一区域对应的特征区域中确定出所述目标的多个关键点，包括：
对所述特征区域的各个通道分别进行关键点检测，得到与所述各个通道对应的关键点。


6.根据权利要求2所述的方法，其特征在于，根据所述各目标的第二区域，确定所述待处理图像的目标识别结果，包括：
确定与所述第二区域对应的所述第一区域的第一置信度得分，以及所述第二区域的全部或部分目标关键点信息的第二置信度得分；
根据所述第一置信度得分及所述第二置信度得分，确定所述第二区域的第三置信度得分；
根据各个第二区域的第三置信度得分，确定待处理图像的目标识别结果，所述目标识别结果包括第三置信度得分大于或等于第二阈值的所述第二区域。

【专利技术属性】
技术研发人员：宋广录，刘宇，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京;11