关键点检测方法及装置、电子设备和存储介质制造方法及图纸

本公开涉及一种关键点检测方法及装置、电子设备和存储介质，本公开涉及计算机技术领域，所述方法包括：获取由训练数据集训练得到的第一神经网络，该第一神经网络包括用于提取图像特征的第一网络块、用于检测图像中目标对象的关键点的第二网络块、用于检测图像中目标对象的姿态角度的第三网络块；可删除第一神经网络的第三网络块，得到压缩网络，并对压缩网络进行结构重参数化处理，将第一网络块中的多感受野卷积层转换为具有一次卷积运算的目标卷积层，得到第二神经网络；将第二神经网络部署在目标设备，该第二神经网络用于检测待处理图像中目标对象的关键点。本公开实施例能够更高效更准确地检测待处理图像中目标对象的关键点。键点。键点。

【技术实现步骤摘要】
关键点检测方法及装置、电子设备和存储介质


[0001]本公开涉及计算机
，尤其涉及一种关键点检测方法及装置、电子设备和存储介质。

技术介绍

[0002]在机器人视觉、动作跟踪和单照相机定标等很多应用领域，都需要对图像中的目标对象进行关键点检测，并基于关键点检测结果进行后续的业务处理。比如，以人脸关键点检测为例，可以为人脸识别等技术提供位置矫正，也可以为增强现实、美妆特效、安全驾驶的检测场景等场景提供人脸的语义信息。
[0003]其中，在安全驾驶的检测场景中，疲劳驾驶、分心驾驶等因素为公路事故的主要原因，智能化的驾驶员状态检测越来越显得重要。在智能座舱中，驾驶员监控系统(Driver Monitor System, DMS)能够实现驾驶员疲劳监测、驾驶员注意力监测、危险驾驶行为监测等功能。
[0004]其中，疲劳检测的可以通过人脸的关键点(又称特征点)来进行判断，例如，可以根据眼部关键点判断眼睛的闭合、可以根据嘴部关键点判断是否打哈欠来进行驾驶员疲劳状态的判定，从而提醒驾驶员进行安全驾驶，减少主观因素引起的公路事故。人脸关键点的提取成为驾驶员监控系统中不可或缺的部分。

技术实现思路

[0005]本公开提出了一种关键点检测技术方案。
[0006]根据本公开的一方面，提供了一种关键点检测方法，包括：获取第一神经网络，所述第一神经网络通过训练数据集训练得到，所述第一神经网络包括用于提取图像特征的第一网络块、用于检测图像中目标对象的关键点的第二网络块、用于检测图像中目标对象的姿态角度的第三网络块；删除所述第一神经网络的所述第三网络块，得到压缩网络；对所述压缩网络进行结构重参数化处理，得到第二神经网络，所述结构重参数化处理包括将所述第一网络块中的多感受野卷积层转换为具有一次卷积运算的目标卷积层；将所述第二神经网络部署在目标设备，所述第二神经网络用于检测待处理图像中目标对象的关键点。
[0007]在一种可能的实现方式中，所述多感受野卷积层包括具有不同尺寸的卷积核的卷积处理分支和平均池化处理分支，对所述压缩网络进行结构重参数化处理，得到第二神经网络，包括：将所述多感受野卷积层中具有不同尺寸的卷积核的卷积处理分支、平均池化处理分支进行融合，得到具有一次卷积运算的目标卷积层。
[0008]在一种可能的实现方式中，训练所述第一神经网络，包括：获取所述训练数据集，其中，所述训练数据集的每个样本图像的第一标注信息包括样本图像中目标对象的具有预设数量的关键点，以及目标对象的姿态角度；根据所述训练数据集，对初始第一神经网络进行训练，训练完成后得到所述第一神经网络。
[0009]在一种可能的实现方式中，根据所述训练数据集，对初始第一神经网络进行训练，
训练完成后得到所述第一神经网络，包括：根据所述训练数据集，对初始第一神经网络进行多轮的迭代训练，得到多个备选网络；在满足训练结束条件的情况下，从多个备选网络中选择所述第一神经网络，其中，所述训练结束条件包括对所述初始第一神经网络的迭代训练轮数大于或等于第一预设阈值，和/或，当前轮迭代训练的学习率小于第二预设阈值。
[0010]在一种可能的实现方式中，根据所述训练数据集，对初始第一神经网络进行多轮的迭代训练，得到多个备选网络，包括：对于所述初始第一神经网络的任一轮的迭代训练，将所述训练数据集中的样本图像输入初始第一神经网络，得到预测结果，所述预测结果包括所述第二网络块预测的目标对象的关键点，以及所述第三网络块预测的目标对象的姿态角度；将所述第二网络块预测的目标对象的关键点、所述第三网络块预测的目标对象的姿态角度、所述目标对象对应的所述训练数据集中样本图像的第一标注信息输入损失函数，确定损失；根据所述损失，对初始第一神经网络进行训练，得到当前轮迭代训练对应的备选网络。
[0011]在一种可能的实现方式中，所述损失函数包括第一函数与第二函数的乘积，第一函数用于指示所述第二网络块预测的目标对象的关键点的偏差，第二函数用于指示第三网络块预测的目标对象的姿态角度的偏差。
[0012]在一种可能的实现方式中，将所述训练数据集中的样本图像输入初始第一神经网络，得到预测结果，包括：对所述训练数据集进行数据集增强处理，得到增强数据集；将所述增强数据集中的样本图像输入初始第一神经网络，得到预测结果。
[0013]在一种可能的实现方式中，从多个备选网络中选择所述第一神经网络，包括：根据验证数据集和预设的验证函数，从多个备选网络中选择所述第一神经网络，其中，所述验证数据集包括多个验证图像，以及每个验证图像对应的第二标注信息，所述第二标注信息包括目标对象的具有预设数量的关键点。
[0014]在一种可能的实现方式中，根据验证数据集和预设的验证函数，从多个备选网络中选择所述第一神经网络，包括：将验证数据集中的验证图像分别输入多个备选网络，得到每个备选网络分别预测的目标对象的关键点；将每个备选网络分别预测的目标对象的关键点、所述目标对象对应的所述验证数据集中验证图像的第二标注信息输入所述验证函数，确定验证结果，其中，所述验证函数包括第一函数，所述第一函数用于指示所述第二网络块预测的目标对象的关键点的偏差；根据所述验证结果，从多个备选网络中选择所述第一神经网络。
[0015]在一种可能的实现方式中，所述多感受野卷积层包括多个第一卷积处理分支、第二卷积处理分支、平均池化处理分支，其中，所述第一卷积处理分支包括单位卷积单元、与所述单位卷积单元对应的归一化单元、卷积核尺寸小于或等于预设尺寸的第一卷积单元、与所述第一卷积单元对应的归一化单元；所述第二卷积处理分支包括卷积核为所述预设尺寸的第二卷积单元、与所述第二卷积单元对应的归一化单元；所述平均池化处理分支包括单位卷积单元、与所述单位卷积单元对应的归一化单元、平均池化单元、与所述平均池化单元对应的归一化单元；将所述多感受野卷积层中具有不同尺寸的卷积核的卷积处理分支、平均池化处理分支进行融合，得到具有一次卷积运算的目标卷积层，包括：在存在所述归一化单元的分支中，将所述归一化单元与对应的卷积单元或平均池化单元融合，以消除各分支中的归一化单元；将每个所述第一卷积处理分支中的单元卷积单元与所述第一卷积单元
融合，得到具有一次卷积运算的第一卷积处理分支，以及将所述平均池化处理分支中的单位卷积单元与所述平均池化单元融合，得到具有一次卷积运算的平均池化处理分支；将多个具有一次积运算的第一卷积处理分支、第二卷积处理分支、平均池化处理分支进行融合，得到具有一次卷积运算的目标卷积层。
[0016]在一种可能的实现方式中，所述第一网络块是通过对预设神经网络进行轻量化处理得到的，所述轻量化处理至少包括预设神经网络的通道数压缩、缩小用于将输入图像转化为多个图像块的分块参数、将预设神经网络中的深度可分离卷积替换为所述多感受野卷积层，所述待处理图像包括人脸图像，所述目标对象的关键点包括人脸的关键点以及人脸器官的关键点。
[0017]根据本公开的一方面，提供了一种关键点检测装置，包括：获取模块，用于获取第一神经本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种关键点检测方法，其特征在于，包括：获取第一神经网络，所述第一神经网络通过训练数据集训练得到，所述第一神经网络包括用于提取图像特征的第一网络块、用于检测图像中目标对象的关键点的第二网络块、用于检测图像中目标对象的姿态角度的第三网络块；删除所述第一神经网络的所述第三网络块，得到压缩网络；对所述压缩网络进行结构重参数化处理，得到第二神经网络，所述结构重参数化处理包括将所述第一网络块中的多感受野卷积层转换为具有一次卷积运算的目标卷积层；将所述第二神经网络部署在目标设备，所述第二神经网络用于检测待处理图像中目标对象的关键点。2.根据权利要求1所述的方法，其特征在于，所述多感受野卷积层包括具有不同尺寸的卷积核的卷积处理分支和平均池化处理分支，对所述压缩网络进行结构重参数化处理，得到第二神经网络，包括：将所述多感受野卷积层中具有不同尺寸的卷积核的卷积处理分支、平均池化处理分支进行融合，得到具有一次卷积运算的目标卷积层。3.根据权利要求1所述的方法，其特征在于，训练所述第一神经网络，包括：获取所述训练数据集，其中，所述训练数据集的每个样本图像的第一标注信息包括样本图像中目标对象的具有预设数量的关键点，以及目标对象的姿态角度；根据所述训练数据集，对初始第一神经网络进行训练，训练完成后得到所述第一神经网络。4.根据权利要求3所述的方法，其特征在于，根据所述训练数据集，对初始第一神经网络进行训练，训练完成后得到所述第一神经网络，包括：根据所述训练数据集，对初始第一神经网络进行多轮的迭代训练，得到多个备选网络；在满足训练结束条件的情况下，从多个备选网络中选择所述第一神经网络，其中，所述训练结束条件包括对所述初始第一神经网络的迭代训练轮数大于或等于第一预设阈值，和/或，当前轮迭代训练的学习率小于第二预设阈值。5.根据权利要求4所述的方法，其特征在于，根据所述训练数据集，对初始第一神经网络进行多轮的迭代训练，得到多个备选网络，包括：对于所述初始第一神经网络的任一轮的迭代训练，将所述训练数据集中的样本图像输入初始第一神经网络，得到预测结果，所述预测结果包括所述第二网络块预测的目标对象的关键点，以及所述第三网络块预测的目标对象的姿态角度；将所述第二网络块预测的目标对象的关键点、所述第三网络块预测的目标对象的姿态角度、所述目标对象对应的所述训练数据集中样本图像的第一标注信息输入损失函数，确定损失；根据所述损失，对初始第一神经网络进行训练，得到当前轮迭代训练对应的备选网络。6.根据权利要求5所述的方法，其特征在于，所述损失函数包括第一函数与第二函数的乘积，第一函数用于指示所述第二网络块预测的目标对象的关键点的偏差，第二函数用于指示第三网络块预测的目标对象的姿态角度的偏差。7.根据权利要求5所述的方法，其特征在于，将所述训练数据集中的样本图像输入初始第一神经网络，得到预测结果，包括：
对所述训练数据集进行数据集增强处理，得到增强数据集；将所述增强数据集中的样本图像输入初始第一神经网络，得到预测结果。8.根据权利要求4所述的方法，其特征在于，从多个备选网络中选择所述第一神经网络，包括：根据验证数据集和预设的验证函数，从多个备选网络中选择所述第一神经网络，其中，所述验证数据集包括多个验证图像，以及每个验证图像对应的第二标注信息，所述第二标注信息包括目标对象的具有预设数量的关键点。9.根据权利要求8所述的方法，其...

【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：摩尔线程智能科技北京有限责任公司，
类型：发明
国别省市：