目标图像的关键点检测方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术公开了一种目标图像的关键点检测方法、装置、电子设备及存储介质，本发明专利技术蒸馏学习过程中，根据标志函数确定第一网络中正确样本对应的正确预测分布，并根据正确预测分布对第二网络进行蒸馏学习，并对第二网络进行剪枝处理，得到模型参数更少的第二网络模型作为关键点检测模型，提升了关键点检测模型的计算速度和检测效率，降低了对终端的计算能力要求；另外通过标志函数能够让第二网络针对第一网络中正确样本对应的预测结果进行知识蒸馏，而无需花费其他计算负载来对错误样本的预测过程进行知识蒸馏，进一步提升了关键点检测模型的计算速度并降低了对终端的计算能力要求,可广泛应用于计算机视觉技术领域。广泛应用于计算机视觉技术领域。广泛应用于计算机视觉技术领域。

【技术实现步骤摘要】
目标图像的关键点检测方法、装置、电子设备及存储介质


[0001]本专利技术涉及计算机视觉
，尤其是一种目标图像的关键点检测方法、装置、电子设备及存储介质。

技术介绍

[0002]目标图像的关键点检测是指从给定图像中检测出若干个关键点，以便对目标图像进一步分析处理，以人脸图像为例，人脸图像中检测诸如有眼球中心、眼角、鼻尖、嘴角、人脸轮廓等部位的关键点，人脸关键点的准确检测对于人脸识别的应用具有决定性影响。经过人工智能技术的不断发展，目前基于深度学习的关键点检测技术也愈发成熟，目前基于深度学习的关键点检测技术均需要在检测之前训练得到关键点检测模型，然后通过该模型进行关键点检测。
[0003]随着关键点检测场景的不断丰富，越来越多的关键点检测过程需要在不同终端上实现，例如在计算机设备、智能家居设备、智能监控设备等终端上实现人脸关键点检测，进而实现人脸识别等。但是，由于关键点检测涉及模型训练等高运算量的过程，相关技术为了追求检测精度而提高深度学习训练量，过高的模型训练运算量会影响终端的设备性能，导致终端负载过大。因此，如何提升终端的关键点检测效率，降低终端的负载以及部署成本，成为亟待解决的问题。

技术实现思路

[0004]有鉴于此，本专利技术实施例提供一种目标图像的关键点检测方法、装置、电子设备及存储介质，以提高终端中目标图像的关键点检测效率，降低部署模型的终端的负载压力。
[0005]本专利技术的一方面提供了一种目标图像的关键点检测方法，包括：
[0006]获取训练数据；/>[0007]将所述训练数据输入第一网络训练得到第一网络模型；
[0008]将所述训练数据输入第二网络，根据所述第一网络模型对所述第二网络进行蒸馏学习，在所述蒸馏学习的同时对所述第二网络进行剪枝处理，得到关键点检测模型，其中，所述蒸馏学习中的知识蒸馏损失函数包括标志函数，所述标志函数用于标志所述训练数据中的正确样本和错误样本；
[0009]将待检测的目标图像输入所述关键点检测模型，得到所述目标图像中的关键点。
[0010]本专利技术另一方面提供了一种目标图像的关键点检测装置，包括：
[0011]获取模块，用于获取训练数据；
[0012]第一训练模块，用于将所述训练数据输入第一网络训练得到第一网络模型；
[0013]第二训练模块，用于将所述训练数据输入第二网络，根据所述第一网络模型对所述第二网络进行蒸馏学习，在所述蒸馏学习的同时对所述第二网络进行剪枝处理，得到关键点检测模型，其中，所述蒸馏学习中的知识蒸馏损失函数包括标志函数，所述标志函数用于标志所述训练数据中的正确样本和错误样本；
[0014]检测模块，用于将待检测的目标图像输入所述关键点检测模型，得到所述目标图像中的关键点。
[0015]本专利技术另一方面还提供了一种电子设备，包括处理器以及存储器；
[0016]所述存储器用于存储程序；
[0017]所述处理器执行所述程序实现如前面所述的方法。
[0018]本专利技术另一方面还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
[0019]本专利技术另一方面还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
[0020]本专利技术的实施例获取训练数据；将所述训练数据输入第一网络训练得到第一网络模型；将所述训练数据输入第二网络并根据所述第一网络模型进行蒸馏学习得到关键点检测模型，将待检测的目标图像输入所述关键点检测模型，得到所述目标图像中的关键点；其中，所述蒸馏学习包括：根据所述标志函数确定所述第一网络中正确样本对应的正确预测分布，并根据所述正确预测分布对所述第二网络进行蒸馏学习，并对所述第二网络进行剪枝处理，得到关键点检测模型；本专利技术实施例基于训练好的第一网络模型，对第二网络进行蒸馏学习，得到模型参数更少的第二网络模型作为关键点检测模型，提升了关键点检测模型的计算速度和检测效率，降低了对终端的计算能力要求，能够在低计算能力的终端上实时运行；另外，所述蒸馏学习中的知识蒸馏损失函数包括标志函数，所述标志函数用于标志所述训练数据中的正确样本和错误样本，本专利技术实施例通过标志函数能够让第二网络针对第一网络中正确样本对应的预测结果进行知识蒸馏，而无需花费其他计算负载来对错误样本的预测过程进行知识蒸馏，进一步提升了关键点检测模型的计算速度，并降低了对终端的计算能力要求；再有，本专利技术实施例还对所述第二网络进行剪枝处理，有助于缩小关键点检测模型的规模，降低了对终端的计算能力要求和负载压力。
附图说明
[0021]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0022]图1为本专利技术实施例提供的目标图像的关键点检测方法的实施环境示意图；
[0023]图2为本专利技术实施例提供的目标图像的关键点检测方法的流程图；
[0024]图3为本专利技术实施例提供的生成第一网络模型的步骤流程图；
[0025]图4为本专利技术实施例提供的第一网络的结构示意图；
[0026]图5为本专利技术实施例提供的蒸馏学习过程的示意图；
[0027]图6为本专利技术实施例提供的生成关键点检测模型的步骤流程图；
[0028]图7为本专利技术实施例提供的获得目标图像中的关键点的步骤流程图；
[0029]图8为根据待检测的目标图像确定可视化图像的过程示意图；
[0030]图9为具体实施例目标图像的关键点检测方法的步骤流程图；
[0031]图10为本专利技术实施例提供的检测装置的结构示意图。
具体实施方式
[0032]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0033]首先，对本专利技术实施例中涉及的相关名词术语进行介绍和说明：
[0034]人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
[0035]人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标图像的关键点检测方法，其特征在于，包括：获取训练数据；将所述训练数据输入第一网络训练得到第一网络模型；将所述训练数据输入第二网络，根据所述第一网络模型对所述第二网络进行蒸馏学习，在所述蒸馏学习的同时对所述第二网络进行剪枝处理，得到关键点检测模型，其中，所述蒸馏学习中的知识蒸馏损失函数包括标志函数，所述标志函数用于标志所述训练数据中的正确样本和错误样本；将待检测的目标图像输入所述关键点检测模型，得到所述目标图像中的关键点。2.根据权利要求1所述的一种目标图像的关键点检测方法，其特征在于，所述将所述训练数据输入第一网络训练得到第一网络模型，包括：将所述训练数据输入所述第一网络进行可分离卷积处理，得到不同尺度的第一特征图集合；所述训练数据具有标签，所述标签为所述训练数据的关键点真实坐标值；通过所述第一网络的全连接层对所述第一特征图集合进行第一关键点坐标值预测，得到第一预测结果；采用第一损失函数确定所述第一预测结果和所述标签之间的第一损失值；根据所述第一损失值修改第一网络模型参数，并根据修改后的所述第一网络模型参数生成所述第一网络模型。3.根据权利要求2所述的一种目标图像的关键点检测方法，其特征在于，所述通过所述第一网络的全连接层对所述第一特征图集合进行第一关键点坐标值预测，得到第一预测结果这一步骤之前，还包括：对所述第一特征图集合中各个第一特征图进行全局平均池化处理，得到各个所述第一特征图的第一通道权重。4.根据权利要求2所述的一种目标图像的关键点检测方法，其特征在于，所述将所述训练数据输入第二网络，根据所述第一网络模型对所述第二网络进行蒸馏学习，在所述蒸馏学习的同时对所述第二网络进行剪枝处理，得到关键点检测模型，包括：将所述训练数据输入所述第二网络进行可分离卷积处理，得到不同尺度的第二特征图集合；通过所述第二网络的全连接层对所述第二特征图集合进行第二关键点坐标值预测，得到第二预测结果；采用第二损失函数确定所述第二预测结果和所述标签之间的第二损失值；根据所述第二损失值和所述知识蒸馏损失函数修改第二网络模型参数，并根据修改后的所述第二网络模型参数生成第二网络模型；对所述第二网络模型进行剪枝处理，得到所述关键点检测模型。5.根据权利要求4所述的一种目标图像的关键点检测方法，其特征在于，所述根据所述第二损失值和所述知识蒸馏损失函数修改第二网络模型参数，并根据修改后的所述第二网络模型参数生成第二网络模型，包括：根据所述第一预测结果确定第一预测分布，并根据所述第二预测结果确定第二预测分布；采用所述知识蒸馏损失函数确定所述第一预测分布与所述第二预测分布之间的第三
损失值；根据所述第二损失值和所述第三损失值修改第二网络模型参数，并根据修改后的所述第二网络模型参数生成第二网络模型。6.根据权利要求5所述的一种目标图像的关键点检测方法，其特征在于，所述采用所述知识蒸馏损失函数确定所述第一预测分布与所述第二预测分布之间的第三损失值，包括：确定所述训练数据中的正确样本；将所述第一预测分布中正确样本对应的标志函数置1，并将所述第一预测分布中错误样本对应的标志函数置0，得到赋值后的标志函数；根据所述赋值后的标志函数确定知识蒸馏损失函数，并采用所述知识蒸馏损失函数计算所述第一预测分布与所述第二预测分布之间的差异值，得到所述第三损失值。7.根据权利要求4所述的一种目标图像的关键点检测方法，其特征在于，所述对所述第二网络模型进行...

【专利技术属性】
技术研发人员：涂娟辉，易阳，余晓铭，周易，李峰，左小祥，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：