一种关键点定位方法、装置、电子设备及存储介质制造方法及图纸

本申请提供一种关键点定位方法、装置、电子设备及存储介质，方法包括：确定图像对应的热度图，所述热度图的每一像素点的数值表征所述图像中对应的像素点为待定位的关键点的可能程度；对所述热度图进行归一化处理，得到所述关键点对应的权重图；针对所述权重图中的每个像素点，计算所述像素点的权重值与坐标值的乘积；根据所述权重图中所有像素点对应所述乘积的和，确定所述关键点的位置。本申请实施例通过归一化的方法将热度图转换为权重图，再将每一像素点对应的数值与坐标值进行加权，即可得到精度为亚像素级别的关键点的位置，由此可以更加准确的对关键点进行定位，在视频应用中，也可以提高关键点的时序稳定性。

【技术实现步骤摘要】
一种关键点定位方法、装置、电子设备及存储介质
本申请涉及人脸检测领域，具体而言，涉及一种关键点定位方法、装置、电子设备及存储介质。
技术介绍
通过计算机自动的检测人脸关键点是一项计算机视觉领域常见的任务，人脸检测的应用也很多。关键点检测算法是从人脸图像自动计算出这些点在图像中的位置，进而这种算法可以应用到人脸识别，人脸动画，人脸追踪等后续的任务当中。这些应用当中在涉及视频应用时，在对前后帧变化的图像进行关键点识别的过程中，需要得到的关键点的结果也是平滑变化而没有抖动，称之为时序稳定性。对于视频应用来说，传统的通过深度卷积神经网络进行关键点的检测的方法，由于获取的人脸关键点的精度不足，仍存在时序不稳定的问题。
技术实现思路
本申请实施例的目的在于提供一种关键点定位方法、装置、电子设备及存储介质，以改善在视频应用时，利用传统的深度卷积神经网络进行关键点检测获取的关键点精度不足的问题。第一方面，本申请实施例提供了一种关键点定位方法，包括：确定图像对应的热度图，所述热度图的每一像素点的数值表征所述图像中对应的像素点为待定位的关键点的可能程度；对所述热度图进行归一化处理，得到所述关键点对应的权重图；针对所述权重图中的每个像素点，计算所述像素点的权重值与坐标值的乘积；根据所述权重图中所有像素点对应所述乘积的和，确定所述关键点的位置。本申请实施例通过归一化的方法将热度图转换为权重图，再将每一像素点对应的数值与坐标值进行加权，即可得到精度为亚像素级别的关键点的位置，由此可以更加准确的对关键点进行定位，在视频应用中，也可以提高关键点的时序稳定性。进一步地，热度图中第一像素点与第二像素点之间数值的比例，小于权重图中第三像素点与第四像素点之间数值的比例；其中，第一像素点为热度图中任一的较大数值的像素点，第二像素点为热度图中任一的较小数值的像素点，第三像素点为权重图中与第一像素点同一位置对应的像素，第四像素点为权重图中与第二像素点同一位置对应的像素。本申请实施例在归一化的同时，也会增加较大数值的像素点与较小数值的像素点之间比值的大小，使得较大数值的像素点与较小数值的像素点在数值分布之间的差距增大，后续可以更加准确地对关键点进行定位。进一步地，所述权重图包括第一权重矩阵，所述权重图的数值与所述第一权重矩阵的元素一一对应，在所述对所述热度图进行归一化处理之前，所述方法还包括：将所述热度图转换为热度矩阵，所述热度图的数值与所述热度矩阵的元素一一对应；所述对所述热度图进行归一化处理，包括：若所述热度矩阵的所有元素不完全处于[0，1]之间，则利用预先设定的第一指数归一模型对所述热度矩阵进行处理，得到第一权重矩阵；所述第一指数归一模型，包括：其中，σ1(H)为所述第一权重矩阵；exp(H)为第一指数矩阵，所述第一指数矩阵中的每一元素都为以e为底，以所述热度矩阵对应的元素为幂的指数；exp(H)i，j为所述第一指数矩阵中第i行第j列的元素。本申请实施例通过将热度图转换为热度矩阵，并通过第一指数归一模型对元素值分布在[0，1]之间的热度矩阵进行归一处理，使得得到的权重矩阵在归一化的同时，也增大了数值分布之间的差距，保证后续可以更加准确地进行定位。进一步地，所述权重图包括第二权重矩阵，所述对所述热度图进行归一化处理，包括：若所述热度矩阵的所有元素均处于[0，1]之间，则利用预先设定的第二指数归一模型对所述热度矩阵进行处理，得到第二权重矩阵；所述第二指数归一模型，包括：其中，σ2(H)为所述第二权重矩阵；Hα为第二指数矩阵，所述第二指数矩阵包括多个为以Hi，j为底，以α为幂的指数，Hi，j为所述热度矩阵中第i行第j列的元素。本申请实施例通过将热度图转换为热度矩阵，并通过第二指数归一模型对元素值分布不完全在[0，1]之间的热度矩阵进行归一处理，使得得到的权重矩阵在归一化的同时，也增大了数值分布之间的差距，保证后续可以更加准确地进行定位。进一步地，所述权重矩阵中具有较大数值的元素与较小数值的元素的比值与α成正相关。本申请实施例中α的数值与权重矩阵中具有较大数值的元素与较小数值的元素的比值成正相关，由此，可以通过设定α的数值来设定较大数值的元素与较小数值的元素的比值，确保后续可以更加准确地进行关键点的定位。进一步地，所述针对所述权重图中的每个像素点，计算所述像素点的权重值与坐标值的乘积，包括：利用预先建立的横坐标加权模型对权重矩阵的每一元素进行计算，得到所述权重矩阵的每一元素与横坐标值的乘积；所述横坐标加权模型为：其中，Xi，j为所述权重矩阵中第i行第j列的元素与横坐标值的乘积，σ(H)i，j为所述权重矩阵的第i行第j列的元素，为与所述σ(H)i，j对应的横坐标值；利用预先建立的纵坐标加权模型对所述权重矩阵的每一元素进行计算，得到所述权重矩阵的每一元素与纵坐标值的乘积；所述纵坐标加权模型为：其中，Yi，j为所述权重矩阵中第i行第j列的元素与纵坐标值的乘积，σ(H)i，j为所述权重矩阵的第i行第j列的元素，为与所述σ(H)i，j对应的纵坐标值。本申请实施例通过分别利用横坐标加权矩阵与纵坐标加权矩阵对权重矩阵的每一元素进行处理，得到权重矩阵的每一元素与坐标值的乘积，使得后续可以更加快速地得到关键点的坐标。进一步地，所述关键点的位置包括关键点的坐标，所述根据所述权重图中所有像素点对应所述乘积的和，确定所述关键点的位置，包括：利用坐标加权模型对所述权重矩阵的每一元素与横坐标值的乘积以及所述权重矩阵的每一元素与纵坐标值的乘积进行处理，得到所述关键点的坐标；所述坐标加权模型为：其中，M为所述关键点的坐标；为所述权重矩阵的所有元素与横坐标值的乘积的和；为所述权重矩阵的所有元素与纵坐标值的乘积的和。本申请实施例通过利用坐标加权模型对权重矩阵的每一元素对应的乘积进行处理，由此可以得到精度为亚像素级别的关键点的位置，更加准确地对关键点进行定位。进一步地，所述确定图像对应的热度图，包括：利用预先设定的深度卷积神经网络对图像进行处理，得到与图像对应的热度图。本申请实施利用预设的深度神经网络对图像进行处理，可以得到与图像对应的热度图，由此，可以更加准确的得到热度图，后续根据热度图也可以更加高效地进行关键点的定位。进一步地，所述方法还包括：利用所述深度卷积神经网络对样本图像进行处理，得到与样本图像对应的样本热度图；对所述样本热度图进行归一化处理，得到所述样本关键点对应的样本权重图；针对所述样本权重图中的每个像素点，计算所述像素点的权重值与坐标值的乘积；根据所述样本权重图中所有像素点对应所述乘积的和，确定所述样本关键点的位置；根据所述样本关键点与所述样本图像对应的真实关键点之间的第一误差，以及所述样本权重图与所述真实关键点对应的真实权重图之间的第二误差，调整所述深度卷积神经网络。本申请实施例利用本申请提供的关键点定位方法对样本图像进行处理，得到对应的样本关键点与样本权重图，再根据样本图像对应的真实关键点和真实权重图对深度卷积神经网络进行调整，使得后续可以更加准确的对关键点进行定位。第二方面，本申请实施例提供了一种关键点定位装置，包括：确定模块，用于确定图像对应的热度图，所述热度图的每一像素点的数值表征所述图像中对应的像素点为待定位的关键点的可能程度；归一处理模块，用于对本文档来自技高网...

【技术保护点】
1.一种关键点定位方法，其特征在于，包括：确定图像对应的热度图，所述热度图的每一像素点的数值表征所述图像中对应的像素点为待定位的关键点的可能程度；对所述热度图进行归一化处理，得到所述关键点对应的权重图；针对所述权重图中的每个像素点，计算所述像素点的权重值与坐标值的乘积；根据所述权重图中所有像素点对应所述乘积的和，确定所述关键点的位置。

【技术特征摘要】
1.一种关键点定位方法，其特征在于，包括：确定图像对应的热度图，所述热度图的每一像素点的数值表征所述图像中对应的像素点为待定位的关键点的可能程度；对所述热度图进行归一化处理，得到所述关键点对应的权重图；针对所述权重图中的每个像素点，计算所述像素点的权重值与坐标值的乘积；根据所述权重图中所有像素点对应所述乘积的和，确定所述关键点的位置。2.根据权利要求1所述的关键点定位方法，其特征在于，热度图中第一像素点与第二像素点之间数值的比例，小于权重图中第三像素点与第四像素点之间数值的比例；其中，第一像素点为热度图中任一的较大数值的像素点，第二像素点为热度图中任一的较小数值的像素点，第三像素点为权重图中与第一像素点同一位置对应的像素，第四像素点为权重图中与第二像素点同一位置对应的像素。3.根据权利要求1所述的关键点定位方法，其特征在于，所述权重图包括第一权重矩阵，所述权重图的数值与所述第一权重矩阵的元素一一对应，在所述对所述热度图进行归一化处理之前，所述方法还包括：将所述热度图转换为热度矩阵，所述热度图的数值与所述热度矩阵的元素一一对应；所述对所述热度图进行归一化处理，包括：若所述热度矩阵的所有元素不完全处于[0,1]之间，则利用预先设定的第一指数归一模型对所述热度矩阵进行处理，得到第一权重矩阵；所述第一指数归一模型，包括：其中，σ1(H)为所述第一权重矩阵；exp(H)为第一指数矩阵，所述第一指数矩阵中的每一元素都为以e为底，以所述热度矩阵对应的元素为幂的指数；exp(H)i，j为所述第一指数矩阵中第i行第j列的元素。4.根据权利要求3所述的关键点定位方法，其特征在于，所述权重图包括第二权重矩阵，所述对所述热度图进行归一化处理，包括：若所述热度矩阵的所有元素均处于[0,1]之间，则利用预先设定的第二指数归一模型对所述热度矩阵进行处理，得到第二权重矩阵；所述第二指数归一模型，包括：其中，σ2(H)为所述第二权重矩阵；Hα为第二指数矩阵，所述第二指数矩阵包括多个为以Hi，j为底，以α为幂的指数，Hi，j为所述热度矩阵中第i行第j列的元素。5.根据权利要求4所述的关键点定位方法，其特征在于，所述权重矩阵中具有较大数值的元素与较小数值的元素的比值与α成正相关。6.根据权利要求3-5任一项所述的关键点定位方法，其特征在于，所述针对所述权重图中的每个像素点，计算所述像素点的权重值与坐标值的乘积，包括：利用预先建立的横坐标加权模型对权重矩阵的每一元素进行计算，得到所述权重矩阵的每一元素与横坐标值的乘积；所述横坐标加权模型为：其中，Xi，j为所述权重矩阵中第i行第j列的元素与横坐标值的乘积，σ(H)i，j为所述...

【专利技术属性】
技术研发人员：王栋梁，
申请(专利权)人：广州图普网络科技有限公司，
类型：发明
国别省市：广东,44