本公开关于一种目标对象关键点的检测方法、装置、电子设备及存储介质，所述方法包括：获取相邻的第一视频帧和第二视频帧之间的相似度；当相似度小于预设阈值时，调用对象检测模型确定第二视频帧中的目标对象区域；当相似度大于或等于预设阈值时，基于第一视频帧已检测的目标对象关键点，确定第二视频帧中的目标对象区域，进而可以基于目标对象区域，检测第二视频帧中的目标对象关键点。本公开的方案，可以在相似度较小时通过对象检测模型确定目标对象区域，避免频繁调用，降低终端功耗，而在相似度较高时基于上一视频帧的关键点确定目标对象区域，避免错误使用上一帧的关键点，有效提高识别准确性，实现终端功耗与关键点识别准确性之间的平衡。准确性之间的平衡。准确性之间的平衡。
【技术实现步骤摘要】
目标对象关键点的检测方法、装置、电子设备及存储介质
[0001]本公开涉及计算机
，尤其涉及一种目标对象关键点的检测方法、装置、电子设备及存储介质。
技术介绍
[0002]随着计算机技术的发展，人体关键点检测技术作为底层算法支持，发挥着越来越重要的作用。以视频编辑为例，通过人体关键点检测技术识别出视频中人体的不同部位，用户可以对视频中指定的人体部位进行美化，如调整腿部或腰部的粗细，从而提供更好的视频效果。
[0003]相关技术中，针对视频编辑过程中的人体美化，可以逐一识别各视频帧中的人体关键点；或者，按照预设间隔选取视频帧，进行人体关键点的识别。
[0004]然而，在上述方法中，前者对处理设备的计算能力要求较高，后者虽然可以在一定程度上降低运算量，但存在人体关键点检测不准确的问题。可见，相关技术存在识别人体关键点时，存在难以兼顾识别准确性和处理设备性能的问题。
技术实现思路
[0005]本公开提供一种目标对象关键点的检测方法、装置、电子设备及存储介质，以至少解决相关技术中在识别关键点时难以兼顾识别准确性和处理设备性能的问题。本公开的技术方案如下：
[0006]根据本公开实施例的第一方面，提供一种目标对象关键点的检测方法，包括：
[0007]获取相邻的第一视频帧和第二视频帧之间的相似度；所述第一视频帧的视频帧顺序在所述第二视频帧之前，所述第二视频帧为当前待检测的视频帧；
[0008]当所述相似度小于预设阈值时，调用对象检测模型确定所述第二视频帧中的目标对象区域；
[0009]当所述相似度大于或等于所述预设阈值时，基于所述第一视频帧已检测的目标对象关键点，确定所述第二视频帧中的目标对象区域；
[0010]基于从所述第二视频帧中确定出的所述目标对象区域，检测所述第二视频帧中的目标对象关键点。
[0011]在一示例性实施例中，所述基于从所述第二视频帧中确定出的所述目标对象区域，检测所述第二视频帧中的目标对象关键点，包括：
[0012]将所述目标对象区域对应的图像输入关键点检测模型，以通过所述关键点检测模型检测所述图像中各像素点为目标对象关键点的概率，基于所述概率确定所述图像中的目标对象关键点。
[0013]在一示例性实施例中，所述关键点检测模型基于如下方式得到：
[0014]获取包含目标对象的训练图像，以及所述训练图像中目标对象对应的真实关键点；所述真实关键点包括第一类关键点和第二类关键点；所述第一类关键点包括肢体部位
的关键点，所述第二类关键点包括躯干部位的关键点；
[0015]将所述训练图像输入到待训练的神经网络模型，以通过所述神经网络模型识别所述训练图像中各个像素点为所述目标对象关键点的概率，基于所述概率确定多个预测关键点；
[0016]通过所述神经网络模型中预设的监督模块确定所述神经网络模型当前的损失函数；其中，所述监督模块基于所述真实关键点与所述预测关键点对应的第一损失函数，以及，参照矢量和当前矢量对应的第二损失函数，确定所述损失函数，所述参照矢量为表征所述真实关键点中所述第一类关键点和所述第二类关键点之间的相对位置的矢量，所述当前矢量表征所述多个预测关键点中预测的第一类关键点与预测的第二类关键点之间相对位置的矢量；
[0017]基于所述损失函数，对所述神经网络模型的参数进行调整，直到满足训练结束条件，得到训练后的神经网络模型；
[0018]从所述训练后的神经网络模型中删除所述监督模块，得到所述关键点检测模型。
[0019]在一示例性实施例中，所述神经网络模型包括多个串联的网络模块，所述网络模块用于针对输入图像输出对应的热力图；所述热力图中各个像素点对应的响应值表征该像素点为目标对象关键点的概率；
[0020]所述将所述训练图像输入到待训练的神经网络模型，以通过所述神经网络模型识别所述训练图像中各个像素点为所述目标对象关键点的概率，包括：
[0021]将所述训练图像对应的特征图作为所述神经网络模型中的首个所述网络模块的输入图像；以及将前一网络模块输出的热力图作为后一网络模块的输入图像；
[0022]基于最后一个网络模块输出的热力图，确定所述训练图像中各个像素点为所述目标对象关键点的概率。
[0023]在一示例性实施例中，每个所述网络模块对应设置有一个监督模块；
[0024]所述通过预设的监督模块，基于参照矢量和所述当前矢量确定所述神经网络模型当前的损失函数，包括：
[0025]针对每个所述网络模块，确定该网络模块输出的热力图中多个预测关键点对应的当前矢量，并通过该网络模块对应的监督模块，基于参照矢量和该网络模块对应的当前矢量，确定该网络模块对应的局部损失函数；
[0026]基于所述多个网络模块各自对应的局部损失函数，确定所述神经网络模型的损失函数。
[0027]在一示例性实施例中，所述获取相邻的第一视频帧和第二视频帧之间的相似度，包括：
[0028]获取第一视频帧对应的第一灰度图，并基于所述第一灰度图，确定所述第一视频帧中的像素值对应的第一分布信息；
[0029]获取第二视频帧对应的第二灰度图，并基于所述第二灰度图，确定所述第二视频帧中的像素值对应的第二分布信息；
[0030]根据所述第一分布信息和所述第二分布信息的相似度，确定所述对一视频帧和所述第二视频帧之间的相似度。
[0031]在一示例性实施例中，所述基于所述第一视频帧已检测的目标对象关键点，确定
所述第二视频帧中的目标对象区域，包括：
[0032]获取所述第一视频帧对应的目标对象关键点，并确定所述第一视频帧的目标对象关键点所对应的外接框；
[0033]根据所述外接框在所述第一视频帧中的区域，确定所述第二视频帧中的目标对象区域。
[0034]根据本公开实施例的第二方面，提供一种目标对象关键点的检测装置，包括：
[0035]相似度获取单元，被配置为执行获取相邻的第一视频帧和第二视频帧之间的相似度；所述第一视频帧的视频帧顺序在所述第二视频帧之前，所述第二视频帧为当前待检测的视频帧；
[0036]第一目标对象识别单元，被配置为执行当所述相似度小于预设阈值时，调用对象检测模型确定所述第二视频帧中的目标对象区域；
[0037]第二目标对象识别单元，被配置为执行当所述相似度大于或等于所述预设阈值时，基于所述第一视频帧已检测的目标对象关键点，确定所述第二视频帧中的目标对象区域；
[0038]关键点检测单元，被配置为执行基于从所述第二视频帧中确定出的所述目标对象区域，检测所述第二视频帧中的目标对象关键点。
[0039]在一示例性实施例中，所述关键点检测单元，包括：
[0040]图像输入模块，被配置为执行将所述目标对象区域对应的图像输入关键点检测模型，以通过所述关键点检测模型检测所述图像中各像素点为目标对象关键点的概率，基于所述概率确定所述图像中的目标对象关键点。
[00本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种目标对象关键点的检测方法，其特征在于，包括：获取相邻的第一视频帧和第二视频帧之间的相似度；所述第一视频帧的视频帧顺序在所述第二视频帧之前，所述第二视频帧为当前待检测的视频帧；当所述相似度小于预设阈值时，调用对象检测模型确定所述第二视频帧中的目标对象区域；当所述相似度大于或等于所述预设阈值时，基于所述第一视频帧已检测的目标对象关键点，确定所述第二视频帧中的目标对象区域；基于从所述第二视频帧中确定出的所述目标对象区域，检测所述第二视频帧中的目标对象关键点。2.根据权利要求1所述的方法，其特征在于，所述基于从所述第二视频帧中确定出的所述目标对象区域，检测所述第二视频帧中的目标对象关键点，包括：将所述目标对象区域对应的图像输入关键点检测模型，以通过所述关键点检测模型检测所述图像中各像素点为目标对象关键点的概率，基于所述概率确定所述图像中的目标对象关键点。3.根据权利要求2所述的方法，其特征在于，所述关键点检测模型基于如下方式得到：获取包含目标对象的训练图像，以及所述训练图像中目标对象对应的真实关键点；所述真实关键点包括第一类关键点和第二类关键点；所述第一类关键点包括肢体部位的关键点，所述第二类关键点包括躯干部位的关键点；将所述训练图像输入到待训练的神经网络模型，以通过所述神经网络模型识别所述训练图像中各个像素点为所述目标对象关键点的概率，基于所述概率确定多个预测关键点；通过所述神经网络模型中预设的监督模块确定所述神经网络模型当前的损失函数；其中，所述监督模块基于所述真实关键点与所述预测关键点对应的第一损失函数，以及，参照矢量和当前矢量对应的第二损失函数，确定所述损失函数，所述参照矢量为表征所述真实关键点中所述第一类关键点和所述第二类关键点之间的相对位置的矢量，所述当前矢量表征所述多个预测关键点中预测的第一类关键点与预测的第二类关键点之间相对位置的矢量；基于所述损失函数，对所述神经网络模型的参数进行调整，直到满足训练结束条件，得到训练后的神经网络模型；从所述训练后的神经网络模型中删除所述监督模块，得到所述关键点检测模型。4.根据权利要求3所述的方法，其特征在于，所述神经网络模型包括多个串联的网络模块，所述网络模块用于针对输入图像输出对应的热力图；所述热力图中各个像素点对应的响应值表征该像素点为目标对象关键点的概率；所述将所述训练图像输入到待训练的神经网络模型，以通过所述神经网络模型识别所述训练图像中各个像素点为所述目标对象关键点的概率，包括：将所述训练图像对应的特征图作为所述神经网络模型中的首个所述网络模块的输...
【专利技术属性】
技术研发人员：耿淼，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。