一种人体关键点检测方法、装置、设备及存储介质制造方法及图纸

本公开提供了一种人体关键点检测方法、装置、设备及存储介质，涉及人工智能技术领域，具体涉及深度学习和计算机视觉技术领域，可应用于3D视觉、增强现实和虚拟现实等场景。具体实现方案为：获取待检测视频帧序列；对所述待检测视频帧序列中的待检测视频帧进行人体关键点检测，得到所述待检测视频帧对应的人体关键点之间的向量和人体关键点热图；根据所述人体关键点之间的向量和所述人体关键点热图，确定所述待检测视频帧中人体关键点的位置信息。通过上述技术方案，可以高效且精准定位视频帧中人体的关键点。人体的关键点。人体的关键点。

【技术实现步骤摘要】
一种人体关键点检测方法、装置、设备及存储介质


[0001]本公开涉及人工智能
，具体涉及深度学习和计算机视觉
，可应用于3D视觉、增强现实和虚拟现实等场景。

技术介绍

[0002]随着人工智能技术的发展，短视频、直播、在线教育等行业不断的兴起，在各种交互场景中，基于人体关键点信息进行互动的功能需求越来越多。那么，如何精准且高效定位人体关键点至关重要。

技术实现思路

[0003]本公开提供了一种人体关键点检测方法、装置、设备以及存储介质。
[0004]根据本公开的一方面，提供了一种人体关键点检测方法，该方法包括：
[0005]获取待检测视频帧序列；
[0006]对所述待检测视频帧序列中的待检测视频帧进行人体关键点检测，得到所述待检测视频帧对应的人体关键点之间的向量和人体关键点热图；
[0007]根据所述人体关键点之间的向量和所述人体关键点热图，确定所述待检测视频帧中人体关键点的位置信息。
[0008]根据本公开的另一方面，提供了一种电子设备，该电子设备包括：
[0009]至少一个处理器；以及
[0010]与所述至少一个处理器通信连接的存储器；其中，
[0011]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开任一实施例所述人体关键点检测方法。
[0012]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行本公开任一实施例所述的人体关键点检测方法。
[0013]根据本公开的技术，能够提高人体关键点的检测精准度。
[0014]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0015]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0016]图1是根据本公开实施例提供的一种人体关键点检测方法的流程图；
[0017]图2是根据本公开实施例提供的另一种人体关键点检测方法的流程图；
[0018]图3是根据本公开实施例提供的一种关键点检测模型的示意图；
[0019]图4是根据本公开实施例提供的又一种人体关键点检测方法的流程图图；
[0020]图5是根据本公开实施例提供的再一种人体关键点检测方法的流程图；
[0021]图6是根据本公开实施例提供的一种人体图结构中关键点的示意图；
[0022]图7是根据本公开实施例提供的一种人体关键点检测装置的结构示意图；
[0023]图8是用来实现本公开实施例的人体关键点检测方法的电子设备的框图。
具体实施方式
[0024]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0025]图1是根据本公开实施例提供的一种人体关键点检测方法的流程图，该方法适用于如何对人体关键点进行检测的情况。该方法可以由人体关键点检测装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成于承载人体关键点检测功能的电子设备中。如图1所示，本实施例的人体关键点检测方法可以包括：
[0026]S101，获取待检测视频帧序列。
[0027]本实施例中，待检测视频帧序列为需要进行人体关键点检测的视频帧序列。其中，视频帧序列即为各视频帧按照采集时间所组成的序列。
[0028]具体的，可以从短视频、直播和在线教育等交互场景的视频中，获取待检测视频帧序列。
[0029]S102，对待检测视频帧序列中的待检测视频帧进行人体关键点检测，得到待检测视频帧对应的人体关键点之间的向量和人体关键点热图。
[0030]本实施例中，人体关键点为用于表征人体的关键点，可以包括但不限于人体中心点、头部(头顶)、鼻子(或脸部中心)、脖子、右肩、右肘、右手腕、左肩、左肘、左手腕、胸部、盆骨、左髋、右髋、左膝盖、左脚踝、右膝盖和右脚踝等关键点。
[0031]进一步的，可以根据预设的人体结构连接关系，确定人体关键点之间的连接关系，例如头部(头顶)与鼻子(或脸部中心)相连，鼻子(或脸部中心)与脖子相连，脖子与右肩相连，脖子与胸部相连，胸部与人体中心点相连，人体中心点与盆骨相连等。
[0032]所谓人体关键点之间的向量用于表征相连两个人体关键点之间的距离关系，可以是相连两个人体关键点之间的位置坐标之差，例如头部与鼻子之间的位置坐标之差、人体中心点与胸部之间的位置坐标之差、右肩与胸部之间的位置坐标之差、以及右肩与右肘之间的位置坐标之差等。
[0033]所谓人体关键点热图为人体关键点的二维位置在图像中的热力图，包含人体关键点的二维位置信息；可选的，每一个人体关键点对应于一个人体关键点热图，比如头部对应于头部热图，人体中心点对应于人体中心点热图等。
[0034]一种可选方式，可以基于关键点检测模型，对待检测视频帧序列中的待检测视频帧进行人体关键点检测，经过模型处理，得到待检测视频帧对应的人体关键点之间的向量和人体关键点热图。其中，关键点检测模型为采用训练样本，基于机器学习算法预先训练得到的。
[0035]S103，根据人体关键点之间的向量和人体关键点热图，确定待检测视频帧中人体
关键点的位置信息。
[0036]具体的，可以基于解码模型，对人体关键点之间的向量和人体关键点热图进行处理，得到待检测视频帧中人体关键点的位置信息。其中，解码模型基于机器学习算法预先训练得到。
[0037]本公开实施例的技术方案，通过对获取的待检测视频帧序列中的待检测视频帧进行人体关键点检测，可得到待检测视频帧对应的人体关键点之间的向量和人体关键点热图，进而根据人体关键点之间的向量和人体关键点热图，可确定待检测视频帧中人体关键点的位置信息。上述技术方案，在人体关键点检测过程中，引入视频帧对应的人体关键点之间的向量，相比于现有的人体关键点检测方式比如高斯热图方式而言，提高了人体关键点检测精准度；进一步的，尤其是在多人场景下，本方案也可高效且精准定位每一人体的关键点。
[0038]图2是根据本公开实施例提供的另一种人体关键点检测方法的流程图；本实施例在上述实施例的基础上，对“对待检测视频帧序列中的待检测视频帧进行人体关键点检测，得到待检测视频帧对应的人体关键点之间的向量和人体关键点热图”进一步优化，提供了一种可选实施方案。如图2所示，本实施例的人体关键点检测方法可以包括：
[0039]S201，获取待检测视频帧序列。
[0040]S202，将待检测视频帧序列输入到关键点检测模型中的第一特征提取网络，得到本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人体关键点检测方法，包括：获取待检测视频帧序列；对所述待检测视频帧序列中的待检测视频帧进行人体关键点检测，得到所述待检测视频帧对应的人体关键点之间的向量和人体关键点热图；根据所述人体关键点之间的向量和所述人体关键点热图，确定所述待检测视频帧中人体关键点的位置信息。2.根据权利要求1所述的方法，其中，所述对所述待检测视频帧序列中的待检测视频帧进行人体关键点检测，得到所述待检测视频帧对应的人体关键点之间的向量和人体关键点热图，包括：将所述待检测视频帧序列输入到关键点检测模型中的第一特征提取网络，得到所述待检测视频帧序列中待检测视频帧对应的第一特征；将所述第一特征输入到所述关键点检测模型中的第二特征提取网络，得到所述待检测视频帧对应的目标特征；将所述目标特征输入到所述关键点检测模型中的关键点检测网络，得到所述待检测视频帧对应的人体关键点之间的向量和人体关键点热图。3.根据权利要求2所述的方法，其中，所述关键点检测模型中的第二特征提取网络包括正向特征提取网络和反向特征提取网络；相应的，所述将所述第一特征输入到所述关键点检测模型中的第二特征提取网络，得到所述待检测视频帧对应的目标特征，包括：分别将所述第一特征输入到所述正向特征提取网络和所述反向特征提取网络，得到所述待检测视频帧对应的正向特征和反向特征；将所述正向特征和所述反向特征进行融合，得到所述待检测视频帧对应的目标特征。4.根据权利要求1所述的方法，其中，所述根据所述人体关键点之间的向量和所述人体关键点热图，确定所述待检测视频帧中人体关键点的位置信息，包括：根据所述人体关键点热图中的人体中心点热图，确定所述待检测视频帧中人体中心点的二维坐标信息；根据所述人体中心点的二维坐标信息、所述人体关键点之间的向量和所述人体关键点热图中的非人体中心点热图，确定所述待检测视频帧中非人体中心点的二维坐标信息。5.根据权利要求4所述的方法，其中，所述根据所述人体中心点的二维坐标信息、所述人体关键点之间的向量和所述人体关键点热图中的非人体中心点热图，确定所述待检测视频帧中非人体中心点的二维坐标信息，包括：根据所述人体关键点中非人体中心点与所述人体中心点之间的连接关系，将所述非人体中心点分为第一关键点和第二关键点；根据所述人体中心点的二维坐标信息、第一关键点热图和所述第一关键点与所述人体中心点之间的向量，确定所述第一关键点的二维坐标信息；根据所述第一关键点的二维坐标信息、第二关键点热图、所述第一关键点与所述第二关键点之间的向量和不同第二关键点之间的向量，确定所述第二关键点的二维坐标信息。6.根据权利要求5所述的方法，其中，若所述人体中心点为至少两个，则每一人体中心点关联的第一关键点的第一关键点热图中包括至少两个子热图；
相应的，所述根据所述人体中心点的二维坐标信息、第一关键点热图和所述第一关键点与所述人体中心点之间的向量，确定所述第一关键点的二维坐标信息，包括：根据每一人体中心点的二维坐标信息，以及该人体中心点关联的第一关键点与该人体中心点之间的向量，确定该人体中心点关联的第一关键点的预测坐标信息；根据所述预测坐标信息，从该人体中心点关联的第一关键点热图的至少两个子热图中选择目标子热图；根据所述目标子热图，确定该人体中心点关联的第一关键点的二维坐标信息。7.根据权利要求4所述的方法，还包括：根据所述人体中心点的二维坐标信息和深度信息，确定所述人体中心点的三维坐标信息；根据所述人体中心点的深度信息和所述人体关键点之间的向量，确定所述非人体中心点的深度信息；根据所述非人体中心点的二维坐标信息和深度信息，确定所述非人体中心点的三维坐标信息。8.一种人体关键点检测装置，包括：视频帧序列获取模块，用于获取待检测视频帧序列；关键点检测模块，用于对所述待检测视频帧序列中的待检测视频帧进行人体关键点检测，得到所述待检测视频帧对应的人体关键点之间的向量和人体关键点热图；位置信息确定...

【专利技术属性】
技术研发人员：杨黔生，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：