本申请涉及一种人体关键点检测方法、装置和计算机存储介质。方法包括：检测当前场景下是否存在人体，若未检测到人体，采集第一深度图像；若检测到人体，采集第二深度图像，存储人体检测框；对采集的第一深度图像和第二深度图像进行帧差对比，获取深度变化区域图；获得人体掩码，通过人体掩码得到人体区域图像；得到单人人体区域图像，输入至关键点检测模型，输出多个人体关键点；获得每个人体关键点的置信度，根据置信度得到最终人体关键点。本发明专利技术的基于人体掩码的多分辨关键点检测方法，大幅提高关键点检测的准确率，解决背景误检，减少关键点定位错人等误检情况，减少无人店错单、漏单情况，降低经济损失同时提高用户体验。降低经济损失同时提高用户体验。降低经济损失同时提高用户体验。
【技术实现步骤摘要】
一种人体关键点检测方法、装置和计算机存储介质
[0001]本申请涉及计算机视觉
，特别是涉及一种人体关键点检测方法、装置和计算机存储介质。
技术介绍
[0002]随着计算机视觉领域的不断发展，人体关键点检测算法越来越受到人们的关注。人体关键点检测对于人体动作识别、人体姿态描述、乃至预测人体行为都至关重要。人体关键点检测是诸多计算机视觉任务的基石，例如无人店人货交互、各监控场景异常人体动作检测、电影制作中的动作捕捉等等。
[0003]目前，基于深度学习架构的人体关键点检测方法在简单背景单人情况下取得了显著的成果，主要包含自底向上和自顶向下两大类方法。然而，现行无论哪种方法在复杂背景、多人近距离情况下仍不能取得理想的效果。主要存在以下两大类问题：
[0004]1、在拥有复杂背景的实际场景中，现行算法容易将人体关键点误检测到背景上。
[0005]2、多人距离较近情况下，目标人体的人体关键点容易误检测到其周围临近人体的肢体上，同时，其他人体的关键点容易误检测到目标人体肢体上。
技术实现思路
[0006]为了解决上述问题，本专利技术提出了，
[0007]一种人体关键点检测方法，方法包括：
[0008]检测当前场景下是否存在人体，若未检测到人体，采集当前场景内的第一深度图像，并覆盖前次场景的未检测到人体的第一深度图像；若检测到人体，采集当前场景内的第二深度图像，存储与第二深度图像对应的人体检测框；
[0009]对采集的第一深度图像和第二深度图像进行帧差对比，获取深度变化区域图；
[0010]获得人体掩码，通过人体掩码得到人体区域图像；
[0011]使用人体检测框，得到单人人体区域图像，输入至关键点检测模型，输出多个人体关键点；
[0012]获得每个人体关键点的置信度，根据置信度得到最终人体关键点。
[0013]在一个实施例中，对第一深度图像和第二深度图像进行帧差对比，包括：
[0014]预设差值阈值，差值阈值由场景和深度相机确定；
[0015]将第一深度图像和第二深度图像的像素逐一相减，像素的差值大于阈值则记录差值，像素差值不大于阈值则记为零。
[0016]在一个实施例中，获得人体掩码，包括：
[0017]预设人体连通域限定阈值，判断深度变化区域图中各非零值连通域与上述限定阈值的大小关系；
[0018]若非零值连通域大于限定阈值，确定该非零连通区域为人体连通域，计算该人体连通域的质心；
[0019]若非零值连通域不大于限定阈值，确定该非零连通区域为非人体连通域并舍弃；
[0020]以各质心为基准点进行区域生长，得到第一人体区域掩码；
[0021]对第二深度图像进行人体实例分割，合并分割得到的各实例人体掩码，得到第二人体区域掩码；
[0022]融合第一人体区域掩码和第二人体区域掩码，获得人体掩码。
[0023]在一个实施例中，通过人体掩码得到人体区域图像，包括：
[0024]使用人体掩码截取第二深度图像中的人体区域，滤除图像中的背景部分，得到人体区域图像；
[0025]对人体区域图像进行预处理。
[0026]在一个实施例中，使用人体检测框，得到单人人体区域图像，包括：
[0027]保持人体检测框的中心点不变，等比例扩大人体检测框的范围；
[0028]根据扩大后的人体检测框，截取预处理后的人体区域图像，得到单人人体区域图像，并将该单人人体区域图像缩放到预定尺寸。
[0029]在一个实施例中，输入至关键点检测模型，输出多个人体关键点，包括：
[0030]单人人体区域图像输入关键点检测模型；
[0031]关键点检测模型输出多张人体关键点热力图，每张人体关键点热力图对应一个人体关键点。
[0032]在一个实施例中，获得每个人体关键点的置信度，根据置信度得到最终人体关键点，包括：
[0033]搜索各人体关键点热力图的峰值位置，确定峰值位置为该人体关键点热力图对应的人体关键点的检测位置，确定峰值数值为该人体关键点的置信度；
[0034]预设置信度阈值，判断各人体关键点的置信度与置信度阈值的大小关系；
[0035]若人体关键点的置信度大于置信度阈值，则输出该人体关键点的坐标和置信度；
[0036]若人体关键点的置信度不大于置信度阈值，则舍弃该人体关键点；
[0037]得到最终人体关键点。
[0038]在一个实施例中，输入至关键点检测模型，输出多个人体关键点，还包括：
[0039]将单人人体区域图像输入至关键点检测模型；
[0040]对输入的单人人体区域图像进行下采样，得到第一特征图；
[0041]对第一特征图分别进行线性插值和下采样，得到不同分辨率的第二特征图和第三特征图，开启对应的第一分辨率分支、第二分辨率分支和第三分辨率分支，并分别经过残差块处理；
[0042]第一分辨率分支、第二分辨率分支和第三分辨率分支分别进行第一次多分辨率交叉融合，其中，每一分支均需将对应的特征图和其余所有分支对应的特征图相加，完全交融后的各分支再次分别经过残差块处理；
[0043]将第一分辨率分支和第二分辨率分支对应的特征图经线性插值放大后，与第三分辨率分支的特征图进行第二次多分辨率交叉融合；
[0044]根据第二次多分辨率交叉融合后得到的特征图，输出多个人体关键点热力图，每张人体关键点热力图对应一个人体关键点。
[0045]一种人体关键点检测装置，装置包括：
[0046]检测模块，用于检测当前场景下是否存在人体；
[0047]第一采集模块，用于若未检测到人体，采集当前场景内的第一深度图像，并覆盖前次场景的未检测到人体的第一深度图像；
[0048]第二采集模块，用于若检测到人体，采集当前场景内的第二深度图像，存储于第二深度图像对应的人体检测框；
[0049]对比模块，用于对采集的第一深度图像和第二深度图像进行帧差对比，获取深度变化区域图；
[0050]截取模块，用于获得人体掩码，通过人体掩码得到人体区域图像；
[0051]关键点获取模块，用于使用人体检测框，得到单人人体区域图像，输入至关键点检测模型，输出多个人体关键点；
[0052]判断模块，用于获得每个人体关键点的置信度，根据置信度得到最终人体关键点。
[0053]一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述方法的步骤。
[0054]一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
[0055]本专利技术人体关键点检测方法、装置和计算机存储介质，提供一种基于人体掩码的多分辨率人体关键点检测方法，具有如下效果：
[0056]1、本专利技术融合了基于深度动态帧差区域生长和基于Yolact实例分割的两种人体掩码提本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种人体关键点检测方法，其特征在于，所述方法包括：检测当前场景下是否存在人体，若未检测到人体，采集当前场景内的第一深度图像，并覆盖前次场景的未检测到人体的第一深度图像；若检测到人体，采集当前场景内的第二深度图像，存储与第二深度图像对应的人体检测框；对采集的第一深度图像和第二深度图像进行帧差对比，获取深度变化区域图；获得人体掩码，通过所述人体掩码得到人体区域图像；使用所述人体检测框，得到单人人体区域图像，输入至关键点检测模型，输出多个人体关键点；获得每个所述人体关键点的置信度，根据所述置信度得到最终人体关键点。2.根据权利要求1所述的方法，其特征在于，所述对第一深度图像和第二深度图像进行帧差对比，包括：预设差值阈值，所述差值阈值由场景和深度相机确定；将第一深度图像和第二深度图像的像素逐一相减，像素的差值大于阈值则记录差值，像素差值不大于阈值则记为零。3.根据权利要求1所述的方法，其特征在于，所述获得人体掩码，包括：预设人体连通域限定阈值，判断所述深度变化区域图中各非零值连通域与上述限定阈值的大小关系；若所述非零值连通域大于所述限定阈值，确定该非零连通区域为人体连通域，计算该人体连通域的质心；若所述非零值连通域不大于所述限定阈值，确定该非零连通区域为非人体连通域并舍弃；以各所述质心为基准点进行区域生长，得到第一人体区域掩码；对所述第二深度图像进行人体实例分割，合并分割得到的各实例人体掩码，得到第二人体区域掩码；融合第一人体区域掩码和第二人体区域掩码，获得所述人体掩码。4.根据权利要求3所述的方法，其特征在于，所述通过所述人体掩码得到人体区域图像，包括：使用所述人体掩码截取所述第二深度图像中的人体区域，滤除图像中的背景部分，得到人体区域图像；对所述人体区域图像进行预处理。5.根据权利要求4所述的方法，其特征在于，所述使用所述人体检测框，得到单人人体区域图像，包括：保持所述人体检测框的中心点不变，等比例扩大所述人体检测框的范围；根据扩大后的人体检测框，截取预处理后的所述人体区域图像，得到单人人体区域图像，并将该单人人体区域图像缩放到预定尺寸。6.根据权利要求5所述的方法，其特征在于，所述输入至关键点检测模型，输出多个人体关键点，包括：所述单人人体区域图像输入关键点检测模型；所述关键点检测模型输出多张人体关键点热力图，每张所述人体关键点热力图对应一
个人体关键点。7.根据权利要求6所...
【专利技术属性】
技术研发人员：徐兆坤，卢运西，冀怀远，
申请(专利权)人：苏宁云计算有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。