一种基于时空掩码重建的骨架检测模型的构建方法技术

本发明专利技术提供了一种基于时空掩码重建的骨架检测模型的构建方法。构建方法包括：将多个未遮掩时空立方体输入编码器，获取多个低维度的特征表示；将多个低维度的特征表示和多个正确位置输入解码器，获取高维度的t幅训练热力图；将标签转化为t幅正确热力图，计算t幅训练热力图和t幅正确热力图的损失；根据损失优化训练网络的参数；获取多个带有标签的t张训练图像，迭代至损失收敛，完成训练，将训练网络的参数固定，由此构建骨架检测模型。本发明专利技术解决的问题是：相关技术中的技术方案无法在骨架信息被遮挡或不完整的情况下，准确地还原识别出完整的人体骨架图。完整的人体骨架图。完整的人体骨架图。

【技术实现步骤摘要】
一种基于时空掩码重建的骨架检测模型的构建方法


[0001]本专利技术涉及图像数据处理
，具体而言，涉及一种基于时空掩码重建的骨架检测模型的构建方法。

技术介绍

[0002]人体姿态识别是检测图像或者视频中人体关键点的位置、构建人体骨架图的过程。利用人体姿态信息可以进一步进行动作识别、人机信息交互、异常行为检测等任务。然而，人的肢体比较灵活，姿态特征在视觉上变化比较大，容易受到视角和服饰变化的影响，同时，经常会出现用户的身体部分被遮挡的情况，导致在检测识别用户的人体姿态时，用户的骨架信息存在被遮掩和不完整的情况。因此，当前使用的骨架模型HRNet在实际部署中存在着问题，其无法在用户的骨架信息被遮挡或不完整的情况下，准确地还原识别出完整的人体骨架图。
[0003]由此可见，相关技术中存在的问题是：相关技术中的技术方案无法在骨架信息被遮挡或不完整的情况下，准确地还原识别出完整的人体骨架图。

技术实现思路

[0004]本专利技术解决的问题是：相关技术中的技术方案无法在骨架信息被遮挡或不完整的情况下，准确地还原识别出完整的人体骨架图。
[0005]为解决上述问题，本专利技术提供了一种基于时空掩码重建的骨架检测模型的构建方法，构建方法包括：
[0006]S100：获取被打标签的t张训练图像，对t张训练图像进行的打标签是指，将每张训练图像的人体骨架关键点坐标和每张训练图像建立对应关系，t张训练图像可组成连续的t帧训练视频；
[0007]S200：训练网络将t张训练图像划分为多个时空立方体，并对部分时空立方体进行遮掩，获取多个未遮掩时空立方体，并记录多个未遮掩时空立方体对应的正确位置，对部分时空立方体进行遮掩是指，忽略被遮掩的部分时空立方体的信息；
[0008]S300：将多个未遮掩时空立方体输入编码器，获取多个低维度的特征表示；
[0009]S400：将多个低维度的特征表示和多个正确位置输入解码器，获取高维度的t幅训练热力图；
[0010]S500：将标签转化为t幅正确热力图，计算t幅训练热力图和t幅正确热力图的损失；
[0011]S600：根据损失优化训练网络的参数；
[0012]S700：获取多个带有标签的t张训练图像，循环S200至S600的步骤，迭代至损失收敛，完成训练，将训练网络的参数固定，由此构建骨架检测模型；
[0013]其中，t为大于或等于2的整数。
[0014]与现有技术相比，采用该技术方案所达到的技术效果：经过时空掩码重建的骨架
检测模型对于用户的骨架信息被遮挡或不完整的情况下，能够准确地还原识别出完整的人体骨架图。
[0015]在本专利技术的一个实施例中，在S100之前，还包括：
[0016]获取带有标签的训练视频，从训练视频中抽取t张训练图像，对训练视频打标签是指，将训练视频中每帧的人体骨架关键点坐标和训练视频的每帧建立对应关系。
[0017]与现有技术相比，采用该技术方案所达到的技术效果：通过本实施例的方法能够快速地获取t张训练图像，以满足本专利技术的构建方法的训练需要。
[0018]在本专利技术的一个实施例中，训练图像为RGB图像；或，训练图像为深度图像。
[0019]与现有技术相比，采用该技术方案所达到的技术效果：在本实施例的方案中，可通过输入不同种类的训练图像，使训练完成的骨架检测模型适用于相应种类的训练图像，有效地提升了其实用性。
[0020]在本专利技术的一个实施例中，t张训练图像包括H
×
W
×
t个像素；
[0021]其中，H为每张训练图像的高度，W为每张训练图像的宽度，t为训练图像的数量。
[0022]在本专利技术的一个实施例中，编码器和解码器均为Vision Transformer网络结构。
[0023]与现有技术相比，采用该技术方案所达到的技术效果：Vision Transformer网络结构能够准确地完成本专利技术中编码器和解码器的工作，提高了本专利技术的构建方法的可靠性。
[0024]在本专利技术的一个实施例中，编码器包括编码器全连接层和Transformer blocks，S300包括：
[0025]将多个未遮掩时空立方体输入编码器全连接层进行线性映射后，再输入Transformer blocks中，得到多个特征表示。
[0026]与现有技术相比，采用该技术方案所达到的技术效果：通过本实施例的方法能够准确地得到多个未遮掩时空立方体内的信息，进而使后续的构建方法更加准确地的进行。
[0027]在本专利技术的一个实施例中，解码器包括解码器全连接层和reshape，S400包括：
[0028]将多个低维度的特征表示和多个正确位置输入解码器全连接层进行线性映射后，再输入reshape中，得到t幅训练热力图。
[0029]与现有技术相比，采用该技术方案所达到的技术效果：通过本实施例的方法能够根据编码器输出的信息还原得到完整的训练热力图，进而使后续的构建方法更加准确地的进行。
附图说明
[0030]图1为本专利技术一些实施例的基于时空掩码重建的骨架检测模型的构建方法的步骤流程图。
具体实施方式
[0031]为使本专利技术的上述目的、特征和优点能够更为明显易懂，下面结合附图对本专利技术的具体实施例做详细的说明。
[0032]参见图1，本实施例提供一种基于时空掩码重建的骨架检测模型的构建方法，构建方法包括：
[0033]S100：获取被打标签的t张训练图像，对t张训练图像进行的打标签是指，将每张训练图像的人体骨架关键点坐标和每张训练图像建立对应关系，t张训练图像可组成连续的t帧训练视频；
[0034]S200：训练网络将t张训练图像划分为多个时空立方体，并对部分时空立方体进行遮掩，获取多个未遮掩时空立方体，并记录多个未遮掩时空立方体对应的正确位置，对部分时空立方体进行遮掩是指，忽略被遮掩的部分时空立方体的信息；
[0035]S300：将多个未遮掩时空立方体输入编码器，获取多个低维度的特征表示；
[0036]S400：将多个低维度的特征表示和多个正确位置输入解码器，获取高维度的t幅训练热力图；
[0037]S500：将标签转化为t幅正确热力图，计算t幅训练热力图和t幅正确热力图的损失；
[0038]S600：根据损失优化训练网络的参数；
[0039]S700：获取多个带有标签的t张训练图像，循环S200至S600的步骤，迭代至损失收敛，完成训练，将训练网络的参数固定，由此构建骨架检测模型；
[0040]其中，t为大于或等于2的整数。
[0041]在本实施例中，提供了一种基于时空掩码重建的骨架检测模型的构建方法，通过本专利技术的构建方法构建的骨架检测模型，能够应用于人体工学智能设备，使人体工学智能设备能够在骨架信息被遮挡或不完整的情况下，准确地还原识别出完整的人体骨架图。
[0042]需要说明的是，人体工学智本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时空掩码重建的骨架检测模型的构建方法，其特征在于，所述构建方法包括：S100：获取被打标签的t张训练图像，对t张所述训练图像进行的所述打标签是指，将每张所述训练图像的人体骨架关键点坐标和每张所述训练图像建立对应关系，t张所述训练图像可组成连续的t帧训练视频；S200：训练网络将t张所述训练图像划分为多个时空立方体，并对部分所述时空立方体进行遮掩，获取多个未遮掩时空立方体，并记录多个所述未遮掩时空立方体对应的正确位置，对部分所述时空立方体进行遮掩是指，忽略被遮掩的部分所述时空立方体的信息；S300：将多个所述未遮掩时空立方体输入编码器，获取多个低维度的特征表示；S400：将多个所述低维度的特征表示和多个所述正确位置输入解码器，获取高维度的t幅训练热力图；S500：将所述标签转化为t幅正确热力图，计算t幅所述训练热力图和t幅所述正确热力图的损失；S600：根据所述损失优化所述训练网络的参数；S700：获取多个带有标签的t张所述训练图像，循环所述S200至所述S600的步骤，迭代至损失收敛，完成训练，将所述训练网络的参数固定，由此构建骨架检测模型；其中，t为大于或等于2的整数。2.根据权利要求1所述的构建方法，其特征在于，在所述S100之前，还包括：获取带有标签的训练视频，从所述训练视...

【专利技术属性】
技术研发人员：项乐宏，王翀，夏银水，李裕麒，戴鑫淼，
申请(专利权)人：乐歌人体工学科技股份有限公司，
类型：发明
国别省市：