本发明专利技术涉及人体姿态估计技术领域，尤其涉及人体姿态估计方法、装置、设备及存储介质，所述方法包括：构建轻量级采样模型；获取教学视频，根据教学视频获取多个显示图像，并分别对多个显示图像进行预处理，得到多个特征图，根据预设的比例对多个特征图像进行分配，以生成训练集和测试集；将训练集输入至所构建的轻量级采样模型内，以预设的迭代方式对轻量级采样模型进行迭代训练，得到完成训练的轻量级采样模型；将测试集输入至完成训练的轻量级采样模型中，根据采样结果计算评价指标；本申请公开的方法，通过构建轻量级采样模型对显示图像进行处理，可减少处理过程中的计算量和参数量，确保检测精度的同时，有效提高了处理效率。有效提高了处理效率。有效提高了处理效率。
【技术实现步骤摘要】
人体姿态估计方法、装置、设备及存储介质
[0001]本专利技术涉及人体姿态估计
，尤其涉及一种人体姿态估计方法、装置、设备及存储介质。
技术介绍
[0002]人体姿态估计是研究基于图像的观测数据恢复关节和躯干姿态的算法或系统，是计算机视觉领域最具挑战和研究意义的方向之一；人体姿态准确的自动识别，是人类活动识别、计算行为分析、人的再识别和人机交互等任务的基本步骤；根据人体姿态估计信息的空间维度，可以将人体姿态估计分为二维人体姿态估计和三维人体姿态估计，二维姿态估计算法通过获取二维图像上的人体关键点的位置信息以及肢体的位置和方向信息，最终得到的人体关节点坐标与骨骼信息可直接影响三维人体姿态估计的结果，所以颇具挑战。
[0003]人体姿态估计的准确度和快速性直接影响了后续的视频分析系统，现有技术一般采用神经网络分类器实现人体姿态估计，神经网络结构很大程度上影响着人体姿态估计的结果好坏，其强大的学习能力有助于解决图像中背景复杂和人体被遮挡的问题，因此研究人员总致力于设计出更好的网络结构；目前比较流行的网络模型主要是基于ResNet、Hourglass、HRNet和生成对抗网络(GAN)等骨干网络；而现阶段更具优越性的是采用并行融合多分辨率特征方法的HRNet网络。
[0004]HRNet网络通过卷积层和池化层的堆叠实现特征的提取，在图像输出网络后卷积层做特征的抽取，而池化做特征的聚合，并且让模型具有一定程度上的平移不变性，以降低后面卷积层的算力，最后到全连接层输出分类结果；然而堆叠就会导致参数和计算量不断增大，即现有的HRNet网络存在计算参数多、计算量大、计算效率低的问题，降低了后续的视频分析系统的反馈速度，影响了用户的使用体验。
[0005]可见，现有技术还有待改进和提高。
技术实现思路
[0006]为了克服现有技术的不足，本专利技术的目的在于提供一种人体姿态估计方法、装置、设备及存储介质，具有处理效率高的优点，可实现分析效果的快速反馈，提高用户的使用体验。
[0007]本专利技术第一方面提供了一种人体姿态估计方法，包括：构建轻量级采样模型，所述轻量级采样模型包括空间转置卷积模块、1
×
1卷积模块和注意力模块；获取教学视频，根据教学视频获取多个显示图像，并分别对多个显示图像进行预处理，得到多个特征图，根据预设的比例对多个特征图像进行分配，以生成训练集和测试集；将训练集输入至所构建的轻量级采样模型内，以预设的迭代方式对轻量级采样模型进行迭代训练，得到完成训练的轻量级采样模型；将测试集输入至完成训练的轻量级采样模型中，根据采样结果计算评价指标。
[0008]可选的，在本专利技术第一方面的第一种实施方式中，所述获取教学视频，根据教学视
频获取多个显示图像，并分别对多个显示图像进行预处理，得到多个特征图，根据预设的比例对多个特征图像进行分配，以生成训练集和测试集，具体包括：获取教学视频，采用帧差法从教学视频中提取多个显示图像，并将所提取的显示图像存储在JSON生成的文件中；采用基于轮廓的算法对多个显示图像进行预处理，并将显示图像的尺寸设置为256
×
256，像素设置为400
×
400，通过关键点标注方法对显示图像的关节点坐标进行标注，得到多个特征图；根据7:3的比例划分多个特征图，以生成训练集和测试集。
[0009]可选的，在本专利技术第一方面的第二种实施方式中，所述将训练集输入至所构建的轻量级采样模型内，具体包括：获取训练集中的任一特征图输入至所构建的轻量级采样模型内；1
×
1卷积模块扩大特征图的通道数，以将低纬度信息转换为高纬度信息；空间卷积模块对每个通道进行空间转换，以提高特征图的分辨率；1
×
1卷积模块将空间转换后的通道恢复至原来的通道数；注意力模块动态地调整各个通道的权重，以将各通道信息融合，并将特征图压缩回原始维度。
[0010]可选的，在本专利技术第一方面的第三种实施方式中，所述以预设的迭代方式对轻量级采样模型进行迭代训练，得到完成训练的轻量级采样模型，具体包括：采用Adam 优化器以1e
‑
5的学习率对轻量级采样模型进行迭代训练，每次迭代以指数方式衰减；当达到预设的迭代次数时，停止迭代，并输出完成训练的轻量级采样模型。
[0011]可选的，在本专利技术第一方面的第四种实施方式中，所述将测试集输入至完成训练的轻量级采样模型中，根据采样结果计算评价指标，具体包括：获取测试集并输入至完成训练的轻量级采样模型内，生成采样结果；根据采样结果计算评价指标，所述评价指标为PCK指标。
[0012]本专利技术第二方面提供了一种人体姿态估计装置，包括：构建模块，用于构建轻量级采样模型，所述轻量级采样模型包括空间转置卷积模块、1
×
1卷积模块和注意力模块；获取模块，用于获取教学视频，根据教学视频获取多个显示图像，并分别对多个显示图像进行预处理，得到多个特征图，根据预设的比例对多个特征图像进行分配，以生成训练集和测试集；训练模块，用于将训练集输入至所构建的轻量级采样模型内，以预设的迭代方式对轻量级采样模型进行迭代训练，得到完成训练的轻量级采样模型；评价模块，用于将测试集输入至完成训练的轻量级采样模型中，根据采样结果计算评价指标。
[0013]可选的，在本专利技术第二方面的第一种实现方式中，所述获取模块包括：第一获取单元，用于获取教学视频，采用帧差法从教学视频中提取多个显示图像，并将所提取的显示图像存储在JSON生成的文件中；处理单元，用于采用基于轮廓的算法对多个显示图像进行预处理，并将显示图像的尺寸设置为256
×
256，像素设置为400
×
400，通过关键点标注方法对显示图像的关节点坐标进行标注，得到多个特征图；划分单元，用于根据7:3的比例划分多个特征图，以生成训练集和测试集。
[0014]可选的，在本专利技术第二方面的第二种实现方式中，所述训练模块包括：第二获取单元，用于获取训练集中的任一特征图输入至所构建的轻量级采样模型内；扩大单元，用于1
×
1卷积模块扩大特征图的通道数，以将低纬度信息转换为高纬度信息；转换单元，用于空间卷积模块对每个通道进行空间转换，以提高特征图的分辨率；恢复单元，用于1
×
1卷积模块将空间转换后的通道恢复至原来的通道数；融合单元，用于注意力模块动态地调整各个通道的权重，以将各通道信息融合，并将特征图压缩回原始维度。
[0015]可选的，在本专利技术第二方面的第三种实现方式中，所述训练模块还包括：迭代单元，用于采用Adam 优化器以1e
‑
5的学习率对轻量级采样模型进行迭代训练，每次迭代以指数方式衰减；输出单元，用于当达到预设的迭代次数时，停止迭代，并输出完成训练的轻量级采样模型。
[0016]可选的，在本专利技术第二方面的第四种实现方式中，所述评价模块包括：第三获取单元，用于获取测试集并输入至完成训练的轻量级采样模型内，生成采样结果；计算单本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种人体姿态估计方法，其特征在于，包括：构建轻量级采样模型，所述轻量级采样模型包括空间转置卷积模块、1
×
1卷积模块和注意力模块；获取教学视频，根据教学视频获取多个显示图像，并分别对多个显示图像进行预处理，得到多个特征图，根据预设的比例对多个特征图像进行分配，以生成训练集和测试集；将训练集输入至所构建的轻量级采样模型内，以预设的迭代方式对轻量级采样模型进行迭代训练，得到完成训练的轻量级采样模型；将测试集输入至完成训练的轻量级采样模型中，根据采样结果计算评价指标。2.根据权利要求1所述的一种人体姿态估计方法，其特征在于，所述获取教学视频，根据教学视频获取多个显示图像，并分别对多个显示图像进行预处理，得到多个特征图，根据预设的比例对多个特征图像进行分配，以生成训练集和测试集，具体包括：获取教学视频，采用帧差法从教学视频中提取多个显示图像，并将所提取的显示图像存储在JSON生成的文件中；采用基于轮廓的算法对多个显示图像进行预处理，并将显示图像的尺寸设置为256
×
256，像素设置为400
×
400，通过关键点标注方法对显示图像的关节点坐标进行标注，得到多个特征图；根据7:3的比例划分多个特征图，以生成训练集和测试集。3.根据权利要求1所述的一种人体姿态估计方法，其特征在于，所述将训练集输入至所构建的轻量级采样模型内，具体包括：获取训练集中的任一特征图输入至所构建的轻量级采样模型内；1
×
1卷积模块扩大特征图的通道数，以将低纬度信息转换为高纬度信息；空间卷积模块对每个通道进行空间转换，以提高特征图的分辨率；1
×
1卷积模块将空间转换后的通道恢复至原来的通道数；注意力模块动态地调整各个通道的权重，以将各通道信息融合，并将特征图压缩回原始维度。4.根据权利要求3所述的一种人体姿态估计方法，其特征在于，对于输入大小为Cin
×
Win
×
Hin的特征图，输出大小为 Cout
×
Wout
×
Hout的特征图，所述轻量级采样模型的计算量的计算公式以及参数量的计算公式分别为：；；其中，为高维度特征的...
【专利技术属性】
技术研发人员：李友高，吴星辰，常沛炜，许朝智，
申请(专利权)人：季华实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。