【技术实现步骤摘要】
本专利技术涉及运动领域，特别涉及一种基于单目rgb-d相机的田径运动员人体姿态估计方法。
技术介绍
1、基于视觉的单目人体姿态估计，是计算机视觉中最为基础且最具有挑战性的任务之一，其旨在利用输入图像和视频序列来获取人体姿态。近年来随着深度学习的不断发展，基于深度学习技术的hpe也取得了显著的进展。
2、可参考现有公开号为cn112183316b的中国专利，其公开了：一种运动员人体姿态测量方法，包括如下步骤：获取待测运动员在运动过程中按时间排序的多方位视图，作为待测图像组序列；基于待测图像组序列得到待测运动员各关节点的二维图像坐标序列；基于待测运动员各关节点的二维图像坐标序列得到待测运动员各关节点的初步三维空间坐标序列；基于待测运动员各关节点的初步三维空间坐标序列构建待测运动员的人体三维骨架模板；基于骨架各关节点之间的运动链关系驱动人体三维骨架模板，并与待测运动员各关节点的初步三维空间坐标序列进行匹配优化，得到待测运动员各关节点的实际三维空间坐标序列。
3、再如现有公开号为cn112364815a的中国专利，其公开了：一种基于三维模型的跳高运动员跳高姿态检测方法，该方法首先使用关键点检测网络检测跳高图像中跳高运动员的人体关键点并生成人体关键点标签数据；对人体关键点进行高斯核卷积，将得到的跳高运动员的二维关键点序列输入tcn网络中，经tcn网络处理后得到跳高运动员的三维姿态序列；其次建立参数可调控的跳高运动员三维模型，通过调整三维模型的姿态参数实现三维模型可变姿态，并与跳高图像中跳高运动员的跳高姿态相匹配；最
4、上述的姿态测试具有很多优点，但是针对目前单目人体姿态估计具有一些独特的特点和挑战。人体姿态估计面临的挑战主要有三个方面：1.人类灵活的身体意味着关键点之间有着更复杂的内在关联和更高自由度的肢体动作，这对模型训练提出了更高的挑战；2.人体的着装意味着各式各样的身体外形；3.复杂的环境可能会导致前景信息难以提取(隐藏在背景中的人)，或者是进行多人检测时，不同个体间的相互遮挡会导致检测难度激增；同样地，相机的拍摄位置和角度，都会增加单目估计的难度。
技术实现思路
1、针对
技术介绍
中提到的问题，本专利技术的目的是提供一种基于单目rgb-d相机的田径运动员人体姿态估计方法，以解决
技术介绍
中提到的问题。
2、本专利技术的上述技术目的是通过以下技术方案得以实现的：
3、一种基于单目rgb-d相机的田径运动员人体姿态估计方法，包括以下步骤：
4、s1、拍照获取图像：单目rgb-d相机对运动员进行实时拍照，并将拍照的图像存储；
5、s2、姿态时序合并：首先，采用矩形框将需要进行姿态估计的人体分别从当前帧、前一帧、后一帧中框出来，通过hrnet将人体头部、左右脚等人体各部位的热图分别估计出来；在姿态时序合并时，按照部位进行分组后进行分组卷积；
6、s3、姿态残差融合：姿态残差融合时，使用后一帧减去当前帧、当前帧前去前一帧的方式得到运动残差，以此获得运动上下文信息；
7、s4、姿态预测：在姿态矫正网络，设计多层膨胀卷积将热图信息和运动上下文信息一起进行处理，给出一个姿态预测。
8、较佳的，所述s2中，建模关节间关系用以显式嵌入关节自由度、骨骼长度，针对每个关节都建立一个三维坐标系，使得每个关节都能够通过前一个关节的坐标系通过旋转平移等操作进行表征。
9、较佳的，所述s2中，给视频中每一帧都设置一个局部隐状态，保存每一帧的运动信息，然后设置一个全局隐状态来建模整个时间序列的运动信息，将每一个局部隐状态与自己的前后两个相邻帧进行信息交换，进行信息的传递与交换，并自适应进行递归所需步数的调整。
10、较佳的，所述s3中，使用目标检测算法检测出单个人体，基于单个人体估计姿态，采用基于回归和基于热力图的形式进行姿态估计，所述基于回归包括深度网络与线性回归结合的方式，所述基于热力图包括关键点-热力图转换、图高分辨率+空间信息+多尺度融合的方式。
11、较佳的，所述s2中，使用关键点检测出所有人体关键点，基于位置关系或其他辅助信息将关键点组合成不同的人。
12、较佳的，所述s4中，先检测不同人的位置并对每一个人生成边界框，然后将边界框的图像裁剪出来并分别进行单人姿态估计，先预测每一个输入图像中存在的每个身体小块做一次目标检测，然后利用human model算法将它们分别组装起来，形成完整的姿态估计数据，其中身体小块可以是骨骼关键点，肢体或者其他形式划分的像素块。
13、较佳的，所述s1中对遮挡的图片进行信息处理，采用遮挡鲁棒姿态映射算法处理遮挡信息，采用局部分类回归网络，经过三个阶段进行处理，包括：采用r-cnn来检测人的位置、将每个姿势候选被分配一个分类器评分的最近锚姿势、将最后的姿态分别用一个回归器进行细化。
14、较佳的，所述s4中，根据运动学树体模型从2d heatmap预测相对关节位置，根据运动学树体模型，利用全局2d关节位置和局部身体部位图像，将运动学对象模型嵌入到网络中，用于提供方向和旋转约束的一般铰接对象姿势估计，利用时间信息和人体运动模型分别进行平滑滤波和骨架拟合，使用编码器-解码器网络在自我监督下学习没有2d或3d注释的潜在可变身体模型，然后使用预先训练的编码器预测3d姿势。
15、综上所述，本专利技术主要具有以下有益效果：
16、本专利技术可实现基于单目rgb-d相机的田径运动员人体姿态估计，计算更加简单，并且可以对复杂的环境进行处理，能够尽可能提取最多的姿态信息，在进行多人检测时，可解决不同个体间的相互遮挡会导致检测难度激增的问题。
本文档来自技高网...【技术保护点】
1.一种基于单目RGB-D相机的田径运动员人体姿态估计方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种基于单目RGB-D相机的田径运动员人体姿态估计方法，其特征在于：所述S2中，建模关节间关系用以显式嵌入关节自由度、骨骼长度，针对每个关节都建立一个三维坐标系，使得每个关节都能够通过前一个关节的坐标系通过旋转平移等操作进行表征。
3.根据权利要求1所述的一种基于单目RGB-D相机的田径运动员人体姿态估计方法，其特征在于：所述S2中，给视频中每一帧都设置一个局部隐状态，保存每一帧的运动信息，然后设置一个全局隐状态来建模整个时间序列的运动信息，将每一个局部隐状态与自己的前后两个相邻帧进行信息交换，进行信息的传递与交换，并自适应进行递归所需步数的调整。
4.根据权利要求3所述的一种基于单目RGB-D相机的田径运动员人体姿态估计方法，其特征在于：所述S3中，使用目标检测算法检测出单个人体，基于单个人体估计姿态，采用基于回归和基于热力图的形式进行姿态估计，所述基于回归包括深度网络与线性回归结合的方式，所述基于热力图包括关键点-热力图转换、图高
5.根据权利要求1所述的一种基于单目RGB-D相机的田径运动员人体姿态估计方法，其特征在于：所述S2中，使用关键点检测出所有人体关键点，基于位置关系或其他辅助信息将关键点组合成不同的人。
6.根据权利要求1所述的一种基于单目RGB-D相机的田径运动员人体姿态估计方法，其特征在于：所述S4中，先检测不同人的位置并对每一个人生成边界框，然后将边界框的图像裁剪出来并分别进行单人姿态估计，先预测每一个输入图像中存在的每个身体小块做一次目标检测，然后利用human model算法将它们分别组装起来，形成完整的姿态估计数据，其中身体小块可以是骨骼关键点，肢体或者其他形式划分的像素块。
7.根据权利要求1所述的一种基于单目RGB-D相机的田径运动员人体姿态估计方法，其特征在于：所述S1中对遮挡的图片进行信息处理，采用遮挡鲁棒姿态映射算法处理遮挡信息，采用局部分类回归网络，经过三个阶段进行处理，包括：采用R-CNN来检测人的位置、将每个姿势候选被分配一个分类器评分的最近锚姿势、将最后的姿态分别用一个回归器进行细化。
8.根据权利要求1所述的一种基于单目RGB-D相机的田径运动员人体姿态估计方法，其特征在于：所述S4中，根据运动学树体模型从2D heatmap预测相对关节位置，根据运动学树体模型，利用全局2D关节位置和局部身体部位图像，将运动学对象模型嵌入到网络中，用于提供方向和旋转约束的一般铰接对象姿势估计，利用时间信息和人体运动模型分别进行平滑滤波和骨架拟合，使用编码器-解码器网络在自我监督下学习没有2D或3D注释的潜在可变身体模型，然后使用预先训练的编码器预测3D姿势。
...【技术特征摘要】
1.一种基于单目rgb-d相机的田径运动员人体姿态估计方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种基于单目rgb-d相机的田径运动员人体姿态估计方法，其特征在于：所述s2中，建模关节间关系用以显式嵌入关节自由度、骨骼长度，针对每个关节都建立一个三维坐标系，使得每个关节都能够通过前一个关节的坐标系通过旋转平移等操作进行表征。
3.根据权利要求1所述的一种基于单目rgb-d相机的田径运动员人体姿态估计方法，其特征在于：所述s2中，给视频中每一帧都设置一个局部隐状态，保存每一帧的运动信息，然后设置一个全局隐状态来建模整个时间序列的运动信息，将每一个局部隐状态与自己的前后两个相邻帧进行信息交换，进行信息的传递与交换，并自适应进行递归所需步数的调整。
4.根据权利要求3所述的一种基于单目rgb-d相机的田径运动员人体姿态估计方法，其特征在于：所述s3中，使用目标检测算法检测出单个人体，基于单个人体估计姿态，采用基于回归和基于热力图的形式进行姿态估计，所述基于回归包括深度网络与线性回归结合的方式，所述基于热力图包括关键点-热力图转换、图高分辨率+空间信息+多尺度融合的方式。
5.根据权利要求1所述的一种基于单目rgb-d相机的田径运动员人体姿态估计方法，其特征在于：所述s2中，使用关键点检测出所有人体关键点，基于位置关系或其他辅助信息将关键点组合成不同的人。...
【专利技术属性】
技术研发人员：苑廷刚，程泓人，高东旭，
申请(专利权)人：国家体育总局体育科学研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。