一种面向复杂康复运动视频序列3D人体姿态估计方法技术

本发明专利技术涉及康复运动技术领域，尤其涉及一种面向复杂康复运动视频序列3D人体姿态估计方法，包括：S1：将视频逐帧进行拆分，获得每一帧的彩色图像，一帧内图像不满足有运动人员出现的条件，将在该步骤被直接剔除；S2：拆分并筛选好的彩色图片，将按照一个批次大小的彩色图片输入三维姿态估计模块，逐批次生成三维姿态；S3：将生成的三维姿态重新组合成视频序列，视频帧率按照需求决定，默认设置为每秒30帧。本发明专利技术能够将人体骨骼化，并从三维视角精准衡量人体在空间内的运动轨迹，为精准辅助康复治疗奠定基础。本发明专利技术为完全无接触，不会给康复人员带来任何的额外负担，进而对康复人员的表现带来人为的影响。

【技术实现步骤摘要】

本专利技术涉及康复运动，尤其涉及一种面向复杂康复运动视频序列3d人体姿态估计方法。

技术介绍

1、"健康中国"战略理念引领下，人们的健康意识逐渐增强，更加积极、主动地参与健康运动，根据中国医学报告，有4.1亿人接触过体育运动，运动出现的损伤再也不是运动员的代名词，这些运动损伤人员急需一种新型、方便的康复方法。然而现在的康复运动场景下，存在大量的康复运动视频，然而二维人体姿态估计虽然在实时场景取得了较好的结果，但是由于受到维度制约，该方法在限制比较严格的康复运动视频上的表现无法达到预期。此外，硬件设备虽然精度高，但无法做到无接触，常常会干扰康复过程。受这些启发，本专利技术提出了一种面向复杂康复运动视频序列3d人体姿态估计方法，能够将人体骨骼化，并从三维视角精准衡量人体在空间内的运动轨迹，为精准辅助康复治疗奠定基础。

技术实现思路

1、本专利技术的目的是为了解决现有技术中存在的缺点，而提出的一种面向复杂康复运动视频序列3d人体姿态估计方法，通过创新模型和多元算法，为康复医疗提供高维评估视角。</p>

2、为了本文档来自技高网...

【技术保护点】

1.一种面向复杂康复运动视频序列3D人体姿态估计方法，其特征在于，所述联合学习3D人体姿态估计方法采用序列到序列的方式，包括以下步骤：

2.根据权利要求1所述的一种面向复杂康复运动视频序列3D人体姿态估计方法，其特征在于，在步骤S2中，三维姿态估计模块包括：首先获取彩色图像的二维人体姿态关键部位的二维坐标点坐标并进行位置编码；之后采用四支路变换器作为主干结构，主干结构内部的所有同名模块共享权重，减少参数量，并通过其中的两路实现捕获长序列时间与空间之间的交互关系，同时经过额外的两路还能对原始的二维坐标点输入进行单独的时序以及空间考虑；这四条支路不同的信息在模型训练过程中所占的比...

【技术特征摘要】

1.一种面向复杂康复运动视频序列3d人体姿态估计方法，其特征在于，所述联合学习3d人体姿态估计方法采用序列到序列的方式，包括以下步骤：

2.根据权利要求1所述的一种面向复杂康复运动视频序列3d人体姿态估计方法，其特征在于，在步骤s2中，三维姿态估计模块包括：首先获取彩色图像的二维人体姿态关键部位的二维坐标点坐标并进行位置编码；之后采用四支路变换器作为主干结构，主干结构内部的所有同名模块共享权重，减少参数量，并通过其中的两路实现捕获长序列时间与空间之间的交互关系，同时经过额外的两路还能对原始的二维坐标点输入进行单独的时序以及空间考虑；这四条支路不同的信息在模型训练过程中所占的比重并不相同，为了实现自动化学习最优权重，设置可学习参数学习隐式关系；合成后的输出通过一个最终的额外变换器模块获得三维姿态输出，输出形式为三维点坐标。

3.根据权利要求2所述的一种面向复杂康复运动视频序列3d人体姿态估计方法，其特征在于，所述的二维坐标点坐标并不能直接作为直接输入进入主干结构，基于传统transformer思想和后续的四条支路结构，两条时间编码器支路将进行时间位置编码，另外两条空间编码器支路将采用空间位置编码；对于一个任意的二维坐标点输入其中bs为批次大小，f为分割的帧数，j为关键部位点的个数，之后将会对输入最后一维进行维度扩展，并重排通道变为三维度的空间输入时间输入为四维度设置为该输入的空间编码增强过程和时间编码增强过程通过下式表达：

4.根据权利要求2所述的一种面向复杂康复运动视频序列3d人体姿态估计方法，其特征在于，所述的四支路变换器为主干结构，四支路变换器由空间模块和时间模块构成，四支路变换器的第一条支路采用空间模块作为编码器和解码器，用于获取输入在空间单独作用的信息；四支路变换器的第二条支路和第三条支路用于考虑时间和空间的交互作用，第二条支路使用空间模块作为编码器和时间模块作为解码器，第三条支路使用时间模块作为编码器和空间模块作为解码器；第四条支路用于单独考虑...

【专利技术属性】
技术研发人员：张堃，张鹏程，欧阳鹏，邵睿，吴承刚，华亮，
申请(专利权)人：南通大学，
类型：发明
国别省市：