【技术实现步骤摘要】
基于关键点与网格顶点互补增强的3D人体姿态估计方法
[0001]本专利技术涉及计算机视觉
，具体涉及基于关键点与网格顶点互补增强的3D人体姿态估计方法。
技术介绍
[0002]人体姿态估计是计算机视觉在过去几十年中最重要的任务之一，是机器理解人体动作的基础。它的目标是识别、定位图像/视频中的所有人体的预设关键点(如肘部、手腕等)，使得人体的姿态、运动数据化。该技术通常以人体关键点坐标或姿态参数对姿态进行描述，可应用于如人机交互、虚拟现实、智能监控、体育竞技等诸多
[0003]过去一段时间，2D人体姿态估计一直是计算机视觉领域的主要研究内容。然而，2D人体姿态估计存在一些局限性：由于最终估计结果为人体关键点在二维图像上的坐标，因此无法准确描述关键点在三维空间中的具体位置以及肢体的旋转和形状信息。3D人体姿态估计的目标是推断出人体关键点在三维空间中的坐标，实现更准确和真实的姿态表示。因此，通过将姿态信息转化到三维空间，研究者可以获得更多关于人体姿态、空间结构和运动状态的详细信息，为相关领域的研究和应用提供
【技术保护点】
【技术特征摘要】
1.基于关键点与网格顶点互补增强的3D人体姿态估计方法，其特征在于，包括：S1：获取待估计的连续视频帧；S2：将连续视频帧输入训练后的回归预测模型，输出各个视频帧的SMPL模型参数；回归预测模型的处理步骤如下：S201：将连续视频帧输入骨干网，提取各个视频帧的关键点热度图以及浅层特征和最终层特征；S202：依次将各个视频帧的关键点热度图转换为2D关键点坐标和2D关键点特征；然后根据各个视频帧的2D关键点特征学习关键点的时空相关性，生成对应的3D关键点坐标；S203：根据各个视频帧的浅层特征和最终层特征进行多尺度特征处理，生成对应的部分3D顶点热度图；然后将各个视频帧的部分3D顶点热度图转换为对应的3D顶点坐标；S204：根据各个视频帧的3D关键点坐标和3D顶点坐标生成关键点
‑
顶点嵌入特征；S205：将各个视频帧的关键点
‑
顶点嵌入特征输入SMPL参数回归模块中，输出对应的SMPL模型参数；S3：基于各个视频帧的SMPL模型参数构建对应的SMPL模型，作为各个视频帧估计的3D人体姿态模型。2.如权利要求1所述的基于关键点与网格顶点互补增强的3D人体姿态估计方法，其特征在于：步骤S201中，对连续视频帧进行数据预处理，得到单人裁剪后的连续视频帧，进而将单人裁剪后的连续视频帧输入骨干网。3.如权利要求1所述的基于关键点与网格顶点互补增强的3D人体姿态估计方法，其特征在于，步骤S202中，通过如下步骤生成视频帧的3D关键点坐标：S2021：通过βsoftargmax函数将视频帧的关键点热度图转换为对应的2D关键点坐标；S2022：通过线性嵌入将2D关键点坐标转换为高维度的2D关键点特征；S2023：将高维度的2D关键点特征输入时空堆叠注意力模块，在时间层面和空间层面多次利用注意力机制提取不同视频帧中相同关键点间的特征和相同视频帧中不同关键点间的特征以反复学习关键点的时空相关性，生成对应的时空加权3D关键点特征；S2024：根据时空加权3D关键点特征生成对应的3D关键点坐标。4.如权利要求3所述的基于关键点与网格顶点互补增强的3D人体姿态估计方法，其特征在于：步骤S2023中，时空堆叠注意力模块包括多个堆叠的时空注意力模块；前一时空注意力模块输出的特征作为后一时空注意力模块的输入，最后一个时空注意力模块输出的特征作为时空加权3D关键点特征；每个时空注意力模块包括如下处理步骤：1)在时间层面，首先将输入的特征在关键点层面进行拆分，使得关键点之间解除耦合，进而在时间层面聚合得到包含时间信息的高维时间特征；其次高维时间特征经过层归一化在时间层面调整数据的分布，再经过多层感知机结构的MLP层进一步提取特征；最后经过层归一化后由多头注意力模块对相同关键点的时间相关性进行建模，捕捉关键点的运动轨迹，生成时间注意力加权后的特征；2)在空间层面，对时间注意力加权后的特征在时间层面解除耦合，在空间层面聚合以生成蕴含空间信息的高维时空特征；其次高维时空特征经过层归一化在空间层面调整数据的分布，再经过多层感知机结构的MLP层进一步提取特征；最后经过层归一化后由多头注意
力模块对关键点之间的空间关系进行建模，捕捉关键点之间的位置依赖，生成时空注意力加权后的特征；3)将时空注意力加权后的特征维度变换至与输入特征的维度一致。5.如权利要求1所述的基于关键点与网格顶点互补增强的3D人体姿态估计方法，其特征...
【专利技术属性】
技术研发人员：潜丽妃，罗玲，姜宗伯，仲元红，徐乾锋，黄智勇，韩术，钟代笛，周庆，
申请(专利权)人：重庆大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。