【技术实现步骤摘要】
一种基于三维人体蒙皮的潜水员动作识别方法
[0001]本专利技术涉及计算机视觉
，是一种基于三维人体蒙皮的潜水员动作识别方法。
技术介绍
[0002]动作识别是计算机理解人类行为的基础，在人机交互，视频理解等领域都发挥着重要作用，在计算机视觉领域已经成为了热门话题。由于潜水员作业环境的特殊性，他们无法通过语言的形式进行沟通与表达，但是由于人类肢体天然的富有强语义信息，因此潜水员水下作业能够借助一些动作来表达一些特殊含义。比如能够通过不同手势，来表达自己体能透支、缺氧、腿抽筋等紧急情况。在这样的场景下，如何准确高效的识别潜水员动作，成为了一个重要的研究方向。
[0003]现有的潜水员动作识别方法大多数都是基于人体骨骼点进行，但由于骨骼数据缺乏人体表面信息，更加抽象，低语义而只能表示人体的动作特征，无法体现出更具体，更高层次的信息，比如形状特征、顶点特征等，并不能更加准确的表示人体动作。为了利用更具体，更高层次的语义信息，本申请提出了基于三维人体蒙皮的潜水员动作识别方法。由于人体结构能够天然的表示成一个图结构，因此...
【技术保护点】
【技术特征摘要】
1.一种基于三维人体蒙皮的潜水员动作识别方法，其特征是：所述方法包括以下步骤：步骤1：通过三维人体姿态估计方法提取潜水员视频帧的人体形状，姿态和顶点信息；步骤2：将人体形状、姿态、顶点数据经过数据融合得到高层次语义信息；步骤3：利用高层次语义信息经过TCA
‑
GCN模块进行动作识别；步骤4：利用高层次语义信息经过STGCN模块进行动作识别；步骤5：将步骤3和步骤4的识别结果进行线性融合，对潜水员动作进行识别。2.根据权利要求1所述的方法，其特征是：所述步骤2具体为：将顶点信息下采样，同时将下采样顶点信息和形状信息分别经过特征提取网络中的卷积模块得到编码信息，将编码信息拼接到姿态信息，得到高层次语义信息。3.根据权利要求2所述的方法，其特征是：所述步骤3具体为：TCA
‑
GCN模块包括TCA模块和TF模块，其中TCA模块主要考虑了高层次语义信息的时空维度特征并进行结合，再经过TF模块将时间建模卷积的结果进行带有注意力方法的融合，最后将提取到的时空信息特征经过全连接层和Softmax层得到估计的动作类别。4.根据权利要求3所述的方法，其特征是：TCA 模块包括时间聚合, 拓扑生成以及两部分的通道维度聚合，其中TCA模块通过下式表示：下式表示：下式表示：其中，表示为通道维度聚合,表示为拼接操作，为潜水员关节特征在时间聚合之后的结构，表示特征经过拓扑生成处理的结果，为关节点特征在通道维度上的聚合，为1号关节点在时间维度上的卷积结果，为1号关节点经过拓扑处理的结果，为1号关节点特征在时间聚合之后的结构，为1号关节点特征经过拓扑生成处理的结果，为时间聚合模块，为时间权重特征，为关节点特征，为1号关节点的时间权重特征，为1号关节点特征，为第T号关节点的时间权重特征，为第T号关节点关节点特征，为三阶邻接矩阵的归一化和维数变换运算，为第k个通道的邻接矩阵，为关节连接强度的可训练参数，为通道相关性矩阵。5.根据权利要求4所述的方法，其特征是：TF模块通过下式表示...
【专利技术属性】
技术研发人员：姜宇，赵明浩，齐红，王跃航，王光诚，魏枫林，王凯，
申请(专利权)人：吉林大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。