【技术实现步骤摘要】
一种序列多尺度深度特征融合的层级舞蹈动作姿态估计方法
本专利技术属于计算机视觉
，更具体的说是涉及一种序列多尺度深度特征融合的层级舞蹈动作姿态估计方法。
技术介绍
舞蹈是文化的重要表现形式之一，我国舞蹈课堂人数通常较多，教师只能粗略地通过学生的肢体动作及面部表情获取学生的动作变化，难以精确地了解到学生对舞蹈动作实时掌握的情况。因此，运用信息技术实时对舞者的动作姿态进行估计，及时获得课堂舞蹈教学状态信息，将极大促进因材施教的实施。随着科技与文化深度融合的开展，舞蹈图像中的动作姿态估计将成为计算机视觉技术的一个重要应用领域，其不仅可以用于专业舞蹈者动作纠正，舞蹈自助教学等应用场景，还可以用于运动员运动分析、比赛仲裁、动作识别、影视娱乐、辅助游戏设计、增强现实(AugmentedReality,AR)、虚拟现实(VirtualReality,VR)等多个人机交互现实场景。同时，可以充分发挥舞蹈教学作为“文化自信”育人载体的作用，实现中华民族文化的振兴，对于传承中华文化具有重要意义。目前，多人姿态估计方法可以分...
【技术保护点】
1.一种序列多尺度深度特征融合的层级舞蹈动作姿态估计方法，其特征在于，包括如下步骤：/n(1)基于YOLOv3的人体框检测/n首先基于YOLOv3检测器进行舞蹈者人体检测框的提取，将RGB图像输入YOLOv3模型，获得相应的人体检测框用于人体姿态估计；/n(2)序列多尺度特征融合模型/n对步骤(1)中所获得的人体检测框进行关节点特征提取，来获得融合多分辨率多尺度信息的特征；在融合多分辨率多尺度信息的特征上使用softmax函数获得关节点的heatmap，由heatmap估算获得各关节的位置信息；/n(3)基于关节点几何关系的层级姿态估计方法/n对步骤(2)中所估计得到的人体...
【技术特征摘要】
1.一种序列多尺度深度特征融合的层级舞蹈动作姿态估计方法，其特征在于，包括如下步骤：
(1)基于YOLOv3的人体框检测
首先基于YOLOv3检测器进行舞蹈者人体检测框的提取，将RGB图像输入YOLOv3模型，获得相应的人体检测框用于人体姿态估计；
(2)序列多尺度特征融合模型
对步骤(1)中所获得的人体检测框进行关节点特征提取，来获得融合多分辨率多尺度信息的特征；在融合多分辨率多尺度信息的特征上使用softmax函数获得关节点的heatmap，由heatmap估算获得各关节的位置信息；
(3)基于关节点几何关系的层级姿态估计方法
对步骤(2)中所估计得到的人体骨骼关节点进行关节点几何关系关联性预测，通过分析关节点之间的几何关系，构建基于关节点几何关系的层级姿态估计模型，进行多层次的关节点估计。
2.根据权利要求1所述的一种序列多尺度深度特征融合的层级舞蹈动作姿态估计方法，其特征在于，所述序列多尺度特征融合模型首先以HRNet网络为骨干网络其由4个并行的多分辨率子网构成，每个子网络采用ResNet模块设计原则，由4个残差单元组成。
3.根据权利要求2所述的一种序列多尺度深度特征融合的层级舞蹈动作姿态估计方法，其特征在于，所述HRNet网络首先以高分辨率的子网络作为起始阶段，然后重复添加从高分辨率到低分辨率的子网络形成第2，3，4阶段的输出，然后，通过聚合单元对高、中、低分辨率的特征进行跨尺度的融合，并行连接多分辨率子网络，得到相应的输出特征图。
4.根据权利要求3所述的一种序列多尺度深度特征融合的层级舞蹈动作姿态估计方法，其特征在于，所述序列多尺度特征融合模型以HRNet网络最后一个聚合单元输出的4个特征图作为序列多尺度特征融合模块的输入特征其中，m表示输入特征对应的分辨率；对于任意的第ith分辨率的特征，首先进行conv(3×3)卷积操作，然后进行插值和反卷积操作使ith分辨率的特征上采样变成修正后的i-1th分辨率特征
其中，conv表示卷积操作，Int和Dec分别表示插值和反卷积操作；
接着，级联上采样获得的修正后的i-1th分辨率特征和第i-1th分辨率特征得到融合后的第i-1th分辨率特征X′i-1：
其中，concat表示级联特征和
经过反复执行公式(1)和公式(2)实现高、低分辨率特征的序列融合，通过公式(2)，最终获得融合多分辨率多尺度信息的特征X′1；
最后，在最终的...
【专利技术属性】
技术研发人员：杨红红，吴晓军，张玉梅，苏玉萍，裴昭，
申请(专利权)人：陕西师范大学，
类型：发明
国别省市：陕西;61
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。