基于人体姿态识别的融合特征运动类视频关键帧提取方法技术

本发明专利技术公开了一种基于人体姿态识别的融合特征运动类视频关键帧提取方法，包括以下步骤：S1.对目标视频段进行逐帧分割；S2.用残差网络进行静态特征提取，将数据进行维度，得到的视频帧静态特征；S3.对三维空间中人体的骨骼数据进行抽象，对视频帧进行运动特征的提取，得到运动特征S

【技术实现步骤摘要】
基于人体姿态识别的融合特征运动类视频关键帧提取方法


[0001]本专利技术设计视频处理领域，特别涉及一种融合特征的运动类视频关键帧提取的方法。

技术介绍

[0002]对于视频而言，视频都是一个图像序列，其内容比一张图像丰富很多，表现力强，信息量大，通常来讲，对于视频的分析都是将视频分解为视频帧后进行的，但视频帧通常存在大量冗余，提取出视频关键帧后进行分析，就能够有效减少运算时间。
[0003]随着网络的发展，多媒体信息检索对社会各领域产生越来越大的影响，传统的视频检索方法会运用图像检索方法逐帧进行检索，这种方法需要处理大量的图像信息，对信息传输和计算造成很大的负担。除此之外，在家用摄像设备普及的今天，我们经常需要将一段监控保存下来，但是视频类信息的保存需要占用大量存储空间，采用视频关键帧的方式存储，既能保持视频信息的真实性，又能很大程度地节省空间。
[0004]对于运动类视频，运动对象状态变化频繁，由于运动目标的多样性和动作的相似性，若只考虑运动特征很容易出现漏检的情况，特征提取的偏差可能较大，所以本专利技术通过融合特征的方式，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人体姿态识别的融合特征运动类视频关键帧提取方法，其特征在于，包括以下步骤：S1.对目标视频段进行逐帧分割，将视频分割为一系列视频帧；S2.用残差网络进行静态特征提取，将数据进行降维处理，得到的视频帧静态特征S
s
＝[S
s1
，S
s2
，...，S
sT
]；S3.对三维空间中人体的骨骼数据进行抽象，对视频帧进行运动特征的提取，得到运动特征S
d
＝[S
d1
，S
d2
，...，S
dT
]；S4.将提取出的静态特征S
s
和运动特征S
d
按照权重大小做线性加权处理，S＝mS
s
+nS
d
，m和n分别为静态特征的权重因子和运动特征的权重因子；S5.对融合后的特征通过自注意力机制提取全局特征，而后计算视频帧的重要性，通过伯努利函数采取相应动作关键帧的提取，并使用强化学习进行结果集的优化。2.根据权利要求1所述的基于人体姿态识别的融合特征运动类视频关键帧提取方法，其特征在于，步骤S3的具体方法如下：S31.针对视频中的每一帧进行人体骨架提取，并使用轻量级HRNet进行人体姿态分析；S32.将视频每一帧识别出的骨骼关键点坐标及置信度作为输入，根据骨骼之间的物理联系构建拓扑图，而后对其进行批归一化处理；S33.将处理后的数据经过多个S
‑
GCN单元进行特征提取，为不同的躯干赋予不同的权重系数，得到视频的特征表示S
d
＝{S
d1
，S
d2
，...，S
dT
}。3.根据权利要求2所述的基于人体姿态识别的融合特征运动类视频关键帧提取方法，其特征在于，步骤S31的具体方法如下：S311.每个阶段每个分支的子网包括两个残差块和一个多分辨率融合模块；S312.以ShuffleNet的Shuffle模块替换掉了原网络中所有的残差块，Shuffle模块将通道分为两部分，一部分直接通过，...

【专利技术属性】
技术研发人员：郑艳伟，江文，李博韬，于东晓，
申请(专利权)人：山东大学，
类型：发明
国别省市：