一种多时间尺度下的骨骼行为识别视频帧提取方法及系统技术方案

本发明专利技术提供一种多时间尺度下的骨骼行为识别视频帧提取方法及系统，其技术要点在于，所述方法包括：首先通过目标检测算法对视频中的人物进行框选，获得视频中人物的位置信息，再使用人体关键点估计算法获得视频中人物信息的关键点位置，随后对堆叠后的人体关键点热图进行均匀采样，将均匀采样后的帧进行低中高频采样，使得模型能够从粗粒度到细粒度分层次学习到对于视频不同尺度下的特征，从而加强3D

【技术实现步骤摘要】
一种多时间尺度下的骨骼行为识别视频帧提取方法及系统


[0001]本专利技术涉及深度学习、行为检测，骨骼行为识别的多个
，具体地，涉及一种多时间尺度下的骨骼行为识别视频帧提取方法及系统。

技术介绍

[0002]行为识别随着时间发展，已经变成计算机视觉领域的重要任务，对于行为检测来说，已经发展了多种检测手段，包含有采用光流特征表达、RGB、骨骼等多模态作为特征进行检测，其中骨骼行为检测近些年来收到了越来越高的关注，因为其对于环境中其他信息的干扰有更好的鲁棒性。骨骼行为识别是首先通过网络提出人体关键点，再将检测出的人体关键点的骨骼位置作为一串序列作为网络输入，这样使得识别的时候能更好的注重于关键点的位置信息。
[0003]行为识别不同于以往传统的计算机视觉任务，其不仅需要在对图片的空间信息的特征进行提取，同样也需要对时间维度下的信息进行提取，即行为识别不仅依赖于某一帧的图像本身，同时还依赖于时间上关键点信息的变化。骨骼行为识别主要可以分为两大类别，一类是通过将骨骼关键点坐标看作图结构，通过使用图卷积(graph convolutiona本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多时间尺度下的骨骼行为识别视频帧提取方法，其特征在于，包括以下步骤：步骤1：输入原始图像，对原始图像中的视频人物进行框选，提取出视频中的2D人体姿态关键点，将获取的关键点转化为热图或坐标信息保存；步骤2：若保存为坐标信息则通过映射函数转换为热图，将热图堆叠后形成对应的人体关键点热图；步骤3：对堆叠后的人体关键点热图进行均匀采样，获得均匀采样后的帧作为下一阶段采样的原始输入；步骤4：对均匀采样帧进行处理，对低频采帧通道与中频采帧通道进行融合处理，融合后低频通道、中频通道的帧数与高频通道相同；步骤5：对多尺度下不同频率帧采用并行方式卷积通道，获取对应的特征信息；步骤6：将特征信息经过判断结果并归一化处理，根据识别后的概率结果，最终输出为行为识别类别。2.根据权利要求1所述的一种多时间尺度下的骨骼行为识别视频帧提取方法，其特征在于，所述对原始图像中的视频人物进行框选包括：通过目标检测算法对视频中的人物进行框选，输出为包含候选框的处理后的原始图像。3.根据权利要求1所述的一种多时间尺度下的骨骼行为识别视频帧提取方法，其特征在于，所述提取出视频中的2D人体姿态关键点包括：使用自上而下的人体姿态估计模型对框选的人体姿态进行估计，逐步增加高分辨率到低分辨率的子网，形成更多的阶段，并将多分辨率子网并行连接；在整个过程中，并行的多分辨率子网络上反复交换信息来进行多尺度的重复融合，网络最终输出的结果作为整体估计的关键点。4.根据权利要求1所述的一种多时间尺度下的骨骼行为识别视频帧提取方法，其特征在于，所述对堆叠后的人体关键点热图进行均匀采样包括：将视频切分成等长片段后从各个片段中均匀采样。5.根据权利要求1所述的一种多时间尺度下的骨骼行为识别视频帧提取方法，其特征在于，所述对均匀采样帧进行处理包括：取低频采帧通道、中频采帧通道和高帧率采帧通道对采样帧进行处理；其中，对于多个尺度下的通道划分，包括但不局限于以上三个采帧通道，其中，包含多个低频通道、中频通道和高频通道。6.根据权利要求1所述的一种多时间尺度下的骨骼行为识别视频帧提取方法，其特征在于，所述将低频采帧通道与中频采帧通道进行融合处理代入以下公式，式中，T
l
表示低帧率的采帧通道，T
m
表示中等采帧频率通道，T
h
表示高帧率采帧通道...

【专利技术属性】
技术研发人员：陈宏伟，李梦杰，
申请(专利权)人：湖北工业大学，
类型：发明
国别省市：