一种用于智慧监护的人体行为识别方法技术

本发明专利技术涉及一种用于智慧监护的人体行为识别方法，属于计算机视觉领域。该方法结合了RGB图像的特征丰富的优点和骨骼图像结构的长处，分别对视频中人物的空间和时间特征进行建模，避免了因骨骼建模时缺失环境特征导致的误判和图像序列时间建模时的性能损耗。同时有效的提高了模型的精度。本发明专利技术提出了融合图像与骨骼数据的方式实现对人体行为的识别，可以用于远程监控和智能医疗监护设施，网络以图像方式获得空间特征信息和简要的环境上下文信息，以骨骼运动特征获得行为活动的时间序列特征。以骨骼运动特征获得行为活动的时间序列特征。以骨骼运动特征获得行为活动的时间序列特征。

【技术实现步骤摘要】
一种用于智慧监护的人体行为识别方法


[0001]本专利技术属于计算机视觉领域，涉及一种用于智慧监护的人体行为识别方法。

技术介绍

[0002]卷积神经网络(CNN)在处理RGB图像数据中取得了很好的效果，性能也远超传统的手工提取特征的方法。视频数据具有良好的颜色信息和轮廓信息，可以通过网络模型充分学习。此外，视频数据收集方便，并且构建大规模数据集相对容易。在双流网络(Two
‑
Stream)中使用图像和光流序列作为两个卷积神经网络的输入，分别提取空间特征与时间特征。该方法在公共基准数据集上可以高效地模拟出视频中的动作信息，但存在提取光流特征时存在计算量大、消耗时间长等问题。三维卷积网络(C3D)将视频数据视为三维时空结构，采用三维卷积的方法学习人体行为特征。该方法利用三维卷积核将相邻帧图像特征与单帧的图像特征组合为时空特征，大大加强了人体行为特征的提取。但是基于RGB图像的方法也由于丰富的纹理特征，导致在时间建模时参数过多，因而对识别效率产生影响。
[0003]基于人类骨骼的行为识别由于其对服装纹理和背景变化具有鲁棒性，作为以关节为顶点、骨骼为边的自然拓扑结构图，极大的简化了视频数据中的特征数量。由于这些优点，基于骨架的动作识别方法在研究界引起了极大的关注。图神经网络(GraphNeuralNetworks,GNNs)的出现化解了以往算法难以处理非欧数据的困境，图神经网络能够提取节点间的关联特征，适用于任何拓扑结构，相较于其他方法，GNNs更能胜任以骨骼数据为基础的动作识别任务。将CNN的概念推广到GNNs中，于是形成了图卷积神经网络(GraphConvolutional Networks)，此类算法大幅提升了特征提取和表达能力。基于GCNs，Yan等提出了时空图卷积网络(Spatial
‑
TemporalGraphConvolutionalneuralNetwork,ST
‑
GCN)，能够从空间和时间维度提取空间结构特征和时间轨迹特征，形成高级时空特征，大幅提升动作识别精度。尽管骨骼数据在动作识别上有不错的表现，但是，将骨架数据表示为二维网格并不能完全表达相关关节之间的相关性。作为以关节为顶点、骨骼为边的自然拓扑结构图，用图结构代替二维图像进行特征提取的方法无疑破坏了原有的信息相关性。并且骨骼图结构忽略了除了人物以外的其他环境特征，而这部分环境特征的缺失可能造成严重的误判。
[0004]基于现有的研究，本专利技术提出了MVST网络，其结合了RGB图像的特征丰富的优点和骨骼图像结构的长处，分别对视频中人物的空间和时间特征进行建模，避免了因骨骼建模时缺失环境特征导致的误判和图像序列时间建模时的性能损耗。同时有效的提高了模型的精度。

技术实现思路

[0005]有鉴于此，本专利技术的目的在于提供一种用于智慧监护的人体行为识别方法，结合了RGB图像的特征丰富的优点和骨骼图像结构的长处，分别对视频中人物的空间和时间特征进行建模，避免了因骨骼建模时缺失环境特征导致的误判和图像序列时间建模时的性能
损耗。同时有效的提高了模型的精度。
[0006]为达到上述目的，本专利技术提供如下技术方案：
[0007]一种用于智慧监护的人体行为识别方法，该方法包括基于RGB图像的空间特征提取网络和基于骨骼数据的时间特征提取网络；
[0008]所述基于RGB图像的空间特征提取网络具体为：
[0009]S11：从视频中提取k帧RGB图像；
[0010]S12：利用2D卷积核分别提取每帧图像的浅层特征信息；
[0011]S13：嵌入的空间注意力机制，将图像特征中聚焦局部特征信息；
[0012]S14：将图像特征输入到ResNet网络中，利用3D卷积核对不同帧的特征进行上下文聚合；
[0013]S15：根据图像特征完成对动作的分类。
[0014]可选的，所述基于骨骼数据的时间特征提取网络具体为：
[0015]沿着时间的方向，所有的帧骨骼关键点作为一个独立的节点，研究该节点在不同帧中运动状态特征来计算帧之间的相关性；给定时间t的帧对于第i帧的节点n
i
，query向量key向量value向量
[0016]其中其他帧中的同一节点与本帧中的此节点的关系表示为：
[0017][0018][0019]其中，i
v
,j
v
表示相同关节v在i，j两个不同时刻的特征且是i
v
的查询向量query，和分别是关节点j
v
的key向量和value向量，是生成的节点嵌入；通过在时间上提取节点之间的帧间关系，网络可以学习帧间同一节点的运动关系，从而对动作序列进行建模；
[0020]利用残差卷积对图像特征进行提取，利用空间注意力机制将特征聚焦在前景位置，并且在深层网络中使用3D卷积进行帧间连接，提取空间特征的上下文信息；
[0021]图像特征和时间特征的帧率比值为1/8；
[0022]空间特征提取的具体过程如下：
[0023]S21：从视频中提取k帧RGB图像；
[0024]S22：利用2D卷积核分别提取每帧图像的浅层特征信息；
[0025]S23：嵌入的空间注意力机制，将图像特征中聚焦局部特征信息；
[0026]S24：将图像特征输入到ResNet网络中，利用3D卷积核对不同帧的特征进行上下文聚合；
[0027]S25：根据图像特征完成对动作的分类。
[0028]可选的，所述时间特征提取网络采用高帧率方式采样骨骼帧，将人的动作作为时间特征的主体；时间特征提取采用transformer进行提取，利用自注意力机制将相同节点在不同帧中的运动信息进行关联，寻找关节运动的相关性；
[0029]给定时间t的帧对于第i帧的节点n
i
，query向量key向量value向
量通过计算不同帧中的同一关节点之间的相关性，对关节点运动进行建模，实现对动作序列的表征。
[0030]本专利技术的有益效果在于：
[0031]本专利技术提出了融合图像与骨骼数据的方式实现对人体行为的识别，可以用于远程监控和智能医疗监护设施，网络以图像方式获得空间特征信息和简要的环境上下文信息，以骨骼运动特征获得行为活动的时间序列特征。
[0032]本专利技术的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本专利技术的实践中得到教导。本专利技术的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
[0033]为了使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作优选的详细描述，其中：
[0034]图1为本专利技术中网络总体框架；
[0035]图2为本专利技术中ResNet结构图；
[0036]图3为本专利技术中时间自注意力模块。
具体实施方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于智慧监护的人体行为识别方法，其特征在于：该方法包括基于RGB图像的空间特征提取网络和基于骨骼数据的时间特征提取网络；所述基于RGB图像的空间特征提取网络具体为：S11：从视频中提取k帧RGB图像；S12：利用2D卷积核分别提取每帧图像的浅层特征信息；S13：嵌入的空间注意力机制，将图像特征中聚焦局部特征信息；S14：将图像特征输入到ResNet网络中，利用3D卷积核对不同帧的特征进行上下文聚合；S15：根据图像特征完成对动作的分类。2.根据权利要求1所述的一种用于智慧监护的人体行为识别方法，其特征在于：所述基于骨骼数据的时间特征提取网络具体为：沿着时间的方向，所有的帧骨骼关键点作为一个独立的节点，研究该节点在不同帧中运动状态特征来计算帧之间的相关性；给定时间t的帧对于第i帧的节点n
i
，query向量key向量value向量其中其他帧中的同一节点与本帧中的此节点的关系表示为：其中其他帧中的同一节点与本帧中的此节点的关系表示为：其中，i
v
,j
v
表示相同关节v在i，j两个不同时刻的特征且是i
v
的查询向量query，和分别是关节点j
v
的key向量...

【专利技术属性】
技术研发人员：黄宏程，刘坤朋，胡敏，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：