【技术实现步骤摘要】
本申请涉及人体行为识别，特别涉及一种基于多尺度注意力机制的人体行为识别方法及系统。
技术介绍
1、随着互联网技术的迅猛发展，人工智能理论得到不断深入研究，计算机视觉技术也迎来了快速的发展。在图像分类、目标检测以及人体行为识别等领域，计算机视觉技术正发挥着至关重要的作用。随着人工智能和行为识别技术的不断进步，人体行为识别在运动健身、智慧医疗、智能家居等领域的应用逐渐显现，对行为识别技术的研究具有重要的学术价值和社会意义。
2、对人产生的行为进行理解与描述是模式识别与机器学习以及计算机视觉领域中被广泛关注的研究热点。其中人体行为识别技术主要针对视频帧序列中的人体动作进行处理分析，通过运动目标检测及分类，从而实现理解和识别帧序列中人的个体及交互行为并以自然语言形式表述。
3、然而，目前的人体行为识别研究受限于原始骨架坐标数据的表征性不强和采集数据时采样相机位置带来的不利影响，难以获得理想的实验结果；与此同时，各动作样本持续时长不固定，动作样本存在类内差异和类间差异，算法存在结构复杂、效率低下等弊端。因此，原始骨架坐标数据的表征性不强、采集数据时采样相机位置的影响以及动作样本存在类内差异和类间差异导致人体行为识别精准度下降。
技术实现思路
1、基于此，本申请提出一种基于多尺度注意力机制的人体行为识别方法及系统，旨在能够解决原始骨架坐标数据的表征性不强、采集数据时采样相机位置的影响以及动作样本存在类内差异和类间差异而导致人体行为识别精准度下降的问题。
2、
3、获取人体行为数据，标注所述人体行为数据中的人体关节运动信息，所述人体关节运动信息包括瞬时运动位移、瞬时运动方向和相对运动位移，将所述瞬时运动位移、所述瞬时运动方向和所述相对运动位移输入三维矩阵，以得到三维特征图；
4、对所述三维特征图进行数据增强，以生成动作样本数据集；
5、构建多尺度卷积神经网络，所述多尺度卷积神经网络包括空间金字塔池化层和全局平均池化层，将所述动作样本数据集输入所述空间金字塔池化层和所述全局平均池化层，以分别提取局部动作特征和全局动作特征；
6、构建软注意力机制，所述软注意力机制包括软池化通道注意力和软池化空间注意力，将所述局部动作特征和全局动作特征输入软池化通道注意力和软池化空间注意力，以获得包含注意力权重的人体行为特征；
7、将所述包含注意力权重的人体行为特征输入分类器，以得到人体行为的所属类别。
8、与现有技术相比，本申请提供的一种基于多尺度注意力机制的人体行为识别方法，首先根据经典物理学对于运动的定义与人体骨架各关节点的三维坐标，避免了数据精度的丢失，最大程度对原始运动数据信息进行保留，并且通过对人体骨架进行等比例缩放和镜像操作，生成新的运动样本。完成上述工作后，分别从多尺度学习策略和注意力机制的角度对卷积神经网络模型进行改造。由于空间金字塔池化层和全局平均池化层都可以忽略输入数据的尺寸大小，将特征图转换为同样大小的特征向量，于是本申请首先提出一种多尺度卷积神经网络模型的改造策略：将空间金字塔池化层和全局平均池化层进行整合，对两者输出的特征进行串联，得到多尺度卷积神经网络，不仅对全局特征进行了保留，而且提升了模型区分相似行为的能力；其次，通过添加改造后的混合注意力模块，对模型进一步改造升级，保证模型将更多的注意力放在对行为分类有效的特征上，忽视掉无关特征。由此，能够有效解决原始骨架坐标数据的表征性不强、采集数据时采样相机位置的影响以及动作样本存在类内差异和类间差异而导致人体行为识别精准度下降的问题能够有效解决原始骨架坐标数据的表征性不强、采集数据时采样相机位置的影响以及动作样本存在类内差异和类间差异而导致人体行为识别精准度下降的问题。
9、作为第一方面的一种可选实施方式，所述标注所述人体行为数据中的人体关节运动信息的步骤包括：
10、以人体骨架关节点当中的脊柱中心关节点代替深度摄相机作为新的坐标原点，剩余关节点的相对坐标将通过与脊柱中心节点坐标做差求得，具体相对坐标计算公式为:
11、，
12、其中，表示脊柱中心关节点的三维坐标，表示脊柱中心关节点外的某一节点坐标，则是脊柱中心节点的相对坐标，r用于相对坐标表示。
13、作为第一方面的一种可选实施方式，所述人体关节运动信息包括瞬时运动位移、瞬时运动方向和相对运动位移的步骤包括：
14、计算关节点在前后两帧的位置变化，用以表示瞬时运动位移，具体的瞬时运动位移计算公式为：
15、，
16、其中，ft- ft-1表示相邻两帧之间的运动位移，dt表示第t帧的瞬时运动位移，n表示在人体骨架中属于第n个关节点，t表示动作样本包含t帧；
17、计算关节点在前后两帧的运动方向，用以表示瞬时运动方向，具体的瞬时运动方向计算公式为：
18、，
19、其中，{，,}表示当前帧与前一帧相比在x轴,y轴和z轴上的位移，{pxy,pxz, pyz}表示瞬时运动方向在xy,xz和yz平面的投影；
20、计算关节点在单位时间内的总位移量，用以表示相对运动位移，具体的相对运动位移计算公式为：
21、，
22、其中，ft - f1表示当前帧与第一帧之间的运动总位移，dt表示第t帧的相对运动位移。
23、作为第一方面的一种可选实施方式，所述对所述三维特征图进行数据增强，以生成动作样本数据集的步骤包括：
24、读取所述三维特征图中每一帧的预设关节点，按照预设比例进行等比例缩放并保存于动作样本数据集中；
25、将人体骨架中的脊椎部位作为镜像操作的平面，进行对称操作，以得到左右对称的新数据并保存于动作样本数据集中，具体的对称操作用公式表示为：
26、，
27、其中，表示处于脊柱之外的任一关节点坐标，则代表脊柱节点的镜像坐标，p用以对称操作表示。
28、作为第一方面的一种可选实施方式，所述构建多尺度卷积神经网络，所述多尺度卷积神经网络包括空间金字塔池化层和全局平均池化层，将所述动作样本数据集输入所述空间金字塔池化层和所述全局平均池化层，以分别提取局部动作特征和全局动作特征的步骤包括：
29、将所述空间金字塔池化层和所述全局平均池化层的输出进行串联，使提取的所述局部动作特征和所述全局动作特征进行特征融合。
30、作为第一方面的一种可选实施方式，所述软池化通道注意力的计算公式为：
31、，
32、其中，f表示三维特征图，mc（f）表示三维特征图经过软池化通道注意力输出的权重系数，σ表示激活函数，mlp表示多层感知机，avgpool表示平均池化，maxpool表示最大池化，softpool表示软池化。
33、作为第一方面的一种可选实施方式，所述软池化空间注意力的计算本文档来自技高网...
【技术保护点】
1.一种基于多尺度注意力机制的人体行为识别方法，其特征在于，所述方法包括：
2.根据权利要求1所述的人体行为识别方法，其特征在于，所述人体关节运动信息包括瞬时运动位移、瞬时运动方向和相对运动位移的步骤包括：
3.根据权利要求1所述的人体行为识别方法，其特征在于，所述对所述三维特征图进行数据增强，以生成动作样本数据集的步骤包括：
4.根据权利要求1所述的人体行为识别方法，其特征在于，所述构建多尺度卷积神经网络，所述多尺度卷积神经网络包括空间金字塔池化层和全局平均池化层，将所述动作样本数据集输入所述空间金字塔池化层和所述全局平均池化层，以分别提取局部动作特征和全局动作特征的步骤包括：
5.根据权利要求1所述的人体行为识别方法，其特征在于，所述软池化通道注意力的计算公式为：
6.根据权利要求1所述的人体行为识别方法，其特征在于，所述软池化空间注意力的计算公式为：
7.一种基于多尺度注意力机制的人体行为识别系统，其特征在于，所述系统包括：
8.一种存储介质，其特征在于，包括：所述存储介质存储一个或多个程序
9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，其中：
...【技术特征摘要】
1.一种基于多尺度注意力机制的人体行为识别方法，其特征在于，所述方法包括：
2.根据权利要求1所述的人体行为识别方法，其特征在于，所述人体关节运动信息包括瞬时运动位移、瞬时运动方向和相对运动位移的步骤包括：
3.根据权利要求1所述的人体行为识别方法，其特征在于，所述对所述三维特征图进行数据增强，以生成动作样本数据集的步骤包括：
4.根据权利要求1所述的人体行为识别方法，其特征在于，所述构建多尺度卷积神经网络，所述多尺度卷积神经网络包括空间金字塔池化层和全局平均池化层，将所述动作样本数据集输入所述空间金字塔池化层和所述全局平均池化层，以...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。