一种基于多模态融合的人体动作识别方法及装置制造方法及图纸

本发明专利技术提供一种基于多模态融合的人体动作识别方法及装置，所述方法的步骤包括：在加速度数据中截取加速度数据段，并在通过深度相机采集到的关节点数据帧中截取对应时间段的关节点数据帧；将截取的加速度数据段构建为加速度参数矩阵，将所述加速度参数矩阵输入到预训练的第一模型中，所述第一模型输出第一特征向量；生成对应所述关节点数据帧中每个关节点的关节点热力图张量，采用时间聚合策略将每个关节点热力图张量处理为聚合张量；将全部聚合张量输入到预训练的第二模型中，所述第二模型输出第二特征向量；基于所述第一特征向量和第二特征向量，采用分类算法融合所述第一特征向量和第二特征向量，计算动作分类结果。计算动作分类结果。计算动作分类结果。

【技术实现步骤摘要】
一种基于多模态融合的人体动作识别方法及装置


[0001]本专利技术涉及动作识别
，尤其涉及一种基于多模态融合的人体动作识别方法及装置。

技术介绍

[0002]人体动作识别是一种通过计算机视觉技术来识别和分类人体动作的方法。它可以应用于各种领域，例如体育、医疗、安全等。
[0003]现有的人体动作识别的两种方法中，基于图像的方法人均部署成本低，更常见，但受实验环境制约大，容易受到遮挡、光照变化、相机角度等的影响；而基于可穿戴加速度传感器的方法具有更高的灵活性，但加速度数据对传感器在身体上的位置敏感，可穿戴加速度传感器在长期记录过程中可能会漂移。现有技术通常使用单模态传感器，难以同时使用骨骼数据和加速度数据，也很难应对现实条件下可能发生的各种情况。除此之外，现有的两种模态的数据结构不同，因此如何融合他们是一个问题。

技术实现思路

[0004]鉴于此，本专利技术的实施例提供了一种基于多模态融合的人体动作识别方法，以消除或改善现有技术中存在的一个或更多个缺陷。
[0005]本专利技术的一个方面提供了一种基于多模态融合的人体动作识别方法，所述方法的步骤包括：
[0006]基于通过加速度传感器采集到的加速度数据中的加速度参数，在加速度数据中截取加速度数据段，并在通过深度相机采集到的关节点数据帧中截取对应时间段的关节点数据帧；
[0007]将截取的加速度数据段构建为加速度参数矩阵，将所述加速度参数矩阵输入到预训练的第一模型中，所述第一模型输出第一特征向量；
[0008]生成对应所述关节点数据帧中每个关节点的关节点热力图张量，采用时间聚合策略将每个关节点热力图张量处理为聚合张量；
[0009]将全部聚合张量输入到预训练的第二模型中，所述第二模型输出第二特征向量；
[0010]基于所述第一特征向量和第二特征向量，采用分类算法融合所述第一特征向量和第二特征向量，计算动作分类结果。
[0011]采用上述方案，本方案采用基于深度摄像头和可穿戴加速度传感器共同识别的人体动作识别方法，参与者在身体关键点穿戴好加速度传感器后，后台实时采集不同关节点的加速度数据，同时通过深度摄像头跟踪25个骨骼关节及其三维空间位置，因为跟踪过程中会存在一些噪声，所以使用高斯分布来获取骨骼关节的三维空间位置，采用分类算法融合所述第一特征向量和第二特征向量，能够同时使用骨骼数据和加速度数据，从而进行精准的人体动作识别。
[0012]在本专利技术的一些实施方式中，在采用分类算法融合所述第一特征向量和第二特征
向量，计算动作分类结果的步骤中，将所述第一特征向量和第二特征向量组合输入到预设的第三模型中，通过所述第三模型的分类器输出对应每种动作的参数，基于所述第三模型的分类器输出对应每种动作的参数输出第一分类结果。
[0013]在本专利技术的一些实施方式中，在采用分类算法融合所述第一特征向量和第二特征向量，计算动作分类结果的步骤中，将所述第一特征向量和第二特征向量分别输入到预设的第一分类器和第二分类器中，所述第一分类器和第二分类器分别输出对应每种动作的参数，基于所述第一分类器和第二分类器分别输出的对应每种动作的参数，采用决策融合算法输出每种动作的融合参数，基于每种动作的融合参数输出第二分类结果。
[0014]在本专利技术的一些实施方式中，在基于所述第一分类器和第二分类器分别输出的对应每种动作的参数，采用决策融合算法输出第二分类结果的步骤中，采用如下公式的决策融合算法输出第二分类结果：
[0015][0016]其中，p
I
(c)表示所述第一分类器输出动作c对应的参数，p
S
(c)表示所述第二分类器输出动作c对应的参数，P(c)表示动作c的融合参数。
[0017]在本专利技术的一些实施方式中，所述采用分类算法融合所述第一特征向量和第二特征向量，计算动作分类结果的步骤还包括：
[0018]确定所述第一分类结果和第二分类结果是否一致；
[0019]若一致，则输出所述第一分类结果和第二分类结果所对应的动作为最终动作；
[0020]若不一致，获取输出所述第一分类结果时所述第三模型的分类器输出的参数和输出所述第二分类结果时的融合参数，比较两个参数的大小，将较大的参数对应的所述第一分类结果或第二分类结果作为最终动作。
[0021]在本专利技术的一些实施方式中，所述第一模型和第二模型均包括多个第一卷积单元，每个第一卷积单元包括顺序连接的卷积层、激活层和池化层。
[0022]在本专利技术的一些实施方式中，所述第三模型包括顺序连接的多个第二卷积单元和分类器，所述第二卷积单元中包括顺序连接的全连接层、激活层和随即失活层。
[0023]在本专利技术的一些实施方式中，所述加速度数据段中包括每个关节点的加速度参数，每个关节点的加速度参数包括每个时间点的三个轴的加速度信号、三个轴的角速度信号、整体加速度信号和整体角速度信号，在将截取的加速度数据段构建为加速度参数矩阵的步骤中，
[0024]基于三个轴的加速度信号计算整体加速度信号，基于三个轴的角速度信号计算整体角速度信号；
[0025]基于时间顺序将所述加速度数据段平均分为第一预设个数段，采用数据清洗算法计算每个关节点的每种加速度参数的矩阵参数；
[0026]将所述矩阵参数构建为加速度参数矩阵，构建第一预设个数行，关节点数*加速度参数的个数的列的加速度参数矩阵。
[0027]在本专利技术的一些实施方式中，在采用数据清洗算法计算每个关节点的每种加速度参数的矩阵参数的步骤中，计算每个关节点每种加速度参数在每个时间段平均值作为矩阵参数。
[0028]在本专利技术的一些实施方式中，在采用时间聚合策略将每个关节点热力图张量处理为聚合张量的步骤中，采用最大时间聚合策略或和时间聚合策略将每个关节点热力图张量处理为聚合张量。
[0029]本专利技术的第二方面还提供一种基于多模态融合的人体动作识别装置，该装置包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如前所述方法所实现的步骤。
[0030]本专利技术的第三方面还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现前述基于多模态融合的人体动作识别方法所实现的步骤。
[0031]本专利技术的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本专利技术的实践而获知。本专利技术的目的和其它优点可以通过在说明书以及附图中具体指出并获得。
[0032]本领域技术人员将会理解的是，能够用本专利技术实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本专利技术能够实现的上述和其他目的。
附图说明
[0033]此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，并不构成对本专利技术的限定。
...

【技术保护点】

【技术特征摘要】
1.一种基于多模态融合的人体动作识别方法，其特征在于，所述方法的步骤包括：基于通过加速度传感器采集到的加速度数据中的加速度参数，在加速度数据中截取加速度数据段，并在通过深度相机采集到的关节点数据帧中截取对应时间段的关节点数据帧；将截取的加速度数据段构建为加速度参数矩阵，将所述加速度参数矩阵输入到预训练的第一模型中，所述第一模型输出第一特征向量；生成对应所述关节点数据帧中每个关节点的关节点热力图张量，采用时间聚合策略将每个关节点热力图张量处理为聚合张量；将全部聚合张量输入到预训练的第二模型中，所述第二模型输出第二特征向量；基于所述第一特征向量和第二特征向量，采用分类算法融合所述第一特征向量和第二特征向量，计算动作分类结果。2.根据权利要求1所述的基于多模态融合的人体动作识别方法，其特征在于，采用分类算法融合所述第一特征向量和第二特征向量，计算动作分类结果的步骤中，将所述第一特征向量和第二特征向量组合输入到预设的第三模型中，通过所述第三模型的分类器输出对应每种动作的参数，基于所述第三模型的分类器输出对应每种动作的参数输出第一分类结果。3.根据权利要求2所述的基于多模态融合的人体动作识别方法，其特征在于，在采用分类算法融合所述第一特征向量和第二特征向量，计算动作分类结果的步骤中，将所述第一特征向量和第二特征向量分别输入到预设的第一分类器和第二分类器中，所述第一分类器和第二分类器分别输出对应每种动作的参数，基于所述第一分类器和第二分类器分别输出的对应每种动作的参数，采用决策融合算法输出每种动作的融合参数，基于每种动作的融合参数输出第二分类结果。4.根据权利要求3所述的基于多模态融合的人体动作识别方法，其特征在于，在基于所述第一分类器和第二分类器分别输出的对应每种动作的参数，采用决策融合算法输出第二分类结果的步骤中，采用如下公式的决策融合算法输出第二分类结果：其中，p
I
(c)表示所述第一分类器输出动作c对应的参数，p
S
(c)表示所述第二分类器输出动作c对应的参数，P(c)表示动作c的融合参数。5.根据权利要求3所述的基于多模态融合的人体动作识别方法，其特征在于，所述采用分类算法融合所述第一特征向量和第二特征向量，计算动作分类结果的步骤还包括：确定所...

【专利技术属性】
技术研发人员：金磊，吴昊，淦子良，王小娟，何明枢，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：