一种动作识别方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种动作识别方法、装置、设备及存储介质。该方法包括：获取待识别的视频数据；其中，所述视频数据包括至少两个视频帧；根据与各所述视频帧分别对应的预设特征点的像素位置，确定所述视频数据对应的光流权重矩阵；其中，所述光流权重矩阵用于表征所述视频数据中动作区域的时间特征和空间特征；将所述视频数据和光流权重矩阵输入到动作识别网络模型中，得到输出的与所述视频数据对应的动作识别结果。本发明专利技术实施例通过确定视频数据的光流权重矩阵，并将光流权重矩阵输入到动作识别网络模型中，解决了现有动作识别网络模型特征提取能力欠佳的问题，提高了动作识别网络模型的识别结果的准确度，进而保证了生产过程中的安全性。中的安全性。中的安全性。

【技术实现步骤摘要】
一种动作识别方法、装置、设备及存储介质


[0001]本专利技术实施例涉及视频识别
，尤其涉及一种动作识别方法、装置、设备及存储介质。

技术介绍

[0002]随着网络的发展和视频采集设备的快速普及，视频监控被广泛应用于各种生产场景。通过对视频中工作人员的行为进行实时监控和异常行为预警，可以有效降低各类安全生产风险。
[0003]工作人员的工作行为和动作是否符合规范是安全生产关注的重点，例如，在快递物流的分拣场景中，需要对视频中的分拣人员的分拣动作进行实时分析和预警。
[0004]在实现本专利技术的过程中，专利技术人发现现有技术中至少存在以下技术问题：
[0005]现有的动作识别方法由于时间域特征和空间域特征提取能力欠佳，使得最终得到的动作识别结果准确度不高，进而无法有效保证生产过程中的安全性。

技术实现思路

[0006]本专利技术实施例提供了一种动作识别方法、装置、设备及存储介质，以提高动作识别网络模型的识别结果的准确度，进而保证生产过程中的安全性。
[0007]第一方面，本专利技术实施例提供了一种动作识别方法，该方法包括：
[0008]获取待识别的视频数据；其中，所述视频数据包括至少两个视频帧；
[0009]根据与各所述视频帧分别对应的预设特征点的像素位置，确定所述视频数据对应的光流权重矩阵；其中，所述光流权重矩阵用于表征所述视频数据中动作区域的时间特征和空间特征；
[0010]将所述视频数据和光流权重矩阵输入到动作识别网络模型中，得到输出的与所述视频数据对应的动作识别结果。
[0011]第二方面，本专利技术实施例还提供了一种动作识别装置，该装置包括：
[0012]视频数据获取模块，用于获取待识别的视频数据；其中，所述视频数据包括至少两个视频帧；
[0013]光流权重矩阵模块，用于根据与各所述视频帧分别对应的预设特征点的像素位置，确定所述视频数据对应的光流权重矩阵；其中，所述光流权重矩阵用于表征所述视频数据中动作区域的时间特征和空间特征；
[0014]动作识别结果输出模块，用于将所述视频数据和光流权重矩阵输入到动作识别网络模型中，得到输出的与所述视频数据对应的动作识别结果。
[0015]第三方面，本专利技术实施例还提供了一种电子设备，该电子设备包括：
[0016]一个或多个处理器；
[0017]存储器，用于存储一个或多个程序；
[0018]当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处
理器实现上述所涉及的任一所述的动作识别方法。
[0019]第四方面，本专利技术实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行上述所涉及的任一所述的动作识别方法。
[0020]上述专利技术中的实施例具有如下优点或有益效果：
[0021]本专利技术实施例通过根据视频数据中各视频帧对应的预设特征点的像素位置，确定视频数据的光流权重矩阵，并将视频数据和光流权重矩阵同时输入到动作识别网络模型中，其中，光流权重矩阵表征了视频数据中动作区域的时间特征和空间特征，解决了现有动作识别网络模型特征提取能力欠佳的问题，提高了动作识别网络模型的识别结果的准确度，进而保证了生产过程中的安全性。
附图说明
[0022]图1是本专利技术实施例一提供的一种动作识别方法的流程图。
[0023]图2是本专利技术实施例一提供的一种光流权重矩阵确定方法的流程图。
[0024]图3是本专利技术实施例二提供的一种动作识别网络模型的示意图。
[0025]图4A是本专利技术实施例二提供的一种注意力模块的原理图。
[0026]图4B是本专利技术实施例二提供的一种动作识别方法的具体实例的流程图。
[0027]图5是本专利技术实施例三提供的一种动作识别装置的示意图。
[0028]图6是本专利技术实施例四提供的一种电子设备的结构示意图。
具体实施方式
[0029]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。
[0030]实施例一
[0031]图1是本专利技术实施例一提供的一种动作识别方法的流程图，本实施例可适用于对视频中的行为动作进行识别的情况，该方法可以由动作识别装置来执行，该装置可采用软件和/或硬件的方式实现，该装置可以配置于终端设备中，示例性的，终端设备可以是移动终端、笔记本电脑、台式机、服务器和平板电脑等智能终端。具体包括如下步骤：
[0032]S110、获取待识别的视频数据。
[0033]其中，示例性的，视频数据可以是录像设备实时采集到的视频，也可以是用户输入的视频。在本实施例中，视频数据包括至少两个视频帧。其中，视频帧可用于描述组成视频数据的静止画面。
[0034]S120、根据与各视频帧分别对应的预设特征点的像素位置，确定视频数据对应的光流权重矩阵。
[0035]其中，具体的，视频数据中每个视频帧都有各自对应的预设特征点，示例性的，各视频帧对应的预设特征点可以相同也可以不同。在一个实施例中，可选的，将视频帧中的目标对象构成的像素点作为预设特征点。具体的，假设视频帧中包含人物A，将人物A在当前视频帧中所占的像素点均作为预设特征点。在另一个实施例中，可选的，将视频帧中所有像素
点作为预设特征点。
[0036]在上述实施例的基础上，可选的，根据与各视频帧分别对应的预设特征点的像素位置，确定视频数据对应的光流权重矩阵，包括：针对当前视频帧对应的预设特征点，基于预设特征点在当前视频帧中的当前像素位置和预设特征点在下一视频帧中的下一像素位置，确定预设特征点的光流速度；基于各视频帧中预设特征点的光流速度，确定视频数据对应的光流权重矩阵。
[0037]其中，光流速度用于表征运动对象在成像平面上的像素运动的瞬时速度，是利用图像序列中预设特征点的像素位置在时间域上的变化以及相邻帧之间的相关性来确定相邻帧之间运动对象的运动信息。其中，具体的，光流速度包括光流速率和光流方向。举例而言，预设特征点在当前视频帧中的当前像素位置为(x1,y1)且在下一视频帧中的下一像素位置为(x2,y2)，当前视频帧和下一视频帧的时间间隔为dt，则预设特征点的移动距离(dx,dy)＝(x2,y2)
‑
(x1,y1)，光流速度沿x轴的速度矢量光流速度沿y轴的速度矢量
[0038]其中，示例性的，计算光流速度的方法包括但不限于金字塔L
‑
K光流法、Horn
‑
Schunck算法、FlowNetSimple模型或FlowNetCorr模型。在一个实施例中，可选的，将视频数据的各视频帧数据输入到FlowNetCorr模型中，得到输出的与各视频帧对应的光流速度。
[0039]上述实施例的基础上，可选的，光流速度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动作识别方法，其特征在于，包括：获取待识别的视频数据；其中，所述视频数据包括至少两个视频帧；根据与各所述视频帧分别对应的预设特征点的像素位置，确定所述视频数据对应的光流权重矩阵；其中，所述光流权重矩阵用于表征所述视频数据中动作区域的时间特征和空间特征；将所述视频数据和光流权重矩阵输入到动作识别网络模型中，得到输出的与所述视频数据对应的动作识别结果。2.根据权利要求1所述的方法，其特征在于，所述根据与各所述视频帧分别对应的预设特征点的像素位置，确定所述视频数据对应的光流权重矩阵，包括：针对当前视频帧对应的预设特征点，基于所述预设特征点在当前视频帧中的当前像素位置和所述预设特征点在下一视频帧中的下一像素位置，确定所述预设特征点的光流速度；基于各所述视频帧中预设特征点的光流速度，确定所述视频数据对应的光流权重矩阵。3.根据权利要求2所述的方法，其特征在于，所述光流速度包括水平光流速度和垂直光流速度，相应的，所述基于各所述视频帧中预设特征点的光流速度，确定所述视频数据对应的光流权重矩阵，包括：针对每个视频帧，基于所述视频帧中预设特征点对应的水平光流速度和垂直光流速度，确定所述视频帧对应的热力图矩阵；对各所述视频帧对应的热力图矩阵分别进行归一化处理，得到所述视频数据对应的光流权重矩阵。4.根据权利要求1
‑
3中任一项所述的方法，其特征在于，所述动作识别网络模型包括中间网络模块、输出模块和至少一个注意力模块；所述中间网络模块，用于对输入的视频帧进行预设处理，得到中间图像数据；所述注意力模块，用于基于所述中间网络模块输出的中间图像数据和所述光流权重矩阵，进行比例融合处理得到注意力特征图；所述输出模块，用于基于所述注意力模块输出的注意力特征图确定与所述视频数据对应的动作识别结果。5.根据权利要求4所述的方法，其特征在于，所述注意力模块包括网络节点单元和注意力单元；所述网络节点单元，用于基于输入的所述中间图像数据确定节点特征图；所述注意力单元，用于基于所述光流权重矩阵，对所述网络节点单元输出的节点特征图进行比例融合处...

【专利技术属性】
技术研发人员：朱博，姜婷，
申请(专利权)人：北京京东振世信息技术有限公司，
类型：发明
国别省市：