【技术实现步骤摘要】
本专利技术属于人体动作识别，具体涉及一种基于人体骨骼点运动特征的动作识别系统及方法。
技术介绍
1、目前，视频监控在人们的日常生活中很常见；其中一些监控用于检查固定安装的设备和特定的环境，或者是很少有人访问的区域，而更多的监控则用于观察和识别人类的行为和活动。例如，在智能电网的工作和运作环境中，非常有必要定期安排工作人员对变电站和其他电力设施进行巡逻检查，这些设施中包括携带高电压的电力设备。为了保证巡检人员的安全，一般都会设置监控摄像头来检查在工作期间是否发生了事故。然而，安排特定的人员进行人工地观察监控视频会带来劳动力资源的浪费。因此，有必要提供一个解决方案，可以在监控视频中识别人体动作。
2、现有的基于监控视频的动作识别的解决方案通常直接采用深层的和复杂的cnn神经网络来提供视频的像素级推理。这些经过预训练的模型在复杂环境的场景中往往难以达到较高的稳健性，这是由于背景、视角、人体大小比例和光照条件的变化带来的影响。此外，基于像素推理的深度神经网络的实现，往往需要依赖大量的计算资源，因此在没有大型服务器集群的情况下，很难满足监控应用的低延迟要求。
3、使用人体骨骼可以有效地表示人体的运动情况；一方面，人体骨骼受背景环境的影响较小，而基于像素的方法可能会被复杂的背景信息或与人体相似的特征(如穿着衣服)所迷惑，从而得到错误的识别结果。此外，在连续的人体骨骼序列中计算关键点的空间和时间依赖性，这些关键点与人类动作的关系十分密切。另一方面，人体骨骼的数据规模较小，能够将其应用于轻量级设备上的多人场景，而不会造成
4、基于上述考虑，有必要提出一种基于人体骨骼点运动特征的动作识别系统及方法，结合摄像头获取监控视频流数据中包含的二维人体骨骼点的特征信息，在算力有限的边缘设备上实现低延迟的多目标人体动作识别。
技术实现思路
1、针对于上述现有技术的不足，本专利技术的目的在于提供一种基于人体骨骼点运动特征的动作识别系统及方法，以解决现有技术中不能利用轻量级设备对监控环境下进行低延迟的多目标人体动作识别的问题。本专利技术采用仅需一个单目摄像头，就能配合处理器实现低延迟的多目标人体动作识别。
2、为达到上述目的，本专利技术采用的技术方案如下：
3、本专利技术的一种基于人体骨骼点运动特征的动作识别系统，包括：远程检测一体机、服务器平台和客户端；
4、远程检测一体机，用于实时获取多人动作视频流数据，对视频流数据中人体进行跟踪和骨骼点提取，对骨骼进行矫正后输入至神经网络获得对应的动作类别，并将结果数据发送至服务器平台；
5、服务器平台，用于实时获取远程检测一体机发送的结果数据，并进行存储；
6、客户端，用于实时从服务器平台中获得结果数据，及对历史结果数据进行查询。
7、进一步地，所述远程检测一体机包括：摄像头、处理器及通信接口；
8、摄像头，用于采集多人动作视频流数据；
9、处理器，用于根据摄像头采集到的视频流数据获取二维人体骨骼点的运动序列，完成对人体的动作识别；
10、通信接口，用于将二维人体骨骼动作识别结果发送至服务器平台。
11、本专利技术的一种基于人体骨骼点运动特征的动作识别方法，基于上述系统，包括：检测阶段、矫正阶段和识别阶段；其中，
12、检测阶段：获取视频流数据，其包含人体数量和二维人体骨骼序列的特征信息，并构建二维人体骨骼运动序列；
13、矫正阶段：矫正二维人体骨骼序列中二维人体骨骼的畸变，使其符合平视视角下的标准形状；
14、识别阶段：利用矫正后的二维人体骨骼序列，通过编码方式提取二维骨骼的运动特征信息，使用神经网络进行分类，完成对二维人体骨骼的动作识别。
15、进一步地，所述检测阶段的具体步骤为：
16、(11)接收摄像头采集的多人动作视频流数据，并在视频流数据中的每一帧中，针对单个人体的所有骨骼点n，利用姿态估计法提取二维人体骨骼坐标xn＝(x,y)，n∈[1,n]；
17、(12)利用目标追踪法分别将单个人体的运动在第1帧到第t帧的二维骨骼坐标进行关联，形成每个人体的二维骨骼运动序列表示在第t帧中人体x的第n个骨骼点的二维坐标，且序列的最大长度m固定，新加入骨骼时若序列长度超过最大长度m则删除序列中最旧的骨骼；
18、(13)在每个人体的二维骨骼运动序列s中进行稀疏采样，获得稀疏的二维骨骼运动序列表示在第t′帧中人体x的第n个骨骼点的二维坐标。
19、进一步地，所述步骤(13)中稀疏采样方法具体为：
20、初始时，单个人体的二维骨骼运动序列为确定采样间隔i，当视频流的帧序号t满足t是i的整数倍时，将当前帧的二维骨骼坐标加入新的二维骨骼运动序列s′中，且
21、进一步地，所述矫正阶段的具体步骤为：
22、(21)对于步骤(13)中获得的二维骨骼运动序列s′，对骨骼进行尺寸矫正，使得在二维图像中近大远小影响下的骨骼呈现标准化的尺寸大小，得到矫正后的二维骨骼运动序列s″；
23、(22)对于步骤(21)中得到的二维骨骼运动序列s″，对骨骼进行姿态矫正，使得在二维图像中透视畸变影响下的骨骼呈现标准化的姿态，得到矫正后的二维骨骼运动序列s″′。
24、进一步地，所述步骤(21)中的尺寸矫正方法具体为：
25、(211)针对每一个二维人体骨骼，人体的左髋骨和右髋骨的中心作为根节点ct′；
26、(212)以步骤(211)中的根节点ct′为坐标原点，计算单个人体中其余二维骨骼在二维坐标系下的相对坐标
27、(213)计算每一个相对坐标到坐标原点ct′的欧氏距离，取其中的最大值为l1：
28、
29、(214)计算骨骼中躯干的长度，即人体的左肩膀ls和右肩膀rs的中心到根节点ct′的欧氏距离l2：
30、
31、(215)给l1和l2分别分配指定的系数m1和m2，相乘后取其中的大值作为目标人体骨骼的身高h：
32、h＝max(l1×m1,l2×m2)；
33、(216)将相对坐标按照身高h进行标准化：
34、
35、其中，表示经过尺寸矫正后的人体j的第n个骨骼点在第t′帧中的二维坐标。
36、进一步地，所述步骤(22)中的姿态矫正方法具体为：
37、(221)针对视频流中每一帧的单个人体，设定在视频帧中相同的纵坐标处，且位于视频帧中的中心横坐标处，存在与其对应的一个用于对照的虚拟人体，人体与其对应的虚拟人体的尺寸大小相同；
38、(222)根据摄像头安装的向下倾斜角度α，计算出视频帧中不同纵坐标下人体骨骼的透视畸变角度阈值β：
39、
40、其中，y表示视频帧的高度，y表示当前人体中心位置的纵坐标；
41、(223)根据透视畸本文档来自技高网...
【技术保护点】
1.一种基于人体骨骼点运动特征的动作识别系统，其特征在于，包括：远程检测一体机、服务器平台和客户端；
2.根据权利要求1所述的基于人体骨骼点运动特征的动作识别系统，其特征在于，所述远程检测一体机包括：摄像头、处理器及通信接口；
3.一种基于人体骨骼点运动特征的动作识别方法，基于权利要求1-2中任意一项所述的系统，其特征在于，包括：检测阶段、矫正阶段和识别阶段；
4.根据权利要求3所述的基于人体骨骼点运动特征的动作识别方法，其特征在于，所述检测阶段的具体步骤为：
5.根据权利要求4所述的基于人体骨骼点运动特征的动作识别方法，其特征在于，所述步骤(13)中稀疏采样方法具体为：
6.根据权利要求4所述的基于人体骨骼点运动特征的动作识别方法，其特征在于，所述矫正阶段的具体步骤为：
7.根据权利要求6所述的基于人体骨骼点运动特征的动作识别方法，其特征在于，所述步骤(21)中的尺寸矫正方法具体为：
8.根据权利要求7所述的基于人体骨骼点运动特征的动作识别方法，其特征在于，所述步骤(22)中的姿态矫正方法具体为
9.根据权利要求8所述的基于人体骨骼点运动特征的动作识别方法，其特征在于，所述识别阶段的具体步骤为：
10.根据权利要求9所述的基于人体骨骼点运动特征的动作识别方法，其特征在于，所述步骤(31)中的相对位置编码方式具体为：
...【技术特征摘要】
1.一种基于人体骨骼点运动特征的动作识别系统，其特征在于，包括：远程检测一体机、服务器平台和客户端；
2.根据权利要求1所述的基于人体骨骼点运动特征的动作识别系统，其特征在于，所述远程检测一体机包括：摄像头、处理器及通信接口；
3.一种基于人体骨骼点运动特征的动作识别方法，基于权利要求1-2中任意一项所述的系统，其特征在于，包括：检测阶段、矫正阶段和识别阶段；
4.根据权利要求3所述的基于人体骨骼点运动特征的动作识别方法，其特征在于，所述检测阶段的具体步骤为：
5.根据权利要求4所述的基于人体骨骼点运动特征的动作识别方法，其特征在于，所述步骤(13)中稀疏采样方法具体...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。