基于动作识别的监控系统及其方法技术方案

本公开涉及一种提供基于动作识别的监控系统和方法。该方法包括：利用姿态估计法识别被监控视频帧中的人员的肢体位置，进行人体骨骼2D建模；利用预先训练好的姿态分类模型对被监视视频帧中的人体骨骼的2D模型进行分类；把连续视频帧中姿态分类结果存入姿态向量，并根据预先训练好的动作识别模型判断动作类型；并且如判断出的动作类型属于被监控类型，则将标记做出特定动作的视频帧和/或该动作的视频片段存储到存储器并触发告警。

【技术实现步骤摘要】
基于动作识别的监控系统及其方法
本公开涉及基于动作识别的监控系统及其方法，尤其是涉及利用姿态预测技术、姿态识别技术和动作识别技术，判断被监控视频中的人员是否做出特定动作，如果检测到特定的动作则自动报警，并保存相关视频帧和视频文件片段存档备查的系统及其方法。
技术介绍
对象的动作在判断对象行为方面具有决定性作用。不管对象是人还是动物亦或是机械，其要实现既定目标，都需要通过相应动作来实现。中国专利技术专利申请公开CN107992858A提出了一种基于单一RGB帧的实时三维手势估计系统及其方法，其利用手部检测器检测并框定手部区域，利用OpenPose识别手部关节2D位置，利用非线性平方最小化将手部3D模型拟合到2D关节位置，恢复手部姿态。此方法利用OpenPose方法实现对手部的建模并对手势进行识别。然而，该方法不适合对人的其他肢体(例如腕、肘、肩、颈、胯、膝、踝、指等)关节进行检测，也没有配置适合对其他肢体进行分类的有效分类算法。此外，CN107992858A所公开的方法主要是对单一帧内的手势进行识别，不适合对连续多帧的视频中的动作进行识别。中国专利技术专利申请公开CN108427331A提出了一种人机协作安全防护方法及系统，其利用RGB-D传感器识别机器人坐标，利用RGB-D传感器和OpenPose检测人员坐标，通过计算人与机器人之间的距离控制机器人的速度。该方法也使用OpenPose方法来实现肢体位置的建模，并是通过对人体建模后做位置及距离的判断，来实现对机器人的动态速度控制。因此，该现有技术没有通过对人体建模后的动作识别，来判断动作的类型。中国专利技术专利申请公开CN108416795A提出了一种基于排序池化融合空间特征的视频动作识别方法，其计算视频帧的视觉特征向量集，对视频帧构建二维空间金字塔模型，并对子空间中的视觉特征向量集处理及分类后判断动作类别。此方法采用对视频帧的二维空间进行多尺度分割的方式实现对动作的检测，因此是基于原始视频帧的视觉特征进行分类的。该技术不适合区分出独立的人体骨骼模型，并对骨骼模型(而非原始视频特征)进行分类判断姿态，因而不适合根据姿态顺序判断动作。因此，需要一种能够利用姿态预测技术、姿态识别技术和动作识别技术，判断被监控视频中的人员是否做出特定动作，如果检测到特定的动作则自动报警，并保存相关视频帧和视频文件片段存档备查的系统及其方法。
技术实现思路
为此，本公开的目的是利用姿态预测技术、姿态识别技术和动作识别技术，判断被监控视频中的人员是否做出特定动作，如果检测到特定的动作则自动报警，并保存相关视频帧和视频文件片段存档备查。为了实现上述目的，根据本公开的一个方面，提供一种基于动作识别的监控方法，包括以下步骤：a)利用姿态估计法识别被监控视频帧中的人员的肢体位置，进行人体骨骼2D建模；b)利用预先训练好的姿态分类模型对被监视视频帧中的人体骨骼的2D模型进行分类；c)把连续视频帧中姿态分类结果存入姿态向量，并根据预先训练好的动作识别模型判断动作类型；并且d)如判断出的动作类型属于被监控类型，则将绘制了标记做出特定动作的视频帧和/或该动作的视频片段存储到存储器并触发告警。优选地，所述步骤a)包括：a1)判断视频帧中一个或多个人员的主要关节位置坐标；并且a2)利用主要关节位置坐标和关节之间的关系对每个人员进行人体骨骼2D建模。优选地，所述步骤a2)还包括对视频中的每个人的手部和/或脸部的五官进行人体骨骼2D建模。优选地，所述步骤b)包括：将需要识别的连续肢体动作分解成离散的关键姿态；对人体骨骼2D建模结果进行关键姿态标注；并且利用卷积神经网络算法和被标注的人体骨骼2D建模结果训练姿态分类模型。优选地，所述步骤c)包括：将已知动作的姿态向量集进行标注；并且将已标注的姿态向量集作为训练集训练动作识别模型。优选地，所述步骤d)包括下列步骤中至少之一：在原始视频中标记做出特定动作的对象，并触发告警；将标记了特定动作的视频帧存档留证；以及将标记了特定动作的视频片段存档留证。优选地，所述步骤c)还包括步骤：采用热区(ROI，RegionofInterest)比较法判断多人场景下的被追踪对象的动作。优选地，所述热区是指监控视频的指定区域，如果没有指定区域，则热区就是整个监控画面区域。优选地，所述步骤c)还包括：对视频中的每个人添加追踪器来监控其动作，并且判断被追踪对象是否需要继续被追踪，如果不需要继续追踪，则删除该追踪器。优选地，其中通过判断被检测对象是否处于下列状态中至少之一来判断是否需要继续追踪：被检测对象到达指定区域；被检测对象到达离开区域；被检测对象处于静止状态超过一定时间；以及是否接收到停止对被监控区域内的对象进行继续追踪的指令。根据本公开的另一个方面，提供一种基于动作识别的监控系统，包括：姿态预测部分，其利用姿态估计法识别被监控视频帧中的人员的肢体位置，并根据所获得的位置进行人体骨骼2D建模；姿态分类部分，其利用预先训练好的姿态分类模型对被监视视频帧中的人体骨骼的2D模型进行分类；姿态管理部分，其将连续视频帧中姿态分类结果存入姿态向量；动作识别部分，其根据预先训练好的动作识别模型判断动作类型；以及输出部分，其在判断出的动作类型属于被监控类型时，将标记做出特定动作的视频帧和/或该动作的视频片段存储到存储器并触发告警。优选地，所述监控系统还包括：姿态分类训练部分，其对所得到的人体骨骼2D模型进行关键姿态标注，并将标注过的人体骨骼2D模型将作为训练集输入卷积神经网络训练分类模型进行训练，以得到姿态分类模型；以及动作识别训练部分，其将已知动作视频经姿态管理部分生成的姿态向量作为训练集，采用多元分类算法对姿态向量进行训练，以得到动作识别模型，用于姿态向量进行动作分类。由于本公开使用人体姿态预测法进行检测视频中人员的人体骨骼2D建模，并利用姿态分类法对姿态进行分类，用姿态向量记录姿态顺序，并利用动作分类法对人体动作进行识别，因此实现了在自动化生产中实时进行人体动作识别，从而可以实现无人值守的作业监控。此外，本公开使用热区比较法实现对固定区域内的多人场景下关键人物的人体动作识别，使用对象追踪法对多人场景下对多个运动人员实现多人动作识别，从而可以用于生产指挥和环境监控等不同的应用场景。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。图1是图示根据本公开的一个实施例的基于动作识别的监控系统的示意性框图；图2是图示根据本公开的一个实施例的姿态识别部分的示意框图；图3是图示姿态管理部分更新姿态向量的流程图；图4是根据本公开的一个实施例的动作识别部分的详细示意性框图；图5是根据本公开的一个实施例的基于动作识别的监控系统的操作流程图；图6是示出人体的主要关节的视图；图7是示出各个关节之间的关联关系的视图；图8示出了几种姿态的例子；图9a和9b分别示出了几种姿态的例子；图10示出了视频区域中的一个指定热区；以及图11示出了在被检测对象是运动的情况下进行对象追踪的示意图。具体实施方式这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实本文档来自技高网...

【技术保护点】
1.一种基于动作识别的监控方法，包括以下步骤：a)利用姿态估计法识别被监控视频帧中的人员的肢体位置，进行人体骨骼2D建模；b)利用预先训练好的姿态分类模型对被监视视频帧中的人体骨骼的2D模型进行分类；c)把连续视频帧中姿态分类结果存入姿态向量，并根据预先训练好的动作识别模型判断动作类型；并且d)如判断出的动作类型属于被监控类型，将标记做出特定动作的视频帧和/或该动作的视频片段存储到存储器并触发告警。

【技术特征摘要】
1.一种基于动作识别的监控方法，包括以下步骤：a)利用姿态估计法识别被监控视频帧中的人员的肢体位置，进行人体骨骼2D建模；b)利用预先训练好的姿态分类模型对被监视视频帧中的人体骨骼的2D模型进行分类；c)把连续视频帧中姿态分类结果存入姿态向量，并根据预先训练好的动作识别模型判断动作类型；并且d)如判断出的动作类型属于被监控类型，将标记做出特定动作的视频帧和/或该动作的视频片段存储到存储器并触发告警。2.根据权利要求1所述的监控方法，其中步骤a)包括：a1)判断视频帧中一个或多个人员的主要关节位置坐标；以及a2)利用主要关节位置坐标和关节之间的关系对每个人员进行人体骨骼2D建模。3.根据权利要求2所述的监控方法，其中步骤a2)还包括对视频中的每个人的手部和/或脸部的五官进行人体骨骼2D建模。4.根据权利要求1所述的监控方法，其中步骤b)包括：将需要识别的连续肢体动作分解成离散的关键姿态；对人体骨骼2D建模结果进行关键姿态标注；以及利用卷积神经网络算法和被标注的人体骨骼2D建模结果训练姿态分类模型。5.根据权利要求1所述的监控方法，其中步骤c)包括：将已知动作的姿态向量集进行标注；并且将已标注的姿态向量集作为训练集训练动作识别模型。6.根据权利要求1所述的监控方法，其中步骤d)包括下列步骤中至少之一：在原始视频中标记做出特定动作的对象，并触发告警；将标记了特定动作的视频帧存档留证；以及将标记了特定动作的视频片段存档留证。7.根据权利要求1所述的监控方法，其中步骤c)还包括步骤：采用热区比较法判断多人场景下的被追踪对象的动作。8...

【专利技术属性】
技术研发人员：李刚毅，
申请(专利权)人：李刚毅，
类型：发明
国别省市：北京,11