基于视频的行为分析方法、装置、设备、系统及存储介质制造方法及图纸

本申请公开了一种基于视频的行为分析方法，包括：对视频图像进行人体骨骼点检测，得到人体骨骼点坐标信息；对人体骨骼点坐标信息进行骨骼点特征分析，得到特征分析结果；其中，骨骼点特征分析包括：骨骼点空间特征分析以及骨骼点帧序列时间特征分析；将特征分析结果与预设标签进行比对，根据比对结果输出行为分析结果。该方法能够基于视频实现对人体动作行为的准确分析。本申请还公开了一种基于视频的行为分析装置、设备、系统及一种可读存储介质，具有上述有益效果。

Video-based behavior analysis methods, devices, devices, systems and storage media

This application discloses a video-based behavior analysis method, which includes: detecting human skeleton points in video images to obtain coordinate information of human skeleton points; analyzing the coordinate information of human skeleton points to obtain feature analysis results; and skeleton point feature analysis includes: spatial characteristics of skeleton points Analysis and time feature analysis of skeleton point frame sequence; compare the result of feature analysis with the preset tag, and output the result of behavior analysis according to the result of comparison. This method can accurately analyze human action based on video. The application also discloses a video-based behavior analysis device, device, system and a readable storage medium, which have the above beneficial effects.

【技术实现步骤摘要】
基于视频的行为分析方法、装置、设备、系统及存储介质
本申请涉及电子
，特别涉及一种基于视频的行为分析方法、装置、设备、系统及一种可读存储介质。
技术介绍
目前，社会中有些人群可能由于缺乏完全行为能力处于弱势地位，比如老人和小孩等，为保障弱势群体的权利，可以通过视频方式对养老院以及幼儿园等区域进行监控。以幼儿园为例，目前幼儿园监控系统常常处于“监而不控”的状态，而且幼儿年幼无知，即便受到不公平的对待，也不能及时有效的向父母反馈，这给幼儿父母带来很大的困扰，也给幼儿们的健康成长带来严重影响。因此，在监控视频中通过分析人物行为，及时对不正常甚至不合法的行为做出警报，规范管理显得十分重要。现有的基于视频的行为检测方法主要是通过进行运动前景分析，运动前景分析是利用单个图像帧的运动前景块进行处理，很难准确判断人物的肢体动作，也因此也很难有较高的检测效果。因此，如何基于视频实现对人体动作行为的准确分析，是本领域技术人员需要解决的技术问题。
技术实现思路
本申请的目的是提供一种基于视频的行为分析方法，该方法能够实现对人体动作行为的准确分析；本申请的另一目的是提供一种基于视频的行为分析装置、设备、系统及一种可读存储介质，具有上述有益效果。本申请提供一种基于视频的行为分析方法，包括：对视频图像进行人体骨骼点检测，得到人体骨骼点坐标信息；对所述人体骨骼点坐标信息进行骨骼点特征分析，得到特征分析结果；其中，所述骨骼点特征分析包括：骨骼点空间特征分析以及骨骼点帧序列时间特征分析；将所述特征分析结果与预设标签进行比对，根据比对结果输出行为分析结果。优选地，所述对视频图像进行人体骨骼点检测包括：对视频图像进行三维人体骨骼点检测，得到三维人体骨骼点坐标信息；则所述对所述人体骨骼点坐标信息进行行为分析具体为：对所述三维人体骨骼点坐标信息进行行为分析。优选地，所述对视频图像进行三维人体骨骼点检测包括：对所述视频图像进行二维图片信息检测，得到二维人体骨骼点信息；对所述二维骨骼点信息进行三维映射，得到三维人体骨骼点坐标信息。优选地，对所述人体骨骼点坐标信息进行骨骼点特征分析包括：结合预设区域内个体的骨骼点坐标信息进行交互骨骼点特征分析。优选地，所述骨骼点空间特征分析包括：对骨骼点坐标设置对应的注意力值；根据所述注意力值对所述人体骨骼点坐标信息进行归一化骨骼点特征分析。优选地，所述基于视频的行为分析方法还包括：将所述行为分析结果与危险行为进行比对匹配；当所述行为分析结果属于危险行为时，输出提示信息。本申请提供一种基于视频的行为分析装置，包括：骨骼点检测单元，用于对视频图像进行人体骨骼点检测，得到人体骨骼点坐标信息；特征分析单元，用于对所述人体骨骼点坐标信息进行骨骼点特征分析，得到特征分析结果；其中，所述骨骼点特征分析包括：骨骼点空间特征分析以及骨骼点帧序列时间特征分析；标签比对单元，用于将所述特征分析结果与预设标签进行比对，根据比对结果输出行为分析结果。本申请提供一种基于视频的行为分析设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现所述基于视频的行为分析方法的步骤。本申请提供一种基于视频的行为分析系统，包括：视频采集设备，用于进行实时视频采集，将采集到的视频图像发送至基于视频的行为分析设备；基于视频的行为分析设备，用于对所述视频图像进行人体骨骼点检测，得到人体骨骼点坐标信息；对所述人体骨骼点坐标信息进行骨骼点特征分析，得到特征分析结果；其中，所述骨骼点特征分析包括：骨骼点空间特征分析以及骨骼点帧序列时间特征分析；将所述特征分析结果与预设标签进行比对，根据比对结果输出行为分析结果。本申请提供一种可读存储介质，其特征在于，所述可读存储介质上存储有程序，所述程序被处理器执行时实现所述基于视频的行为分析方法的步骤。为解决上述技术问题，本申请提供一种基于视频的行为分析方法，对视频图像进行人体骨骼点检测，得到人体骨骼点坐标信息，通过检测人体的骨骼点，能够精准地得到人体每个关节的位置，通过对人体骨骼点坐标信息进行包括骨骼点空间特征分析以及骨骼点帧序列时间特征分析等方面的行为分析，可以得到骨骼特征分析结果，相比于通过运动前景对直接对轮廓进行动作判断难以精准的捕获到人体姿态的特点，通过对人体的骨骼姿态来获取人体的行为可以识别更多的动作，具有更高的准确率，将特征分析结果与预设的标签进行比对，可以实现对人体动作行为的准确分析。在本申请另一实施例中公开了通过三维人体骨骼点坐标信息进行行为分析的技术特征，通过对人体行为的三维分析可以得到视频图像中人体的深度信息，从而当人体在图像深度方向做动作时可以实现精准判断。在本申请另一实施例中公开了对多个人体间进行人体骨骼点坐标信息的交互行为分析这一技术特征，许多动作是发生在多人交互情形下，通过从整个视频图像的多人交互的情形中得到动作行为的发生可能性，从而避免出现对如老师弯下腰鼓掌或跟幼儿们进行击掌等正常动作的误判。本申请还公开了一种基于视频的行为分析装置、设备、系统及一种可读存储介质，具有上述有益效果，在此不再赘述。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本申请实施例提供的基于视频的行为分析方法的流程图；图2为本申请实施例提供的骨骼点提取网络结构示意图；图3为本申请实施例提供的三维映射网络结构示意图；图4为本申请实施例提供的基于LSTM的时空注意力模型网络结构示意图；图5为本申请实施例提供的基于视频的行为分析装置的结构框图；图6为本申请实施例提供的基于视频的行为分析设备的结构框图；图7为本申请实施例提供的基于视频的行为分析设备的结构示意图；图8为本申请实施例提供的基于视频的行为分析系统的结构框图。具体实施方式本申请的核心是提供一种基于视频的行为分析方法，该方法可以实现对人体动作行为的准确分析；本申请的另一核心是提供一种基于视频的行为分析装置、系统及一种可读存储介质，具有上述有益效果。为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。请参考图1，图1为本申请实施例提供的基于视频的行为分析方法的流程图；该方法可以包括：步骤s100、对视频图像进行人体骨骼点检测，得到人体骨骼点坐标信息。其中，人体骨骼点的检测方法在此不做限定，比如可以通过普通摄像装置进行图像提取后通过深度神经网络模型进行骨骼点坐标信息的提取，也可以直接通过可以实现骨骼点提取的装置进行提取，在此对具体的骨骼点提取方法不做限定，可以参照现有技术中的介绍。骨骼点坐标的维度在此不做限定，可以为二维，也可以为三维。当通过二维骨骼坐标进行分析时，分析过程较为简单，计算量较小，结果输出较为实时；当通过三维骨骼坐标进行分析时，可以实现对图像深度方向的精确识别，从而可以本文档来自技高网...

【技术保护点】
1.一种基于视频的行为分析方法，其特征在于，包括：对视频图像进行人体骨骼点检测，得到人体骨骼点坐标信息；对所述人体骨骼点坐标信息进行骨骼点特征分析，得到特征分析结果；其中，所述骨骼点特征分析包括：骨骼点空间特征分析以及骨骼点帧序列时间特征分析；将所述特征分析结果与预设标签进行比对，根据比对结果输出行为分析结果。

【技术特征摘要】
1.一种基于视频的行为分析方法，其特征在于，包括：对视频图像进行人体骨骼点检测，得到人体骨骼点坐标信息；对所述人体骨骼点坐标信息进行骨骼点特征分析，得到特征分析结果；其中，所述骨骼点特征分析包括：骨骼点空间特征分析以及骨骼点帧序列时间特征分析；将所述特征分析结果与预设标签进行比对，根据比对结果输出行为分析结果。2.如权利要求1所述的基于视频的行为分析方法，其特征在于，所述对视频图像进行人体骨骼点检测包括：对视频图像进行三维人体骨骼点检测，得到三维人体骨骼点坐标信息；则所述对所述人体骨骼点坐标信息进行行为分析具体为：对所述三维人体骨骼点坐标信息进行行为分析。3.如权利要求2所述的基于视频的行为分析方法，其特征在于，所述对视频图像进行三维人体骨骼点检测包括：对所述视频图像进行二维图片信息检测，得到二维人体骨骼点信息；对所述二维骨骼点信息进行三维映射，得到三维人体骨骼点坐标信息。4.如权利要求1所述的基于视频的行为分析方法，其特征在于，对所述人体骨骼点坐标信息进行骨骼点特征分析包括：结合预设区域内个体的骨骼点坐标信息进行交互骨骼点特征分析。5.如权利要求1所述的基于视频的行为分析方法，其特征在于，所述骨骼点空间特征分析包括：对骨骼点坐标设置对应的注意力值；根据所述注意力值对所述人体骨骼点坐标信息进行归一化骨骼点特征分析。6.如权利要求1所述的基于视频的行为分析方法，其特征在于，还包括：将...

【专利技术属性】
技术研发人员：李东，张国生，冯广，叶培楚，冯省城，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东,44