多模态具身视觉识别的安防监控行为分析与预警系统技术方案

本发明专利技术涉及行为检测识别方法技术领域，公开了一种多模态具身视觉识别的安防监控行为分析与预警系统，包括信息获取与处理模块，用于获取并处理监控区域内的信息；人员动作分析模块，从预处理后的信息中识别人员动作序列并计算动作特征；行为分析模块，分析人员动作与物体属性的关联并构建行为判断模型；行为意图预测模块，提取视觉和音频等多模态特征并进行融合；异常判断与预警模块，结合多种信息通过异常判断函数判断是否存在异常并在异常时触发预警；本发明专利技术融合视觉识别、多模态感知与基于属性的行为分析，全面理解人员行为，提高异常判断的准确性，同时提出多种技术方案应对复杂监控环境下的各类障碍，增强系统的鲁棒性和适应性。

【技术实现步骤摘要】

本专利技术涉及行为检测识别方法，更具体地说，它涉及一种多模态具身视觉识别的安防监控行为分析与预警系统。

技术介绍

1、在各类安防监控场景中，如商场、小区、办公楼等人员活动频繁且需要进行安全监控的区域，要求监控区域配备有视觉采集设备（如摄像头）、音频采集设备以及其他可获取多模态信息的装置，同时场景中存在各类具有不同属性特征的物体；通过融合视觉识别、多模态信息感知以及基于属性的行为分析，实现对安防监控场景中人员异常行为的精准识别与预警；一方面利用视觉分析人员动作，结合场景中对象属性进行行为理解，判断当前行为是否异常；另一方面整合多模态信息预测人员后续意图，提前预警可能发生的异常情况；然而场景中情况复杂，复杂环境噪音会干扰音频信息获取，影响音频特征提取与融合的效果，同时场景中物体和人员布局频繁变化，增加属性识别和行为分析的难度。

技术实现思路

1、本专利技术的目的就在于为了解决上述问题而提供一种多模态具身视觉识别的安防监控行为分析与预警系统。

2、本专利技术提供了一种多模态具身视觉识别的安防监控行为分析本文档来自技高网...

【技术保护点】

1.一种多模态具身视觉识别的安防监控行为分析与预警系统，其特征在于，包括：

2.根据权利要求1所述的一种多模态具身视觉识别的安防监控行为分析与预警系统，其特征在于，通过安装在监控区域的摄像头获取监控区域内人员的图像、视频数据，记为视觉信息；利用布置在监控区域内的声音采集设备获取监控区域内的声音数据，记为音频信息；对监控区域内与人员行为相关的各类对象信息进行收集与整理，记为对象信息；识别场景中个物体的属性信息集合，记为，对于物体，其属性包括用途属性、可接触性属性。

3.根据权利要求1所述的一种多模态具身视觉识别的安防监控行为分析与预警系统，其特征在于，对获取到的视觉...

【技术特征摘要】

1.一种多模态具身视觉识别的安防监控行为分析与预警系统，其特征在于，包括：

2.根据权利要求1所述的一种多模态具身视觉识别的安防监控行为分析与预警系统，其特征在于，通过安装在监控区域的摄像头获取监控区域内人员的图像、视频数据，记为视觉信息；利用布置在监控区域内的声音采集设备获取监控区域内的声音数据，记为音频信息；对监控区域内与人员行为相关的各类对象信息进行收集与整理，记为对象信息；识别场景中个物体的属性信息集合，记为，对于物体，其属性包括用途属性、可接触性属性。

3.根据权利要求1所述的一种多模态具身视觉识别的安防监控行为分析与预警系统，其特征在于，对获取到的视觉信息中的图像进行去噪处理；对于图像中的每个像素点，其滤波后的像素值计算公式为：

4.根据权利要求1所述的一种多模态具身视觉识别的安防监控行为分析与预警系统，其特征在于，采用基于区域建议的目标检测算法，定位并分类场景中的物体；

5.根据权利要求1所述的一种多模态具身视...

【专利技术属性】
技术研发人员：陈杰，陈金龙，王嘉，刘文建，蒋雯竹，龙天宇，
申请(专利权)人：上海领感科技有限公司，
类型：发明
国别省市：