一种基于大模型多智能体的人类异常行为监控方法技术

本发明专利技术公开了一种基于大模型多智能体的人类异常行为监控方法，由部署在后端服务器上的模块化多智能体系统执行，通过监控摄像头获取信息，包括以下步骤：由感知智能体从监控摄像头获取视频流并提取人体姿态特征；由场景理解智能体利用视觉大模型分析关键帧，构建时序动态场景图；由核心推理智能体基于预训练大模型评估场景语义符合度并进行异常初步判断；对异常行为进行细粒度分类、解释生成与风险评估；由报告与行动智能体生成告警并记录事件数据。本发明专利技术通过多智能体协同工作和大模型技术，实现了对人类异常行为的高效、精准监控，提高了监控系统的智能化水平和异常行为识别准确率。

【技术实现步骤摘要】

本专利技术涉及监测，具体涉及一种基于大模型多智能体的人类异常行为监控方法。

技术介绍

1、近年来，随着人工智能技术的快速发展，特别是大模型和多模态技术的突破，为异常行为监控系统带来了新的技术路径和解决方案；尽管上述技术在视频监控和异常行为检测领域取得了一定进展，但现有技术仍存在以下不足：现有的异常行为检测系统大多依赖于预定义的行为模式或简单的视觉特征，缺乏对复杂动态场景中人类行为的深度语义理解能力，难以准确识别那些需要结合上下文信息才能判断的异常行为。现有技术在多模态信息融合方面存在局限，难以有效地将视觉场景、目标交互、人体姿态和领域规则等多源信息进行综合分析和推理，导致在复杂场景下的判断准确率不高。大多数现有系统只能提供简单的异常事件分类结果，缺乏对异常行为的细粒度分类和可解释的自然语言描述，限制了监控系统的智能化水平和实用价值。现有技术在适应新场景、识别新类型异常行为以及动态更新领域知识方面能力有限，系统维护和升级成本高，难以满足不断变化的安全监控需求。传统方法在处理需要常识推理或专业知识判断的复杂行为时表现不佳，尤其是在处理模糊、不确定的异常行为时，本文档来自技高网...

【技术保护点】

1.一种基于大模型多智能体的人类异常行为监控方法，其特征在于，由部署于后端服务器的模块化多智能体系统执行，包括以下步骤：

2.根据权利要求1所述的一种基于大模型多智能体的人类异常行为监控方法，其特征在于，步骤（1）中，姿态特征处理具体如下：采用OpenPose或MediaPipe提取17个关键骨骼点坐标；将骨骼点序列处理为两类结构化数据：原始坐标序列和姿态分类标签；姿态分类标签选自预定义的离散类别，包括静态姿态、动态姿态、交互姿态、异常姿态及手势姿态。

3.根据权利要求1所述的一种基于大模型多智能体的人类异常行为监控方法，其特征在于，步骤（2）中，时序动态场景图的...

【技术特征摘要】

1.一种基于大模型多智能体的人类异常行为监控方法，其特征在于，由部署于后端服务器的模块化多智能体系统执行，包括以下步骤：

2.根据权利要求1所述的一种基于大模型多智能体的人类异常行为监控方法，其特征在于，步骤（1）中，姿态特征处理具体如下：采用openpose或mediapipe提取17个关键骨骼点坐标；将骨骼点序列处理为两类结构化数据：原始坐标序列和姿态分类标签；姿态分类标签选自预定义的离散类别，包括静态姿态、动态姿态、交互姿态、异常姿态及手势姿态。

3.根据权利要求1所述的一种基于大模型多智能体的人类异常行为监控方法，其特征在于，步骤（2）中，时序动态场景图的构建具体如下：视觉大模型输出场景实体属性、实体间关系三元组及场景文本描述；将连续3-10秒内的场景图整合为时序动态结构，捕获实体关系的时间演进；通过姿态分类标签增强人物节点的动作状态属性。

4.根据权利要求1所述的一种基于大模型多智能体的人类异常行为监控方法，其特征在于，步骤（3）中，异常评估机制具体如下：基于场景类型动态选择prompt模板，插入场景图数据及rag检索结果； rag模块从知识库检索安全规则、行为范式及异常案例特征，返回前3-5条相关条目；异常倾向评分为0-1的连续值，多级阈值触发响应；其中，ats<0.3为正常；0.3≤ats<0.7为可疑行为；ats≥0.7触发深度分析。

5.根据权利要求1所述的一种基于大模型多智能体的人类异常行为监控方法，其特征在于，步骤（4）中，细粒度分类包括： 一级分类为财产...

【专利技术属性】
技术研发人员：张家璇，王箭，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：