一种基于多模态信息融合来识别异常行为的方法及系统技术方案

本发明专利技术公开了一种基于多模态信息融合来识别异常行为的方法及系统，属于信息融合技术领域。本发明专利技术方法包括：获取目标场景内目标人物的关节点位置信息；促使所述识别模型基于所述待识别人物的关节点的时空变化信息，确定待识别人物的人体行为特征；促使所述数据库基于所述待识别人物的人体生命体征信息，确定待识别人物的人体体征；对所述待识别人物的人体行为特征和人体体征进行多模态信息融合，以生成用于确定待识别人物状态的数据集，基于所述数据集确定待识别人物的状态是否出现异常。本发明专利技术能够识别目标场景中人物的异常行为，能够实现对看护人员的行为进行识别，并及时确定看护人员的行为状态，对看护人员的异常行为状态及时发出报警。时发出报警。时发出报警。

【技术实现步骤摘要】
一种基于多模态信息融合来识别异常行为的方法及系统


[0001]本专利技术涉及信息融合
，并且更具体地，涉及一种基于多模态信息融合来识别异常行为的方法及系统。

技术介绍

[0002]随着全球政府对智慧城市的投入加强，智慧监控行业规模持续增长，有望从2019年2579亿美元增长至2024年3976亿美元，中国的市场将成为全球安全监控市场重要的增量来源。随着视频监控技术的升级，由看得见、看得远到看得清，伴随而来的是其改革与创新：智能看护的诞生，进一步使人们“看得懂”，现代信息系统与“智慧”、“云”结合的方式已成为业内主流解决方案，带动前后端软硬件的存量升级替换以及新增建设需求，打开行业增长空间，而对看护目标行为识别分析是智慧看护的一个关键步骤。
[0003]目前，常见的行为识别分析主要是基于深度学习方法，分为两阶段检测和单阶段检测。两阶段检测算法是先生成检测区域，再对其进行分类和校准。有学者在2015年提出Faster
‑
RCNN算法，开启了基于深度学习的两阶段检测的先河，原作者于2017年在此基础进行改进，以RPN取代了专门的生成候选窗口算法，以端到端训练的方式生成高质量区域建议框。2017年有学者提出了Mask R
‑
CNN，用Rol对齐层替代了原先Faster R
‑
CNN中的RoI池化层，使原图像素和特征图能更精准对齐。针对双阶段检测中的低效问题，有学者提出了一种单阶段目标检测器YOLO，随后，进一步推出了一系列改进的YOLO算法，以最新提出的YOLOv5为例，图像经过输入端、Backbone、Neck和Prediction四个部分，生成边界框、预测类别和自动校准，检测速度很快，每幅图片的推理时间可达到0.007s。
[0004]深度学习方法应用在人体行为识别需要利用视频中的空序信息和时序信息。根据主干网络的特点，基于深度学习的动作识别和行为理解网络主要有：双流(Two
‑
Stream)卷积网络法、三维卷积网络(3D
‑
ConvNet)法。
[0005]Two
‑
Stream方法能有效提取视频行为识别任务中的表观信息和运动信息，但不能有效利用视频中的时空信息，后有学者提出一种基于改进双流时空网络的人体行为识别方法，利用卷积神经网络对视频中的时序关系，构建了包含时空运动信息流和表观信息流的双流网络结构，提高对相似行为和对时序依赖较大的行为的辨识能力。三维卷积网络通过3D卷积核提取视频中的时空特征，可以捕捉视频流的运动信息。为改进3D
‑
CNN无法充分挖掘长时时域信息、需要大规模标注的数据集等缺陷，根据此特征，有学者提出一种改进的C3D网络与随机森林相结合的人群异常行为检测方法，通过使用HOG特征降低输入维度，用随机森林分类器来替换初始3D卷积网络中的SoftMax全连接层，降低了训练样本的规模要求。
[0006]以上方法虽然能有效识别目标人物的行为，但未考虑实际应用中高分辨率数据存在参数量大、运算复杂度高的特点，而且利用单一的视频数据进行行为分析存在行为识别范围受限的缺点

技术实现思路

[0007]针对上述问题，本专利技术提出了一种基于多模态信息融合来识别异常行为的方法，包括：
[0008]获取目标场景的特征信息，基于卷积神经网络利用所述目标场景的特征信息建立描述语句生成模型，通过所述描述语句生成模型对目标场景进行监测，获取目标场景内目标人物的关节点的时空变化信息，同时通过非接触式传感器对目标场景进行监测，获取目标场景内目标人物的关节点位置信息；
[0009]对目标人物的运动特征建立用于提取人体行为特征的提取模型，并对所述提取模型进行轻量化处理，以生成识别模型，通过所述描述语句生成模型对目标场景进行监测，获取待识别人物的关节点的时空变化信息，并将所述待识别人物的关节点的时空变化信息发送至所述识别模型，以促使所述识别模型基于所述待识别人物的关节点的时空变化信息确定待识别人物的人体行为特征；
[0010]对目标人物的关节点位置信息，建立用于确定人体体征的数据库，通过非接触式传感器对目标场景进行监测，获取待识别人物的关节点位置信息，并将所述关节点位置信息发送至数据库，以促使所述数据库基于所述待识别人物的关节点位置信息，确定待识别人物的人体体征；
[0011]对所述待识别人物的人体行为特征和人体体征进行多模态信息融合，以生成用于确定待识别人物状态的数据集，基于所述数据集确定待识别人物的状态是否出现异常；
[0012]所述进行多模态信息融合，包括：基于待识别人物的人体行为特征和人体体征，建立待识别人物状态的波形时间序列，并将所述波形时间序列转化为图像数据，基于所述图像数据生成数据集。
[0013]可选的，通过所述描述语句生成模型对目标场景进行监测，获取目标场景内目标人物的关节点的时空变化信息，包括：
[0014]基于所述描述语句生成模型对目标场景进行监测，以获取目标场景内目标人物的图像数据，对所述图像数据进行前景分割，以获取目标人物的人体前景特征图，确定人体前景特征图中感兴趣的区域图像数据，将所述图像数据和区域图像数据，输入至所述描述语句生成模型的池化层，通过所述池化层对目标人物的多个关键点进行检测，以对目标人物关节点的时空变化信息进行提取。
[0015]可选的，提取模型，包括多种基于卷积神经网络的处理模块；
[0016]所述处理模块包括如下中的至少一种：多尺度图片预处理模块、逆残差模块、注意力融合模块、Gattneck基础模块、Gattblock基础模块和Gattnet基础模块。
[0017]可选的，对所述提取模型进行轻量化处理，包括：对多尺度图片预处理模块、Gattneck基础模块和Gattblock基础模块的结构进行更改，包括：
[0018]所述对多尺度图片预处理模块的结构进行更改，包括：将所述多尺度图片预处理模块的3
×
3卷积子模块，替换为轻量型1
×
1深度卷积子模块，并在所述多尺度图片处理模块中添加3
×
3转置卷积子模块，以相加的方式进行转置卷积；
[0019]所述Gattneck基础模块和Gattblock基础模块的结构进行更改，包括：将Gattneck基础模块和Gattblock基础模块，分别与注意力融合模块进行融合，并在Gattneck基础模块和Gattblock基础模块中添加InteAttention子模块，同时将Gattneck基础模块的3
×
3算子
替换为1
×
1轻量算子。
[0020]再一方面，本专利技术还提供了一种基于多模态信息融合来识别异常行为的系统，包括：
[0021]初始单元，用于获取目标场景的特征信息，基于卷积神经网络利用所述目标场景的特征信息建立描述语句生成模型，通过所述描述语句生成模型对目标场景进行监测，获取目标场景内目标人物的关节点的时空变化信息，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态信息融合来识别异常行为的方法，其特征在于，所述方法包括：获取目标场景的特征信息，基于卷积神经网络利用所述目标场景的特征信息建立描述语句生成模型，通过所述描述语句生成模型对目标场景进行监测，获取目标场景内目标人物的关节点的时空变化信息，同时通过非接触式传感器对目标场景进行监测，获取目标场景内目标人物的关节点位置信息；对目标人物的运动特征建立用于提取人体行为特征的提取模型，并对所述提取模型进行轻量化处理，以生成识别模型，通过所述描述语句生成模型对目标场景进行监测，获取待识别人物的关节点的时空变化信息，并将所述待识别人物的关节点的时空变化信息发送至所述识别模型，以促使所述识别模型基于所述待识别人物的关节点的时空变化信息确定待识别人物的人体行为特征；对目标人物的关节点位置信息，建立用于确定人体体征的数据库，通过非接触式传感器对目标场景进行监测，获取待识别人物的关节点位置信息，并将所述关节点位置信息发送至数据库，以促使所述数据库基于所述待识别人物的关节点位置信息，确定待识别人物的人体体征；对所述待识别人物的人体行为特征和人体体征进行多模态信息融合，以生成用于确定待识别人物状态的数据集，基于所述数据集确定待识别人物的状态是否出现异常；所述进行多模态信息融合，包括：基于待识别人物的人体行为特征和人体体征，建立待识别人物状态的波形时间序列，并将所述波形时间序列转化为图像数据，基于所述图像数据生成数据集。2.根据权利要求1所述的方法，其特征在于，通过所述描述语句生成模型对目标场景进行监测，获取目标场景内目标人物的关节点的时空变化信息，包括：基于所述描述语句生成模型对目标场景进行监测，以获取目标场景内目标人物的图像数据，对所述图像数据进行前景分割，以获取目标人物的人体前景特征图，确定人体前景特征图中感兴趣的区域图像数据，将所述图像数据和区域图像数据，输入至所述描述语句生成模型的池化层，通过所述池化层对目标人物的多个关键点进行检测，以对目标人物关节点的时空变化信息进行提取。3.根据权利要求1所述的方法，其特征在于，所述提取模型，包括多种基于卷积神经网络的处理模块；所述处理模块包括如下中的至少一种：多尺度图片预处理模块、逆残差模块、注意力融合模块、瓶颈Gattneck基础模块、残差Gattblock基础模块和轻量化注意力机制网络Gattnet基础模块。4.根据权利要求1所述的方法，其特征在于，所述对所述提取模型进行轻量化处理，包括：对多尺度图片预处理模块、Gattneck基础模块和Gattblock基础模块的结构进行更改，包括：所述对多尺度图片预处理模块的结构进行更改，包括：将所述多尺度图片预处理模块的3
×
3卷积子模块，替换为轻量型1
×
1深度卷积子模块，并在所述多尺度图片处理模块中添加3
×
3转置卷积子模块，以相加的方式进行转置卷积；所述Gattneck基础模块和Gattblock基础模块的结构进行更改，包括：将Gattneck基础模块和Gattblock基础模块，分别与注意力融合模块进行融合，并在Gattneck基础模块和
Gattblock基础模块中添加分散的关节单注意力机制InteAttention子模块，同时将Gattneck基础模块的3
×
3算子替换为1
×
1轻量算子。5.一种基于多模态信息融合来识别异常行为的系统，其特征在于，所述系统包括：初始单元，用于获取目标场景的特征信息，基于卷积神经网络利用所述目标场景的特征信息建立描述语句生成模型，通过所述描述语句...

【专利技术属性】
技术研发人员：蓝善根，侯庆，杨观赐，杨国萍，翟亚雷，陈忠义，代余杰，吴丽娟，柏秀华，
申请(专利权)人：贵州省通信产业服务有限公司，
类型：发明
国别省市：