本发明专利技术公开了一种基于多模态联合训练网络的井下危险行为识别方法，首先利用井下固定摄像头捕获RGB流视频以及生成相应的深度图数据，将其推流至后端设备，利用先进的姿态估计算法获取人体关键点坐标并将其保存为可读数据。骨骼数据一方面可以利用GCN模型进行骨骼数据行为识别，另一方面需要用骨骼坐标点生成相应的互补数据。MHP图的构建由深度图辅助RGB图生成，GOIS图由训练后的关节点权重辅助生成，分别由EfficientNet‑B7和ResNet‑18进行训练。本发明专利技术解决矿井下由于环境复杂，光线昏暗等恶劣环境条件造成的工作人员行为难以准确识别的难题。
【技术实现步骤摘要】
本专利技术属于矿井下视频处理以及安全监控，具体涉及一种基于多模态联合训练网络的井下危险行为识别方法。
技术介绍
1、人体行为识别在现代智能化系统中具有极高的研究价值和应用价值，它在人机交互、虚拟现实以及井下预警等领域中有着广泛的应用。随着社会的发展，日常生活和企业生产对行为识别相关产品的智能化和自动化提出了更高的要求。为了应对多样化的应用场景，行为识别技术在精度和鲁棒性方面提出了更高的要求。尽管当前先进的单模态行为识别方法已经取得了一定的成就，但在分析复杂场景以及特殊场景下的人体行为时仍然面临巨大挑战。
2、在矿井下的作业环境中，危险行为识别任务尤为重要。对井下工人的行为进行准确识别和监控，有助于及时发现和预防潜在危险，减少事故发生，保障人员安全。近年来，关于井下危险行为识别的研究取得了显著进展。例如一项基于lstm神经网络的研究提出了一种通过分析工人动作序列来预测潜在危险的方法，该方法显著提高了行为识别的时效性和准确性。另一项研究利用深度学习模型对井下工人的姿态和行为进行识别，并结合环境感知信息来判断潜在危险。
>3、这种复杂多变的本文档来自技高网...
【技术保护点】
1.一种基于多模态联合训练网络的井下危险行为识别方法，其特征在于：包括如下步骤：
2.根据权利要求1所述的基于多模态联合训练网络的井下危险行为识别方法，其特征在于：所述步骤S1中，采用HRNet算法提取人体骨骼坐标数据的具体步骤如下：
3.根据权利要求2所述的基于多模态联合训练网络的井下危险行为识别方法，其特征在于：所述步骤S2中，井下工人骨骼数据行为特征获取时，采用多层次空间聚合图卷积(MAS-GCN)网络利用时空增强和非共享邻接矩阵减轻时空过度平滑，
4.根据权利要求1所述的基于多模态联合训练网络的井下危险行为识别方法，其特征在于：所述步骤S3中，...
【技术特征摘要】
1.一种基于多模态联合训练网络的井下危险行为识别方法，其特征在于：包括如下步骤：
2.根据权利要求1所述的基于多模态联合训练网络的井下危险行为识别方法，其特征在于：所述步骤s1中，采用hrnet算法提取人体骨骼坐标数据的具体步骤如下：
3.根据权利要求2所述的基于多模态联合训练网络的井下危险行为识别方法，其特征在于：所述步骤s2中，井下工人骨骼数据行为特征获取时，采用多层次空间聚合图卷积(mas-gcn)网络利用时空增强和非共享邻接矩阵减轻时空过度平滑，
4.根据权利要求1所述的基于多模态联合训练网络的井下危险行为识别方法，其特征在于：所述步骤s3中，利用rgb模态的行为识别信息流，以补丁的形式添加到骨骼流表示当中，利用利用rgb视频进行mhp图的构建，并利用井下同时捕获的深度图对mhp图的构建进行同步优化，得到mhp图之后，对其进行骨骼模态知识点迁移。此操作的目的是为了利用从骨骼模态学习到的知识增强rgb模态学习的鲁棒性，减少无关像素，聚焦手部区域信息，首先计算gcn模型的关节点权...
【专利技术属性】
技术研发人员：云霄，徐成龙，孙彦景，董楷文，程小舟，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。