基于R2Fusion的多模态隧道施工人体位姿检测与估计模型构建方法技术

本发明专利技术涉及基于R2Fusion的多模态隧道施工人体位姿检测与估计模型构建方法，属隧道安全监控领域。包括：进行RGB图像、深度图像和红外图像数据采集，通过对齐处理结合自适应权重网络实现多模态图像融合；通过HRNet检测人体关节点，WPNet捕捉人体非刚性形变，生成相应的特征图；通过融合AGCA和DLCA构建R2Fusion模型，对关键点进行描述，实现人体位姿的检测；采集IMU惯性测量数据，融合IMU得到的数据与视觉数据，通过构建关键点最小代价函数并求得旋转矩阵与平移矩阵，进一步进行姿态估计与校正，并保证实时监控与反馈。本发明专利技术提升对隧道复杂环境下人体的定位精度，使隧道安全巡检更加安全可靠。

【技术实现步骤摘要】

本专利技术涉及基于r2fusion的多模态隧道施工人体位姿检测与估计模型构建方法，属于隧道安全监控。

技术介绍

1、随着城市化进程的不断推进和交通基础设施的日益完善，隧道已成为现代交通系统中不可或缺的重要组成部分。在隧道施工过程中，由于结构复杂、环境封闭，作业人员的安全始终是首要关注点。然而，在长时间的施工和运行过程中，隧道内受光线等环境因素，对人体位姿检测提出了严峻的挑战。传统的人体位姿检测依赖于人工监测和静态监控设备，存在检测效率低、空间覆盖不足、主观判断误差大等问题，尤其在光线较弱、空间狭窄的隧道环境中，人工监测难度显著增加，同时存在较高的风险。

2、为解决上述问题，本专利技术提出了一种基于r2fusion的多模态隧道施工人体位姿检测与估计模型构建方法。

技术实现思路

1、本专利技术提供了基于r2fusion的多模态隧道施工人体位姿检测与估计模型构建方法，以用于解决隧道施工中人体位姿检测效率和精度不足的问题，提升对隧道施工复杂环境下人体的定位精度，使隧道施工过程更加安全可靠，满足实际应用场景本文档来自技高网...

【技术保护点】

1.基于R2Fusion的多模态隧道施工人体位姿检测与估计模型构建方法，其特征在于：所述方法的具体步骤包括：

2.根据权利要求1所述的基于R2Fusion的多模态隧道施工人体位姿检测与估计模型构建方法，其特征在于：所述Step1包括：

3.根据权利要求1所述的基于R2Fusion的多模态隧道施工人体位姿检测与估计模型构建方法，其特征在于：所述Step2，通过HRNet检测人体关节点包括：

4.根据权利要求1所述的基于R2Fusion的多模态隧道施工人体位姿检测与估计模型构建方法，其特征在于：所述Step2，WPNet捕捉人体非刚性形变，并生成相应的特征...

【技术特征摘要】

1.基于r2fusion的多模态隧道施工人体位姿检测与估计模型构建方法，其特征在于：所述方法的具体步骤包括：

2.根据权利要求1所述的基于r2fusion的多模态隧道施工人体位姿检测与估计模型构建方法，其特征在于：所述step1包括：

3.根据权利要求1所述的基于r2fusion的多模态隧道施工人体位姿检测与估计模型构建方法，其特征在于：所述step2，通过hrnet检测人体关节点包括：

4.根据权利要求1所述的基于r2fusion的多模态隧道施工人体位姿检测与估计模型构建方法，其特征在于：所述step2，wpnet捕捉人体非刚性形变，并生成相应的特征图...

【专利技术属性】
技术研发人员：孟廷轩，郑万波，冉丝蔓，李金海，刘文奇，乔盼节，张天一，李旭，罗奕，金煦雯，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：