基于多模态融合的管网场站巡检任务执行方法及系统技术方案

本发明专利技术涉及一种基于多模态融合的管网场站巡检任务执行方法及系统，属于工业设施检测技术领域；该方法通过无人机和地面机器人搭载多类传感器，实时采集光照、温湿度、风速及雨雾数据，动态激活最优传感器组合；采用特征级融合策略，结合环境参数调整各模态权重，提升缺陷检测准确率；系统对异常结果进行数字孪生仿真验证，降低误报率；巡检路径根据检测结果自适应调整，对高风险区域重点扫描；边缘计算节点实现实时数据处理，压缩后上传关键信息；维护人员通过AR眼镜复核结果并标注误报案例；该方法解决了传统巡检环境适应性差、多模态数据利用不足的问题，提高了检测效率和可靠性。

【技术实现步骤摘要】

本专利技术涉及工业技术检测，具体为基于多模态融合的管网场站巡检任务执行方法及系统。

技术介绍

1、管道场站巡检通常依赖人工或单一传感器设备，存在效率低、漏检率高的问题。人工巡检受环境限制，夜间或恶劣天气条件下难以开展。传统传感器设备功能单一，可见光相机在低光照条件下失效，红外热像仪无法识别结构缺陷，声学传感器易受风噪干扰。多传感器数据通常独立处理，缺乏有效融合机制，导致误报率高。现有巡检路径固定，无法针对异常区域重点检测，造成资源浪费。部分系统尝试引入数据分析，但环境适应性差，无法根据实时气象条件调整检测策略。此外，边缘计算能力不足，大量原始数据需回传云端处理，导致响应延迟。

技术实现思路

1、本专利技术的目的在于提供基于多模态融合的管网场站巡检任务执行方法及系统，以解决上述
技术介绍
中提出的问题。

2、基于多模态融合的管网场站巡检任务执行方法，应用于基于多模态融合的管网场站巡检任务执行系统中的巡检执行设备，所述巡检执行设备设置有光照强度传感器、温湿度传感器、风速仪、雨雾传感器、可见光相机、增强毫米本文档来自技高网...

【技术保护点】

1.基于多模态融合的管网场站巡检任务执行方法，其特征在于，应用于基于多模态融合的管网场站巡检任务执行系统中的巡检执行设备，所述巡检执行设备设置有光照强度传感器、温湿度传感器、风速仪、雨雾传感器、可见光相机、增强毫米波雷达和热成像仪，所述方法包括：

2.根据权利要求1所述的基于多模态融合的管网场站巡检任务执行方法，其特征在于，所述巡检执行设备为无人机和巡检机器人，所述光照强度传感器采用数字光照传感器（如BH1750或TSL2591），量程0~100klx，支持动态调整相机曝光参数，温湿度传感器集成SHT35或BME280等工业级传感器，温度误差±0.2℃，湿度误差±2%RH，用...

【技术特征摘要】

1.基于多模态融合的管网场站巡检任务执行方法，其特征在于，应用于基于多模态融合的管网场站巡检任务执行系统中的巡检执行设备，所述巡检执行设备设置有光照强度传感器、温湿度传感器、风速仪、雨雾传感器、可见光相机、增强毫米波雷达和热成像仪，所述方法包括：

2.根据权利要求1所述的基于多模态融合的管网场站巡检任务执行方法，其特征在于，所述巡检执行设备为无人机和巡检机器人，所述光照强度传感器采用数字光照传感器（如bh1750或tsl2591），量程0~100klx，支持动态调整相机曝光参数，温湿度传感器集成sht35或bme280等工业级传感器，温度误差±0.2℃，湿度误差±2%rh，用于修正红外测温数据，风速仪和雨雾传感器部署超声波风速仪（如gill windsonic），无机械磨损，响应时间<0.1秒，判断无人机巡检稳定性，通过毫米波雷达（如ti iwr6843）分析雨滴反射信号强度，结合摄像头雾浓度检测算法（如暗通道先验）综合评估，当光照<50lux时，自动关闭可见光相机，切换至红外+激光雷达融合模式；风速>10m/s时，暂停无人机巡检并切换至地面机器人或固定式监测站，雨雾等级>3级（能见度<500m）时，启用毫米波雷达穿透检测，抑制光学模态权重，采用事件驱动采样，环境参数变化率<阈值时，传感器进入低功耗模式（如从10hz采样降至1hz）。

3.根据权利要求1所述的基于多模态融合的管网场站巡检任务执行方法，其特征在于，所述多模态特征提取：采用轻量级yolov7-tiny模型，输出设备锈蚀、螺栓松动等缺陷的边界框（bbox）及置信度；通过icp算法配合同步定位与建图（slam），将激光雷达点云与视觉bbox对齐，计算管道变形量（如椭圆度>5%触发报警）；根据光照强度动态调整图像增强算法（如低光照下使用retinex-net去噪）；对振动信号进行小波包分解（6层db4小波），计算特征频段（如50-200hz）能量占比；管道泄漏声纹在频域呈现“宽频带+线谱”特性，通过mfcc（梅尔频率倒谱系数）匹配云端特征库，采用风速数据构建自适应滤波器，消除风噪对声学传感器的影响；

4.根据权利要求1所述的基于多模态融合的管网场站巡检任务执行方法，其特征在于，所述在仿真时在三维孪生模型中重构多模态检测结果，通过物理引擎模拟异常发展规律；例如当红外检测到某法兰温度异常时，在孪生体中加载该部件的材料参数（如碳钢导热系数54w/m·k）、介质流量等数据，用有限元分析模拟未来30分钟的热传导过程，若仿真温度曲线与实测数据偏离超过12%，则触发传感器校准流程，通过仿真显示，该方法能识别出38%的误报警，包括阳光反射导致的假性高温，当不同模态结论矛盾时（如振动传感器报警但声纹匹配失败），采用迁移学习构建的故障知识图谱进行仲裁；该图谱包含历史案例中82类典型故障的多模态特征组合，通过图神经网络计算当前检测结果与各故障模式的关联度；搭建含真实传感器与虚拟场景的混合测试环境：在振动台上安装实际管道段，同步投射虚拟...

【专利技术属性】
技术研发人员：程翌，程志，程睿，曹子圣，颜溪流，彭媛，
申请(专利权)人：上海倬汉科技有限公司，
类型：发明
国别省市：